target/linux/ramips/files/drivers/net/ethernet/ramips/ramips_main.c

   1 /*
   2  *   This program is free software; you can redistribute it and/or modify
   3  *   it under the terms of the GNU General Public License as published by
   4  *   the Free Software Foundation; version 2 of the License
   5  *
   6  *   This program is distributed in the hope that it will be useful,
   7  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
   8  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
   9  *   GNU General Public License for more details.
  10  *
  11  *   You should have received a copy of the GNU General Public License
  12  *   along with this program; if not, write to the Free Software
  13  *   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307, USA.
  14  *
  15  *   Copyright (C) 2009 John Crispin <blogic@openwrt.org>
  16  */
  17
  18 #include <linux/module.h>
  19 #include <linux/kernel.h>
  20 #include <linux/types.h>
  21 #include <linux/dma-mapping.h>
  22 #include <linux/init.h>
  23 #include <linux/skbuff.h>
  24 #include <linux/etherdevice.h>
  25 #include <linux/ethtool.h>
  26 #include <linux/platform_device.h>
  27 #include <linux/phy.h>
  28
  29 #include <ramips_eth_platform.h>
  30 #include "ramips_eth.h"
  31
  32 #define TX_TIMEOUT (20 * HZ / 100)
  33 #define MAX_RX_LENGTH   1600
  34
  35 #ifdef CONFIG_RALINK_RT305X
  36 #include "ramips_esw.c"
  37 #else
  38 static inline int rt305x_esw_init(void) { return 0; }
  39 static inline void rt305x_esw_exit(void) { }
  40 #endif
  41
  42 #define phys_to_bus(a)  (a & 0x1FFFFFFF)
  43
  44 #ifdef CONFIG_RAMIPS_ETH_DEBUG
  45 #define RADEBUG(fmt, args...)   printk(KERN_DEBUG fmt, ## args)
  46 #else
  47 #define RADEBUG(fmt, args...)   do {} while (0)
  48 #endif
  49
  50 enum raeth_reg {
  51         RAETH_REG_PDMA_GLO_CFG = 0,
  52         RAETH_REG_PDMA_RST_CFG,
  53         RAETH_REG_DLY_INT_CFG,
  54         RAETH_REG_TX_BASE_PTR0,
  55         RAETH_REG_TX_MAX_CNT0,
  56         RAETH_REG_TX_CTX_IDX0,
  57         RAETH_REG_RX_BASE_PTR0,
  58         RAETH_REG_RX_MAX_CNT0,
  59         RAETH_REG_RX_CALC_IDX0,
  60         RAETH_REG_FE_INT_ENABLE,
  61         RAETH_REG_FE_INT_STATUS,
  62         RAETH_REG_COUNT
  63 };
  64
  65 static const u32 ramips_reg_table[RAETH_REG_COUNT] = {
  66         [RAETH_REG_PDMA_GLO_CFG] = RAMIPS_PDMA_GLO_CFG,
  67         [RAETH_REG_PDMA_RST_CFG] = RAMIPS_PDMA_RST_CFG,
  68         [RAETH_REG_DLY_INT_CFG] = RAMIPS_DLY_INT_CFG,
  69         [RAETH_REG_TX_BASE_PTR0] = RAMIPS_TX_BASE_PTR0,
  70         [RAETH_REG_TX_MAX_CNT0] = RAMIPS_TX_MAX_CNT0,
  71         [RAETH_REG_TX_CTX_IDX0] = RAMIPS_TX_CTX_IDX0,
  72         [RAETH_REG_RX_BASE_PTR0] = RAMIPS_RX_BASE_PTR0,
  73         [RAETH_REG_RX_MAX_CNT0] = RAMIPS_RX_MAX_CNT0,
  74         [RAETH_REG_RX_CALC_IDX0] = RAMIPS_RX_CALC_IDX0,
  75         [RAETH_REG_FE_INT_ENABLE] = RAMIPS_FE_INT_ENABLE,
  76         [RAETH_REG_FE_INT_STATUS] = RAMIPS_FE_INT_STATUS,
  77 };
  78
  79 static struct net_device * ramips_dev;
  80 static void __iomem *ramips_fe_base = 0;
  81
  82 static inline u32 get_reg_offset(enum raeth_reg reg)
  83 {
  84         const u32 *table;
  85
  86         table = ramips_reg_table;
  87
  88         return table[reg];
  89 }
  90
  91 static inline void
  92 ramips_fe_wr(u32 val, unsigned reg)
  93 {
  94         __raw_writel(val, ramips_fe_base + reg);
  95 }
  96
  97 static inline u32
  98 ramips_fe_rr(unsigned reg)
  99 {
 100         return __raw_readl(ramips_fe_base + reg);
 101 }
 102
 103 static inline void
 104 ramips_fe_twr(u32 val, enum raeth_reg reg)
 105 {
 106         ramips_fe_wr(val, get_reg_offset(reg));
 107 }
 108
 109 static inline u32
 110 ramips_fe_trr(enum raeth_reg reg)
 111 {
 112         return ramips_fe_rr(get_reg_offset(reg));
 113 }
 114
 115 static inline void
 116 ramips_fe_int_disable(u32 mask)
 117 {
 118         ramips_fe_twr(ramips_fe_trr(RAETH_REG_FE_INT_ENABLE) & ~mask,
 119                      RAETH_REG_FE_INT_ENABLE);
 120         /* flush write */
 121         ramips_fe_trr(RAETH_REG_FE_INT_ENABLE);
 122 }
 123
 124 static inline void
 125 ramips_fe_int_enable(u32 mask)
 126 {
 127         ramips_fe_twr(ramips_fe_trr(RAETH_REG_FE_INT_ENABLE) | mask,
 128                      RAETH_REG_FE_INT_ENABLE);
 129         /* flush write */
 130         ramips_fe_trr(RAETH_REG_FE_INT_ENABLE);
 131 }
 132
 133 static inline void
 134 ramips_hw_set_macaddr(unsigned char *mac)
 135 {
 136         ramips_fe_wr((mac[0] << 8) | mac[1], RAMIPS_GDMA1_MAC_ADRH);
 137         ramips_fe_wr((mac[2] << 24) | (mac[3] << 16) | (mac[4] << 8) | mac[5],
 138                      RAMIPS_GDMA1_MAC_ADRL);
 139 }
 140
 141 static struct sk_buff *
 142 ramips_alloc_skb(struct raeth_priv *re)
 143 {
 144         struct sk_buff *skb;
 145
 146         skb = netdev_alloc_skb(re->netdev, MAX_RX_LENGTH + NET_IP_ALIGN);
 147         if (!skb)
 148                 return NULL;
 149
 150         skb_reserve(skb, NET_IP_ALIGN);
 151
 152         return skb;
 153 }
 154
 155 static void
 156 ramips_ring_setup(struct raeth_priv *re)
 157 {
 158         int len;
 159         int i;
 160
 161         memset(re->tx_info, 0, NUM_TX_DESC * sizeof(struct raeth_tx_info));
 162
 163         len = NUM_TX_DESC * sizeof(struct ramips_tx_dma);
 164         memset(re->tx, 0, len);
 165
 166         for (i = 0; i < NUM_TX_DESC; i++) {
 167                 struct raeth_tx_info *txi;
 168                 struct ramips_tx_dma *txd;
 169
 170                 txd = &re->tx[i];
 171                 txd->txd4 = TX_DMA_QN(3) | TX_DMA_PN(1);
 172                 txd->txd2 = TX_DMA_LSO | TX_DMA_DONE;
 173
 174                 txi = &re->tx_info[i];
 175                 txi->tx_desc = txd;
 176                 if (txi->tx_skb != NULL) {
 177                         netdev_warn(re->netdev,
 178                                     "dirty skb for TX desc %d\n", i);
 179                         txi->tx_skb = NULL;
 180                 }
 181         }
 182
 183         len = NUM_RX_DESC * sizeof(struct ramips_rx_dma);
 184         memset(re->rx, 0, len);
 185
 186         for (i = 0; i < NUM_RX_DESC; i++) {
 187                 struct raeth_rx_info *rxi;
 188                 struct ramips_rx_dma *rxd;
 189                 dma_addr_t dma_addr;
 190
 191                 rxd = &re->rx[i];
 192                 rxi = &re->rx_info[i];
 193                 BUG_ON(rxi->rx_skb == NULL);
 194                 dma_addr = dma_map_single(&re->netdev->dev, rxi->rx_skb->data,
 195                                           MAX_RX_LENGTH, DMA_FROM_DEVICE);
 196                 rxi->rx_dma = dma_addr;
 197                 rxi->rx_desc = rxd;
 198
 199                 rxd->rxd1 = (unsigned int) dma_addr;
 200                 rxd->rxd2 = RX_DMA_LSO;
 201         }
 202
 203         /* flush descriptors */
 204         wmb();
 205 }
 206
 207 static void
 208 ramips_ring_cleanup(struct raeth_priv *re)
 209 {
 210         int i;
 211
 212         for (i = 0; i < NUM_RX_DESC; i++) {
 213                 struct raeth_rx_info *rxi;
 214
 215                 rxi = &re->rx_info[i];
 216                 if (rxi->rx_skb)
 217                         dma_unmap_single(&re->netdev->dev, rxi->rx_dma,
 218                                          MAX_RX_LENGTH, DMA_FROM_DEVICE);
 219         }
 220
 221         for (i = 0; i < NUM_TX_DESC; i++) {
 222                 struct raeth_tx_info *txi;
 223
 224                 txi = &re->tx_info[i];
 225                 if (txi->tx_skb) {
 226                         dev_kfree_skb_any(txi->tx_skb);
 227                         txi->tx_skb = NULL;
 228                 }
 229         }
 230
 231         netdev_reset_queue(re->netdev);
 232 }
 233
 234 #if defined(CONFIG_RALINK_RT288X) || defined(CONFIG_RALINK_RT3883)
 235
 236 #define RAMIPS_MDIO_RETRY       1000
 237
 238 static unsigned char *ramips_speed_str(struct raeth_priv *re)
 239 {
 240         switch (re->speed) {
 241         case SPEED_1000:
 242                 return "1000";
 243         case SPEED_100:
 244                 return "100";
 245         case SPEED_10:
 246                 return "10";
 247         }
 248
 249         return "?";
 250 }
 251
 252 static void ramips_link_adjust(struct raeth_priv *re)
 253 {
 254         struct ramips_eth_platform_data *pdata;
 255         u32 mdio_cfg;
 256
 257         pdata = re->parent->platform_data;
 258         if (!re->link) {
 259                 netif_carrier_off(re->netdev);
 260                 netdev_info(re->netdev, "link down\n");
 261                 return;
 262         }
 263
 264         mdio_cfg = RAMIPS_MDIO_CFG_TX_CLK_SKEW_200 |
 265                    RAMIPS_MDIO_CFG_TX_CLK_SKEW_200 |
 266                    RAMIPS_MDIO_CFG_GP1_FRC_EN;
 267
 268         if (re->duplex == DUPLEX_FULL)
 269                 mdio_cfg |= RAMIPS_MDIO_CFG_GP1_DUPLEX;
 270
 271         if (re->tx_fc)
 272                 mdio_cfg |= RAMIPS_MDIO_CFG_GP1_FC_TX;
 273
 274         if (re->rx_fc)
 275                 mdio_cfg |= RAMIPS_MDIO_CFG_GP1_FC_RX;
 276
 277         switch (re->speed) {
 278         case SPEED_10:
 279                 mdio_cfg |= RAMIPS_MDIO_CFG_GP1_SPEED_10;
 280                 break;
 281         case SPEED_100:
 282                 mdio_cfg |= RAMIPS_MDIO_CFG_GP1_SPEED_100;
 283                 break;
 284         case SPEED_1000:
 285                 mdio_cfg |= RAMIPS_MDIO_CFG_GP1_SPEED_1000;
 286                 break;
 287         default:
 288                 BUG();
 289         }
 290
 291         ramips_fe_wr(mdio_cfg, RAMIPS_MDIO_CFG);
 292
 293         netif_carrier_on(re->netdev);
 294         netdev_info(re->netdev, "link up (%sMbps/%s duplex)\n",
 295                     ramips_speed_str(re),
 296                     (DUPLEX_FULL == re->duplex) ? "Full" : "Half");
 297 }
 298
 299 static int
 300 ramips_mdio_wait_ready(struct raeth_priv *re)
 301 {
 302         int retries;
 303
 304         retries = RAMIPS_MDIO_RETRY;
 305         while (1) {
 306                 u32 t;
 307
 308                 t = ramips_fe_rr(RAMIPS_MDIO_ACCESS);
 309                 if ((t & (0x1 << 31)) == 0)
 310                         return 0;
 311
 312                 if (retries-- == 0)
 313                         break;
 314
 315                 udelay(1);
 316         }
 317
 318         dev_err(re->parent, "MDIO operation timed out\n");
 319         return -ETIMEDOUT;
 320 }
 321
 322 static int
 323 ramips_mdio_read(struct mii_bus *bus, int phy_addr, int phy_reg)
 324 {
 325         struct raeth_priv *re = bus->priv;
 326         int err;
 327         u32 t;
 328
 329         err = ramips_mdio_wait_ready(re);
 330         if (err)
 331                 return 0xffff;
 332
 333         t = (phy_addr << 24) | (phy_reg << 16);
 334         ramips_fe_wr(t, RAMIPS_MDIO_ACCESS);
 335         t |= (1 << 31);
 336         ramips_fe_wr(t, RAMIPS_MDIO_ACCESS);
 337
 338         err = ramips_mdio_wait_ready(re);
 339         if (err)
 340                 return 0xffff;
 341
 342         RADEBUG("%s: addr=%04x, reg=%04x, value=%04x\n", __func__,
 343                 phy_addr, phy_reg, ramips_fe_rr(RAMIPS_MDIO_ACCESS) & 0xffff);
 344
 345         return ramips_fe_rr(RAMIPS_MDIO_ACCESS) & 0xffff;
 346 }
 347
 348 static int
 349 ramips_mdio_write(struct mii_bus *bus, int phy_addr, int phy_reg, u16 val)
 350 {
 351         struct raeth_priv *re = bus->priv;
 352         int err;
 353         u32 t;
 354
 355         RADEBUG("%s: addr=%04x, reg=%04x, value=%04x\n", __func__,
 356                 phy_addr, phy_reg, ramips_fe_rr(RAMIPS_MDIO_ACCESS) & 0xffff);
 357
 358         err = ramips_mdio_wait_ready(re);
 359         if (err)
 360                 return err;
 361
 362         t = (1 << 30) | (phy_addr << 24) | (phy_reg << 16) | val;
 363         ramips_fe_wr(t, RAMIPS_MDIO_ACCESS);
 364         t |= (1 << 31);
 365         ramips_fe_wr(t, RAMIPS_MDIO_ACCESS);
 366
 367         return ramips_mdio_wait_ready(re);
 368 }
 369
 370 static int
 371 ramips_mdio_reset(struct mii_bus *bus)
 372 {
 373         /* TODO */
 374         return 0;
 375 }
 376
 377 static int
 378 ramips_mdio_init(struct raeth_priv *re)
 379 {
 380         int err;
 381         int i;
 382
 383         re->mii_bus = mdiobus_alloc();
 384         if (re->mii_bus == NULL)
 385                 return -ENOMEM;
 386
 387         re->mii_bus->name = "ramips_mdio";
 388         re->mii_bus->read = ramips_mdio_read;
 389         re->mii_bus->write = ramips_mdio_write;
 390         re->mii_bus->reset = ramips_mdio_reset;
 391         re->mii_bus->irq = re->mii_irq;
 392         re->mii_bus->priv = re;
 393         re->mii_bus->parent = re->parent;
 394
 395         snprintf(re->mii_bus->id, MII_BUS_ID_SIZE, "%s", "ramips_mdio");
 396         re->mii_bus->phy_mask = 0;
 397
 398         for (i = 0; i < PHY_MAX_ADDR; i++)
 399                 re->mii_irq[i] = PHY_POLL;
 400
 401         err = mdiobus_register(re->mii_bus);
 402         if (err)
 403                 goto err_free_bus;
 404
 405         return 0;
 406
 407 err_free_bus:
 408         kfree(re->mii_bus);
 409         return err;
 410 }
 411
 412 static void
 413 ramips_mdio_cleanup(struct raeth_priv *re)
 414 {
 415         mdiobus_unregister(re->mii_bus);
 416         kfree(re->mii_bus);
 417 }
 418
 419 static void
 420 ramips_phy_link_adjust(struct net_device *dev)
 421 {
 422         struct raeth_priv *re = netdev_priv(dev);
 423         struct phy_device *phydev = re->phy_dev;
 424         unsigned long flags;
 425         int status_change = 0;
 426
 427         spin_lock_irqsave(&re->phy_lock, flags);
 428
 429         if (phydev->link)
 430                 if (re->duplex != phydev->duplex ||
 431                     re->speed != phydev->speed)
 432                         status_change = 1;
 433
 434         if (phydev->link != re->link)
 435                 status_change = 1;
 436
 437         re->link = phydev->link;
 438         re->duplex = phydev->duplex;
 439         re->speed = phydev->speed;
 440
 441         if (status_change)
 442                 ramips_link_adjust(re);
 443
 444         spin_unlock_irqrestore(&re->phy_lock, flags);
 445 }
 446
 447 static int
 448 ramips_phy_connect_multi(struct raeth_priv *re)
 449 {
 450         struct net_device *netdev = re->netdev;
 451         struct ramips_eth_platform_data *pdata;
 452         struct phy_device *phydev = NULL;
 453         int phy_addr;
 454         int ret = 0;
 455
 456         pdata = re->parent->platform_data;
 457         for (phy_addr = 0; phy_addr < PHY_MAX_ADDR; phy_addr++) {
 458                 if (!(pdata->phy_mask & (1 << phy_addr)))
 459                         continue;
 460
 461                 if (re->mii_bus->phy_map[phy_addr] == NULL)
 462                         continue;
 463
 464                 RADEBUG("%s: PHY found at %s, uid=%08x\n",
 465                         netdev->name,
 466                         dev_name(&re->mii_bus->phy_map[phy_addr]->dev),
 467                         re->mii_bus->phy_map[phy_addr]->phy_id);
 468
 469                 if (phydev == NULL)
 470                         phydev = re->mii_bus->phy_map[phy_addr];
 471         }
 472
 473         if (!phydev) {
 474                 netdev_err(netdev, "no PHY found with phy_mask=%08x\n",
 475                            pdata->phy_mask);
 476                 return -ENODEV;
 477         }
 478
 479         re->phy_dev = phy_connect(netdev, dev_name(&phydev->dev),
 480                                   ramips_phy_link_adjust, 0,
 481                                   pdata->phy_if_mode);
 482
 483         if (IS_ERR(re->phy_dev)) {
 484                 netdev_err(netdev, "could not connect to PHY at %s\n",
 485                            dev_name(&phydev->dev));
 486                 return PTR_ERR(re->phy_dev);
 487         }
 488
 489         phydev->supported &= PHY_GBIT_FEATURES;
 490         phydev->advertising = phydev->supported;
 491
 492         RADEBUG("%s: connected to PHY at %s [uid=%08x, driver=%s]\n",
 493                 netdev->name, dev_name(&phydev->dev),
 494                 phydev->phy_id, phydev->drv->name);
 495
 496         re->link = 0;
 497         re->speed = 0;
 498         re->duplex = -1;
 499         re->rx_fc = 0;
 500         re->tx_fc = 0;
 501
 502         return ret;
 503 }
 504
 505 static int
 506 ramips_phy_connect_fixed(struct raeth_priv *re)
 507 {
 508         struct ramips_eth_platform_data *pdata;
 509
 510         pdata = re->parent->platform_data;
 511         switch (pdata->speed) {
 512         case SPEED_10:
 513         case SPEED_100:
 514         case SPEED_1000:
 515                 break;
 516         default:
 517                 netdev_err(re->netdev, "invalid speed specified\n");
 518                 return -EINVAL;
 519         }
 520
 521         RADEBUG("%s: using fixed link parameters\n", re->netdev->name);
 522
 523         re->speed = pdata->speed;
 524         re->duplex = pdata->duplex;
 525         re->tx_fc = pdata->tx_fc;
 526         re->rx_fc = pdata->tx_fc;
 527
 528         return 0;
 529 }
 530
 531 static int
 532 ramips_phy_connect(struct raeth_priv *re)
 533 {
 534         struct ramips_eth_platform_data *pdata;
 535
 536         pdata = re->parent->platform_data;
 537         if (pdata->phy_mask)
 538                 return ramips_phy_connect_multi(re);
 539
 540         return ramips_phy_connect_fixed(re);
 541 }
 542
 543 static void
 544 ramips_phy_disconnect(struct raeth_priv *re)
 545 {
 546         if (re->phy_dev)
 547                 phy_disconnect(re->phy_dev);
 548 }
 549
 550 static void
 551 ramips_phy_start(struct raeth_priv *re)
 552 {
 553         unsigned long flags;
 554
 555         if (re->phy_dev) {
 556                 phy_start(re->phy_dev);
 557         } else {
 558                 spin_lock_irqsave(&re->phy_lock, flags);
 559                 re->link = 1;
 560                 ramips_link_adjust(re);
 561                 spin_unlock_irqrestore(&re->phy_lock, flags);
 562         }
 563 }
 564
 565 static void
 566 ramips_phy_stop(struct raeth_priv *re)
 567 {
 568         unsigned long flags;
 569
 570         if (re->phy_dev)
 571                 phy_stop(re->phy_dev);
 572
 573         spin_lock_irqsave(&re->phy_lock, flags);
 574         re->link = 0;
 575         ramips_link_adjust(re);
 576         spin_unlock_irqrestore(&re->phy_lock, flags);
 577 }
 578 #else
 579 static inline int
 580 ramips_mdio_init(struct raeth_priv *re)
 581 {
 582         return 0;
 583 }
 584
 585 static inline void
 586 ramips_mdio_cleanup(struct raeth_priv *re)
 587 {
 588 }
 589
 590 static inline int
 591 ramips_phy_connect(struct raeth_priv *re)
 592 {
 593         return 0;
 594 }
 595
 596 static inline void
 597 ramips_phy_disconnect(struct raeth_priv *re)
 598 {
 599 }
 600
 601 static inline void
 602 ramips_phy_start(struct raeth_priv *re)
 603 {
 604 }
 605
 606 static inline void
 607 ramips_phy_stop(struct raeth_priv *re)
 608 {
 609 }
 610 #endif /* CONFIG_RALINK_RT288X || CONFIG_RALINK_RT3883 */
 611
 612 static void
 613 ramips_ring_free(struct raeth_priv *re)
 614 {
 615         int len;
 616         int i;
 617
 618         if (re->rx_info) {
 619                 for (i = 0; i < NUM_RX_DESC; i++) {
 620                         struct raeth_rx_info *rxi;
 621
 622                         rxi = &re->rx_info[i];
 623                         if (rxi->rx_skb)
 624                                 dev_kfree_skb_any(rxi->rx_skb);
 625                 }
 626                 kfree(re->rx_info);
 627         }
 628
 629         if (re->rx) {
 630                 len = NUM_RX_DESC * sizeof(struct ramips_rx_dma);
 631                 dma_free_coherent(&re->netdev->dev, len, re->rx,
 632                                   re->rx_desc_dma);
 633         }
 634
 635         if (re->tx) {
 636                 len = NUM_TX_DESC * sizeof(struct ramips_tx_dma);
 637                 dma_free_coherent(&re->netdev->dev, len, re->tx,
 638                                   re->tx_desc_dma);
 639         }
 640
 641         kfree(re->tx_info);
 642 }
 643
 644 static int
 645 ramips_ring_alloc(struct raeth_priv *re)
 646 {
 647         int len;
 648         int err = -ENOMEM;
 649         int i;
 650
 651         re->tx_info = kzalloc(NUM_TX_DESC * sizeof(struct raeth_tx_info),
 652                               GFP_ATOMIC);
 653         if (!re->tx_info)
 654                 goto err_cleanup;
 655
 656         re->rx_info = kzalloc(NUM_RX_DESC * sizeof(struct raeth_rx_info),
 657                               GFP_ATOMIC);
 658         if (!re->rx_info)
 659                 goto err_cleanup;
 660
 661         /* allocate tx ring */
 662         len = NUM_TX_DESC * sizeof(struct ramips_tx_dma);
 663         re->tx = dma_alloc_coherent(&re->netdev->dev, len,
 664                                           &re->tx_desc_dma, GFP_ATOMIC);
 665         if (!re->tx)
 666                 goto err_cleanup;
 667
 668         /* allocate rx ring */
 669         len = NUM_RX_DESC * sizeof(struct ramips_rx_dma);
 670         re->rx = dma_alloc_coherent(&re->netdev->dev, len,
 671                                     &re->rx_desc_dma, GFP_ATOMIC);
 672         if (!re->rx)
 673                 goto err_cleanup;
 674
 675         for (i = 0; i < NUM_RX_DESC; i++) {
 676                 struct sk_buff *skb;
 677
 678                 skb = ramips_alloc_skb(re);
 679                 if (!skb)
 680                         goto err_cleanup;
 681
 682                 re->rx_info[i].rx_skb = skb;
 683         }
 684
 685         return 0;
 686
 687 err_cleanup:
 688         ramips_ring_free(re);
 689         return err;
 690 }
 691
 692 static void
 693 ramips_setup_dma(struct raeth_priv *re)
 694 {
 695         ramips_fe_twr(re->tx_desc_dma, RAETH_REG_TX_BASE_PTR0);
 696         ramips_fe_twr(NUM_TX_DESC, RAETH_REG_TX_MAX_CNT0);
 697         ramips_fe_twr(0, RAETH_REG_TX_CTX_IDX0);
 698         ramips_fe_twr(RAMIPS_PST_DTX_IDX0, RAETH_REG_PDMA_RST_CFG);
 699
 700         ramips_fe_twr(re->rx_desc_dma, RAETH_REG_RX_BASE_PTR0);
 701         ramips_fe_twr(NUM_RX_DESC, RAETH_REG_RX_MAX_CNT0);
 702         ramips_fe_twr((NUM_RX_DESC - 1), RAETH_REG_RX_CALC_IDX0);
 703         ramips_fe_twr(RAMIPS_PST_DRX_IDX0, RAETH_REG_PDMA_RST_CFG);
 704 }
 705
 706 static int
 707 ramips_eth_hard_start_xmit(struct sk_buff *skb, struct net_device *dev)
 708 {
 709         struct raeth_priv *re = netdev_priv(dev);
 710         struct raeth_tx_info *txi, *txi_next;
 711         struct ramips_tx_dma *txd, *txd_next;
 712         unsigned long tx;
 713         unsigned int tx_next;
 714         dma_addr_t mapped_addr;
 715
 716         if (re->plat->min_pkt_len) {
 717                 if (skb->len < re->plat->min_pkt_len) {
 718                         if (skb_padto(skb, re->plat->min_pkt_len)) {
 719                                 printk(KERN_ERR
 720                                        "ramips_eth: skb_padto failed\n");
 721                                 kfree_skb(skb);
 722                                 return 0;
 723                         }
 724                         skb_put(skb, re->plat->min_pkt_len - skb->len);
 725                 }
 726         }
 727
 728         dev->trans_start = jiffies;
 729         mapped_addr = dma_map_single(&re->netdev->dev, skb->data, skb->len,
 730                                      DMA_TO_DEVICE);
 731
 732         spin_lock(&re->page_lock);
 733         tx = ramips_fe_trr(RAETH_REG_TX_CTX_IDX0);
 734         tx_next = (tx + 1) % NUM_TX_DESC;
 735
 736         txi = &re->tx_info[tx];
 737         txd = txi->tx_desc;
 738         txi_next = &re->tx_info[tx_next];
 739         txd_next = txi_next->tx_desc;
 740
 741         if ((txi->tx_skb) || (txi_next->tx_skb) ||
 742             !(txd->txd2 & TX_DMA_DONE) ||
 743             !(txd_next->txd2 & TX_DMA_DONE))
 744                 goto out;
 745
 746         txi->tx_skb = skb;
 747
 748         txd->txd1 = (unsigned int) mapped_addr;
 749         wmb();
 750         txd->txd2 = TX_DMA_LSO | TX_DMA_PLEN0(skb->len);
 751         dev->stats.tx_packets++;
 752         dev->stats.tx_bytes += skb->len;
 753         ramips_fe_twr(tx_next, RAETH_REG_TX_CTX_IDX0);
 754         netdev_sent_queue(dev, skb->len);
 755         spin_unlock(&re->page_lock);
 756         return NETDEV_TX_OK;
 757
 758  out:
 759         spin_unlock(&re->page_lock);
 760         dev->stats.tx_dropped++;
 761         kfree_skb(skb);
 762         return NETDEV_TX_OK;
 763 }
 764
 765 static void
 766 ramips_eth_rx_hw(unsigned long ptr)
 767 {
 768         struct net_device *dev = (struct net_device *) ptr;
 769         struct raeth_priv *re = netdev_priv(dev);
 770         int rx;
 771         int max_rx = 16;
 772
 773         rx = ramips_fe_trr(RAETH_REG_RX_CALC_IDX0);
 774
 775         while (max_rx) {
 776                 struct raeth_rx_info *rxi;
 777                 struct ramips_rx_dma *rxd;
 778                 struct sk_buff *rx_skb, *new_skb;
 779                 int pktlen;
 780
 781                 rx = (rx + 1) % NUM_RX_DESC;
 782
 783                 rxi = &re->rx_info[rx];
 784                 rxd = rxi->rx_desc;
 785                 if (!(rxd->rxd2 & RX_DMA_DONE))
 786                         break;
 787
 788                 rx_skb = rxi->rx_skb;
 789                 pktlen = RX_DMA_PLEN0(rxd->rxd2);
 790
 791                 new_skb = ramips_alloc_skb(re);
 792                 /* Reuse the buffer on allocation failures */
 793                 if (new_skb) {
 794                         dma_addr_t dma_addr;
 795
 796                         dma_unmap_single(&re->netdev->dev, rxi->rx_dma,
 797                                          MAX_RX_LENGTH, DMA_FROM_DEVICE);
 798
 799                         skb_put(rx_skb, pktlen);
 800                         rx_skb->dev = dev;
 801                         rx_skb->protocol = eth_type_trans(rx_skb, dev);
 802                         rx_skb->ip_summed = CHECKSUM_NONE;
 803                         dev->stats.rx_packets++;
 804                         dev->stats.rx_bytes += pktlen;
 805                         netif_rx(rx_skb);
 806
 807                         rxi->rx_skb = new_skb;
 808
 809                         dma_addr = dma_map_single(&re->netdev->dev,
 810                                                   new_skb->data,
 811                                                   MAX_RX_LENGTH,
 812                                                   DMA_FROM_DEVICE);
 813                         rxi->rx_dma = dma_addr;
 814                         rxd->rxd1 = (unsigned int) dma_addr;
 815                         wmb();
 816                 } else {
 817                         dev->stats.rx_dropped++;
 818                 }
 819
 820                 rxd->rxd2 = RX_DMA_LSO;
 821                 ramips_fe_twr(rx, RAETH_REG_RX_CALC_IDX0);
 822                 max_rx--;
 823         }
 824
 825         if (max_rx == 0)
 826                 tasklet_schedule(&re->rx_tasklet);
 827         else
 828                 ramips_fe_int_enable(RAMIPS_RX_DLY_INT);
 829 }
 830
 831 static void
 832 ramips_eth_tx_housekeeping(unsigned long ptr)
 833 {
 834         struct net_device *dev = (struct net_device*)ptr;
 835         struct raeth_priv *re = netdev_priv(dev);
 836         unsigned int bytes_compl = 0, pkts_compl = 0;
 837
 838         spin_lock(&re->page_lock);
 839         while (1) {
 840                 struct raeth_tx_info *txi;
 841                 struct ramips_tx_dma *txd;
 842
 843                 txi = &re->tx_info[re->skb_free_idx];
 844                 txd = txi->tx_desc;
 845
 846                 if (!(txd->txd2 & TX_DMA_DONE) || !(txi->tx_skb))
 847                         break;
 848
 849                 pkts_compl++;
 850                 bytes_compl += txi->tx_skb->len;
 851
 852                 dev_kfree_skb_irq(txi->tx_skb);
 853                 txi->tx_skb = NULL;
 854                 re->skb_free_idx++;
 855                 if (re->skb_free_idx >= NUM_TX_DESC)
 856                         re->skb_free_idx = 0;
 857         }
 858         netdev_completed_queue(dev, pkts_compl, bytes_compl);
 859         spin_unlock(&re->page_lock);
 860
 861         ramips_fe_int_enable(RAMIPS_TX_DLY_INT);
 862 }
 863
 864 static void
 865 ramips_eth_timeout(struct net_device *dev)
 866 {
 867         struct raeth_priv *re = netdev_priv(dev);
 868
 869         tasklet_schedule(&re->tx_housekeeping_tasklet);
 870 }
 871
 872 static irqreturn_t
 873 ramips_eth_irq(int irq, void *dev)
 874 {
 875         struct raeth_priv *re = netdev_priv(dev);
 876         unsigned int status;
 877
 878         status = ramips_fe_trr(RAETH_REG_FE_INT_STATUS);
 879         status &= ramips_fe_trr(RAETH_REG_FE_INT_ENABLE);
 880
 881         if (!status)
 882                 return IRQ_NONE;
 883
 884         ramips_fe_twr(status, RAETH_REG_FE_INT_STATUS);
 885
 886         if (status & RAMIPS_RX_DLY_INT) {
 887                 ramips_fe_int_disable(RAMIPS_RX_DLY_INT);
 888                 tasklet_schedule(&re->rx_tasklet);
 889         }
 890
 891         if (status & RAMIPS_TX_DLY_INT) {
 892                 ramips_fe_int_disable(RAMIPS_TX_DLY_INT);
 893                 tasklet_schedule(&re->tx_housekeeping_tasklet);
 894         }
 895
 896         raeth_debugfs_update_int_stats(re, status);
 897
 898         return IRQ_HANDLED;
 899 }
 900
 901 static int
 902 ramips_eth_open(struct net_device *dev)
 903 {
 904         struct raeth_priv *re = netdev_priv(dev);
 905         int err;
 906
 907         err = request_irq(dev->irq, ramips_eth_irq, IRQF_DISABLED,
 908                           dev->name, dev);
 909         if (err)
 910                 return err;
 911
 912         err = ramips_ring_alloc(re);
 913         if (err)
 914                 goto err_free_irq;
 915
 916         ramips_ring_setup(re);
 917         ramips_hw_set_macaddr(dev->dev_addr);
 918
 919         ramips_setup_dma(re);
 920         ramips_fe_twr((ramips_fe_trr(RAETH_REG_PDMA_GLO_CFG) & 0xff) |
 921                 (RAMIPS_TX_WB_DDONE | RAMIPS_RX_DMA_EN |
 922                 RAMIPS_TX_DMA_EN | RAMIPS_PDMA_SIZE_4DWORDS),
 923                 RAETH_REG_PDMA_GLO_CFG);
 924         ramips_fe_wr((ramips_fe_rr(RAMIPS_FE_GLO_CFG) &
 925                 ~(RAMIPS_US_CYC_CNT_MASK << RAMIPS_US_CYC_CNT_SHIFT)) |
 926                 ((re->plat->sys_freq / RAMIPS_US_CYC_CNT_DIVISOR) << RAMIPS_US_CYC_CNT_SHIFT),
 927                 RAMIPS_FE_GLO_CFG);
 928
 929         tasklet_init(&re->tx_housekeeping_tasklet, ramips_eth_tx_housekeeping,
 930                      (unsigned long)dev);
 931         tasklet_init(&re->rx_tasklet, ramips_eth_rx_hw, (unsigned long)dev);
 932
 933         ramips_phy_start(re);
 934
 935         ramips_fe_twr(RAMIPS_DELAY_INIT, RAETH_REG_DLY_INT_CFG);
 936         ramips_fe_twr(RAMIPS_TX_DLY_INT | RAMIPS_RX_DLY_INT, RAETH_REG_FE_INT_ENABLE);
 937         ramips_fe_wr(ramips_fe_rr(RAMIPS_GDMA1_FWD_CFG) &
 938                 ~(RAMIPS_GDM1_ICS_EN | RAMIPS_GDM1_TCS_EN | RAMIPS_GDM1_UCS_EN | 0xffff),
 939                 RAMIPS_GDMA1_FWD_CFG);
 940         ramips_fe_wr(ramips_fe_rr(RAMIPS_CDMA_CSG_CFG) &
 941                 ~(RAMIPS_ICS_GEN_EN | RAMIPS_TCS_GEN_EN | RAMIPS_UCS_GEN_EN),
 942                 RAMIPS_CDMA_CSG_CFG);
 943         ramips_fe_wr(RAMIPS_PSE_FQFC_CFG_INIT, RAMIPS_PSE_FQ_CFG);
 944         ramips_fe_wr(1, RAMIPS_FE_RST_GL);
 945         ramips_fe_wr(0, RAMIPS_FE_RST_GL);
 946
 947         netif_start_queue(dev);
 948         return 0;
 949
 950  err_free_irq:
 951         free_irq(dev->irq, dev);
 952         return err;
 953 }
 954
 955 static int
 956 ramips_eth_stop(struct net_device *dev)
 957 {
 958         struct raeth_priv *re = netdev_priv(dev);
 959
 960         ramips_fe_twr(ramips_fe_trr(RAETH_REG_PDMA_GLO_CFG) &
 961                      ~(RAMIPS_TX_WB_DDONE | RAMIPS_RX_DMA_EN | RAMIPS_TX_DMA_EN),
 962                      RAETH_REG_PDMA_GLO_CFG);
 963
 964         /* disable all interrupts in the hw */
 965         ramips_fe_twr(0, RAETH_REG_FE_INT_ENABLE);
 966
 967         ramips_phy_stop(re);
 968         free_irq(dev->irq, dev);
 969         netif_stop_queue(dev);
 970         tasklet_kill(&re->tx_housekeeping_tasklet);
 971         tasklet_kill(&re->rx_tasklet);
 972         ramips_ring_cleanup(re);
 973         ramips_ring_free(re);
 974         RADEBUG("ramips_eth: stopped\n");
 975         return 0;
 976 }
 977
 978 static int __init
 979 ramips_eth_probe(struct net_device *dev)
 980 {
 981         struct raeth_priv *re = netdev_priv(dev);
 982         int err;
 983
 984         BUG_ON(!re->plat->reset_fe);
 985         re->plat->reset_fe();
 986         net_srandom(jiffies);
 987         memcpy(dev->dev_addr, re->plat->mac, ETH_ALEN);
 988
 989         ether_setup(dev);
 990         dev->mtu = 1500;
 991         dev->watchdog_timeo = TX_TIMEOUT;
 992         spin_lock_init(&re->page_lock);
 993         spin_lock_init(&re->phy_lock);
 994
 995         err = ramips_mdio_init(re);
 996         if (err)
 997                 return err;
 998
 999         err = ramips_phy_connect(re);
1000         if (err)
1001                 goto err_mdio_cleanup;
1002
1003         err = raeth_debugfs_init(re);
1004         if (err)
1005                 goto err_phy_disconnect;
1006
1007         return 0;
1008
1009 err_phy_disconnect:
1010         ramips_phy_disconnect(re);
1011 err_mdio_cleanup:
1012         ramips_mdio_cleanup(re);
1013         return err;
1014 }
1015
1016 static void
1017 ramips_eth_uninit(struct net_device *dev)
1018 {
1019         struct raeth_priv *re = netdev_priv(dev);
1020
1021         raeth_debugfs_exit(re);
1022         ramips_phy_disconnect(re);
1023         ramips_mdio_cleanup(re);
1024 }
1025
1026 static const struct net_device_ops ramips_eth_netdev_ops = {
1027         .ndo_init               = ramips_eth_probe,
1028         .ndo_uninit             = ramips_eth_uninit,
1029         .ndo_open               = ramips_eth_open,
1030         .ndo_stop               = ramips_eth_stop,
1031         .ndo_start_xmit         = ramips_eth_hard_start_xmit,
1032         .ndo_tx_timeout         = ramips_eth_timeout,
1033         .ndo_change_mtu         = eth_change_mtu,
1034         .ndo_set_mac_address    = eth_mac_addr,
1035         .ndo_validate_addr      = eth_validate_addr,
1036 };
1037
1038 static int
1039 ramips_eth_plat_probe(struct platform_device *plat)
1040 {
1041         struct raeth_priv *re;
1042         struct ramips_eth_platform_data *data = plat->dev.platform_data;
1043         struct resource *res;
1044         int err;
1045
1046         if (!data) {
1047                 dev_err(&plat->dev, "no platform data specified\n");
1048                 return -EINVAL;
1049         }
1050
1051         res = platform_get_resource(plat, IORESOURCE_MEM, 0);
1052         if (!res) {
1053                 dev_err(&plat->dev, "no memory resource found\n");
1054                 return -ENXIO;
1055         }
1056
1057         ramips_fe_base = ioremap_nocache(res->start, res->end - res->start + 1);
1058         if (!ramips_fe_base)
1059                 return -ENOMEM;
1060
1061         ramips_dev = alloc_etherdev(sizeof(struct raeth_priv));
1062         if (!ramips_dev) {
1063                 dev_err(&plat->dev, "alloc_etherdev failed\n");
1064                 err = -ENOMEM;
1065                 goto err_unmap;
1066         }
1067
1068         strcpy(ramips_dev->name, "eth%d");
1069         ramips_dev->irq = platform_get_irq(plat, 0);
1070         if (ramips_dev->irq < 0) {
1071                 dev_err(&plat->dev, "no IRQ resource found\n");
1072                 err = -ENXIO;
1073                 goto err_free_dev;
1074         }
1075         ramips_dev->addr_len = ETH_ALEN;
1076         ramips_dev->base_addr = (unsigned long)ramips_fe_base;
1077         ramips_dev->netdev_ops = &ramips_eth_netdev_ops;
1078
1079         re = netdev_priv(ramips_dev);
1080
1081         re->netdev = ramips_dev;
1082         re->parent = &plat->dev;
1083         re->speed = data->speed;
1084         re->duplex = data->duplex;
1085         re->rx_fc = data->rx_fc;
1086         re->tx_fc = data->tx_fc;
1087         re->plat = data;
1088
1089         err = register_netdev(ramips_dev);
1090         if (err) {
1091                 dev_err(&plat->dev, "error bringing up device\n");
1092                 goto err_free_dev;
1093         }
1094
1095         RADEBUG("ramips_eth: loaded\n");
1096         return 0;
1097
1098  err_free_dev:
1099         kfree(ramips_dev);
1100  err_unmap:
1101         iounmap(ramips_fe_base);
1102         return err;
1103 }
1104
1105 static int
1106 ramips_eth_plat_remove(struct platform_device *plat)
1107 {
1108         unregister_netdev(ramips_dev);
1109         free_netdev(ramips_dev);
1110         RADEBUG("ramips_eth: unloaded\n");
1111         return 0;
1112 }
1113
1114 static struct platform_driver ramips_eth_driver = {
1115         .probe = ramips_eth_plat_probe,
1116         .remove = ramips_eth_plat_remove,
1117         .driver = {
1118                 .name = "ramips_eth",
1119                 .owner = THIS_MODULE,
1120         },
1121 };
1122
1123 static int __init
1124 ramips_eth_init(void)
1125 {
1126         int ret;
1127
1128         ret = raeth_debugfs_root_init();
1129         if (ret)
1130                 goto err_out;
1131
1132         ret = rt305x_esw_init();
1133         if (ret)
1134                 goto err_debugfs_exit;
1135
1136         ret = platform_driver_register(&ramips_eth_driver);
1137         if (ret) {
1138                 printk(KERN_ERR
1139                        "ramips_eth: Error registering platfom driver!\n");
1140                 goto esw_cleanup;
1141         }
1142
1143         return 0;
1144
1145 esw_cleanup:
1146         rt305x_esw_exit();
1147 err_debugfs_exit:
1148         raeth_debugfs_root_exit();
1149 err_out:
1150         return ret;
1151 }
1152
1153 static void __exit
1154 ramips_eth_cleanup(void)
1155 {
1156         platform_driver_unregister(&ramips_eth_driver);
1157         rt305x_esw_exit();
1158         raeth_debugfs_root_exit();
1159 }
1160
1161 module_init(ramips_eth_init);
1162 module_exit(ramips_eth_cleanup);
1163
1164 MODULE_LICENSE("GPL");
1165 MODULE_AUTHOR("John Crispin <blogic@openwrt.org>");
1166 MODULE_DESCRIPTION("ethernet driver for ramips boards");