drivers/mtd/nand/atmel_nand.c

   1 /*
   2  *  Copyright (C) 2003 Rick Bronson
   3  *
   4  *  Derived from drivers/mtd/nand/autcpu12.c
   5  *       Copyright (c) 2001 Thomas Gleixner (gleixner@autronix.de)
   6  *
   7  *  Derived from drivers/mtd/spia.c
   8  *       Copyright (C) 2000 Steven J. Hill (sjhill@cotw.com)
   9  *
  10  *
  11  *  Add Hardware ECC support for AT91SAM9260 / AT91SAM9263
  12  *     Richard Genoud (richard.genoud@gmail.com), Adeneo Copyright (C) 2007
  13  *
  14  *     Derived from Das U-Boot source code
  15  *              (u-boot-1.1.5/board/atmel/at91sam9263ek/nand.c)
  16  *     (C) Copyright 2006 ATMEL Rousset, Lacressonniere Nicolas
  17  *
  18  *
  19  * This program is free software; you can redistribute it and/or modify
  20  * it under the terms of the GNU General Public License version 2 as
  21  * published by the Free Software Foundation.
  22  *
  23  */
  24
  25 #include <linux/dma-mapping.h>
  26 #include <linux/slab.h>
  27 #include <linux/module.h>
  28 #include <linux/moduleparam.h>
  29 #include <linux/platform_device.h>
  30 #include <linux/of.h>
  31 #include <linux/of_device.h>
  32 #include <linux/of_gpio.h>
  33 #include <linux/of_mtd.h>
  34 #include <linux/mtd/mtd.h>
  35 #include <linux/mtd/nand.h>
  36 #include <linux/mtd/partitions.h>
  37
  38 #include <linux/dmaengine.h>
  39 #include <linux/gpio.h>
  40 #include <linux/io.h>
  41 #include <linux/platform_data/atmel.h>
  42
  43 #include <mach/cpu.h>
  44
  45 static int use_dma = 1;
  46 module_param(use_dma, int, 0);
  47
  48 static int on_flash_bbt = 0;
  49 module_param(on_flash_bbt, int, 0);
  50
  51 /* Register access macros */
  52 #define ecc_readl(add, reg)                             \
  53         __raw_readl(add + ATMEL_ECC_##reg)
  54 #define ecc_writel(add, reg, value)                     \
  55         __raw_writel((value), add + ATMEL_ECC_##reg)
  56
  57 #include "atmel_nand_ecc.h"     /* Hardware ECC registers */
  58
  59 /* oob layout for large page size
  60  * bad block info is on bytes 0 and 1
  61  * the bytes have to be consecutives to avoid
  62  * several NAND_CMD_RNDOUT during read
  63  */
  64 static struct nand_ecclayout atmel_oobinfo_large = {
  65         .eccbytes = 4,
  66         .eccpos = {60, 61, 62, 63},
  67         .oobfree = {
  68                 {2, 58}
  69         },
  70 };
  71
  72 /* oob layout for small page size
  73  * bad block info is on bytes 4 and 5
  74  * the bytes have to be consecutives to avoid
  75  * several NAND_CMD_RNDOUT during read
  76  */
  77 static struct nand_ecclayout atmel_oobinfo_small = {
  78         .eccbytes = 4,
  79         .eccpos = {0, 1, 2, 3},
  80         .oobfree = {
  81                 {6, 10}
  82         },
  83 };
  84
  85 struct atmel_nand_host {
  86         struct nand_chip        nand_chip;
  87         struct mtd_info         mtd;
  88         void __iomem            *io_base;
  89         dma_addr_t              io_phys;
  90         struct atmel_nand_data  board;
  91         struct device           *dev;
  92         void __iomem            *ecc;
  93
  94         struct completion       comp;
  95         struct dma_chan         *dma_chan;
  96 };
  97
  98 static int cpu_has_dma(void)
  99 {
 100         return cpu_is_at91sam9rl() || cpu_is_at91sam9g45();
 101 }
 102
 103 /*
 104  * Enable NAND.
 105  */
 106 static void atmel_nand_enable(struct atmel_nand_host *host)
 107 {
 108         if (gpio_is_valid(host->board.enable_pin))
 109                 gpio_set_value(host->board.enable_pin, 0);
 110 }
 111
 112 /*
 113  * Disable NAND.
 114  */
 115 static void atmel_nand_disable(struct atmel_nand_host *host)
 116 {
 117         if (gpio_is_valid(host->board.enable_pin))
 118                 gpio_set_value(host->board.enable_pin, 1);
 119 }
 120
 121 /*
 122  * Hardware specific access to control-lines
 123  */
 124 static void atmel_nand_cmd_ctrl(struct mtd_info *mtd, int cmd, unsigned int ctrl)
 125 {
 126         struct nand_chip *nand_chip = mtd->priv;
 127         struct atmel_nand_host *host = nand_chip->priv;
 128
 129         if (ctrl & NAND_CTRL_CHANGE) {
 130                 if (ctrl & NAND_NCE)
 131                         atmel_nand_enable(host);
 132                 else
 133                         atmel_nand_disable(host);
 134         }
 135         if (cmd == NAND_CMD_NONE)
 136                 return;
 137
 138         if (ctrl & NAND_CLE)
 139                 writeb(cmd, host->io_base + (1 << host->board.cle));
 140         else
 141                 writeb(cmd, host->io_base + (1 << host->board.ale));
 142 }
 143
 144 /*
 145  * Read the Device Ready pin.
 146  */
 147 static int atmel_nand_device_ready(struct mtd_info *mtd)
 148 {
 149         struct nand_chip *nand_chip = mtd->priv;
 150         struct atmel_nand_host *host = nand_chip->priv;
 151
 152         return gpio_get_value(host->board.rdy_pin) ^
 153                 !!host->board.rdy_pin_active_low;
 154 }
 155
 156 /*
 157  * Minimal-overhead PIO for data access.
 158  */
 159 static void atmel_read_buf8(struct mtd_info *mtd, u8 *buf, int len)
 160 {
 161         struct nand_chip        *nand_chip = mtd->priv;
 162
 163         __raw_readsb(nand_chip->IO_ADDR_R, buf, len);
 164 }
 165
 166 static void atmel_read_buf16(struct mtd_info *mtd, u8 *buf, int len)
 167 {
 168         struct nand_chip        *nand_chip = mtd->priv;
 169
 170         __raw_readsw(nand_chip->IO_ADDR_R, buf, len / 2);
 171 }
 172
 173 static void atmel_write_buf8(struct mtd_info *mtd, const u8 *buf, int len)
 174 {
 175         struct nand_chip        *nand_chip = mtd->priv;
 176
 177         __raw_writesb(nand_chip->IO_ADDR_W, buf, len);
 178 }
 179
 180 static void atmel_write_buf16(struct mtd_info *mtd, const u8 *buf, int len)
 181 {
 182         struct nand_chip        *nand_chip = mtd->priv;
 183
 184         __raw_writesw(nand_chip->IO_ADDR_W, buf, len / 2);
 185 }
 186
 187 static void dma_complete_func(void *completion)
 188 {
 189         complete(completion);
 190 }
 191
 192 static int atmel_nand_dma_op(struct mtd_info *mtd, void *buf, int len,
 193                                int is_read)
 194 {
 195         struct dma_device *dma_dev;
 196         enum dma_ctrl_flags flags;
 197         dma_addr_t dma_src_addr, dma_dst_addr, phys_addr;
 198         struct dma_async_tx_descriptor *tx = NULL;
 199         dma_cookie_t cookie;
 200         struct nand_chip *chip = mtd->priv;
 201         struct atmel_nand_host *host = chip->priv;
 202         void *p = buf;
 203         int err = -EIO;
 204         enum dma_data_direction dir = is_read ? DMA_FROM_DEVICE : DMA_TO_DEVICE;
 205
 206         if (buf >= high_memory)
 207                 goto err_buf;
 208
 209         dma_dev = host->dma_chan->device;
 210
 211         flags = DMA_CTRL_ACK | DMA_PREP_INTERRUPT | DMA_COMPL_SKIP_SRC_UNMAP |
 212                 DMA_COMPL_SKIP_DEST_UNMAP;
 213
 214         phys_addr = dma_map_single(dma_dev->dev, p, len, dir);
 215         if (dma_mapping_error(dma_dev->dev, phys_addr)) {
 216                 dev_err(host->dev, "Failed to dma_map_single\n");
 217                 goto err_buf;
 218         }
 219
 220         if (is_read) {
 221                 dma_src_addr = host->io_phys;
 222                 dma_dst_addr = phys_addr;
 223         } else {
 224                 dma_src_addr = phys_addr;
 225                 dma_dst_addr = host->io_phys;
 226         }
 227
 228         tx = dma_dev->device_prep_dma_memcpy(host->dma_chan, dma_dst_addr,
 229                                              dma_src_addr, len, flags);
 230         if (!tx) {
 231                 dev_err(host->dev, "Failed to prepare DMA memcpy\n");
 232                 goto err_dma;
 233         }
 234
 235         init_completion(&host->comp);
 236         tx->callback = dma_complete_func;
 237         tx->callback_param = &host->comp;
 238
 239         cookie = tx->tx_submit(tx);
 240         if (dma_submit_error(cookie)) {
 241                 dev_err(host->dev, "Failed to do DMA tx_submit\n");
 242                 goto err_dma;
 243         }
 244
 245         dma_async_issue_pending(host->dma_chan);
 246         wait_for_completion(&host->comp);
 247
 248         err = 0;
 249
 250 err_dma:
 251         dma_unmap_single(dma_dev->dev, phys_addr, len, dir);
 252 err_buf:
 253         if (err != 0)
 254                 dev_warn(host->dev, "Fall back to CPU I/O\n");
 255         return err;
 256 }
 257
 258 static void atmel_read_buf(struct mtd_info *mtd, u8 *buf, int len)
 259 {
 260         struct nand_chip *chip = mtd->priv;
 261         struct atmel_nand_host *host = chip->priv;
 262
 263         if (use_dma && len > mtd->oobsize)
 264                 /* only use DMA for bigger than oob size: better performances */
 265                 if (atmel_nand_dma_op(mtd, buf, len, 1) == 0)
 266                         return;
 267
 268         if (host->board.bus_width_16)
 269                 atmel_read_buf16(mtd, buf, len);
 270         else
 271                 atmel_read_buf8(mtd, buf, len);
 272 }
 273
 274 static void atmel_write_buf(struct mtd_info *mtd, const u8 *buf, int len)
 275 {
 276         struct nand_chip *chip = mtd->priv;
 277         struct atmel_nand_host *host = chip->priv;
 278
 279         if (use_dma && len > mtd->oobsize)
 280                 /* only use DMA for bigger than oob size: better performances */
 281                 if (atmel_nand_dma_op(mtd, (void *)buf, len, 0) == 0)
 282                         return;
 283
 284         if (host->board.bus_width_16)
 285                 atmel_write_buf16(mtd, buf, len);
 286         else
 287                 atmel_write_buf8(mtd, buf, len);
 288 }
 289
 290 /*
 291  * Calculate HW ECC
 292  *
 293  * function called after a write
 294  *
 295  * mtd:        MTD block structure
 296  * dat:        raw data (unused)
 297  * ecc_code:   buffer for ECC
 298  */
 299 static int atmel_nand_calculate(struct mtd_info *mtd,
 300                 const u_char *dat, unsigned char *ecc_code)
 301 {
 302         struct nand_chip *nand_chip = mtd->priv;
 303         struct atmel_nand_host *host = nand_chip->priv;
 304         unsigned int ecc_value;
 305
 306         /* get the first 2 ECC bytes */
 307         ecc_value = ecc_readl(host->ecc, PR);
 308
 309         ecc_code[0] = ecc_value & 0xFF;
 310         ecc_code[1] = (ecc_value >> 8) & 0xFF;
 311
 312         /* get the last 2 ECC bytes */
 313         ecc_value = ecc_readl(host->ecc, NPR) & ATMEL_ECC_NPARITY;
 314
 315         ecc_code[2] = ecc_value & 0xFF;
 316         ecc_code[3] = (ecc_value >> 8) & 0xFF;
 317
 318         return 0;
 319 }
 320
 321 /*
 322  * HW ECC read page function
 323  *
 324  * mtd:        mtd info structure
 325  * chip:       nand chip info structure
 326  * buf:        buffer to store read data
 327  * oob_required:    caller expects OOB data read to chip->oob_poi
 328  */
 329 static int atmel_nand_read_page(struct mtd_info *mtd, struct nand_chip *chip,
 330                                 uint8_t *buf, int oob_required, int page)
 331 {
 332         int eccsize = chip->ecc.size;
 333         int eccbytes = chip->ecc.bytes;
 334         uint32_t *eccpos = chip->ecc.layout->eccpos;
 335         uint8_t *p = buf;
 336         uint8_t *oob = chip->oob_poi;
 337         uint8_t *ecc_pos;
 338         int stat;
 339         unsigned int max_bitflips = 0;
 340
 341         /*
 342          * Errata: ALE is incorrectly wired up to the ECC controller
 343          * on the AP7000, so it will include the address cycles in the
 344          * ECC calculation.
 345          *
 346          * Workaround: Reset the parity registers before reading the
 347          * actual data.
 348          */
 349         if (cpu_is_at32ap7000()) {
 350                 struct atmel_nand_host *host = chip->priv;
 351                 ecc_writel(host->ecc, CR, ATMEL_ECC_RST);
 352         }
 353
 354         /* read the page */
 355         chip->read_buf(mtd, p, eccsize);
 356
 357         /* move to ECC position if needed */
 358         if (eccpos[0] != 0) {
 359                 /* This only works on large pages
 360                  * because the ECC controller waits for
 361                  * NAND_CMD_RNDOUTSTART after the
 362                  * NAND_CMD_RNDOUT.
 363                  * anyway, for small pages, the eccpos[0] == 0
 364                  */
 365                 chip->cmdfunc(mtd, NAND_CMD_RNDOUT,
 366                                 mtd->writesize + eccpos[0], -1);
 367         }
 368
 369         /* the ECC controller needs to read the ECC just after the data */
 370         ecc_pos = oob + eccpos[0];
 371         chip->read_buf(mtd, ecc_pos, eccbytes);
 372
 373         /* check if there's an error */
 374         stat = chip->ecc.correct(mtd, p, oob, NULL);
 375
 376         if (stat < 0) {
 377                 mtd->ecc_stats.failed++;
 378         } else {
 379                 mtd->ecc_stats.corrected += stat;
 380                 max_bitflips = max_t(unsigned int, max_bitflips, stat);
 381         }
 382
 383         /* get back to oob start (end of page) */
 384         chip->cmdfunc(mtd, NAND_CMD_RNDOUT, mtd->writesize, -1);
 385
 386         /* read the oob */
 387         chip->read_buf(mtd, oob, mtd->oobsize);
 388
 389         return max_bitflips;
 390 }
 391
 392 /*
 393  * HW ECC Correction
 394  *
 395  * function called after a read
 396  *
 397  * mtd:        MTD block structure
 398  * dat:        raw data read from the chip
 399  * read_ecc:   ECC from the chip (unused)
 400  * isnull:     unused
 401  *
 402  * Detect and correct a 1 bit error for a page
 403  */
 404 static int atmel_nand_correct(struct mtd_info *mtd, u_char *dat,
 405                 u_char *read_ecc, u_char *isnull)
 406 {
 407         struct nand_chip *nand_chip = mtd->priv;
 408         struct atmel_nand_host *host = nand_chip->priv;
 409         unsigned int ecc_status;
 410         unsigned int ecc_word, ecc_bit;
 411
 412         /* get the status from the Status Register */
 413         ecc_status = ecc_readl(host->ecc, SR);
 414
 415         /* if there's no error */
 416         if (likely(!(ecc_status & ATMEL_ECC_RECERR)))
 417                 return 0;
 418
 419         /* get error bit offset (4 bits) */
 420         ecc_bit = ecc_readl(host->ecc, PR) & ATMEL_ECC_BITADDR;
 421         /* get word address (12 bits) */
 422         ecc_word = ecc_readl(host->ecc, PR) & ATMEL_ECC_WORDADDR;
 423         ecc_word >>= 4;
 424
 425         /* if there are multiple errors */
 426         if (ecc_status & ATMEL_ECC_MULERR) {
 427                 /* check if it is a freshly erased block
 428                  * (filled with 0xff) */
 429                 if ((ecc_bit == ATMEL_ECC_BITADDR)
 430                                 && (ecc_word == (ATMEL_ECC_WORDADDR >> 4))) {
 431                         /* the block has just been erased, return OK */
 432                         return 0;
 433                 }
 434                 /* it doesn't seems to be a freshly
 435                  * erased block.
 436                  * We can't correct so many errors */
 437                 dev_dbg(host->dev, "atmel_nand : multiple errors detected."
 438                                 " Unable to correct.\n");
 439                 return -EIO;
 440         }
 441
 442         /* if there's a single bit error : we can correct it */
 443         if (ecc_status & ATMEL_ECC_ECCERR) {
 444                 /* there's nothing much to do here.
 445                  * the bit error is on the ECC itself.
 446                  */
 447                 dev_dbg(host->dev, "atmel_nand : one bit error on ECC code."
 448                                 " Nothing to correct\n");
 449                 return 0;
 450         }
 451
 452         dev_dbg(host->dev, "atmel_nand : one bit error on data."
 453                         " (word offset in the page :"
 454                         " 0x%x bit offset : 0x%x)\n",
 455                         ecc_word, ecc_bit);
 456         /* correct the error */
 457         if (nand_chip->options & NAND_BUSWIDTH_16) {
 458                 /* 16 bits words */
 459                 ((unsigned short *) dat)[ecc_word] ^= (1 << ecc_bit);
 460         } else {
 461                 /* 8 bits words */
 462                 dat[ecc_word] ^= (1 << ecc_bit);
 463         }
 464         dev_dbg(host->dev, "atmel_nand : error corrected\n");
 465         return 1;
 466 }
 467
 468 /*
 469  * Enable HW ECC : unused on most chips
 470  */
 471 static void atmel_nand_hwctl(struct mtd_info *mtd, int mode)
 472 {
 473         if (cpu_is_at32ap7000()) {
 474                 struct nand_chip *nand_chip = mtd->priv;
 475                 struct atmel_nand_host *host = nand_chip->priv;
 476                 ecc_writel(host->ecc, CR, ATMEL_ECC_RST);
 477         }
 478 }
 479
 480 #if defined(CONFIG_OF)
 481 static int __devinit atmel_of_init_port(struct atmel_nand_host *host,
 482                                          struct device_node *np)
 483 {
 484         u32 val;
 485         int ecc_mode;
 486         struct atmel_nand_data *board = &host->board;
 487         enum of_gpio_flags flags;
 488
 489         if (of_property_read_u32(np, "atmel,nand-addr-offset", &val) == 0) {
 490                 if (val >= 32) {
 491                         dev_err(host->dev, "invalid addr-offset %u\n", val);
 492                         return -EINVAL;
 493                 }
 494                 board->ale = val;
 495         }
 496
 497         if (of_property_read_u32(np, "atmel,nand-cmd-offset", &val) == 0) {
 498                 if (val >= 32) {
 499                         dev_err(host->dev, "invalid cmd-offset %u\n", val);
 500                         return -EINVAL;
 501                 }
 502                 board->cle = val;
 503         }
 504
 505         ecc_mode = of_get_nand_ecc_mode(np);
 506
 507         board->ecc_mode = ecc_mode < 0 ? NAND_ECC_SOFT : ecc_mode;
 508
 509         board->on_flash_bbt = of_get_nand_on_flash_bbt(np);
 510
 511         if (of_get_nand_bus_width(np) == 16)
 512                 board->bus_width_16 = 1;
 513
 514         board->rdy_pin = of_get_gpio_flags(np, 0, &flags);
 515         board->rdy_pin_active_low = (flags == OF_GPIO_ACTIVE_LOW);
 516
 517         board->enable_pin = of_get_gpio(np, 1);
 518         board->det_pin = of_get_gpio(np, 2);
 519
 520         return 0;
 521 }
 522 #else
 523 static int __devinit atmel_of_init_port(struct atmel_nand_host *host,
 524                                          struct device_node *np)
 525 {
 526         return -EINVAL;
 527 }
 528 #endif
 529
 530 static int __init atmel_hw_nand_init_params(struct platform_device *pdev,
 531                                          struct atmel_nand_host *host)
 532 {
 533         struct mtd_info *mtd = &host->mtd;
 534         struct nand_chip *nand_chip = &host->nand_chip;
 535         struct resource         *regs;
 536
 537         regs = platform_get_resource(pdev, IORESOURCE_MEM, 1);
 538         if (!regs) {
 539                 dev_err(host->dev,
 540                         "Can't get I/O resource regs, use software ECC\n");
 541                 nand_chip->ecc.mode = NAND_ECC_SOFT;
 542                 return 0;
 543         }
 544
 545         host->ecc = ioremap(regs->start, resource_size(regs));
 546         if (host->ecc == NULL) {
 547                 dev_err(host->dev, "ioremap failed\n");
 548                 return -EIO;
 549         }
 550
 551         /* ECC is calculated for the whole page (1 step) */
 552         nand_chip->ecc.size = mtd->writesize;
 553
 554         /* set ECC page size and oob layout */
 555         switch (mtd->writesize) {
 556         case 512:
 557                 nand_chip->ecc.layout = &atmel_oobinfo_small;
 558                 ecc_writel(host->ecc, MR, ATMEL_ECC_PAGESIZE_528);
 559                 break;
 560         case 1024:
 561                 nand_chip->ecc.layout = &atmel_oobinfo_large;
 562                 ecc_writel(host->ecc, MR, ATMEL_ECC_PAGESIZE_1056);
 563                 break;
 564         case 2048:
 565                 nand_chip->ecc.layout = &atmel_oobinfo_large;
 566                 ecc_writel(host->ecc, MR, ATMEL_ECC_PAGESIZE_2112);
 567                 break;
 568         case 4096:
 569                 nand_chip->ecc.layout = &atmel_oobinfo_large;
 570                 ecc_writel(host->ecc, MR, ATMEL_ECC_PAGESIZE_4224);
 571                 break;
 572         default:
 573                 /* page size not handled by HW ECC */
 574                 /* switching back to soft ECC */
 575                 nand_chip->ecc.mode = NAND_ECC_SOFT;
 576                 return 0;
 577         }
 578
 579         /* set up for HW ECC */
 580         nand_chip->ecc.calculate = atmel_nand_calculate;
 581         nand_chip->ecc.correct = atmel_nand_correct;
 582         nand_chip->ecc.hwctl = atmel_nand_hwctl;
 583         nand_chip->ecc.read_page = atmel_nand_read_page;
 584         nand_chip->ecc.bytes = 4;
 585         nand_chip->ecc.strength = 1;
 586
 587         return 0;
 588 }
 589
 590 /*
 591  * Probe for the NAND device.
 592  */
 593 static int __init atmel_nand_probe(struct platform_device *pdev)
 594 {
 595         struct atmel_nand_host *host;
 596         struct mtd_info *mtd;
 597         struct nand_chip *nand_chip;
 598         struct resource *mem;
 599         struct mtd_part_parser_data ppdata = {};
 600         int res;
 601
 602         mem = platform_get_resource(pdev, IORESOURCE_MEM, 0);
 603         if (!mem) {
 604                 printk(KERN_ERR "atmel_nand: can't get I/O resource mem\n");
 605                 return -ENXIO;
 606         }
 607
 608         /* Allocate memory for the device structure (and zero it) */
 609         host = kzalloc(sizeof(struct atmel_nand_host), GFP_KERNEL);
 610         if (!host) {
 611                 printk(KERN_ERR "atmel_nand: failed to allocate device structure.\n");
 612                 return -ENOMEM;
 613         }
 614
 615         host->io_phys = (dma_addr_t)mem->start;
 616
 617         host->io_base = ioremap(mem->start, resource_size(mem));
 618         if (host->io_base == NULL) {
 619                 printk(KERN_ERR "atmel_nand: ioremap failed\n");
 620                 res = -EIO;
 621                 goto err_nand_ioremap;
 622         }
 623
 624         mtd = &host->mtd;
 625         nand_chip = &host->nand_chip;
 626         host->dev = &pdev->dev;
 627         if (pdev->dev.of_node) {
 628                 res = atmel_of_init_port(host, pdev->dev.of_node);
 629                 if (res)
 630                         goto err_nand_ioremap;
 631         } else {
 632                 memcpy(&host->board, pdev->dev.platform_data,
 633                        sizeof(struct atmel_nand_data));
 634         }
 635
 636         nand_chip->priv = host;         /* link the private data structures */
 637         mtd->priv = nand_chip;
 638         mtd->owner = THIS_MODULE;
 639
 640         /* Set address of NAND IO lines */
 641         nand_chip->IO_ADDR_R = host->io_base;
 642         nand_chip->IO_ADDR_W = host->io_base;
 643         nand_chip->cmd_ctrl = atmel_nand_cmd_ctrl;
 644
 645         if (gpio_is_valid(host->board.rdy_pin))
 646                 nand_chip->dev_ready = atmel_nand_device_ready;
 647
 648         nand_chip->ecc.mode = host->board.ecc_mode;
 649         nand_chip->chip_delay = 20;             /* 20us command delay time */
 650
 651         if (host->board.bus_width_16)   /* 16-bit bus width */
 652                 nand_chip->options |= NAND_BUSWIDTH_16;
 653
 654         nand_chip->read_buf = atmel_read_buf;
 655         nand_chip->write_buf = atmel_write_buf;
 656
 657         platform_set_drvdata(pdev, host);
 658         atmel_nand_enable(host);
 659
 660         if (gpio_is_valid(host->board.det_pin)) {
 661                 if (gpio_get_value(host->board.det_pin)) {
 662                         printk(KERN_INFO "No SmartMedia card inserted.\n");
 663                         res = -ENXIO;
 664                         goto err_no_card;
 665                 }
 666         }
 667
 668         if (host->board.on_flash_bbt || on_flash_bbt) {
 669                 printk(KERN_INFO "atmel_nand: Use On Flash BBT\n");
 670                 nand_chip->bbt_options |= NAND_BBT_USE_FLASH;
 671         }
 672
 673         if (!cpu_has_dma())
 674                 use_dma = 0;
 675
 676         if (use_dma) {
 677                 dma_cap_mask_t mask;
 678
 679                 dma_cap_zero(mask);
 680                 dma_cap_set(DMA_MEMCPY, mask);
 681                 host->dma_chan = dma_request_channel(mask, NULL, NULL);
 682                 if (!host->dma_chan) {
 683                         dev_err(host->dev, "Failed to request DMA channel\n");
 684                         use_dma = 0;
 685                 }
 686         }
 687         if (use_dma)
 688                 dev_info(host->dev, "Using %s for DMA transfers.\n",
 689                                         dma_chan_name(host->dma_chan));
 690         else
 691                 dev_info(host->dev, "No DMA support for NAND access.\n");
 692
 693         /* first scan to find the device and get the page size */
 694         if (nand_scan_ident(mtd, 1, NULL)) {
 695                 res = -ENXIO;
 696                 goto err_scan_ident;
 697         }
 698
 699         if (nand_chip->ecc.mode == NAND_ECC_HW) {
 700                 res = atmel_hw_nand_init_params(pdev, host);
 701                 if (res != 0)
 702                         goto err_hw_ecc;
 703         }
 704
 705         /* second phase scan */
 706         if (nand_scan_tail(mtd)) {
 707                 res = -ENXIO;
 708                 goto err_scan_tail;
 709         }
 710
 711         mtd->name = "atmel_nand";
 712         ppdata.of_node = pdev->dev.of_node;
 713         res = mtd_device_parse_register(mtd, NULL, &ppdata,
 714                         host->board.parts, host->board.num_parts);
 715         if (!res)
 716                 return res;
 717
 718 err_scan_tail:
 719         if (host->ecc)
 720                 iounmap(host->ecc);
 721 err_hw_ecc:
 722 err_scan_ident:
 723 err_no_card:
 724         atmel_nand_disable(host);
 725         platform_set_drvdata(pdev, NULL);
 726         if (host->dma_chan)
 727                 dma_release_channel(host->dma_chan);
 728         iounmap(host->io_base);
 729 err_nand_ioremap:
 730         kfree(host);
 731         return res;
 732 }
 733
 734 /*
 735  * Remove a NAND device.
 736  */
 737 static int __exit atmel_nand_remove(struct platform_device *pdev)
 738 {
 739         struct atmel_nand_host *host = platform_get_drvdata(pdev);
 740         struct mtd_info *mtd = &host->mtd;
 741
 742         nand_release(mtd);
 743
 744         atmel_nand_disable(host);
 745
 746         if (host->ecc)
 747                 iounmap(host->ecc);
 748
 749         if (host->dma_chan)
 750                 dma_release_channel(host->dma_chan);
 751
 752         iounmap(host->io_base);
 753         kfree(host);
 754
 755         return 0;
 756 }
 757
 758 #if defined(CONFIG_OF)
 759 static const struct of_device_id atmel_nand_dt_ids[] = {
 760         { .compatible = "atmel,at91rm9200-nand" },
 761         { /* sentinel */ }
 762 };
 763
 764 MODULE_DEVICE_TABLE(of, atmel_nand_dt_ids);
 765 #endif
 766
 767 static struct platform_driver atmel_nand_driver = {
 768         .remove         = __exit_p(atmel_nand_remove),
 769         .driver         = {
 770                 .name   = "atmel_nand",
 771                 .owner  = THIS_MODULE,
 772                 .of_match_table = of_match_ptr(atmel_nand_dt_ids),
 773         },
 774 };
 775
 776 static int __init atmel_nand_init(void)
 777 {
 778         return platform_driver_probe(&atmel_nand_driver, atmel_nand_probe);
 779 }
 780
 781
 782 static void __exit atmel_nand_exit(void)
 783 {
 784         platform_driver_unregister(&atmel_nand_driver);
 785 }
 786
 787
 788 module_init(atmel_nand_init);
 789 module_exit(atmel_nand_exit);
 790
 791 MODULE_LICENSE("GPL");
 792 MODULE_AUTHOR("Rick Bronson");
 793 MODULE_DESCRIPTION("NAND/SmartMedia driver for AT91 / AVR32");
 794 MODULE_ALIAS("platform:atmel_nand");