[POWERPC] Fix G5 DART (IOMMU) race causing occasional data corruption
authorBenjamin Herrenschmidt <benh@kernel.crashing.org>
Wed, 13 Sep 2006 12:12:52 +0000 (22:12 +1000)
committerPaul Mackerras <paulus@samba.org>
Wed, 13 Sep 2006 12:12:52 +0000 (22:12 +1000)
It seems that the occasional data corruption observed with the tg3
driver wasn't due to missing barriers after all, but rather seems to
be due to the DART (= IOMMU) in the U4 northbridge reading stale
IOMMU table entries from memory due to a race.  This fixes it by
making the CPU read the entry back from memory before using it.

Signed-off-by: Benjamin Herrenschmidt <benh@kernel.crashing.org>
Signed-off-by: Paul Mackerras <paulus@samba.org>
arch/powerpc/sysdev/dart_iommu.c

index e32fadde1f7746c92c1231a6161fa949de3a534f..03b4477dd7f0a88e4e6ac0797a9a3c4d29cda7bf 100644 (file)
@@ -139,6 +139,7 @@ wait_more:
 
 static void dart_flush(struct iommu_table *tbl)
 {
+       mb();
        if (dart_dirty) {
                dart_tlb_invalidate_all();
                dart_dirty = 0;
@@ -172,9 +173,13 @@ static void dart_build(struct iommu_table *tbl, long index,
                uaddr += DART_PAGE_SIZE;
        }
 
+       /* make sure all updates have reached memory */
+       mb();
+       in_be32((unsigned __iomem *)dp);
+       mb();
+
        if (dart_is_u4) {
                rpn = index;
-               mb(); /* make sure all updates have reached memory */
                while (npages--)
                        dart_tlb_invalidate_one(rpn++);
        } else {