x86: optimize find_first_bit for small bitmaps
authorAlexander van Heukelum <heukelum@mailshack.com>
Tue, 1 Apr 2008 15:42:21 +0000 (17:42 +0200)
committerIngo Molnar <mingo@elte.hu>
Sat, 26 Apr 2008 17:21:17 +0000 (19:21 +0200)
Avoid a call to find_first_bit if the bitmap size is know at
compile time and small enough to fit in a single long integer.
Modeled after an optimization in the original x86_64-specific
code.

Signed-off-by: Alexander van Heukelum <heukelum@fastmail.fm>
Signed-off-by: Ingo Molnar <mingo@elte.hu>
include/linux/bitops.h

index 355d67ba3bdc66de8c190e1eb87180bfedf419f3..48bde600a2dbcf652715d0c97b4da756ceffad3d 100644 (file)
@@ -127,6 +127,20 @@ extern unsigned long __find_first_bit(const unsigned long *addr,
 static __always_inline unsigned long
 find_first_bit(const unsigned long *addr, unsigned long size)
 {
+       /* Avoid a function call if the bitmap size is a constant */
+       /* and not bigger than BITS_PER_LONG. */
+
+       /* insert a sentinel so that __ffs returns size if there */
+       /* are no set bits in the bitmap */
+       if (__builtin_constant_p(size) && (size < BITS_PER_LONG))
+               return __ffs((*addr) | (1ul << size));
+
+       /* the result of __ffs(0) is undefined, so it needs to be */
+       /* handled separately */
+       if (__builtin_constant_p(size) && (size == BITS_PER_LONG))
+               return ((*addr) == 0) ? BITS_PER_LONG : __ffs(*addr);
+
+       /* size is not constant or too big */
        return __find_first_bit(addr, size);
 }
 
@@ -143,6 +157,21 @@ extern unsigned long __find_first_zero_bit(const unsigned long *addr,
 static __always_inline unsigned long
 find_first_zero_bit(const unsigned long *addr, unsigned long size)
 {
+       /* Avoid a function call if the bitmap size is a constant */
+       /* and not bigger than BITS_PER_LONG. */
+
+       /* insert a sentinel so that __ffs returns size if there */
+       /* are no set bits in the bitmap */
+       if (__builtin_constant_p(size) && (size < BITS_PER_LONG)) {
+               return __ffs(~(*addr) | (1ul << size));
+       }
+
+       /* the result of __ffs(0) is undefined, so it needs to be */
+       /* handled separately */
+       if (__builtin_constant_p(size) && (size == BITS_PER_LONG))
+               return (~(*addr) == 0) ? BITS_PER_LONG : __ffs(~(*addr));
+
+       /* size is not constant or too big */
        return __find_first_zero_bit(addr, size);
 }
 #endif /* CONFIG_GENERIC_FIND_FIRST_BIT */