agp: fix OOM and buffer overflow
authorVasiliy Kulikov <segoon@openwall.com>
Thu, 14 Apr 2011 16:55:19 +0000 (20:55 +0400)
committerDave Airlie <airlied@redhat.com>
Thu, 21 Apr 2011 01:51:04 +0000 (11:51 +1000)
commitb522f02184b413955f3bc952e3776ce41edc6355
tree3141d04c93d5342c06e54bbba389b646a005cb04
parent204ae24dc71f794aaad4df48a0083dfedc711afb
agp: fix OOM and buffer overflow

page_count is copied from userspace.  agp_allocate_memory() tries to
check whether this number is too big, but doesn't take into account the
wrap case.  Also agp_create_user_memory() doesn't check whether
alloc_size is calculated from num_agp_pages variable without overflow.
This may lead to allocation of too small buffer with following buffer
overflow.

Another problem in agp code is not addressed in the patch - kernel memory
exhaustion (AGPIOC_RESERVE and AGPIOC_ALLOCATE ioctls).  It is not checked
whether requested pid is a pid of the caller (no check in agpioc_reserve_wrap()).
Each allocation is limited to 16KB, though, there is no per-process limit.
This might lead to OOM situation, which is not even solved in case of the
caller death by OOM killer - the memory is allocated for another (faked) process.

Signed-off-by: Vasiliy Kulikov <segoon@openwall.com>
Signed-off-by: Dave Airlie <airlied@redhat.com>
drivers/char/agp/generic.c