Fix a potential serious problem where kills belonging to the val# defined by a two...
[oota-llvm.git] / lib / CodeGen / IntrinsicLowering.cpp
index 359ca00000270b56de02ba38e1b8e71c564bac4a..5c0484f2a7ffa96923b885d586769078058acbb8 100644 (file)
@@ -2,8 +2,8 @@
 //
 //                     The LLVM Compiler Infrastructure
 //
-// This file was developed by the LLVM research group and is distributed under
-// the University of Illinois Open Source License. See LICENSE.TXT for details.
+// This file is distributed under the University of Illinois Open Source
+// License. See LICENSE.TXT for details.
 //
 //===----------------------------------------------------------------------===//
 //
@@ -20,6 +20,7 @@
 #include "llvm/Support/Streams.h"
 #include "llvm/Target/TargetData.h"
 #include "llvm/ADT/SmallVector.h"
+#include "llvm/ADT/STLExtras.h"
 using namespace llvm;
 
 template <class ArgIt>
@@ -53,8 +54,8 @@ static CallInst *ReplaceCallWith(const char *NewFn, CallInst *CI,
                                     FunctionType::get(RetTy, ParamTys, false));
   }
 
-  SmallVector<Value*, 8> Operands(ArgBegin, ArgEnd);
-  CallInst *NewCI = new CallInst(FCache, &Operands[0], Operands.size(),
+  SmallVector<Value *, 8> Args(ArgBegin, ArgEnd);
+  CallInst *NewCI = new CallInst(FCache, Args.begin(), Args.end(),
                                  CI->getName(), CI);
   if (!CI->use_empty())
     CI->replaceAllUsesWith(NewCI);
@@ -80,32 +81,84 @@ void IntrinsicLowering::AddPrototypes(Module &M) {
         break;
       case Intrinsic::memcpy_i32:
       case Intrinsic::memcpy_i64:
-        M.getOrInsertFunction("memcpy", PointerType::get(Type::Int8Ty),
-                              PointerType::get(Type::Int8Ty), 
-                              PointerType::get(Type::Int8Ty), 
+        M.getOrInsertFunction("memcpy", PointerType::getUnqual(Type::Int8Ty),
+                              PointerType::getUnqual(Type::Int8Ty), 
+                              PointerType::getUnqual(Type::Int8Ty), 
                               TD.getIntPtrType(), (Type *)0);
         break;
       case Intrinsic::memmove_i32:
       case Intrinsic::memmove_i64:
-        M.getOrInsertFunction("memmove", PointerType::get(Type::Int8Ty),
-                              PointerType::get(Type::Int8Ty), 
-                              PointerType::get(Type::Int8Ty), 
+        M.getOrInsertFunction("memmove", PointerType::getUnqual(Type::Int8Ty),
+                              PointerType::getUnqual(Type::Int8Ty), 
+                              PointerType::getUnqual(Type::Int8Ty), 
                               TD.getIntPtrType(), (Type *)0);
         break;
       case Intrinsic::memset_i32:
       case Intrinsic::memset_i64:
-        M.getOrInsertFunction("memset", PointerType::get(Type::Int8Ty),
-                              PointerType::get(Type::Int8Ty), Type::Int32Ty, 
+        M.getOrInsertFunction("memset", PointerType::getUnqual(Type::Int8Ty),
+                              PointerType::getUnqual(Type::Int8Ty), 
+                              Type::Int32Ty, 
                               TD.getIntPtrType(), (Type *)0);
         break;
-      case Intrinsic::sqrt_f32:
-      case Intrinsic::sqrt_f64:
-        if(I->arg_begin()->getType() == Type::FloatTy)
+      case Intrinsic::sqrt:
+        switch((int)I->arg_begin()->getType()->getTypeID()) {
+        case Type::FloatTyID:
           EnsureFunctionExists(M, "sqrtf", I->arg_begin(), I->arg_end(),
                                Type::FloatTy);
-        else
+        case Type::DoubleTyID:
           EnsureFunctionExists(M, "sqrt", I->arg_begin(), I->arg_end(),
                                Type::DoubleTy);
+        case Type::X86_FP80TyID:
+        case Type::FP128TyID:
+        case Type::PPC_FP128TyID:
+          EnsureFunctionExists(M, "sqrtl", I->arg_begin(), I->arg_end(),
+                               I->arg_begin()->getType());
+        }
+        break;
+      case Intrinsic::sin:
+        switch((int)I->arg_begin()->getType()->getTypeID()) {
+        case Type::FloatTyID:
+          EnsureFunctionExists(M, "sinf", I->arg_begin(), I->arg_end(),
+                               Type::FloatTy);
+        case Type::DoubleTyID:
+          EnsureFunctionExists(M, "sin", I->arg_begin(), I->arg_end(),
+                               Type::DoubleTy);
+        case Type::X86_FP80TyID:
+        case Type::FP128TyID:
+        case Type::PPC_FP128TyID:
+          EnsureFunctionExists(M, "sinl", I->arg_begin(), I->arg_end(),
+                               I->arg_begin()->getType());
+        }
+        break;
+      case Intrinsic::cos:
+        switch((int)I->arg_begin()->getType()->getTypeID()) {
+        case Type::FloatTyID:
+          EnsureFunctionExists(M, "cosf", I->arg_begin(), I->arg_end(),
+                               Type::FloatTy);
+        case Type::DoubleTyID:
+          EnsureFunctionExists(M, "cos", I->arg_begin(), I->arg_end(),
+                               Type::DoubleTy);
+        case Type::X86_FP80TyID:
+        case Type::FP128TyID:
+        case Type::PPC_FP128TyID:
+          EnsureFunctionExists(M, "cosl", I->arg_begin(), I->arg_end(),
+                               I->arg_begin()->getType());
+        }
+        break;
+      case Intrinsic::pow:
+        switch((int)I->arg_begin()->getType()->getTypeID()) {
+        case Type::FloatTyID:
+          EnsureFunctionExists(M, "powf", I->arg_begin(), I->arg_end(),
+                               Type::FloatTy);
+        case Type::DoubleTyID:
+          EnsureFunctionExists(M, "pow", I->arg_begin(), I->arg_end(),
+                               Type::DoubleTy);
+        case Type::X86_FP80TyID:
+        case Type::FP128TyID:
+        case Type::PPC_FP128TyID:
+          EnsureFunctionExists(M, "powl", I->arg_begin(), I->arg_end(),
+                               I->arg_begin()->getType());
+        }
         break;
       }
 }
@@ -144,7 +197,7 @@ static Value *LowerBSWAP(Value *V, Instruction *IP) {
                                      "bswap.and2", IP);
     Tmp4 = BinaryOperator::createOr(Tmp4, Tmp3, "bswap.or1", IP);
     Tmp2 = BinaryOperator::createOr(Tmp2, Tmp1, "bswap.or2", IP);
-    V = BinaryOperator::createOr(Tmp4, Tmp3, "bswap.i32", IP);
+    V = BinaryOperator::createOr(Tmp4, Tmp2, "bswap.i32", IP);
     break;
   }
   case 64: {
@@ -208,17 +261,30 @@ static Value *LowerCTPOP(Value *V, Instruction *IP) {
   };
 
   unsigned BitSize = V->getType()->getPrimitiveSizeInBits();
-
-  for (unsigned i = 1, ct = 0; i != BitSize; i <<= 1, ++ct) {
-    Value *MaskCst = ConstantInt::get(V->getType(), MaskValues[ct]);
-    Value *LHS = BinaryOperator::createAnd(V, MaskCst, "cppop.and1", IP);
-    Value *VShift = BinaryOperator::createLShr(V,
-                      ConstantInt::get(V->getType(), i), "ctpop.sh", IP);
-    Value *RHS = BinaryOperator::createAnd(VShift, MaskCst, "cppop.and2", IP);
-    V = BinaryOperator::createAdd(LHS, RHS, "ctpop.step", IP);
+  unsigned WordSize = (BitSize + 63) / 64;
+  Value *Count = ConstantInt::get(V->getType(), 0);
+
+  for (unsigned n = 0; n < WordSize; ++n) {
+    Value *PartValue = V;
+    for (unsigned i = 1, ct = 0; i < (BitSize>64 ? 64 : BitSize); 
+         i <<= 1, ++ct) {
+      Value *MaskCst = ConstantInt::get(V->getType(), MaskValues[ct]);
+      Value *LHS = BinaryOperator::createAnd(
+                     PartValue, MaskCst, "cppop.and1", IP);
+      Value *VShift = BinaryOperator::createLShr(PartValue,
+                        ConstantInt::get(V->getType(), i), "ctpop.sh", IP);
+      Value *RHS = BinaryOperator::createAnd(VShift, MaskCst, "cppop.and2", IP);
+      PartValue = BinaryOperator::createAdd(LHS, RHS, "ctpop.step", IP);
+    }
+    Count = BinaryOperator::createAdd(PartValue, Count, "ctpop.part", IP);
+    if (BitSize > 64) {
+      V = BinaryOperator::createLShr(V, ConstantInt::get(V->getType(), 64), 
+                                     "ctpop.part.sh", IP);
+      BitSize -= 64;
+    }
   }
 
-  return CastInst::createIntegerCast(V, Type::Int32Ty, false, "ctpop", IP);
+  return Count;
 }
 
 /// LowerCTLZ - Emit the code to lower ctlz of V before the specified
@@ -226,7 +292,7 @@ static Value *LowerCTPOP(Value *V, Instruction *IP) {
 static Value *LowerCTLZ(Value *V, Instruction *IP) {
 
   unsigned BitSize = V->getType()->getPrimitiveSizeInBits();
-  for (unsigned i = 1; i != BitSize; i <<= 1) {
+  for (unsigned i = 1; i < BitSize; i <<= 1) {
     Value *ShVal = ConstantInt::get(V->getType(), i);
     ShVal = BinaryOperator::createLShr(V, ShVal, "ctlz.sh", IP);
     V = BinaryOperator::createOr(V, ShVal, "ctlz.step", IP);
@@ -236,14 +302,17 @@ static Value *LowerCTLZ(Value *V, Instruction *IP) {
   return LowerCTPOP(V, IP);
 }
 
-/// Convert the llvm.bit.part_select.iX.iY.iZ intrinsic. This intrinsic takes 
-/// three integer operands of arbitrary bit width. The first operand is the 
-/// value from which to select the bits. The second and third operands define a 
-/// range of bits to select.  The result is the bits selected and has a 
-/// corresponding width of Left-Right (second operand - third operand).
-/// @see IEEE 1666-2005, System C, Section 7.2.6, pg 175. 
-/// @brief Lowering of llvm.bit.part_select intrinsic.
-static Instruction *LowerBitPartSelect(CallInst *CI) {
+/// Convert the llvm.part.select.iX.iY intrinsic. This intrinsic takes 
+/// three integer arguments. The first argument is the Value from which the
+/// bits will be selected. It may be of any bit width. The second and third
+/// arguments specify a range of bits to select with the second argument 
+/// specifying the low bit and the third argument specifying the high bit. Both
+/// must be type i32. The result is the corresponding selected bits from the
+/// Value in the same width as the Value (first argument). If the low bit index
+/// is higher than the high bit index then the inverse selection is done and 
+/// the bits are returned in inverse order. 
+/// @brief Lowering of llvm.part.select intrinsic.
+static Instruction *LowerPartSelect(CallInst *CI) {
   // Make sure we're dealing with a part select intrinsic here
   Function *F = CI->getCalledFunction();
   const FunctionType *FT = F->getFunctionType();
@@ -261,19 +330,20 @@ static Instruction *LowerBitPartSelect(CallInst *CI) {
       Name[i] = '_';
   Module* M = F->getParent();
   F = cast<Function>(M->getOrInsertFunction(Name, FT));
-  F->setLinkage(GlobalValue::InternalLinkage);
+  F->setLinkage(GlobalValue::WeakLinkage);
 
   // If we haven't defined the impl function yet, do so now
   if (F->isDeclaration()) {
 
     // Get the arguments to the function
-    Value* Val = F->getOperand(0);
-    Value* Left = F->getOperand(1);
-    Value* Right = F->getOperand(2);
-
-    // We want to select a range of bits here such that [Left, Right] is shifted
-    // down to the low bits. However, it is quite possible that Left is smaller
-    // than Right in which case the bits have to be reversed. 
+    Function::arg_iterator args = F->arg_begin();
+    Value* Val = args++; Val->setName("Val");
+    Value* Lo = args++; Lo->setName("Lo");
+    Value* Hi  = args++; Hi->setName("High");
+
+    // We want to select a range of bits here such that [Hi, Lo] is shifted
+    // down to the low bits. However, it is quite possible that Hi is smaller
+    // than Lo in which case the bits have to be reversed. 
     
     // Create the blocks we will need for the two cases (forward, reverse)
     BasicBlock* CurBB   = new BasicBlock("entry", F);
@@ -283,12 +353,12 @@ static Instruction *LowerBitPartSelect(CallInst *CI) {
     BasicBlock *Reverse = new BasicBlock("reverse", CurBB->getParent());
     BasicBlock *RsltBlk = new BasicBlock("result",  CurBB->getParent());
 
-    // Cast Left and Right to the size of Val so the widths are all the same
-    if (Left->getType() != Val->getType())
-      Left = CastInst::createIntegerCast(Left, Val->getType(), false, 
+    // Cast Hi and Lo to the size of Val so the widths are all the same
+    if (Hi->getType() != Val->getType())
+      Hi = CastInst::createIntegerCast(Hi, Val->getType(), false, 
                                          "tmp", CurBB);
-    if (Right->getType() != Val->getType())
-      Right = CastInst::createIntegerCast(Right, Val->getType(), false, 
+    if (Lo->getType() != Val->getType())
+      Lo = CastInst::createIntegerCast(Lo, Val->getType(), false, 
                                           "tmp", CurBB);
 
     // Compute a few things that both cases will need, up front.
@@ -296,23 +366,23 @@ static Instruction *LowerBitPartSelect(CallInst *CI) {
     Constant* One = ConstantInt::get(Val->getType(), 1);
     Constant* AllOnes = ConstantInt::getAllOnesValue(Val->getType());
 
-    // Compare the Left and Right bit positions. This is used to determine 
+    // Compare the Hi and Lo bit positions. This is used to determine 
     // which case we have (forward or reverse)
-    ICmpInst *Cmp = new ICmpInst(ICmpInst::ICMP_ULT, Left, Right, "less",CurBB);
+    ICmpInst *Cmp = new ICmpInst(ICmpInst::ICMP_ULT, Hi, Lo, "less",CurBB);
     new BranchInst(RevSize, FwdSize, Cmp, CurBB);
 
     // First, copmute the number of bits in the forward case.
     Instruction* FBitSize = 
-      BinaryOperator::createSub(Left, Right,"fbits", FwdSize);
+      BinaryOperator::createSub(Hi, Lo,"fbits", FwdSize);
     new BranchInst(Compute, FwdSize);
 
     // Second, compute the number of bits in the reverse case.
     Instruction* RBitSize = 
-      BinaryOperator::createSub(Right, Left, "rbits", RevSize);
+      BinaryOperator::createSub(Lo, Hi, "rbits", RevSize);
     new BranchInst(Compute, RevSize);
 
     // Now, compute the bit range. Start by getting the bitsize and the shift
-    // amount (either Left or Right) from PHI nodes. Then we compute a mask for 
+    // amount (either Hi or Lo) from PHI nodes. Then we compute a mask for 
     // the number of bits we want in the range. We shift the bits down to the 
     // least significant bits, apply the mask to zero out unwanted high bits, 
     // and we have computed the "forward" result. It may still need to be 
@@ -324,11 +394,11 @@ static Instruction *LowerBitPartSelect(CallInst *CI) {
     BitSize->addIncoming(FBitSize, FwdSize);
     BitSize->addIncoming(RBitSize, RevSize);
 
-    // Get the ShiftAmount as the smaller of Left/Right
+    // Get the ShiftAmount as the smaller of Hi/Lo
     PHINode *ShiftAmt = new PHINode(Val->getType(), "shiftamt", Compute);
     ShiftAmt->reserveOperandSpace(2);
-    ShiftAmt->addIncoming(Right, FwdSize);
-    ShiftAmt->addIncoming(Left, RevSize);
+    ShiftAmt->addIncoming(Lo, FwdSize);
+    ShiftAmt->addIncoming(Hi, RevSize);
 
     // Increment the bit size
     Instruction *BitSizePlusOne = 
@@ -399,11 +469,178 @@ static Instruction *LowerBitPartSelect(CallInst *CI) {
   }
 
   // Return a call to the implementation function
-  Value *Args[3];
-  Args[0] = CI->getOperand(0);
-  Args[1] = CI->getOperand(1);
-  Args[2] = CI->getOperand(2);
-  return new CallInst(F, Args, 3, CI->getName(), CI);
+  Value *Args[] = {
+    CI->getOperand(1),
+    CI->getOperand(2),
+    CI->getOperand(3)
+  };
+  return new CallInst(F, Args, array_endof(Args), CI->getName(), CI);
+}
+
+/// Convert the llvm.part.set.iX.iY.iZ intrinsic. This intrinsic takes 
+/// four integer arguments (iAny %Value, iAny %Replacement, i32 %Low, i32 %High)
+/// The first two arguments can be any bit width. The result is the same width
+/// as %Value. The operation replaces bits between %Low and %High with the value
+/// in %Replacement. If %Replacement is not the same width, it is truncated or
+/// zero extended as appropriate to fit the bits being replaced. If %Low is
+/// greater than %High then the inverse set of bits are replaced.
+/// @brief Lowering of llvm.bit.part.set intrinsic.
+static Instruction *LowerPartSet(CallInst *CI) {
+  // Make sure we're dealing with a part select intrinsic here
+  Function *F = CI->getCalledFunction();
+  const FunctionType *FT = F->getFunctionType();
+  if (!F->isDeclaration() || !FT->getReturnType()->isInteger() ||
+      FT->getNumParams() != 4 || !FT->getParamType(0)->isInteger() ||
+      !FT->getParamType(1)->isInteger() || !FT->getParamType(2)->isInteger() ||
+      !FT->getParamType(3)->isInteger())
+    return CI;
+
+  // Get the intrinsic implementation function by converting all the . to _
+  // in the intrinsic's function name and then reconstructing the function
+  // declaration.
+  std::string Name(F->getName());
+  for (unsigned i = 4; i < Name.length(); ++i)
+    if (Name[i] == '.')
+      Name[i] = '_';
+  Module* M = F->getParent();
+  F = cast<Function>(M->getOrInsertFunction(Name, FT));
+  F->setLinkage(GlobalValue::WeakLinkage);
+
+  // If we haven't defined the impl function yet, do so now
+  if (F->isDeclaration()) {
+    // Get the arguments for the function.
+    Function::arg_iterator args = F->arg_begin();
+    Value* Val = args++; Val->setName("Val");
+    Value* Rep = args++; Rep->setName("Rep");
+    Value* Lo  = args++; Lo->setName("Lo");
+    Value* Hi  = args++; Hi->setName("Hi");
+
+    // Get some types we need
+    const IntegerType* ValTy = cast<IntegerType>(Val->getType());
+    const IntegerType* RepTy = cast<IntegerType>(Rep->getType());
+    uint32_t ValBits = ValTy->getBitWidth();
+    uint32_t RepBits = RepTy->getBitWidth();
+
+    // Constant Definitions
+    ConstantInt* RepBitWidth = ConstantInt::get(Type::Int32Ty, RepBits);
+    ConstantInt* RepMask = ConstantInt::getAllOnesValue(RepTy);
+    ConstantInt* ValMask = ConstantInt::getAllOnesValue(ValTy);
+    ConstantInt* One = ConstantInt::get(Type::Int32Ty, 1);
+    ConstantInt* ValOne = ConstantInt::get(ValTy, 1);
+    ConstantInt* Zero = ConstantInt::get(Type::Int32Ty, 0);
+    ConstantInt* ValZero = ConstantInt::get(ValTy, 0);
+
+    // Basic blocks we fill in below.
+    BasicBlock* entry = new BasicBlock("entry", F, 0);
+    BasicBlock* large = new BasicBlock("large", F, 0);
+    BasicBlock* small = new BasicBlock("small", F, 0);
+    BasicBlock* reverse = new BasicBlock("reverse", F, 0);
+    BasicBlock* result = new BasicBlock("result", F, 0);
+
+    // BASIC BLOCK: entry
+    // First, get the number of bits that we're placing as an i32
+    ICmpInst* is_forward = 
+      new ICmpInst(ICmpInst::ICMP_ULT, Lo, Hi, "", entry);
+    SelectInst* Hi_pn = new SelectInst(is_forward, Hi, Lo, "", entry);
+    SelectInst* Lo_pn = new SelectInst(is_forward, Lo, Hi, "", entry);
+    BinaryOperator* NumBits = BinaryOperator::createSub(Hi_pn, Lo_pn, "",entry);
+    NumBits = BinaryOperator::createAdd(NumBits, One, "", entry);
+    // Now, convert Lo and Hi to ValTy bit width
+    if (ValBits > 32) {
+      Lo = new ZExtInst(Lo_pn, ValTy, "", entry);
+    } else if (ValBits < 32) {
+      Lo = new TruncInst(Lo_pn, ValTy, "", entry);
+    }
+    // Determine if the replacement bits are larger than the number of bits we
+    // are replacing and deal with it.
+    ICmpInst* is_large = 
+      new ICmpInst(ICmpInst::ICMP_ULT, NumBits, RepBitWidth, "", entry);
+    new BranchInst(large, small, is_large, entry);
+
+    // BASIC BLOCK: large
+    Instruction* MaskBits = 
+      BinaryOperator::createSub(RepBitWidth, NumBits, "", large);
+    MaskBits = CastInst::createIntegerCast(MaskBits, RepMask->getType(), 
+                                           false, "", large);
+    BinaryOperator* Mask1 = 
+      BinaryOperator::createLShr(RepMask, MaskBits, "", large);
+    BinaryOperator* Rep2 = BinaryOperator::createAnd(Mask1, Rep, "", large);
+    new BranchInst(small, large);
+
+    // BASIC BLOCK: small
+    PHINode* Rep3 = new PHINode(RepTy, "", small);
+    Rep3->reserveOperandSpace(2);
+    Rep3->addIncoming(Rep2, large);
+    Rep3->addIncoming(Rep, entry);
+    Value* Rep4 = Rep3;
+    if (ValBits > RepBits)
+      Rep4 = new ZExtInst(Rep3, ValTy, "", small);
+    else if (ValBits < RepBits)
+      Rep4 = new TruncInst(Rep3, ValTy, "", small);
+    new BranchInst(result, reverse, is_forward, small);
+
+    // BASIC BLOCK: reverse (reverses the bits of the replacement)
+    // Set up our loop counter as a PHI so we can decrement on each iteration.
+    // We will loop for the number of bits in the replacement value.
+    PHINode *Count = new PHINode(Type::Int32Ty, "count", reverse);
+    Count->reserveOperandSpace(2);
+    Count->addIncoming(NumBits, small);
+
+    // Get the value that we are shifting bits out of as a PHI because
+    // we'll change this with each iteration.
+    PHINode *BitsToShift   = new PHINode(Val->getType(), "val", reverse);
+    BitsToShift->reserveOperandSpace(2);
+    BitsToShift->addIncoming(Rep4, small);
+
+    // Get the result of the last computation or zero on first iteration
+    PHINode *RRes  = new PHINode(Val->getType(), "rres", reverse);
+    RRes->reserveOperandSpace(2);
+    RRes->addIncoming(ValZero, small);
+
+    // Decrement the loop counter by one
+    Instruction *Decr = BinaryOperator::createSub(Count, One, "", reverse);
+    Count->addIncoming(Decr, reverse);
+
+    // Get the bit that we want to move into the result
+    Value *Bit = BinaryOperator::createAnd(BitsToShift, ValOne, "", reverse);
+
+    // Compute the new value of the bits to shift for the next iteration.
+    Value *NewVal = BinaryOperator::createLShr(BitsToShift, ValOne,"", reverse);
+    BitsToShift->addIncoming(NewVal, reverse);
+
+    // Shift the bit we extracted into the low bit of the result.
+    Instruction *NewRes = BinaryOperator::createShl(RRes, ValOne, "", reverse);
+    NewRes = BinaryOperator::createOr(NewRes, Bit, "", reverse);
+    RRes->addIncoming(NewRes, reverse);
+    
+    // Terminate loop if we've moved all the bits.
+    ICmpInst *Cond = new ICmpInst(ICmpInst::ICMP_EQ, Decr, Zero, "", reverse);
+    new BranchInst(result, reverse, Cond, reverse);
+
+    // BASIC BLOCK: result
+    PHINode *Rplcmnt  = new PHINode(Val->getType(), "", result);
+    Rplcmnt->reserveOperandSpace(2);
+    Rplcmnt->addIncoming(NewRes, reverse);
+    Rplcmnt->addIncoming(Rep4, small);
+    Value* t0   = CastInst::createIntegerCast(NumBits,ValTy,false,"",result);
+    Value* t1   = BinaryOperator::createShl(ValMask, Lo, "", result);
+    Value* t2   = BinaryOperator::createNot(t1, "", result);
+    Value* t3   = BinaryOperator::createShl(t1, t0, "", result);
+    Value* t4   = BinaryOperator::createOr(t2, t3, "", result);
+    Value* t5   = BinaryOperator::createAnd(t4, Val, "", result);
+    Value* t6   = BinaryOperator::createShl(Rplcmnt, Lo, "", result);
+    Value* Rslt = BinaryOperator::createOr(t5, t6, "part_set", result);
+    new ReturnInst(Rslt, result);
+  }
+
+  // Return a call to the implementation function
+  Value *Args[] = {
+    CI->getOperand(1),
+    CI->getOperand(2),
+    CI->getOperand(3),
+    CI->getOperand(4)
+  };
+  return new CallInst(F, Args, array_endof(Args), CI->getName(), CI);
 }
 
 
@@ -475,8 +712,12 @@ void IntrinsicLowering::LowerIntrinsicCall(CallInst *CI) {
     break;
   }
 
-  case Intrinsic::bit_part_select:
-    CI->replaceAllUsesWith(LowerBitPartSelect(CI));
+  case Intrinsic::part_select:
+    CI->replaceAllUsesWith(LowerPartSelect(CI));
+    break;
+
+  case Intrinsic::part_set:
+    CI->replaceAllUsesWith(LowerPartSet(CI));
     break;
 
   case Intrinsic::stacksave:
@@ -518,11 +759,23 @@ void IntrinsicLowering::LowerIntrinsicCall(CallInst *CI) {
   case Intrinsic::dbg_region_end:
   case Intrinsic::dbg_func_start:
   case Intrinsic::dbg_declare:
+    break;    // Simply strip out debugging intrinsics
+
   case Intrinsic::eh_exception:
-  case Intrinsic::eh_selector:
-  case Intrinsic::eh_filter:
-    break;    // Simply strip out debugging and eh intrinsics
+  case Intrinsic::eh_selector_i32:
+  case Intrinsic::eh_selector_i64:
+    CI->replaceAllUsesWith(Constant::getNullValue(CI->getType()));
+    break;
+
+  case Intrinsic::eh_typeid_for_i32:
+  case Intrinsic::eh_typeid_for_i64:
+    // Return something different to eh_selector.
+    CI->replaceAllUsesWith(ConstantInt::get(CI->getType(), 1));
+    break;
 
+  case Intrinsic::var_annotation:
+    break;   // Strip out annotate intrinsic
+    
   case Intrinsic::memcpy_i32:
   case Intrinsic::memcpy_i64: {
     static Constant *MemcpyFCache = 0;
@@ -581,18 +834,34 @@ void IntrinsicLowering::LowerIntrinsicCall(CallInst *CI) {
                     MemsetFCache);
     break;
   }
-  case Intrinsic::sqrt_f32: {
+  case Intrinsic::sqrt: {
     static Constant *sqrtfFCache = 0;
-    ReplaceCallWith("sqrtf", CI, CI->op_begin()+1, CI->op_end(),
-                    Type::FloatTy, sqrtfFCache);
-    break;
-  }
-  case Intrinsic::sqrt_f64: {
     static Constant *sqrtFCache = 0;
-    ReplaceCallWith("sqrt", CI, CI->op_begin()+1, CI->op_end(),
+    static Constant *sqrtLDCache = 0;
+    switch (CI->getOperand(1)->getType()->getTypeID()) {
+    default: assert(0 && "Invalid type in sqrt"); abort();
+    case Type::FloatTyID:
+      ReplaceCallWith("sqrtf", CI, CI->op_begin()+1, CI->op_end(),
+                    Type::FloatTy, sqrtfFCache);
+      break;
+    case Type::DoubleTyID:
+      ReplaceCallWith("sqrt", CI, CI->op_begin()+1, CI->op_end(),
                     Type::DoubleTy, sqrtFCache);
+      break;
+    case Type::X86_FP80TyID:
+    case Type::FP128TyID:
+    case Type::PPC_FP128TyID:
+      ReplaceCallWith("sqrtl", CI, CI->op_begin()+1, CI->op_end(),
+                    CI->getOperand(1)->getType(), sqrtLDCache);
+      break;
+    }
     break;
   }
+  case Intrinsic::flt_rounds:
+     // Lower to "round to the nearest"
+     if (CI->getType() != Type::VoidTy)
+       CI->replaceAllUsesWith(ConstantInt::get(CI->getType(), 1));
+     break;
   }
 
   assert(CI->use_empty() &&