add bc reader/writer support for inline asm
[oota-llvm.git] / lib / Bytecode / Reader / Reader.cpp
index a36aa9950970f54f6bc52b7dc7dc87516237b779..d142aacfa506d5581c5687868488cb923a38b0df 100644 (file)
@@ -1,15 +1,15 @@
 //===- Reader.cpp - Code to read bytecode files ---------------------------===//
-// 
+//
 //                     The LLVM Compiler Infrastructure
 //
 // This file was developed by the LLVM research group and is distributed under
 // the University of Illinois Open Source License. See LICENSE.TXT for details.
-// 
+//
 //===----------------------------------------------------------------------===//
 //
 // This library implements the functionality defined in llvm/Bytecode/Reader.h
 //
-// Note that this library should be as fast as possible, reentrant, and 
+// Note that this library should be as fast as possible, reentrant, and
 // threadsafe!!
 //
 // TODO: Allow passing in an option to ignore the symbol table
 //===----------------------------------------------------------------------===//
 
 #include "Reader.h"
+#include "llvm/Assembly/AutoUpgrade.h"
 #include "llvm/Bytecode/BytecodeHandler.h"
 #include "llvm/BasicBlock.h"
-#include "llvm/Config/alloca.h"
+#include "llvm/CallingConv.h"
 #include "llvm/Constants.h"
+#include "llvm/InlineAsm.h"
 #include "llvm/Instructions.h"
 #include "llvm/SymbolTable.h"
 #include "llvm/Bytecode/Format.h"
+#include "llvm/Config/alloca.h"
 #include "llvm/Support/GetElementPtrTypeIterator.h"
 #include "llvm/Support/Compressor.h"
+#include "llvm/Support/MathExtras.h"
 #include "llvm/ADT/StringExtras.h"
 #include <sstream>
 #include <algorithm>
@@ -38,8 +42,11 @@ namespace {
     ConstantPlaceHolder();                       // DO NOT IMPLEMENT
     void operator=(const ConstantPlaceHolder &); // DO NOT IMPLEMENT
   public:
-    ConstantPlaceHolder(const Type *Ty) 
-      : ConstantExpr(Ty, Instruction::UserOp1, 0, 0) {}
+    Use Op;
+    ConstantPlaceHolder(const Type *Ty)
+      : ConstantExpr(Ty, Instruction::UserOp1, &Op, 1),
+        Op(UndefValue::get(Type::IntTy), this) {
+    }
   };
 }
 
@@ -73,17 +80,17 @@ inline void BytecodeReader::checkPastBlockEnd(const char * block_name) {
 inline void BytecodeReader::align32() {
   if (hasAlignment) {
     BufPtr Save = At;
-    At = (const unsigned char *)((unsigned long)(At+3) & (~3UL));
-    if (At > Save) 
+    At = (const unsigned char *)((intptr_t)(At+3) & (~3UL));
+    if (At > Save)
       if (Handler) Handler->handleAlignment(At - Save);
-    if (At > BlockEnd) 
+    if (At > BlockEnd)
       error("Ran out of data while aligning!");
   }
 }
 
 /// Read a whole unsigned integer
 inline unsigned BytecodeReader::read_uint() {
-  if (At+4 > BlockEnd) 
+  if (At+4 > BlockEnd)
     error("Ran out of data reading uint!");
   At += 4;
   return At[-4] | (At[-3] << 8) | (At[-2] << 16) | (At[-1] << 24);
@@ -94,9 +101,9 @@ inline unsigned BytecodeReader::read_vbr_uint() {
   unsigned Shift = 0;
   unsigned Result = 0;
   BufPtr Save = At;
-  
+
   do {
-    if (At == BlockEnd) 
+    if (At == BlockEnd)
       error("Ran out of data reading vbr_uint!");
     Result |= (unsigned)((*At++) & 0x7F) << Shift;
     Shift += 7;
@@ -110,9 +117,9 @@ inline uint64_t BytecodeReader::read_vbr_uint64() {
   unsigned Shift = 0;
   uint64_t Result = 0;
   BufPtr Save = At;
-  
+
   do {
-    if (At == BlockEnd) 
+    if (At == BlockEnd)
       error("Ran out of data reading vbr_uint64!");
     Result |= (uint64_t)((*At++) & 0x7F) << Shift;
     Shift += 7;
@@ -148,7 +155,7 @@ inline std::string BytecodeReader::read_str() {
 inline void BytecodeReader::read_data(void *Ptr, void *End) {
   unsigned char *Start = (unsigned char *)Ptr;
   unsigned Amount = (unsigned char *)End - Start;
-  if (At+Amount > BlockEnd) 
+  if (At+Amount > BlockEnd)
     error("Ran out of data!");
   std::copy(At, At+Amount, Start);
   At += Amount;
@@ -158,29 +165,19 @@ inline void BytecodeReader::read_data(void *Ptr, void *End) {
 inline void BytecodeReader::read_float(float& FloatVal) {
   /// FIXME: This isn't optimal, it has size problems on some platforms
   /// where FP is not IEEE.
-  union {
-    float f;
-    uint32_t i;
-  } FloatUnion;
-  FloatUnion.i = At[0] | (At[1] << 8) | (At[2] << 16) | (At[3] << 24);
+  FloatVal = BitsToFloat(At[0] | (At[1] << 8) | (At[2] << 16) | (At[3] << 24));
   At+=sizeof(uint32_t);
-  FloatVal = FloatUnion.f;
 }
 
 /// Read a double value in little-endian order
 inline void BytecodeReader::read_double(double& DoubleVal) {
   /// FIXME: This isn't optimal, it has size problems on some platforms
   /// where FP is not IEEE.
-  union {
-    double d;
-    uint64_t i;
-  } DoubleUnion;
-  DoubleUnion.i = (uint64_t(At[0]) <<  0) | (uint64_t(At[1]) << 8) | 
-                  (uint64_t(At[2]) << 16) | (uint64_t(At[3]) << 24) |
-                  (uint64_t(At[4]) << 32) | (uint64_t(At[5]) << 40) | 
-                  (uint64_t(At[6]) << 48) | (uint64_t(At[7]) << 56);
+  DoubleVal = BitsToDouble((uint64_t(At[0]) <<  0) | (uint64_t(At[1]) << 8) |
+                           (uint64_t(At[2]) << 16) | (uint64_t(At[3]) << 24) |
+                           (uint64_t(At[4]) << 32) | (uint64_t(At[5]) << 40) |
+                           (uint64_t(At[6]) << 48) | (uint64_t(At[7]) << 56));
   At+=sizeof(uint64_t);
-  DoubleVal = DoubleUnion.d;
 }
 
 /// Read a block header and obtain its type and size
@@ -189,10 +186,10 @@ inline void BytecodeReader::read_block(unsigned &Type, unsigned &Size) {
     Type = read_uint();
     Size = read_uint();
     switch (Type) {
-    case BytecodeFormat::Reserved_DoNotUse : 
+    case BytecodeFormat::Reserved_DoNotUse :
       error("Reserved_DoNotUse used as Module Type?");
       Type = BytecodeFormat::ModuleBlockID; break;
-    case BytecodeFormat::Module: 
+    case BytecodeFormat::Module:
       Type = BytecodeFormat::ModuleBlockID; break;
     case BytecodeFormat::Function:
       Type = BytecodeFormat::FunctionBlockID; break;
@@ -235,8 +232,8 @@ inline void BytecodeReader::read_block(unsigned &Type, unsigned &Size) {
 /// 1.3 this changed so that Type does not derive from Value. Consequently,
 /// the BytecodeReader's containers for Values can't contain Types because
 /// there's no inheritance relationship. This means that the "Type Type"
-/// plane is defunct along with the Type::TypeTyID TypeID. In LLVM 1.3 
-/// whenever a bytecode construct must have both types and values together, 
+/// plane is defunct along with the Type::TypeTyID TypeID. In LLVM 1.3
+/// whenever a bytecode construct must have both types and values together,
 /// the types are always read/written first and then the Values. Furthermore
 /// since Type::TypeTyID no longer exists, its value (12) now corresponds to
 /// Type::LabelTyID. In order to overcome this we must "sanitize" all the
@@ -246,7 +243,7 @@ inline void BytecodeReader::read_block(unsigned &Type, unsigned &Size) {
 /// larger than 12 (Type::LabelTyID). If the value is exactly 12, then this
 /// function returns true, otherwise false. This helps detect situations
 /// where the pre 1.3 bytecode is indicating that what follows is a type.
-/// @returns true iff type id corresponds to pre 1.3 "type type" 
+/// @returns true iff type id corresponds to pre 1.3 "type type"
 inline bool BytecodeReader::sanitizeTypeId(unsigned &TypeId) {
   if (hasTypeDerivedFromValue) { /// do nothing if 1.3 or later
     if (TypeId == Type::LabelTyID) {
@@ -339,7 +336,7 @@ unsigned BytecodeReader::getTypeSlot(const Type *Ty) {
   if (!CompactionTypes.empty()) {
     for (unsigned i = 0, e = CompactionTypes.size(); i != e; ++i)
       if (CompactionTypes[i].first == Ty)
-        return Type::FirstDerivedTyID + i; 
+        return Type::FirstDerivedTyID + i;
 
     error("Couldn't find type specified in compaction table!");
   }
@@ -349,14 +346,28 @@ unsigned BytecodeReader::getTypeSlot(const Type *Ty) {
                                      FunctionTypes.end(), Ty);
 
   if (I != FunctionTypes.end())
-    return Type::FirstDerivedTyID + ModuleTypes.size() + 
+    return Type::FirstDerivedTyID + ModuleTypes.size() +
            (&*I - &FunctionTypes[0]);
 
-  // Check the module level types now...
-  I = std::find(ModuleTypes.begin(), ModuleTypes.end(), Ty);
-  if (I == ModuleTypes.end())
+  // If we don't have our cache yet, build it now.
+  if (ModuleTypeIDCache.empty()) {
+    unsigned N = 0;
+    ModuleTypeIDCache.reserve(ModuleTypes.size());
+    for (TypeListTy::iterator I = ModuleTypes.begin(), E = ModuleTypes.end();
+         I != E; ++I, ++N)
+      ModuleTypeIDCache.push_back(std::make_pair(*I, N));
+    
+    std::sort(ModuleTypeIDCache.begin(), ModuleTypeIDCache.end());
+  }
+  
+  // Binary search the cache for the entry.
+  std::vector<std::pair<const Type*, unsigned> >::iterator IT =
+    std::lower_bound(ModuleTypeIDCache.begin(), ModuleTypeIDCache.end(),
+                     std::make_pair(Ty, 0U));
+  if (IT == ModuleTypeIDCache.end() || IT->first != Ty)
     error("Didn't find type in ModuleTypes.");
-  return Type::FirstDerivedTyID + (&*I - &ModuleTypes[0]);
+    
+  return Type::FirstDerivedTyID + IT->second;
 }
 
 /// This is just like getType, but when a compaction table is in use, it is
@@ -380,15 +391,30 @@ const Type *BytecodeReader::getGlobalTableType(unsigned Slot) {
 unsigned BytecodeReader::getGlobalTableTypeSlot(const Type *Ty) {
   if (Ty->isPrimitiveType())
     return Ty->getTypeID();
-  TypeListTy::iterator I = std::find(ModuleTypes.begin(),
-                                      ModuleTypes.end(), Ty);
-  if (I == ModuleTypes.end())
+  
+  // If we don't have our cache yet, build it now.
+  if (ModuleTypeIDCache.empty()) {
+    unsigned N = 0;
+    ModuleTypeIDCache.reserve(ModuleTypes.size());
+    for (TypeListTy::iterator I = ModuleTypes.begin(), E = ModuleTypes.end();
+         I != E; ++I, ++N)
+      ModuleTypeIDCache.push_back(std::make_pair(*I, N));
+    
+    std::sort(ModuleTypeIDCache.begin(), ModuleTypeIDCache.end());
+  }
+  
+  // Binary search the cache for the entry.
+  std::vector<std::pair<const Type*, unsigned> >::iterator IT =
+    std::lower_bound(ModuleTypeIDCache.begin(), ModuleTypeIDCache.end(),
+                     std::make_pair(Ty, 0U));
+  if (IT == ModuleTypeIDCache.end() || IT->first != Ty)
     error("Didn't find type in ModuleTypes.");
-  return Type::FirstDerivedTyID + (&*I - &ModuleTypes[0]);
+  
+  return Type::FirstDerivedTyID + IT->second;
 }
 
-/// Retrieve a value of a given type and slot number, possibly creating 
-/// it if it doesn't already exist. 
+/// Retrieve a value of a given type and slot number, possibly creating
+/// it if it doesn't already exist.
 Value * BytecodeReader::getValue(unsigned type, unsigned oNum, bool Create) {
   assert(type != Type::LabelTyID && "getValue() cannot get blocks!");
   unsigned Num = oNum;
@@ -409,9 +435,12 @@ Value * BytecodeReader::getValue(unsigned type, unsigned oNum, bool Create) {
       GlobalTyID = CompactionTypes[type-Type::FirstDerivedTyID].second;
 
     if (hasImplicitNull(GlobalTyID)) {
-      if (Num == 0)
-        return Constant::getNullValue(getType(type));
-      --Num;
+      const Type *Ty = getType(type);
+      if (!isa<OpaqueType>(Ty)) {
+        if (Num == 0)
+          return Constant::getNullValue(Ty);
+        --Num;
+      }
     }
 
     if (GlobalTyID < ModuleValues.size() && ModuleValues[GlobalTyID]) {
@@ -421,8 +450,8 @@ Value * BytecodeReader::getValue(unsigned type, unsigned oNum, bool Create) {
     }
   }
 
-  if (FunctionValues.size() > type && 
-      FunctionValues[type] && 
+  if (FunctionValues.size() > type &&
+      FunctionValues[type] &&
       Num < FunctionValues[type]->size())
     return FunctionValues[type]->getOperand(Num);
 
@@ -444,8 +473,8 @@ Value * BytecodeReader::getValue(unsigned type, unsigned oNum, bool Create) {
   throw "Can't create placeholder for value of type slot #" + utostr(type);
 }
 
-/// This is just like getValue, but when a compaction table is in use, it 
-/// is ignored.  Also, no forward references or other fancy features are 
+/// This is just like getValue, but when a compaction table is in use, it
+/// is ignored.  Also, no forward references or other fancy features are
 /// supported.
 Value* BytecodeReader::getGlobalTableValue(unsigned TyID, unsigned SlotNo) {
   if (SlotNo == 0)
@@ -464,11 +493,11 @@ Value* BytecodeReader::getGlobalTableValue(unsigned TyID, unsigned SlotNo) {
       SlotNo >= ModuleValues[TyID]->size()) {
     if (TyID >= ModuleValues.size() || ModuleValues[TyID] == 0)
       error("Corrupt compaction table entry!"
-            + utostr(TyID) + ", " + utostr(SlotNo) + ": " 
+            + utostr(TyID) + ", " + utostr(SlotNo) + ": "
             + utostr(ModuleValues.size()));
-    else 
+    else
       error("Corrupt compaction table entry!"
-            + utostr(TyID) + ", " + utostr(SlotNo) + ": " 
+            + utostr(TyID) + ", " + utostr(SlotNo) + ": "
             + utostr(ModuleValues.size()) + ", "
             + utohexstr(reinterpret_cast<uint64_t>(((void*)ModuleValues[TyID])))
             + ", "
@@ -480,14 +509,14 @@ Value* BytecodeReader::getGlobalTableValue(unsigned TyID, unsigned SlotNo) {
 /// Just like getValue, except that it returns a null pointer
 /// only on error.  It always returns a constant (meaning that if the value is
 /// defined, but is not a constant, that is an error).  If the specified
-/// constant hasn't been parsed yet, a placeholder is defined and used.  
+/// constant hasn't been parsed yet, a placeholder is defined and used.
 /// Later, after the real value is parsed, the placeholder is eliminated.
 Constant* BytecodeReader::getConstantValue(unsigned TypeSlot, unsigned Slot) {
   if (Value *V = getValue(TypeSlot, Slot, false))
     if (Constant *C = dyn_cast<Constant>(V))
       return C;   // If we already have the value parsed, just return it
     else
-      error("Value for slot " + utostr(Slot) + 
+      error("Value for slot " + utostr(Slot) +
             " is expected to be a constant!");
 
   std::pair<unsigned, unsigned> Key(TypeSlot, Slot);
@@ -499,7 +528,7 @@ Constant* BytecodeReader::getConstantValue(unsigned TypeSlot, unsigned Slot) {
     // Create a placeholder for the constant reference and
     // keep track of the fact that we have a forward ref to recycle it
     Constant *C = new ConstantPlaceHolder(getType(TypeSlot));
-    
+
     // Keep track of the fact that we have a forward ref to recycle it
     ConstantFwdRefs.insert(I, std::make_pair(Key, C));
     return C;
@@ -513,7 +542,7 @@ Constant* BytecodeReader::getConstantValue(unsigned TypeSlot, unsigned Slot) {
 /// As values are created, they are inserted into the appropriate place
 /// with this method. The ValueTable argument must be one of ModuleValues
 /// or FunctionValues data members of this class.
-unsigned BytecodeReader::insertValue(Value *Val, unsigned type, 
+unsigned BytecodeReader::insertValue(Value *Val, unsigned type,
                                       ValueTable &ValueTab) {
   assert((!isa<Constant>(Val) || !cast<Constant>(Val)->isNullValue()) ||
           !hasImplicitNull(type) &&
@@ -526,14 +555,14 @@ unsigned BytecodeReader::insertValue(Value *Val, unsigned type,
 
   ValueTab[type]->push_back(Val);
 
-  bool HasOffset = hasImplicitNull(type);
+  bool HasOffset = hasImplicitNull(type) && !isa<OpaqueType>(Val->getType());
   return ValueTab[type]->size()-1 + HasOffset;
 }
 
 /// Insert the arguments of a function as new values in the reader.
 void BytecodeReader::insertArguments(Function* F) {
   const FunctionType *FT = F->getFunctionType();
-  Function::aiterator AI = F->abegin();
+  Function::arg_iterator AI = F->arg_begin();
   for (FunctionType::param_iterator It = FT->param_begin();
        It != FT->param_end(); ++It, ++AI)
     insertValue(AI, getTypeSlot(AI->getType()), FunctionValues);
@@ -581,7 +610,7 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
     // --------------------------
     // 15-08: Resulting type plane
     // 23-16: Operand #1
-    // 31-24: Operand #2  
+    // 31-24: Operand #2
     //
     iType   = (Op >>  8) & 255;
     Oprnds[0] = (Op >> 16) & 255;
@@ -642,21 +671,75 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
                                     getValue(iType, Oprnds[0]),
                                     getValue(iType, Oprnds[1]));
 
+  bool isCall = false;
   switch (Opcode) {
-  default: 
-    if (Result == 0) 
+  default:
+    if (Result == 0)
       error("Illegal instruction read!");
     break;
   case Instruction::VAArg:
-    Result = new VAArgInst(getValue(iType, Oprnds[0]), 
+    Result = new VAArgInst(getValue(iType, Oprnds[0]),
                            getSanitizedType(Oprnds[1]));
     break;
-  case Instruction::VANext:
-    Result = new VANextInst(getValue(iType, Oprnds[0]), 
-                            getSanitizedType(Oprnds[1]));
+  case 32: { //VANext_old
+    const Type* ArgTy = getValue(iType, Oprnds[0])->getType();
+    Function* NF = TheModule->getOrInsertFunction("llvm.va_copy", ArgTy, ArgTy,
+                                                  (Type *)0);
+
+    //b = vanext a, t ->
+    //foo = alloca 1 of t
+    //bar = vacopy a
+    //store bar -> foo
+    //tmp = vaarg foo, t
+    //b = load foo
+    AllocaInst* foo = new AllocaInst(ArgTy, 0, "vanext.fix");
+    BB->getInstList().push_back(foo);
+    CallInst* bar = new CallInst(NF, getValue(iType, Oprnds[0]));
+    BB->getInstList().push_back(bar);
+    BB->getInstList().push_back(new StoreInst(bar, foo));
+    Instruction* tmp = new VAArgInst(foo, getSanitizedType(Oprnds[1]));
+    BB->getInstList().push_back(tmp);
+    Result = new LoadInst(foo);
     break;
+  }
+  case 33: { //VAArg_old
+    const Type* ArgTy = getValue(iType, Oprnds[0])->getType();
+    Function* NF = TheModule->getOrInsertFunction("llvm.va_copy", ArgTy, ArgTy,
+                                                  (Type *)0);
+
+    //b = vaarg a, t ->
+    //foo = alloca 1 of t
+    //bar = vacopy a
+    //store bar -> foo
+    //b = vaarg foo, t
+    AllocaInst* foo = new AllocaInst(ArgTy, 0, "vaarg.fix");
+    BB->getInstList().push_back(foo);
+    CallInst* bar = new CallInst(NF, getValue(iType, Oprnds[0]));
+    BB->getInstList().push_back(bar);
+    BB->getInstList().push_back(new StoreInst(bar, foo));
+    Result = new VAArgInst(foo, getSanitizedType(Oprnds[1]));
+    break;
+  }
+  case Instruction::ExtractElement: {
+    if (Oprnds.size() != 2)
+      throw std::string("Invalid extractelement instruction!");
+    Result = new ExtractElementInst(getValue(iType, Oprnds[0]), 
+                                    getValue(Type::UIntTyID, Oprnds[1]));
+    break;
+  }
+  case Instruction::InsertElement: {
+    const PackedType *PackedTy = dyn_cast<PackedType>(InstTy);
+    if (!PackedTy || Oprnds.size() != 3)
+      throw std::string("Invalid insertelement instruction!");
+    Result = 
+      new InsertElementInst(getValue(iType, Oprnds[0]), 
+                            getValue(getTypeSlot(PackedTy->getElementType()), 
+                                     Oprnds[1]),
+                            getValue(Type::UIntTyID, Oprnds[2]));
+    break;
+  }
   case Instruction::Cast:
-    Result = new CastInst(getValue(iType, Oprnds[0]), 
+    Result = new CastInst(getValue(iType, Oprnds[0]),
                           getSanitizedType(Oprnds[1]));
     break;
   case Instruction::Select:
@@ -695,7 +778,7 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
     if (Oprnds.size() == 1)
       Result = new BranchInst(getBasicBlock(Oprnds[0]));
     else if (Oprnds.size() == 3)
-      Result = new BranchInst(getBasicBlock(Oprnds[0]), 
+      Result = new BranchInst(getBasicBlock(Oprnds[0]),
           getBasicBlock(Oprnds[1]), getValue(Type::BoolTyID , Oprnds[2]));
     else
       error("Invalid number of operands for a 'br' instruction!");
@@ -708,18 +791,28 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
                                    getBasicBlock(Oprnds[1]),
                                    Oprnds.size()/2-1);
     for (unsigned i = 2, e = Oprnds.size(); i != e; i += 2)
-      I->addCase(cast<Constant>(getValue(iType, Oprnds[i])),
+      I->addCase(cast<ConstantInt>(getValue(iType, Oprnds[i])),
                  getBasicBlock(Oprnds[i+1]));
     Result = I;
     break;
   }
 
-  case Instruction::Call: {
+  case 58:                   // Call with extra operand for calling conv
+  case 59:                   // tail call, Fast CC
+  case 60:                   // normal call, Fast CC
+  case 61:                   // tail call, C Calling Conv
+  case Instruction::Call: {  // Normal Call, C Calling Convention
     if (Oprnds.size() == 0)
       error("Invalid call instruction encountered!");
 
     Value *F = getValue(iType, Oprnds[0]);
 
+    unsigned CallingConv = CallingConv::C;
+    bool isTailCall = false;
+
+    if (Opcode == 61 || Opcode == 59)
+      isTailCall = true;
+
     // Check to make sure we have a pointer to function type
     const PointerType *PTy = dyn_cast<PointerType>(F->getType());
     if (PTy == 0) error("Call to non function pointer value!");
@@ -730,6 +823,13 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
     if (!FTy->isVarArg()) {
       FunctionType::param_iterator It = FTy->param_begin();
 
+      if (Opcode == 58) {
+        isTailCall = Oprnds.back() & 1;
+        CallingConv = Oprnds.back() >> 1;
+        Oprnds.pop_back();
+      } else if (Opcode == 59 || Opcode == 60)
+        CallingConv = CallingConv::Fast;
+
       for (unsigned i = 1, e = Oprnds.size(); i != e; ++i) {
         if (It == FTy->param_end())
           error("Invalid call instruction!");
@@ -747,35 +847,48 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
       // Read all of the fixed arguments
       for (unsigned i = 0, e = FTy->getNumParams(); i != e; ++i)
         Params.push_back(getValue(getTypeSlot(FTy->getParamType(i)),Oprnds[i]));
-      
+
       FirstVariableOperand = FTy->getNumParams();
 
-      if ((Oprnds.size()-FirstVariableOperand) & 1) 
+      if ((Oprnds.size()-FirstVariableOperand) & 1)
         error("Invalid call instruction!");   // Must be pairs of type/value
-        
-      for (unsigned i = FirstVariableOperand, e = Oprnds.size(); 
+
+      for (unsigned i = FirstVariableOperand, e = Oprnds.size();
            i != e; i += 2)
         Params.push_back(getValue(Oprnds[i], Oprnds[i+1]));
     }
 
     Result = new CallInst(F, Params);
+    if (isTailCall) cast<CallInst>(Result)->setTailCall();
+    if (CallingConv) cast<CallInst>(Result)->setCallingConv(CallingConv);
+    isCall = true;
     break;
   }
-  case Instruction::Invoke: {
-    if (Oprnds.size() < 3) 
+  case 56:                     // Invoke with encoded CC
+  case 57:                     // Invoke Fast CC
+  case Instruction::Invoke: {  // Invoke C CC
+    if (Oprnds.size() < 3)
       error("Invalid invoke instruction!");
     Value *F = getValue(iType, Oprnds[0]);
 
     // Check to make sure we have a pointer to function type
     const PointerType *PTy = dyn_cast<PointerType>(F->getType());
-    if (PTy == 0) 
+    if (PTy == 0)
       error("Invoke to non function pointer value!");
     const FunctionType *FTy = dyn_cast<FunctionType>(PTy->getElementType());
-    if (FTy == 0) 
+    if (FTy == 0)
       error("Invoke to non function pointer value!");
 
     std::vector<Value *> Params;
     BasicBlock *Normal, *Except;
+    unsigned CallingConv = CallingConv::C;
+
+    if (Opcode == 57)
+      CallingConv = CallingConv::Fast;
+    else if (Opcode == 56) {
+      CallingConv = Oprnds.back();
+      Oprnds.pop_back();
+    }
 
     if (!FTy->isVarArg()) {
       Normal = getBasicBlock(Oprnds[1]);
@@ -794,12 +907,12 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
 
       Normal = getBasicBlock(Oprnds[0]);
       Except = getBasicBlock(Oprnds[1]);
-      
+
       unsigned FirstVariableArgument = FTy->getNumParams()+2;
       for (unsigned i = 2; i != FirstVariableArgument; ++i)
         Params.push_back(getValue(getTypeSlot(FTy->getParamType(i-2)),
                                   Oprnds[i]));
-      
+
       if (Oprnds.size()-FirstVariableArgument & 1) // Must be type/value pairs
         error("Invalid invoke instruction!");
 
@@ -808,29 +921,36 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
     }
 
     Result = new InvokeInst(F, Normal, Except, Params);
+    if (CallingConv) cast<InvokeInst>(Result)->setCallingConv(CallingConv);
     break;
   }
-  case Instruction::Malloc:
-    if (Oprnds.size() > 2) 
+  case Instruction::Malloc: {
+    unsigned Align = 0;
+    if (Oprnds.size() == 2)
+      Align = (1 << Oprnds[1]) >> 1;
+    else if (Oprnds.size() > 2)
       error("Invalid malloc instruction!");
     if (!isa<PointerType>(InstTy))
       error("Invalid malloc instruction!");
 
     Result = new MallocInst(cast<PointerType>(InstTy)->getElementType(),
-                            Oprnds.size() ? getValue(Type::UIntTyID,
-                                                   Oprnds[0]) : 0);
+                            getValue(Type::UIntTyID, Oprnds[0]), Align);
     break;
+  }
 
-  case Instruction::Alloca:
-    if (Oprnds.size() > 2) 
+  case Instruction::Alloca: {
+    unsigned Align = 0;
+    if (Oprnds.size() == 2)
+      Align = (1 << Oprnds[1]) >> 1;
+    else if (Oprnds.size() > 2)
       error("Invalid alloca instruction!");
     if (!isa<PointerType>(InstTy))
       error("Invalid alloca instruction!");
 
     Result = new AllocaInst(cast<PointerType>(InstTy)->getElementType(),
-                            Oprnds.size() ? getValue(Type::UIntTyID, 
-                            Oprnds[0]) :0);
+                            getValue(Type::UIntTyID, Oprnds[0]), Align);
     break;
+  }
   case Instruction::Free:
     if (!isa<PointerType>(InstTy))
       error("Invalid free instruction!");
@@ -845,8 +965,8 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
     const Type *NextTy = InstTy;
     for (unsigned i = 1, e = Oprnds.size(); i != e; ++i) {
       const CompositeType *TopTy = dyn_cast_or_null<CompositeType>(NextTy);
-      if (!TopTy) 
-        error("Invalid getelementptr instruction!"); 
+      if (!TopTy)
+        error("Invalid getelementptr instruction!");
 
       unsigned ValIdx = Oprnds[i];
       unsigned IdxTy = 0;
@@ -891,7 +1011,7 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
     Result = new LoadInst(getValue(iType, Oprnds[0]), "", Opcode == 62);
     break;
 
-  case 63:   // volatile store 
+  case 63:   // volatile store
   case Instruction::Store: {
     if (!isa<PointerType>(InstTy) || Oprnds.size() != 2)
       error("Invalid store instruction!");
@@ -910,7 +1030,16 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
     if (Oprnds.size() != 0) error("Invalid unreachable instruction!");
     Result = new UnreachableInst();
     break;
-  }  // end switch(Opcode) 
+  }  // end switch(Opcode)
+
+  BB->getInstList().push_back(Result);
+
+  if (this->hasUpgradedIntrinsicFunctions && isCall)
+    if (Instruction* inst = UpgradeIntrinsicCall(cast<CallInst>(Result))) {
+      Result->replaceAllUsesWith(inst);
+      Result->eraseFromParent();
+      Result = inst;
+    }
 
   unsigned TypeSlot;
   if (Result->getType() == InstTy)
@@ -919,7 +1048,6 @@ void BytecodeReader::ParseInstruction(std::vector<unsigned> &Oprnds,
     TypeSlot = getTypeSlot(Result->getType());
 
   insertValue(Result, TypeSlot, FunctionValues);
-  BB->getInstList().push_back(Result);
 }
 
 /// Get a particular numbered basic block, which might be a forward reference.
@@ -942,7 +1070,7 @@ BasicBlock *BytecodeReader::getBasicBlock(unsigned ID) {
   return ParsedBasicBlocks[ID] = new BasicBlock();
 }
 
-/// In LLVM 1.0 bytecode files, we used to output one basicblock at a time.  
+/// In LLVM 1.0 bytecode files, we used to output one basicblock at a time.
 /// This method reads in one of the basicblock packets. This method is not used
 /// for bytecode files after LLVM 1.0
 /// @returns The basic block constructed.
@@ -967,7 +1095,7 @@ BasicBlock *BytecodeReader::ParseBasicBlock(unsigned BlockNo) {
 }
 
 /// Parse all of the BasicBlock's & Instruction's in the body of a function.
-/// In post 1.0 bytecode files, we no longer emit basic block individually, 
+/// In post 1.0 bytecode files, we no longer emit basic block individually,
 /// in order to avoid per-basic-block overhead.
 /// @returns Rhe number of basic blocks encountered.
 unsigned BytecodeReader::ParseInstructionList(Function* F) {
@@ -1060,7 +1188,7 @@ void BytecodeReader::ParseSymbolTable(Function *CurrentFunction,
         }
         if (V == 0)
           error("Failed value look-up for name '" + Name + "'");
-        V->setName(Name, ST);
+        V->setName(Name);
       }
     }
   }
@@ -1068,7 +1196,7 @@ void BytecodeReader::ParseSymbolTable(Function *CurrentFunction,
   if (Handler) Handler->handleSymbolTableEnd();
 }
 
-/// Read in the types portion of a compaction table. 
+/// Read in the types portion of a compaction table.
 void BytecodeReader::ParseCompactionTypes(unsigned NumEntries) {
   for (unsigned i = 0; i != NumEntries; ++i) {
     unsigned TypeSlot = 0;
@@ -1086,7 +1214,7 @@ void BytecodeReader::ParseCompactionTable() {
   // Notify handler that we're beginning a compaction table.
   if (Handler) Handler->handleCompactionTableBegin();
 
-  // In LLVM 1.3 Type no longer derives from Value. So, 
+  // In LLVM 1.3 Type no longer derives from Value. So,
   // we always write them first in the compaction table
   // because they can't occupy a "type plane" where the
   // Values reside.
@@ -1152,10 +1280,10 @@ void BytecodeReader::ParseCompactionTable() {
   // Notify handler that the compaction table is done.
   if (Handler) Handler->handleCompactionTableEnd();
 }
-    
+
 // Parse a single type. The typeid is read in first. If its a primitive type
 // then nothing else needs to be read, we know how to instantiate it. If its
-// a derived type, then additional data is read to fill out the type 
+// a derived type, then additional data is read to fill out the type
 // definition.
 const Type *BytecodeReader::ParseType() {
   unsigned PrimType = 0;
@@ -1165,7 +1293,7 @@ const Type *BytecodeReader::ParseType() {
   const Type *Result = 0;
   if ((Result = Type::getPrimitiveType((Type::TypeID)PrimType)))
     return Result;
-  
+
   switch (PrimType) {
   case Type::FunctionTyID: {
     const Type *RetType = readSanitizedType();
@@ -1173,7 +1301,7 @@ const Type *BytecodeReader::ParseType() {
     unsigned NumParams = read_vbr_uint();
 
     std::vector<const Type*> Params;
-    while (NumParams--) 
+    while (NumParams--)
       Params.push_back(readSanitizedType());
 
     bool isVarArg = Params.size() && Params.back() == Type::VoidTy;
@@ -1245,19 +1373,23 @@ void BytecodeReader::ParseTypes(TypeListTy &Tab, unsigned NumEntries){
   for (unsigned i = 0; i != NumEntries; ++i)
     Tab.push_back(OpaqueType::get());
 
-  if (Handler) 
+  if (Handler)
     Handler->handleTypeList(NumEntries);
 
+  // If we are about to resolve types, make sure the type cache is clear.
+  if (NumEntries)
+    ModuleTypeIDCache.clear();
+  
   // Loop through reading all of the types.  Forward types will make use of the
   // opaque types just inserted.
   //
   for (unsigned i = 0; i != NumEntries; ++i) {
     const Type* NewTy = ParseType();
     const Type* OldTy = Tab[i].get();
-    if (NewTy == 0) 
+    if (NewTy == 0)
       error("Couldn't parse type!");
 
-    // Don't directly push the new type on the Tab. Instead we want to replace 
+    // Don't directly push the new type on the Tab. Instead we want to replace
     // the opaque type we previously inserted with the new concrete value. This
     // approach helps with forward references to types. The refinement from the
     // abstract (opaque) type to the new type causes all uses of the abstract
@@ -1273,19 +1405,40 @@ void BytecodeReader::ParseTypes(TypeListTy &Tab, unsigned NumEntries){
 }
 
 /// Parse a single constant value
-Constant *BytecodeReader::ParseConstantValue(unsigned TypeID) {
+Value *BytecodeReader::ParseConstantPoolValue(unsigned TypeID) {
   // We must check for a ConstantExpr before switching by type because
   // a ConstantExpr can be of any type, and has no explicit value.
-  // 
+  //
   // 0 if not expr; numArgs if is expr
   unsigned isExprNumArgs = read_vbr_uint();
 
   if (isExprNumArgs) {
-    // 'undef' is encoded with 'exprnumargs' == 1.
-    if (!hasNoUndefValue)
-      if (--isExprNumArgs == 0)
+    if (!hasNoUndefValue) {
+      // 'undef' is encoded with 'exprnumargs' == 1.
+      if (isExprNumArgs == 1)
         return UndefValue::get(getType(TypeID));
-  
+
+      // Inline asm is encoded with exprnumargs == ~0U.
+      if (isExprNumArgs == ~0U) {
+        std::string AsmStr = read_str();
+        std::string ConstraintStr = read_str();
+        unsigned Flags = read_vbr_uint();
+        
+        const PointerType *PTy = dyn_cast<PointerType>(getType(TypeID));
+        const FunctionType *FTy = 
+          PTy ? dyn_cast<FunctionType>(PTy->getElementType()) : 0;
+
+        if (!FTy || !InlineAsm::Verify(FTy, ConstraintStr))
+          error("Invalid constraints for inline asm");
+        if (Flags & ~1U)
+          error("Invalid flags for inline asm");
+        bool HasSideEffects = Flags & 1;
+        return InlineAsm::get(FTy, AsmStr, ConstraintStr, HasSideEffects);
+      }
+      
+      --isExprNumArgs;
+    }
+
     // FIXME: Encoding of constant exprs could be much more compact!
     std::vector<Constant*> ArgVec;
     ArgVec.reserve(isExprNumArgs);
@@ -1293,18 +1446,18 @@ Constant *BytecodeReader::ParseConstantValue(unsigned TypeID) {
 
     // Bytecode files before LLVM 1.4 need have a missing terminator inst.
     if (hasNoUnreachableInst) Opcode++;
-    
+
     // Read the slot number and types of each of the arguments
     for (unsigned i = 0; i != isExprNumArgs; ++i) {
       unsigned ArgValSlot = read_vbr_uint();
       unsigned ArgTypeSlot = 0;
       if (read_typeid(ArgTypeSlot))
         error("Invalid argument type (type type) for constant value");
-      
+
       // Get the arg value from its slot if it exists, otherwise a placeholder
       ArgVec.push_back(getConstantValue(ArgTypeSlot, ArgValSlot));
     }
-    
+
     // Construct a ConstantExpr of the appropriate kind
     if (isExprNumArgs == 1) {           // All one-operand expressions
       if (Opcode != Instruction::Cast)
@@ -1335,23 +1488,36 @@ Constant *BytecodeReader::ParseConstantValue(unsigned TypeID) {
     } else if (Opcode == Instruction::Select) {
       if (ArgVec.size() != 3)
         error("Select instruction must have three arguments.");
-      Constant* Result = ConstantExpr::getSelect(ArgVec[0], ArgVec[1], 
+      Constant* Result = ConstantExpr::getSelect(ArgVec[0], ArgVec[1],
                                                  ArgVec[2]);
       if (Handler) Handler->handleConstantExpression(Opcode, ArgVec, Result);
       return Result;
+    } else if (Opcode == Instruction::ExtractElement) {
+      if (ArgVec.size() != 2)
+        error("ExtractElement instruction must have two arguments.");
+      Constant* Result = ConstantExpr::getExtractElement(ArgVec[0], ArgVec[1]);
+      if (Handler) Handler->handleConstantExpression(Opcode, ArgVec, Result);
+      return Result;
+    } else if (Opcode == Instruction::InsertElement) {
+      if (ArgVec.size() != 3)
+        error("InsertElement instruction must have three arguments.");
+      Constant* Result = 
+        ConstantExpr::getInsertElement(ArgVec[0], ArgVec[1], ArgVec[2]);
+      if (Handler) Handler->handleConstantExpression(Opcode, ArgVec, Result);
+      return Result;
     } else {                            // All other 2-operand expressions
       Constant* Result = ConstantExpr::get(Opcode, ArgVec[0], ArgVec[1]);
       if (Handler) Handler->handleConstantExpression(Opcode, ArgVec, Result);
       return Result;
     }
   }
-  
+
   // Ok, not an ConstantExpr.  We now know how to read the given type...
   const Type *Ty = getType(TypeID);
   switch (Ty->getTypeID()) {
   case Type::BoolTyID: {
     unsigned Val = read_vbr_uint();
-    if (Val != 0 && Val != 1) 
+    if (Val != 0 && Val != 1)
       error("Invalid boolean value read.");
     Constant* Result = ConstantBool::get(Val == 1);
     if (Handler) Handler->handleConstantValue(Result);
@@ -1362,7 +1528,7 @@ Constant *BytecodeReader::ParseConstantValue(unsigned TypeID) {
   case Type::UShortTyID:
   case Type::UIntTyID: {
     unsigned Val = read_vbr_uint();
-    if (!ConstantUInt::isValueValidForType(Ty, Val)) 
+    if (!ConstantUInt::isValueValidForType(Ty, Val))
       error("Invalid unsigned byte/short/int read.");
     Constant* Result =  ConstantUInt::get(Ty, Val);
     if (Handler) Handler->handleConstantValue(Result);
@@ -1380,7 +1546,7 @@ Constant *BytecodeReader::ParseConstantValue(unsigned TypeID) {
   case Type::IntTyID: {
   case Type::LongTyID:
     int64_t Val = read_vbr_int64();
-    if (!ConstantSInt::isValueValidForType(Ty, Val)) 
+    if (!ConstantSInt::isValueValidForType(Ty, Val))
       error("Invalid signed byte/short/int/long read.");
     Constant* Result = ConstantSInt::get(Ty, Val);
     if (Handler) Handler->handleConstantValue(Result);
@@ -1429,7 +1595,7 @@ Constant *BytecodeReader::ParseConstantValue(unsigned TypeID) {
     Constant* Result = ConstantStruct::get(ST, Elements);
     if (Handler) Handler->handleConstantStruct(ST, Elements, Result);
     return Result;
-  }    
+  }
 
   case Type::PackedTyID: {
     const PackedType *PT = cast<PackedType>(Ty);
@@ -1448,7 +1614,7 @@ Constant *BytecodeReader::ParseConstantValue(unsigned TypeID) {
   case Type::PointerTyID: {  // ConstantPointerRef value (backwards compat).
     const PointerType *PT = cast<PointerType>(Ty);
     unsigned Slot = read_vbr_uint();
-    
+
     // Check to see if we have already read this global variable...
     Value *Val = getValue(TypeID, Slot, false);
     if (Val) {
@@ -1469,8 +1635,8 @@ Constant *BytecodeReader::ParseConstantValue(unsigned TypeID) {
   return 0;
 }
 
-/// Resolve references for constants. This function resolves the forward 
-/// referenced constants in the ConstantFwdRefs map. It uses the 
+/// Resolve references for constants. This function resolves the forward
+/// referenced constants in the ConstantFwdRefs map. It uses the
 /// replaceAllUsesWith method of Value class to substitute the placeholder
 /// instance with the actual instance.
 void BytecodeReader::ResolveReferencesToConstant(Constant *NewV, unsigned Typ,
@@ -1494,14 +1660,14 @@ void BytecodeReader::ParseStringConstants(unsigned NumEntries, ValueTable &Tab){
     const Type *Ty = getType(Typ);
     if (!isa<ArrayType>(Ty))
       error("String constant data invalid!");
-    
+
     const ArrayType *ATy = cast<ArrayType>(Ty);
     if (ATy->getElementType() != Type::SByteTy &&
         ATy->getElementType() != Type::UByteTy)
       error("String constant data invalid!");
-    
+
     // Read character data.  The type tells us how long the string is.
-    char *Data = reinterpret_cast<char *>(alloca(ATy->getNumElements())); 
+    char *Data = reinterpret_cast<char *>(alloca(ATy->getNumElements()));
     read_data(Data, Data+ATy->getNumElements());
 
     std::vector<Constant*> Elements(ATy->getNumElements());
@@ -1521,7 +1687,7 @@ void BytecodeReader::ParseStringConstants(unsigned NumEntries, ValueTable &Tab){
 }
 
 /// Parse the constant pool.
-void BytecodeReader::ParseConstantPool(ValueTable &Tab, 
+void BytecodeReader::ParseConstantPool(ValueTable &Tab,
                                        TypeListTy &TypeTab,
                                        bool isFunction) {
   if (Handler) Handler->handleGlobalConstantsBegin();
@@ -1551,9 +1717,9 @@ void BytecodeReader::ParseConstantPool(ValueTable &Tab,
       ParseStringConstants(NumEntries, Tab);
     } else {
       for (unsigned i = 0; i < NumEntries; ++i) {
-        Constant *C = ParseConstantValue(Typ);
-        assert(C && "ParseConstantValue returned NULL!");
-        unsigned Slot = insertValue(C, Typ, Tab);
+        Value *V = ParseConstantPoolValue(Typ);
+        assert(V && "ParseConstantPoolValue returned NULL!");
+        unsigned Slot = insertValue(V, Typ, Tab);
 
         // If we are reading a function constant table, make sure that we adjust
         // the slot number to be the real global constant number.
@@ -1561,7 +1727,8 @@ void BytecodeReader::ParseConstantPool(ValueTable &Tab,
         if (&Tab != &ModuleValues && Typ < ModuleValues.size() &&
             ModuleValues[Typ])
           Slot += ModuleValues[Typ]->size();
-        ResolveReferencesToConstant(C, Typ, Slot);
+        if (Constant *C = dyn_cast<Constant>(V))
+          ResolveReferencesToConstant(C, Typ, Slot);
       }
     }
   }
@@ -1571,9 +1738,9 @@ void BytecodeReader::ParseConstantPool(ValueTable &Tab,
   if (!ConstantFwdRefs.empty()) {
     ConstantRefsType::const_iterator I = ConstantFwdRefs.begin();
     Constant* missingConst = I->second;
-    error(utostr(ConstantFwdRefs.size()) + 
-          " unresolved constant reference exist. First one is '" + 
-          missingConst->getName() + "' of type '" + 
+    error(utostr(ConstantFwdRefs.size()) +
+          " unresolved constant reference exist. First one is '" +
+          missingConst->getName() + "' of type '" +
           missingConst->getType()->getDescription() + "'.");
   }
 
@@ -1655,7 +1822,7 @@ void BytecodeReader::ParseFunctionBody(Function* F) {
         InsertedArguments = true;
       }
 
-      if (BlockNum) 
+      if (BlockNum)
         error("Already parsed basic blocks!");
       BlockNum = ParseInstructionList(F);
       break;
@@ -1667,7 +1834,7 @@ void BytecodeReader::ParseFunctionBody(Function* F) {
 
     default:
       At += Size;
-      if (OldAt > At) 
+      if (OldAt > At)
         error("Wrapped around reading bytecode.");
       break;
     }
@@ -1706,7 +1873,7 @@ void BytecodeReader::ParseFunctionBody(Function* F) {
 
 /// This function parses LLVM functions lazily. It obtains the type of the
 /// function and records where the body of the function is in the bytecode
-/// buffer. The caller can then use the ParseNextFunction and 
+/// buffer. The caller can then use the ParseNextFunction and
 /// ParseAllFunctionBodies to get handler events for the functions.
 void BytecodeReader::ParseFunctionLazily() {
   if (FunctionSignatureList.empty())
@@ -1726,9 +1893,9 @@ void BytecodeReader::ParseFunctionLazily() {
   At = BlockEnd;
 }
 
-/// The ParserFunction method lazily parses one function. Use this method to 
-/// casue the parser to parse a specific function in the module. Note that 
-/// this will remove the function from what is to be included by 
+/// The ParserFunction method lazily parses one function. Use this method to
+/// casue the parser to parse a specific function in the module. Note that
+/// this will remove the function from what is to be included by
 /// ParseAllFunctionBodies.
 /// @see ParseAllFunctionBodies
 /// @see ParseBytecode
@@ -1766,9 +1933,10 @@ void BytecodeReader::ParseAllFunctionBodies() {
     Function* Func = Fi->first;
     BlockStart = At = Fi->second.Buf;
     BlockEnd = Fi->second.EndBuf;
-    this->ParseFunctionBody(Func);
+    ParseFunctionBody(Func);
     ++Fi;
   }
+  LazyFunctionLoadMap.clear();
 }
 
 /// Parse the global type list
@@ -1788,6 +1956,10 @@ void BytecodeReader::ParseModuleGlobalInfo() {
 
   if (Handler) Handler->handleModuleGlobalsBegin();
 
+  // SectionID - If a global has an explicit section specified, this map
+  // remembers the ID until we can translate it into a string.
+  std::map<GlobalValue*, unsigned> SectionID;
+  
   // Read global variables...
   unsigned VarType = read_vbr_uint();
   while (VarType != Type::VoidTyID) { // List is terminated by Void
@@ -1798,39 +1970,56 @@ void BytecodeReader::ParseModuleGlobalInfo() {
       error("Invalid type (type type) for global var!");
     unsigned LinkageID = (VarType >> 2) & 7;
     bool isConstant = VarType & 1;
-    bool hasInitializer = VarType & 2;
-    GlobalValue::LinkageTypes Linkage;
+    bool hasInitializer = (VarType & 2) != 0;
+    unsigned Alignment = 0;
+    unsigned GlobalSectionID = 0;
+    
+    // An extension word is present when linkage = 3 (internal) and hasinit = 0.
+    if (LinkageID == 3 && !hasInitializer) {
+      unsigned ExtWord = read_vbr_uint();
+      // The extension word has this format: bit 0 = has initializer, bit 1-3 =
+      // linkage, bit 4-8 = alignment (log2), bits 10+ = future use.
+      hasInitializer = ExtWord & 1;
+      LinkageID = (ExtWord >> 1) & 7;
+      Alignment = (1 << ((ExtWord >> 4) & 31)) >> 1;
+      
+      if (ExtWord & (1 << 9))  // Has a section ID.
+        GlobalSectionID = read_vbr_uint();
+    }
 
+    GlobalValue::LinkageTypes Linkage;
     switch (LinkageID) {
     case 0: Linkage = GlobalValue::ExternalLinkage;  break;
     case 1: Linkage = GlobalValue::WeakLinkage;      break;
     case 2: Linkage = GlobalValue::AppendingLinkage; break;
     case 3: Linkage = GlobalValue::InternalLinkage;  break;
     case 4: Linkage = GlobalValue::LinkOnceLinkage;  break;
-    default: 
+    default:
       error("Unknown linkage type: " + utostr(LinkageID));
       Linkage = GlobalValue::InternalLinkage;
       break;
     }
 
     const Type *Ty = getType(SlotNo);
-    if (!Ty) {
+    if (!Ty)
       error("Global has no type! SlotNo=" + utostr(SlotNo));
-    }
 
-    if (!isa<PointerType>(Ty)) {
+    if (!isa<PointerType>(Ty))
       error("Global not a pointer type! Ty= " + Ty->getDescription());
-    }
 
     const Type *ElTy = cast<PointerType>(Ty)->getElementType();
 
     // Create the global variable...
     GlobalVariable *GV = new GlobalVariable(ElTy, isConstant, Linkage,
                                             0, "", TheModule);
+    GV->setAlignment(Alignment);
     insertValue(GV, SlotNo, ModuleValues);
 
+    if (GlobalSectionID != 0)
+      SectionID[GV] = GlobalSectionID;
+
     unsigned initSlot = 0;
-    if (hasInitializer) {   
+    if (hasInitializer) {
       initSlot = read_vbr_uint();
       GlobalInits.push_back(std::make_pair(GV, initSlot));
     }
@@ -1850,23 +2039,30 @@ void BytecodeReader::ParseModuleGlobalInfo() {
     FnSignature = (FnSignature << 5) + 1;
 
   // List is terminated by VoidTy.
-  while ((FnSignature >> 5) != Type::VoidTyID) {
-    const Type *Ty = getType(FnSignature >> 5);
+  while (((FnSignature & (~0U >> 1)) >> 5) != Type::VoidTyID) {
+    const Type *Ty = getType((FnSignature & (~0U >> 1)) >> 5);
     if (!isa<PointerType>(Ty) ||
         !isa<FunctionType>(cast<PointerType>(Ty)->getElementType())) {
-      error("Function not a pointer to function type! Ty = " + 
+      error("Function not a pointer to function type! Ty = " +
             Ty->getDescription());
     }
 
     // We create functions by passing the underlying FunctionType to create...
-    const FunctionType* FTy = 
+    const FunctionType* FTy =
       cast<FunctionType>(cast<PointerType>(Ty)->getElementType());
 
-
     // Insert the place holder.
-    Function* Func = new Function(FTy, GlobalValue::ExternalLinkage, 
+    Function *Func = new Function(FTy, GlobalValue::ExternalLinkage,
                                   "", TheModule);
-    insertValue(Func, FnSignature >> 5, ModuleValues);
+
+    // Replace with upgraded intrinsic function, if applicable.
+    if (Function* upgrdF = UpgradeIntrinsicFunction(Func)) {
+      hasUpgradedIntrinsicFunctions = true;
+      Func->eraseFromParent();
+      Func = upgrdF;
+    }
+
+    insertValue(Func, (FnSignature & (~0U >> 1)) >> 5, ModuleValues);
 
     // Flags are not used yet.
     unsigned Flags = FnSignature & 31;
@@ -1877,6 +2073,21 @@ void BytecodeReader::ParseModuleGlobalInfo() {
     if ((Flags & (1 << 4)) == 0)
       FunctionSignatureList.push_back(Func);
 
+    // Get the calling convention from the low bits.
+    unsigned CC = Flags & 15;
+    unsigned Alignment = 0;
+    if (FnSignature & (1 << 31)) {  // Has extension word?
+      unsigned ExtWord = read_vbr_uint();
+      Alignment = (1 << (ExtWord & 31)) >> 1;
+      CC |= ((ExtWord >> 5) & 15) << 4;
+      
+      if (ExtWord & (1 << 10))  // Has a section ID.
+        SectionID[Func] = read_vbr_uint();
+    }
+    
+    Func->setCallingConv(CC-1);
+    Func->setAlignment(Alignment);
+
     if (Handler) Handler->handleFunctionDeclaration(Func);
 
     // Get the next function signature.
@@ -1885,32 +2096,55 @@ void BytecodeReader::ParseModuleGlobalInfo() {
       FnSignature = (FnSignature << 5) + 1;
   }
 
-  // Now that the function signature list is set up, reverse it so that we can 
+  // Now that the function signature list is set up, reverse it so that we can
   // remove elements efficiently from the back of the vector.
   std::reverse(FunctionSignatureList.begin(), FunctionSignatureList.end());
 
-  // If this bytecode format has dependent library information in it ..
-  if (!hasNoDependentLibraries) {
-    // Read in the number of dependent library items that follow
+  /// SectionNames - This contains the list of section names encoded in the
+  /// moduleinfoblock.  Functions and globals with an explicit section index
+  /// into this to get their section name.
+  std::vector<std::string> SectionNames;
+  
+  if (hasInconsistentModuleGlobalInfo) {
+    align32();
+  } else if (!hasNoDependentLibraries) {
+    // If this bytecode format has dependent library information in it, read in
+    // the number of dependent library items that follow.
     unsigned num_dep_libs = read_vbr_uint();
     std::string dep_lib;
-    while( num_dep_libs-- ) {
+    while (num_dep_libs--) {
       dep_lib = read_str();
       TheModule->addLibrary(dep_lib);
       if (Handler)
         Handler->handleDependentLibrary(dep_lib);
     }
 
-
-    // Read target triple and place into the module
+    // Read target triple and place into the module.
     std::string triple = read_str();
     TheModule->setTargetTriple(triple);
     if (Handler)
       Handler->handleTargetTriple(triple);
+    
+    if (!hasAlignment && At != BlockEnd) {
+      // If the file has section info in it, read the section names now.
+      unsigned NumSections = read_vbr_uint();
+      while (NumSections--)
+        SectionNames.push_back(read_str());
+    }
+    
+    // If the file has module-level inline asm, read it now.
+    if (!hasAlignment && At != BlockEnd)
+      TheModule->setModuleInlineAsm(read_str());
   }
 
-  if (hasInconsistentModuleGlobalInfo)
-    align32();
+  // If any globals are in specified sections, assign them now.
+  for (std::map<GlobalValue*, unsigned>::iterator I = SectionID.begin(), E =
+       SectionID.end(); I != E; ++I)
+    if (I->second) {
+      if (I->second > SectionID.size())
+        error("SectionID out of range for global!");
+      I->first->setSection(SectionNames[I->second-1]);
+    }
 
   // This is for future proofing... in the future extra fields may be added that
   // we don't understand, so we transparently ignore them.
@@ -1933,7 +2167,7 @@ void BytecodeReader::ParseVersionInfo() {
 
   bool hasNoEndianness = Version & 4;
   bool hasNoPointerSize = Version & 8;
-  
+
   RevisionNum = Version >> 4;
 
   // Default values for the current bytecode version
@@ -1945,9 +2179,6 @@ void BytecodeReader::ParseVersionInfo() {
   has32BitTypes = false;
   hasNoDependentLibraries = false;
   hasAlignment = false;
-  hasInconsistentBBSlotNums = false;
-  hasVBRByteTypes = false;
-  hasUnnecessaryModuleBlockId = false;
   hasNoUndefValue = false;
   hasNoFlagsForFunctions = false;
   hasNoUnreachableInst = false;
@@ -1973,12 +2204,12 @@ void BytecodeReader::ParseVersionInfo() {
 
     // LLVM 1.2 and before had the Type class derive from Value class. This
     // changed in release 1.3 and consequently LLVM 1.3 bytecode files are
-    // written differently because Types can no longer be part of the 
+    // written differently because Types can no longer be part of the
     // type planes for Values.
     hasTypeDerivedFromValue = true;
 
     // FALL THROUGH
-    
+
   case 2:                // 1.2.5 (Not Released)
 
     // LLVM 1.2 and earlier had two-word block headers. This is a bit wasteful,
@@ -1995,7 +2226,7 @@ void BytecodeReader::ParseVersionInfo() {
     // in various places and to ensure consistency.
     has32BitTypes = true;
 
-    // LLVM 1.2 and earlier did not provide a target triple nor a list of 
+    // LLVM 1.2 and earlier did not provide a target triple nor a list of
     // libraries on which the bytecode is dependent. LLVM 1.3 provides these
     // features, for use in future versions of LLVM.
     hasNoDependentLibraries = true;
@@ -2004,13 +2235,13 @@ void BytecodeReader::ParseVersionInfo() {
 
   case 3:               // LLVM 1.3 (Released)
     // LLVM 1.3 and earlier caused alignment bytes to be written on some block
-    // boundaries and at the end of some strings. In extreme cases (e.g. lots 
+    // boundaries and at the end of some strings. In extreme cases (e.g. lots
     // of GEP references to a constant array), this can increase the file size
     // by 30% or more. In version 1.4 alignment is done away with completely.
     hasAlignment = true;
 
     // FALL THROUGH
-    
+
   case 4:               // 1.3.1 (Not Released)
     // In version 4, we did not support the 'undef' constant.
     hasNoUndefValue = true;
@@ -2026,24 +2257,8 @@ void BytecodeReader::ParseVersionInfo() {
 
     // FALL THROUGH
 
-  case 5:               // 1.x.x (Not Released)
+  case 5:               // 1.4 (Released)
     break;
-    // FIXME: NONE of this is implemented yet!
-
-    // In version 5, basic blocks have a minimum index of 0 whereas all the 
-    // other primitives have a minimum index of 1 (because 0 is the "null" 
-    // value. In version 5, we made this consistent.
-    hasInconsistentBBSlotNums = true;
-
-    // In version 5, the types SByte and UByte were encoded as vbr_uint so that
-    // signed values > 63 and unsigned values >127 would be encoded as two
-    // bytes. In version 5, they are encoded directly in a single byte.
-    hasVBRByteTypes = true;
-
-    // In version 5, modules begin with a "Module Block" which encodes a 4-byte
-    // integer value 0x01 to identify the module block. This is unnecessary and
-    // removed in version 5.
-    hasUnnecessaryModuleBlockId = true;
 
   default:
     error("Unknown bytecode version number: " + itostr(RevisionNum));
@@ -2086,7 +2301,7 @@ void BytecodeReader::ParseModule() {
       SeenGlobalTypePlane = true;
       break;
 
-    case BytecodeFormat::ModuleGlobalInfoBlockID: 
+    case BytecodeFormat::ModuleGlobalInfoBlockID:
       if (SeenModuleGlobalInfo)
         error("Two ModuleGlobalInfo Blocks Encountered!");
       ParseModuleGlobalInfo();
@@ -2129,7 +2344,7 @@ void BytecodeReader::ParseModule() {
     const llvm::PointerType* GVType = GV->getType();
     unsigned TypeSlot = getTypeSlot(GVType->getElementType());
     if (Constant *CV = getConstantValue(TypeSlot, Slot)) {
-      if (GV->hasInitializer()) 
+      if (GV->hasInitializer())
         error("Global *already* has an initializer?!");
       if (Handler) Handler->handleGlobalInitializer(GV,CV);
       GV->setInitializer(CV);
@@ -2137,6 +2352,9 @@ void BytecodeReader::ParseModule() {
       error("Cannot find initializer value.");
   }
 
+  if (!ConstantFwdRefs.empty())
+    error("Use of undefined constants in a module");
+
   /// Make sure we pulled them all out. If we didn't then there's a declaration
   /// but a missing body. That's not allowed.
   if (!FunctionSignatureList.empty())
@@ -2145,7 +2363,7 @@ void BytecodeReader::ParseModule() {
 
 /// This function completely parses a bytecode buffer given by the \p Buf
 /// and \p Length parameters.
-void BytecodeReader::ParseBytecode(BufPtr Buf, unsigned Length, 
+void BytecodeReader::ParseBytecode(BufPtr Buf, unsigned Length,
                                    const std::string &ModuleID) {
 
   try {
@@ -2194,7 +2412,7 @@ void BytecodeReader::ParseBytecode(BufPtr Buf, unsigned Length,
     Type = read_uint();
     Size = read_uint();
     if (Type != BytecodeFormat::ModuleBlockID) {
-      error("Expected Module Block! Type:" + utostr(Type) + ", Size:" 
+      error("Expected Module Block! Type:" + utostr(Type) + ", Size:"
             + utostr(Size));
     }
 
@@ -2216,7 +2434,7 @@ void BytecodeReader::ParseBytecode(BufPtr Buf, unsigned Length,
       error("Function expected, but bytecode stream ended!");
 
     // Tell the handler we're done with the module
-    if (Handler) 
+    if (Handler)
       Handler->handleModuleEnd(ModuleID);
 
     // Tell the handler we're finished the parse
@@ -2252,4 +2470,3 @@ void BytecodeReader::ParseBytecode(BufPtr Buf, unsigned Length,
 
 BytecodeHandler::~BytecodeHandler() {}
 
-// vim: sw=2