The second part of the change from -fast to -O#. This changes the JIT to accept
[oota-llvm.git] / lib / ExecutionEngine / ExecutionEngine.cpp
index 52a69eaea77c40edc8a2873207443184df9f2117..e64af9118d9c40d517d4d6f0ab34483a7caed253 100644 (file)
@@ -40,7 +40,9 @@ ExecutionEngine::EERegisterFn ExecutionEngine::ExceptionTableRegister = 0;
 
 ExecutionEngine::ExecutionEngine(ModuleProvider *P) : LazyFunctionCreator(0) {
   LazyCompilationDisabled = false;
+  GVCompilationDisabled   = false;
   SymbolSearchingDisabled = false;
+  DlsymStubsEnabled       = false;
   Modules.push_back(P);
   assert(P && "ModuleProvider is null?");
 }
@@ -51,8 +53,15 @@ ExecutionEngine::~ExecutionEngine() {
     delete Modules[i];
 }
 
+char* ExecutionEngine::getMemoryForGV(const GlobalVariable* GV) {
+  const Type *ElTy = GV->getType()->getElementType();
+  size_t GVSize = (size_t)getTargetData()->getTypePaddedSize(ElTy);
+  return new char[GVSize];
+}
+
 /// removeModuleProvider - Remove a ModuleProvider from the list of modules.
-/// Release module from ModuleProvider.
+/// Relases the Module from the ModuleProvider, materializing it in the
+/// process, and returns the materialized Module.
 Module* ExecutionEngine::removeModuleProvider(ModuleProvider *P, 
                                               std::string *ErrInfo) {
   for(SmallVector<ModuleProvider *, 1>::iterator I = Modules.begin(), 
@@ -67,6 +76,23 @@ Module* ExecutionEngine::removeModuleProvider(ModuleProvider *P,
   return NULL;
 }
 
+/// deleteModuleProvider - Remove a ModuleProvider from the list of modules,
+/// and deletes the ModuleProvider and owned Module.  Avoids materializing 
+/// the underlying module.
+void ExecutionEngine::deleteModuleProvider(ModuleProvider *P, 
+                                           std::string *ErrInfo) {
+  for(SmallVector<ModuleProvider *, 1>::iterator I = Modules.begin(), 
+      E = Modules.end(); I != E; ++I) {
+    ModuleProvider *MP = *I;
+    if (MP == P) {
+      Modules.erase(I);
+      clearGlobalMappingsFromModule(MP->getModule());
+      delete MP;
+      return;
+    }
+  }
+}
+
 /// FindFunctionNamed - Search all of the active modules to find the one that
 /// defines FnName.  This is very slow operation and shouldn't be used for
 /// general code.
@@ -87,7 +113,7 @@ Function *ExecutionEngine::FindFunctionNamed(const char *FnName) {
 void ExecutionEngine::addGlobalMapping(const GlobalValue *GV, void *Addr) {
   MutexGuard locked(lock);
 
-  DOUT << "Map " << *GV << " to " << Addr << "\n";  
+  DOUT << "JIT: Map \'" << GV->getNameStart() << "\' to [" << Addr << "]\n";  
   void *&CurVal = state.getGlobalAddressMap(locked)[GV];
   assert((CurVal == 0 || Addr == 0) && "GlobalMapping already established!");
   CurVal = Addr;
@@ -204,13 +230,13 @@ static void *CreateArgv(ExecutionEngine *EE,
   unsigned PtrSize = EE->getTargetData()->getPointerSize();
   char *Result = new char[(InputArgv.size()+1)*PtrSize];
 
-  DOUT << "ARGV = " << (void*)Result << "\n";
+  DOUT << "JIT: ARGV = " << (void*)Result << "\n";
   const Type *SBytePtr = PointerType::getUnqual(Type::Int8Ty);
 
   for (unsigned i = 0; i != InputArgv.size(); ++i) {
     unsigned Size = InputArgv[i].size()+1;
     char *Dest = new char[Size];
-    DOUT << "ARGV[" << i << "] = " << (void*)Dest << "\n";
+    DOUT << "JIT: ARGV[" << i << "] = " << (void*)Dest << "\n";
 
     std::copy(InputArgv[i].begin(), InputArgv[i].end(), Dest);
     Dest[Size-1] = 0;
@@ -229,43 +255,51 @@ static void *CreateArgv(ExecutionEngine *EE,
 
 
 /// runStaticConstructorsDestructors - This method is used to execute all of
-/// the static constructors or destructors for a program, depending on the
+/// the static constructors or destructors for a module, depending on the
 /// value of isDtors.
-void ExecutionEngine::runStaticConstructorsDestructors(bool isDtors) {
+void ExecutionEngine::runStaticConstructorsDestructors(Module *module, bool isDtors) {
   const char *Name = isDtors ? "llvm.global_dtors" : "llvm.global_ctors";
   
   // Execute global ctors/dtors for each module in the program.
-  for (unsigned m = 0, e = Modules.size(); m != e; ++m) {
-    GlobalVariable *GV = Modules[m]->getModule()->getNamedGlobal(Name);
-
-    // If this global has internal linkage, or if it has a use, then it must be
-    // an old-style (llvmgcc3) static ctor with __main linked in and in use.  If
-    // this is the case, don't execute any of the global ctors, __main will do
-    // it.
-    if (!GV || GV->isDeclaration() || GV->hasInternalLinkage()) continue;
   
-    // Should be an array of '{ int, void ()* }' structs.  The first value is
-    // the init priority, which we ignore.
-    ConstantArray *InitList = dyn_cast<ConstantArray>(GV->getInitializer());
-    if (!InitList) continue;
-    for (unsigned i = 0, e = InitList->getNumOperands(); i != e; ++i)
-      if (ConstantStruct *CS = 
-          dyn_cast<ConstantStruct>(InitList->getOperand(i))) {
-        if (CS->getNumOperands() != 2) break; // Not array of 2-element structs.
-      
-        Constant *FP = CS->getOperand(1);
-        if (FP->isNullValue())
-          break;  // Found a null terminator, exit.
-      
-        if (ConstantExpr *CE = dyn_cast<ConstantExpr>(FP))
-          if (CE->isCast())
-            FP = CE->getOperand(0);
-        if (Function *F = dyn_cast<Function>(FP)) {
-          // Execute the ctor/dtor function!
-          runFunction(F, std::vector<GenericValue>());
-        }
-      }
-  }
+ GlobalVariable *GV = module->getNamedGlobal(Name);
+
+ // If this global has internal linkage, or if it has a use, then it must be
+ // an old-style (llvmgcc3) static ctor with __main linked in and in use.  If
+ // this is the case, don't execute any of the global ctors, __main will do
+ // it.
+ if (!GV || GV->isDeclaration() || GV->hasLocalLinkage()) return;
+ // Should be an array of '{ int, void ()* }' structs.  The first value is
+ // the init priority, which we ignore.
+ ConstantArray *InitList = dyn_cast<ConstantArray>(GV->getInitializer());
+ if (!InitList) return;
+ for (unsigned i = 0, e = InitList->getNumOperands(); i != e; ++i)
+   if (ConstantStruct *CS = 
+       dyn_cast<ConstantStruct>(InitList->getOperand(i))) {
+     if (CS->getNumOperands() != 2) return; // Not array of 2-element structs.
+   
+     Constant *FP = CS->getOperand(1);
+     if (FP->isNullValue())
+       break;  // Found a null terminator, exit.
+   
+     if (ConstantExpr *CE = dyn_cast<ConstantExpr>(FP))
+       if (CE->isCast())
+         FP = CE->getOperand(0);
+     if (Function *F = dyn_cast<Function>(FP)) {
+       // Execute the ctor/dtor function!
+       runFunction(F, std::vector<GenericValue>());
+     }
+   }
+}
+
+/// runStaticConstructorsDestructors - This method is used to execute all of
+/// the static constructors or destructors for a program, depending on the
+/// value of isDtors.
+void ExecutionEngine::runStaticConstructorsDestructors(bool isDtors) {
+  // Execute global ctors/dtors for each module in the program.
+  for (unsigned m = 0, e = Modules.size(); m != e; ++m)
+    runStaticConstructorsDestructors(Modules[m]->getModule(), isDtors);
 }
 
 #ifndef NDEBUG
@@ -314,7 +348,7 @@ int ExecutionEngine::runFunctionAsMain(Function *Fn,
    }
    // FALLS THROUGH
   case 0:
-   if (FTy->getReturnType() != Type::Int32Ty &&
+   if (!isa<IntegerType>(FTy->getReturnType()) &&
        FTy->getReturnType() != Type::VoidTy) {
      cerr << "Invalid return type of main() supplied\n";
      abort();
@@ -349,7 +383,7 @@ int ExecutionEngine::runFunctionAsMain(Function *Fn,
 ExecutionEngine *ExecutionEngine::create(ModuleProvider *MP,
                                          bool ForceInterpreter,
                                          std::string *ErrorStr,
-                                         bool Fast) {
+                                         unsigned OptLevel) {
   ExecutionEngine *EE = 0;
 
   // Make sure we can resolve symbols in the program as well. The zero arg
@@ -359,11 +393,11 @@ ExecutionEngine *ExecutionEngine::create(ModuleProvider *MP,
 
   // Unless the interpreter was explicitly selected, try making a JIT.
   if (!ForceInterpreter && JITCtor)
-    EE = JITCtor(MP, ErrorStr, Fast);
+    EE = JITCtor(MP, ErrorStr, OptLevel);
 
   // If we can't make a JIT, make an interpreter instead.
   if (EE == 0 && InterpCtor)
-    EE = InterpCtor(MP, ErrorStr, Fast);
+    EE = InterpCtor(MP, ErrorStr, OptLevel);
 
   return EE;
 }
@@ -458,7 +492,7 @@ GenericValue ExecutionEngine::getConstantValue(const Constant *C) {
         (void)apf.convertFromAPInt(GV.IntVal, 
                                    false,
                                    APFloat::rmNearestTiesToEven);
-        GV.IntVal = apf.convertToAPInt();
+        GV.IntVal = apf.bitcastToAPInt();
       }
       return GV;
     }
@@ -474,7 +508,7 @@ GenericValue ExecutionEngine::getConstantValue(const Constant *C) {
         (void)apf.convertFromAPInt(GV.IntVal, 
                                    true,
                                    APFloat::rmNearestTiesToEven);
-        GV.IntVal = apf.convertToAPInt();
+        GV.IntVal = apf.bitcastToAPInt();
       }
       return GV;
     }
@@ -489,9 +523,10 @@ GenericValue ExecutionEngine::getConstantValue(const Constant *C) {
       else if (Op0->getType() == Type::X86_FP80Ty) {
         APFloat apf = APFloat(GV.IntVal);
         uint64_t v;
+        bool ignored;
         (void)apf.convertToInteger(&v, BitWidth,
                                    CE->getOpcode()==Instruction::FPToSI, 
-                                   APFloat::rmTowardZero);
+                                   APFloat::rmTowardZero, &ignored);
         GV.IntVal = v; // endian?
       }
       return GV;
@@ -605,23 +640,23 @@ GenericValue ExecutionEngine::getConstantValue(const Constant *C) {
           default: assert(0 && "Invalid long double opcode"); abort();
           case Instruction::Add:  
             apfLHS.add(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
-            GV.IntVal = apfLHS.convertToAPInt();
+            GV.IntVal = apfLHS.bitcastToAPInt();
             break;
           case Instruction::Sub:  
             apfLHS.subtract(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
-            GV.IntVal = apfLHS.convertToAPInt();
+            GV.IntVal = apfLHS.bitcastToAPInt();
             break;
           case Instruction::Mul:  
             apfLHS.multiply(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
-            GV.IntVal = apfLHS.convertToAPInt();
+            GV.IntVal = apfLHS.bitcastToAPInt();
             break;
           case Instruction::FDiv: 
             apfLHS.divide(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
-            GV.IntVal = apfLHS.convertToAPInt();
+            GV.IntVal = apfLHS.bitcastToAPInt();
             break;
           case Instruction::FRem: 
             apfLHS.mod(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
-            GV.IntVal = apfLHS.convertToAPInt();
+            GV.IntVal = apfLHS.bitcastToAPInt();
             break;
           }
         }
@@ -647,7 +682,7 @@ GenericValue ExecutionEngine::getConstantValue(const Constant *C) {
   case Type::X86_FP80TyID:
   case Type::FP128TyID:
   case Type::PPC_FP128TyID:
-    Result.IntVal = cast <ConstantFP>(C)->getValueAPF().convertToAPInt();
+    Result.IntVal = cast <ConstantFP>(C)->getValueAPF().bitcastToAPInt();
     break;
   case Type::IntegerTyID:
     Result.IntVal = cast<ConstantInt>(C)->getValue();
@@ -676,7 +711,7 @@ static void StoreIntToMemory(const APInt &IntVal, uint8_t *Dst,
   assert((IntVal.getBitWidth()+7)/8 >= StoreBytes && "Integer too small!");
   uint8_t *Src = (uint8_t *)IntVal.getRawData();
 
-  if (sys::littleEndianHost())
+  if (sys::isLittleEndianHost())
     // Little-endian host - the source is ordered from LSB to MSB.  Order the
     // destination from LSB to MSB: Do a straight copy.
     memcpy(Dst, Src, StoreBytes);
@@ -699,8 +734,8 @@ static void StoreIntToMemory(const APInt &IntVal, uint8_t *Dst,
 /// is the address of the memory at which to store Val, cast to GenericValue *.
 /// It is not a pointer to a GenericValue containing the address at which to
 /// store Val.
-void ExecutionEngine::StoreValueToMemory(const GenericValue &Val, GenericValue *Ptr,
-                                         const Type *Ty) {
+void ExecutionEngine::StoreValueToMemory(const GenericValue &Val,
+                                         GenericValue *Ptr, const Type *Ty) {
   const unsigned StoreBytes = getTargetData()->getTypeStoreSize(Ty);
 
   switch (Ty->getTypeID()) {
@@ -713,17 +748,9 @@ void ExecutionEngine::StoreValueToMemory(const GenericValue &Val, GenericValue *
   case Type::DoubleTyID:
     *((double*)Ptr) = Val.DoubleVal;
     break;
-  case Type::X86_FP80TyID: {
-      uint16_t *Dest = (uint16_t*)Ptr;
-      const uint16_t *Src = (uint16_t*)Val.IntVal.getRawData();
-      // This is endian dependent, but it will only work on x86 anyway.
-      Dest[0] = Src[4];
-      Dest[1] = Src[0];
-      Dest[2] = Src[1];
-      Dest[3] = Src[2];
-      Dest[4] = Src[3];
-      break;
-    }
+  case Type::X86_FP80TyID:
+    memcpy(Ptr, Val.IntVal.getRawData(), 10);
+    break;
   case Type::PointerTyID:
     // Ensure 64 bit target pointers are fully initialized on 32 bit hosts.
     if (StoreBytes != sizeof(PointerTy))
@@ -735,7 +762,7 @@ void ExecutionEngine::StoreValueToMemory(const GenericValue &Val, GenericValue *
     cerr << "Cannot store value of type " << *Ty << "!\n";
   }
 
-  if (sys::littleEndianHost() != getTargetData()->isLittleEndian())
+  if (sys::isLittleEndianHost() != getTargetData()->isLittleEndian())
     // Host and target are different endian - reverse the stored bytes.
     std::reverse((uint8_t*)Ptr, StoreBytes + (uint8_t*)Ptr);
 }
@@ -746,7 +773,7 @@ static void LoadIntFromMemory(APInt &IntVal, uint8_t *Src, unsigned LoadBytes) {
   assert((IntVal.getBitWidth()+7)/8 >= LoadBytes && "Integer too small!");
   uint8_t *Dst = (uint8_t *)IntVal.getRawData();
 
-  if (sys::littleEndianHost())
+  if (sys::isLittleEndianHost())
     // Little-endian host - the destination must be ordered from LSB to MSB.
     // The source is ordered from LSB to MSB: Do a straight copy.
     memcpy(Dst, Src, LoadBytes);
@@ -773,7 +800,7 @@ void ExecutionEngine::LoadValueFromMemory(GenericValue &Result,
                                           const Type *Ty) {
   const unsigned LoadBytes = getTargetData()->getTypeStoreSize(Ty);
 
-  if (sys::littleEndianHost() != getTargetData()->isLittleEndian()) {
+  if (sys::isLittleEndianHost() != getTargetData()->isLittleEndian()) {
     // Host and target are different endian - reverse copy the stored
     // bytes into a buffer, and load from that.
     uint8_t *Src = (uint8_t*)Ptr;
@@ -800,16 +827,8 @@ void ExecutionEngine::LoadValueFromMemory(GenericValue &Result,
   case Type::X86_FP80TyID: {
     // This is endian dependent, but it will only work on x86 anyway.
     // FIXME: Will not trap if loading a signaling NaN.
-    uint16_t *p = (uint16_t*)Ptr;
-    union {
-      uint16_t x[8];
-      uint64_t y[2];
-    };
-    x[0] = p[1];
-    x[1] = p[2];
-    x[2] = p[3];
-    x[3] = p[4];
-    x[4] = p[0];
+    uint64_t y[2];
+    memcpy(y, Ptr, 10);
     Result.IntVal = APInt(80, 2, y);
     break;
   }
@@ -823,22 +842,22 @@ void ExecutionEngine::LoadValueFromMemory(GenericValue &Result,
 // specified memory location...
 //
 void ExecutionEngine::InitializeMemory(const Constant *Init, void *Addr) {
-  DOUT << "Initializing " << Addr;
+  DOUT << "JIT: Initializing " << Addr << " ";
   DEBUG(Init->dump());
   if (isa<UndefValue>(Init)) {
     return;
   } else if (const ConstantVector *CP = dyn_cast<ConstantVector>(Init)) {
     unsigned ElementSize =
-      getTargetData()->getABITypeSize(CP->getType()->getElementType());
+      getTargetData()->getTypePaddedSize(CP->getType()->getElementType());
     for (unsigned i = 0, e = CP->getNumOperands(); i != e; ++i)
       InitializeMemory(CP->getOperand(i), (char*)Addr+i*ElementSize);
     return;
   } else if (isa<ConstantAggregateZero>(Init)) {
-    memset(Addr, 0, (size_t)getTargetData()->getABITypeSize(Init->getType()));
+    memset(Addr, 0, (size_t)getTargetData()->getTypePaddedSize(Init->getType()));
     return;
   } else if (const ConstantArray *CPA = dyn_cast<ConstantArray>(Init)) {
     unsigned ElementSize =
-      getTargetData()->getABITypeSize(CPA->getType()->getElementType());
+      getTargetData()->getTypePaddedSize(CPA->getType()->getElementType());
     for (unsigned i = 0, e = CPA->getNumOperands(); i != e; ++i)
       InitializeMemory(CPA->getOperand(i), (char*)Addr+i*ElementSize);
     return;
@@ -863,7 +882,6 @@ void ExecutionEngine::InitializeMemory(const Constant *Init, void *Addr) {
 /// their initializers into the memory.
 ///
 void ExecutionEngine::emitGlobals() {
-  const TargetData *TD = getTargetData();
 
   // Loop over all of the global variables in the program, allocating the memory
   // to hold them.  If there is more than one module, do a prepass over globals
@@ -878,7 +896,7 @@ void ExecutionEngine::emitGlobals() {
       for (Module::const_global_iterator I = M.global_begin(),
            E = M.global_end(); I != E; ++I) {
         const GlobalValue *GV = I;
-        if (GV->hasInternalLinkage() || GV->isDeclaration() ||
+        if (GV->hasLocalLinkage() || GV->isDeclaration() ||
             GV->hasAppendingLinkage() || !GV->hasName())
           continue;// Ignore external globals and globals with internal linkage.
           
@@ -924,12 +942,7 @@ void ExecutionEngine::emitGlobals() {
       }
       
       if (!I->isDeclaration()) {
-        // Get the type of the global.
-        const Type *Ty = I->getType()->getElementType();
-
-        // Allocate some memory for it!
-        unsigned Size = TD->getABITypeSize(Ty);
-        addGlobalMapping(I, new char[Size]);
+        addGlobalMapping(I, getMemoryForGV(I));
       } else {
         // External variable reference. Try to use the dynamic loader to
         // get a pointer to it.
@@ -953,7 +966,7 @@ void ExecutionEngine::emitGlobals() {
           LinkedGlobalsMap[std::make_pair(GV->getName(), GV->getType())];
         void *Ptr = getPointerToGlobalIfAvailable(CGV);
         assert(Ptr && "Canonical global wasn't codegen'd!");
-        addGlobalMapping(GV, getPointerToGlobalIfAvailable(CGV));
+        addGlobalMapping(GV, Ptr);
       }
     }
     
@@ -979,17 +992,19 @@ void ExecutionEngine::emitGlobals() {
 // already in the map.
 void ExecutionEngine::EmitGlobalVariable(const GlobalVariable *GV) {
   void *GA = getPointerToGlobalIfAvailable(GV);
-  DOUT << "Global '" << GV->getName() << "' -> " << GA << "\n";
 
-  const Type *ElTy = GV->getType()->getElementType();
-  size_t GVSize = (size_t)getTargetData()->getABITypeSize(ElTy);
   if (GA == 0) {
     // If it's not already specified, allocate memory for the global.
-    GA = new char[GVSize];
+    GA = getMemoryForGV(GV);
     addGlobalMapping(GV, GA);
   }
-
-  InitializeMemory(GV->getInitializer(), GA);
+  
+  // Don't initialize if it's thread local, let the client do it.
+  if (!GV->isThreadLocal())
+    InitializeMemory(GV->getInitializer(), GA);
+  
+  const Type *ElTy = GV->getType()->getElementType();
+  size_t GVSize = (size_t)getTargetData()->getTypePaddedSize(ElTy);
   NumInitBytes += (unsigned)GVSize;
   ++NumGlobals;
 }