lib/Transforms/IPO/StructRetPromotion.cpp

   1 //===-- StructRetPromotion.cpp - Promote sret arguments ------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This pass finds functions that return a struct (using a pointer to the struct
  11 // as the first argument of the function, marked with the 'sret' attribute) and
  12 // replaces them with a new function that simply returns each of the elements of
  13 // that struct (using multiple return values).
  14 //
  15 // This pass works under a number of conditions:
  16 //  1. The returned struct must not contain other structs
  17 //  2. The returned struct must only be used to load values from
  18 //  3. The placeholder struct passed in is the result of an alloca
  19 //
  20 //===----------------------------------------------------------------------===//
  21
  22 #define DEBUG_TYPE "sretpromotion"
  23 #include "llvm/Transforms/IPO.h"
  24 #include "llvm/Constants.h"
  25 #include "llvm/DerivedTypes.h"
  26 #include "llvm/Module.h"
  27 #include "llvm/CallGraphSCCPass.h"
  28 #include "llvm/Instructions.h"
  29 #include "llvm/Analysis/CallGraph.h"
  30 #include "llvm/Support/CallSite.h"
  31 #include "llvm/Support/CFG.h"
  32 #include "llvm/Support/Debug.h"
  33 #include "llvm/ADT/Statistic.h"
  34 #include "llvm/ADT/SmallVector.h"
  35 #include "llvm/ADT/Statistic.h"
  36 #include "llvm/Support/Compiler.h"
  37 using namespace llvm;
  38
  39 STATISTIC(NumRejectedSRETUses , "Number of sret rejected due to unexpected uses");
  40 STATISTIC(NumSRET , "Number of sret promoted");
  41 namespace {
  42   /// SRETPromotion - This pass removes sret parameter and updates
  43   /// function to use multiple return value.
  44   ///
  45   struct VISIBILITY_HIDDEN SRETPromotion : public CallGraphSCCPass {
  46     virtual void getAnalysisUsage(AnalysisUsage &AU) const {
  47       CallGraphSCCPass::getAnalysisUsage(AU);
  48     }
  49
  50     virtual bool runOnSCC(const std::vector<CallGraphNode *> &SCC);
  51     static char ID; // Pass identification, replacement for typeid
  52     SRETPromotion() : CallGraphSCCPass((intptr_t)&ID) {}
  53
  54   private:
  55     bool PromoteReturn(CallGraphNode *CGN);
  56     bool isSafeToUpdateAllCallers(Function *F);
  57     Function *cloneFunctionBody(Function *F, const StructType *STy);
  58     void updateCallSites(Function *F, Function *NF);
  59     bool nestedStructType(const StructType *STy);
  60   };
  61 }
  62
  63 char SRETPromotion::ID = 0;
  64 static RegisterPass<SRETPromotion>
  65 X("sretpromotion", "Promote sret arguments to multiple ret values");
  66
  67 Pass *llvm::createStructRetPromotionPass() {
  68   return new SRETPromotion();
  69 }
  70
  71 bool SRETPromotion::runOnSCC(const std::vector<CallGraphNode *> &SCC) {
  72   bool Changed = false;
  73
  74   for (unsigned i = 0, e = SCC.size(); i != e; ++i)
  75     Changed |= PromoteReturn(SCC[i]);
  76
  77   return Changed;
  78 }
  79
  80 /// PromoteReturn - This method promotes function that uses StructRet paramater
  81 /// into a function that uses mulitple return value.
  82 bool SRETPromotion::PromoteReturn(CallGraphNode *CGN) {
  83   Function *F = CGN->getFunction();
  84
  85   if (!F || F->isDeclaration() || !F->hasInternalLinkage())
  86     return false;
  87
  88   // Make sure that function returns struct.
  89   if (F->arg_size() == 0 || !F->hasStructRetAttr() || F->doesNotReturn())
  90     return false;
  91
  92   assert (F->getReturnType() == Type::VoidTy && "Invalid function return type");
  93   Function::arg_iterator AI = F->arg_begin();
  94   const llvm::PointerType *FArgType = dyn_cast<PointerType>(AI->getType());
  95   assert (FArgType && "Invalid sret parameter type");
  96   const llvm::StructType *STy =
  97     dyn_cast<StructType>(FArgType->getElementType());
  98   assert (STy && "Invalid sret parameter element type");
  99
 100   if (nestedStructType(STy))
 101     return false;
 102
 103   // Check if it is ok to perform this promotion.
 104   if (isSafeToUpdateAllCallers(F) == false) {
 105     NumRejectedSRETUses++;
 106     return false;
 107   }
 108
 109   NumSRET++;
 110   // [1] Replace use of sret parameter
 111   AllocaInst *TheAlloca = new AllocaInst (STy, NULL, "mrv",
 112                                           F->getEntryBlock().begin());
 113   Value *NFirstArg = F->arg_begin();
 114   NFirstArg->replaceAllUsesWith(TheAlloca);
 115
 116   // [2] Find and replace ret instructions
 117   SmallVector<Value *,4> RetVals;
 118   for (Function::iterator FI = F->begin(), FE = F->end();  FI != FE; ++FI)
 119     for(BasicBlock::iterator BI = FI->begin(), BE = FI->end(); BI != BE; ) {
 120       Instruction *I = BI;
 121       ++BI;
 122       if (isa<ReturnInst>(I)) {
 123         RetVals.clear();
 124         for (unsigned idx = 0; idx < STy->getNumElements(); ++idx) {
 125           SmallVector<Value*, 2> GEPIdx;
 126           GEPIdx.push_back(ConstantInt::get(Type::Int32Ty, 0));
 127           GEPIdx.push_back(ConstantInt::get(Type::Int32Ty, idx));
 128           Value *NGEPI = GetElementPtrInst::Create(TheAlloca, GEPIdx.begin(),
 129                                                    GEPIdx.end(),
 130                                                    "mrv.gep", I);
 131           Value *NV = new LoadInst(NGEPI, "mrv.ld", I);
 132           RetVals.push_back(NV);
 133         }
 134
 135         ReturnInst *NR = ReturnInst::Create(&RetVals[0], RetVals.size(), I);
 136         I->replaceAllUsesWith(NR);
 137         I->eraseFromParent();
 138       }
 139     }
 140
 141   // [3] Create the new function body and insert it into the module.
 142   Function *NF = cloneFunctionBody(F, STy);
 143
 144   // [4] Update all call sites to use new function
 145   updateCallSites(F, NF);
 146
 147   F->eraseFromParent();
 148   getAnalysis<CallGraph>().changeFunction(F, NF);
 149   return true;
 150 }
 151
 152 // Check if it is ok to perform this promotion.
 153 bool SRETPromotion::isSafeToUpdateAllCallers(Function *F) {
 154
 155   if (F->use_empty())
 156     // No users. OK to modify signature.
 157     return true;
 158
 159   for (Value::use_iterator FnUseI = F->use_begin(), FnUseE = F->use_end();
 160        FnUseI != FnUseE; ++FnUseI) {
 161     // The function is passed in as an argument to (possibly) another function,
 162     // we can't change it!
 163     if (FnUseI.getOperandNo() != 0)
 164       return false;
 165
 166     CallSite CS = CallSite::get(*FnUseI);
 167     Instruction *Call = CS.getInstruction();
 168     // The function is used by something else than a call or invoke instruction,
 169     // we can't change it!
 170     if (!Call)
 171       return false;
 172     CallSite::arg_iterator AI = CS.arg_begin();
 173     Value *FirstArg = *AI;
 174
 175     if (!isa<AllocaInst>(FirstArg))
 176       return false;
 177
 178     // Check FirstArg's users.
 179     for (Value::use_iterator ArgI = FirstArg->use_begin(),
 180            ArgE = FirstArg->use_end(); ArgI != ArgE; ++ArgI) {
 181
 182       // If FirstArg user is a CallInst that does not correspond to current
 183       // call site then this function F is not suitable for sret promotion.
 184       if (CallInst *CI = dyn_cast<CallInst>(ArgI)) {
 185         if (CI != Call)
 186           return false;
 187       }
 188       // If FirstArg user is a GEP whose all users are not LoadInst then
 189       // this function F is not suitable for sret promotion.
 190       else if (GetElementPtrInst *GEP = dyn_cast<GetElementPtrInst>(ArgI)) {
 191         // TODO : Use dom info and insert PHINodes to collect get results
 192         // from multiple call sites for this GEP.
 193         if (GEP->getParent() != Call->getParent())
 194           return false;
 195         for (Value::use_iterator GEPI = GEP->use_begin(), GEPE = GEP->use_end();
 196              GEPI != GEPE; ++GEPI)
 197           if (!isa<LoadInst>(GEPI))
 198             return false;
 199       }
 200       // Any other FirstArg users make this function unsuitable for sret
 201       // promotion.
 202       else
 203         return false;
 204     }
 205   }
 206
 207   return true;
 208 }
 209
 210 /// cloneFunctionBody - Create a new function based on F and
 211 /// insert it into module. Remove first argument. Use STy as
 212 /// the return type for new function.
 213 Function *SRETPromotion::cloneFunctionBody(Function *F,
 214                                            const StructType *STy) {
 215
 216   const FunctionType *FTy = F->getFunctionType();
 217   std::vector<const Type*> Params;
 218
 219   // ParamAttrs - Keep track of the parameter attributes for the arguments.
 220   SmallVector<ParamAttrsWithIndex, 8> ParamAttrsVec;
 221   const PAListPtr &PAL = F->getParamAttrs();
 222
 223   // Add any return attributes.
 224   if (ParameterAttributes attrs = PAL.getParamAttrs(0))
 225     ParamAttrsVec.push_back(ParamAttrsWithIndex::get(0, attrs));
 226
 227   // Skip first argument.
 228   Function::arg_iterator I = F->arg_begin(), E = F->arg_end();
 229   ++I;
 230   // 0th parameter attribute is reserved for return type.
 231   // 1th parameter attribute is for first 1st sret argument.
 232   unsigned ParamIndex = 2;
 233   while (I != E) {
 234     Params.push_back(I->getType());
 235     if (ParameterAttributes Attrs = PAL.getParamAttrs(ParamIndex))
 236       ParamAttrsVec.push_back(ParamAttrsWithIndex::get(ParamIndex - 1, Attrs));
 237     ++I;
 238     ++ParamIndex;
 239   }
 240
 241   FunctionType *NFTy = FunctionType::get(STy, Params, FTy->isVarArg());
 242   Function *NF = Function::Create(NFTy, F->getLinkage(), F->getName());
 243   NF->copyAttributesFrom(F);
 244   NF->setParamAttrs(PAListPtr::get(ParamAttrsVec.begin(), ParamAttrsVec.end()));
 245   F->getParent()->getFunctionList().insert(F, NF);
 246   NF->getBasicBlockList().splice(NF->begin(), F->getBasicBlockList());
 247
 248   // Replace arguments
 249   I = F->arg_begin();
 250   E = F->arg_end();
 251   Function::arg_iterator NI = NF->arg_begin();
 252   ++I;
 253   while (I != E) {
 254       I->replaceAllUsesWith(NI);
 255       NI->takeName(I);
 256       ++I;
 257       ++NI;
 258   }
 259
 260   return NF;
 261 }
 262
 263 /// updateCallSites - Update all sites that call F to use NF.
 264 void SRETPromotion::updateCallSites(Function *F, Function *NF) {
 265
 266   SmallVector<Value*, 16> Args;
 267
 268   // ParamAttrs - Keep track of the parameter attributes for the arguments.
 269   SmallVector<ParamAttrsWithIndex, 8> ArgAttrsVec;
 270
 271   for (Value::use_iterator FUI = F->use_begin(), FUE = F->use_end();
 272        FUI != FUE;) {
 273     CallSite CS = CallSite::get(*FUI);
 274     ++FUI;
 275     Instruction *Call = CS.getInstruction();
 276
 277     const PAListPtr &PAL = F->getParamAttrs();
 278     // Add any return attributes.
 279     if (ParameterAttributes attrs = PAL.getParamAttrs(0))
 280       ArgAttrsVec.push_back(ParamAttrsWithIndex::get(0, attrs));
 281
 282     // Copy arguments, however skip first one.
 283     CallSite::arg_iterator AI = CS.arg_begin(), AE = CS.arg_end();
 284     Value *FirstCArg = *AI;
 285     ++AI;
 286     // 0th parameter attribute is reserved for return type.
 287     // 1th parameter attribute is for first 1st sret argument.
 288     unsigned ParamIndex = 2;
 289     while (AI != AE) {
 290       Args.push_back(*AI);
 291       if (ParameterAttributes Attrs = PAL.getParamAttrs(ParamIndex))
 292         ArgAttrsVec.push_back(ParamAttrsWithIndex::get(ParamIndex - 1, Attrs));
 293       ++ParamIndex;
 294       ++AI;
 295     }
 296
 297
 298     PAListPtr NewPAL = PAListPtr::get(ArgAttrsVec.begin(), ArgAttrsVec.end());
 299
 300     // Build new call instruction.
 301     Instruction *New;
 302     if (InvokeInst *II = dyn_cast<InvokeInst>(Call)) {
 303       New = InvokeInst::Create(NF, II->getNormalDest(), II->getUnwindDest(),
 304                                Args.begin(), Args.end(), "", Call);
 305       cast<InvokeInst>(New)->setCallingConv(CS.getCallingConv());
 306       cast<InvokeInst>(New)->setParamAttrs(NewPAL);
 307     } else {
 308       New = CallInst::Create(NF, Args.begin(), Args.end(), "", Call);
 309       cast<CallInst>(New)->setCallingConv(CS.getCallingConv());
 310       cast<CallInst>(New)->setParamAttrs(NewPAL);
 311       if (cast<CallInst>(Call)->isTailCall())
 312         cast<CallInst>(New)->setTailCall();
 313     }
 314     Args.clear();
 315     ArgAttrsVec.clear();
 316     New->takeName(Call);
 317
 318     // Update all users of sret parameter to extract value using getresult.
 319     for (Value::use_iterator UI = FirstCArg->use_begin(),
 320            UE = FirstCArg->use_end(); UI != UE; ) {
 321       User *U2 = *UI++;
 322       CallInst *C2 = dyn_cast<CallInst>(U2);
 323       if (C2 && (C2 == Call))
 324         continue;
 325       else if (GetElementPtrInst *UGEP = dyn_cast<GetElementPtrInst>(U2)) {
 326         ConstantInt *Idx = dyn_cast<ConstantInt>(UGEP->getOperand(2));
 327         assert (Idx && "Unexpected getelementptr index!");
 328         Value *GR = new GetResultInst(New, Idx->getZExtValue(), "gr", UGEP);
 329         for (Value::use_iterator GI = UGEP->use_begin(),
 330                GE = UGEP->use_end(); GI != GE; ++GI) {
 331           if (LoadInst *L = dyn_cast<LoadInst>(*GI)) {
 332             L->replaceAllUsesWith(GR);
 333             L->eraseFromParent();
 334           }
 335         }
 336         UGEP->eraseFromParent();
 337       }
 338       else assert( 0 && "Unexpected sret parameter use");
 339     }
 340     Call->eraseFromParent();
 341   }
 342 }
 343
 344 /// nestedStructType - Return true if STy includes any
 345 /// other aggregate types
 346 bool SRETPromotion::nestedStructType(const StructType *STy) {
 347   unsigned Num = STy->getNumElements();
 348   for (unsigned i = 0; i < Num; i++) {
 349     const Type *Ty = STy->getElementType(i);
 350     if (!Ty->isSingleValueType() && Ty != Type::VoidTy)
 351       return true;
 352   }
 353   return false;
 354 }