De-inline methods
[oota-llvm.git] / lib / Target / SparcV9 / RegAlloc / PhyRegAlloc.cpp
1 //===-- PhyRegAlloc.cpp ---------------------------------------------------===//
2 // 
3 //  Register allocation for LLVM.
4 // 
5 //===----------------------------------------------------------------------===//
6
7 #include "llvm/CodeGen/RegisterAllocation.h"
8 #include "llvm/CodeGen/RegAllocCommon.h"
9 #include "llvm/CodeGen/PhyRegAlloc.h"
10 #include "llvm/CodeGen/MachineInstr.h"
11 #include "llvm/CodeGen/MachineInstrAnnot.h"
12 #include "llvm/CodeGen/MachineFunction.h"
13 #include "llvm/Analysis/LiveVar/FunctionLiveVarInfo.h"
14 #include "llvm/Analysis/LoopInfo.h"
15 #include "llvm/Target/TargetMachine.h"
16 #include "llvm/Target/MachineFrameInfo.h"
17 #include "llvm/Target/MachineInstrInfo.h"
18 #include "llvm/Function.h"
19 #include "llvm/Type.h"
20 #include "llvm/iOther.h"
21 #include "Support/STLExtras.h"
22 #include "Support/CommandLine.h"
23 #include <math.h>
24 using std::cerr;
25 using std::vector;
26
27 RegAllocDebugLevel_t DEBUG_RA;
28
29 static cl::opt<RegAllocDebugLevel_t, true>
30 DRA_opt("dregalloc", cl::Hidden, cl::location(DEBUG_RA),
31         cl::desc("enable register allocation debugging information"),
32         cl::values(
33   clEnumValN(RA_DEBUG_None   ,     "n", "disable debug output"),
34   clEnumValN(RA_DEBUG_Results,     "y", "debug output for allocation results"),
35   clEnumValN(RA_DEBUG_Coloring,    "c", "debug output for graph coloring step"),
36   clEnumValN(RA_DEBUG_Interference,"ig","debug output for interference graphs"),
37   clEnumValN(RA_DEBUG_LiveRanges , "lr","debug output for live ranges"),
38   clEnumValN(RA_DEBUG_Verbose,     "v", "extra debug output"),
39                    0));
40
41 //----------------------------------------------------------------------------
42 // RegisterAllocation pass front end...
43 //----------------------------------------------------------------------------
44 namespace {
45   class RegisterAllocator : public FunctionPass {
46     TargetMachine &Target;
47   public:
48     inline RegisterAllocator(TargetMachine &T) : Target(T) {}
49
50     const char *getPassName() const { return "Register Allocation"; }
51     
52     bool runOnFunction(Function &F) {
53       if (DEBUG_RA)
54         cerr << "\n********* Function "<< F.getName() << " ***********\n";
55       
56       PhyRegAlloc PRA(&F, Target, &getAnalysis<FunctionLiveVarInfo>(),
57                       &getAnalysis<LoopInfo>());
58       PRA.allocateRegisters();
59       
60       if (DEBUG_RA) cerr << "\nRegister allocation complete!\n";
61       return false;
62     }
63
64     virtual void getAnalysisUsage(AnalysisUsage &AU) const {
65       AU.addRequired<LoopInfo>();
66       AU.addRequired<FunctionLiveVarInfo>();
67     }
68   };
69 }
70
71 Pass *getRegisterAllocator(TargetMachine &T) {
72   return new RegisterAllocator(T);
73 }
74
75 //----------------------------------------------------------------------------
76 // Constructor: Init local composite objects and create register classes.
77 //----------------------------------------------------------------------------
78 PhyRegAlloc::PhyRegAlloc(Function *F, const TargetMachine& tm, 
79                          FunctionLiveVarInfo *Lvi, LoopInfo *LDC) 
80   :  TM(tm), Fn(F), MF(MachineFunction::get(F)), LVI(Lvi),
81      LRI(F, tm, RegClassList), MRI(tm.getRegInfo()),
82      NumOfRegClasses(MRI.getNumOfRegClasses()), LoopDepthCalc(LDC) {
83
84   // create each RegisterClass and put in RegClassList
85   //
86   for (unsigned rc=0; rc != NumOfRegClasses; rc++)  
87     RegClassList.push_back(new RegClass(F, MRI.getMachineRegClass(rc),
88                                         &ResColList));
89 }
90
91
92 //----------------------------------------------------------------------------
93 // Destructor: Deletes register classes
94 //----------------------------------------------------------------------------
95 PhyRegAlloc::~PhyRegAlloc() { 
96   for ( unsigned rc=0; rc < NumOfRegClasses; rc++)
97     delete RegClassList[rc];
98
99   AddedInstrMap.clear();
100
101
102 //----------------------------------------------------------------------------
103 // This method initally creates interference graphs (one in each reg class)
104 // and IGNodeList (one in each IG). The actual nodes will be pushed later. 
105 //----------------------------------------------------------------------------
106 void PhyRegAlloc::createIGNodeListsAndIGs() {
107   if (DEBUG_RA >= RA_DEBUG_LiveRanges) cerr << "Creating LR lists ...\n";
108
109   // hash map iterator
110   LiveRangeMapType::const_iterator HMI = LRI.getLiveRangeMap()->begin();   
111
112   // hash map end
113   LiveRangeMapType::const_iterator HMIEnd = LRI.getLiveRangeMap()->end();   
114
115   for (; HMI != HMIEnd ; ++HMI ) {
116     if (HMI->first) { 
117       LiveRange *L = HMI->second;   // get the LiveRange
118       if (!L) { 
119         if (DEBUG_RA)
120           cerr << "\n**** ?!?WARNING: NULL LIVE RANGE FOUND FOR: "
121                << RAV(HMI->first) << "****\n";
122         continue;
123       }
124
125       // if the Value * is not null, and LR is not yet written to the IGNodeList
126       if (!(L->getUserIGNode())  ) {  
127         RegClass *const RC =           // RegClass of first value in the LR
128           RegClassList[ L->getRegClass()->getID() ];
129         RC->addLRToIG(L);              // add this LR to an IG
130       }
131     }
132   }
133     
134   // init RegClassList
135   for ( unsigned rc=0; rc < NumOfRegClasses ; rc++)  
136     RegClassList[rc]->createInterferenceGraph();
137
138   if (DEBUG_RA >= RA_DEBUG_LiveRanges) cerr << "LRLists Created!\n";
139 }
140
141
142 //----------------------------------------------------------------------------
143 // This method will add all interferences at for a given instruction.
144 // Interence occurs only if the LR of Def (Inst or Arg) is of the same reg 
145 // class as that of live var. The live var passed to this function is the 
146 // LVset AFTER the instruction
147 //----------------------------------------------------------------------------
148
149 void PhyRegAlloc::addInterference(const Value *Def, 
150                                   const ValueSet *LVSet,
151                                   bool isCallInst) {
152
153   ValueSet::const_iterator LIt = LVSet->begin();
154
155   // get the live range of instruction
156   //
157   const LiveRange *const LROfDef = LRI.getLiveRangeForValue( Def );   
158
159   IGNode *const IGNodeOfDef = LROfDef->getUserIGNode();
160   assert( IGNodeOfDef );
161
162   RegClass *const RCOfDef = LROfDef->getRegClass(); 
163
164   // for each live var in live variable set
165   //
166   for ( ; LIt != LVSet->end(); ++LIt) {
167
168     if (DEBUG_RA >= RA_DEBUG_Verbose)
169       cerr << "< Def=" << RAV(Def) << ", Lvar=" << RAV(*LIt) << "> ";
170
171     //  get the live range corresponding to live var
172     // 
173     LiveRange *LROfVar = LRI.getLiveRangeForValue(*LIt);
174
175     // LROfVar can be null if it is a const since a const 
176     // doesn't have a dominating def - see Assumptions above
177     //
178     if (LROfVar)
179       if (LROfDef != LROfVar)                  // do not set interf for same LR
180         if (RCOfDef == LROfVar->getRegClass()) // 2 reg classes are the same
181           RCOfDef->setInterference( LROfDef, LROfVar);  
182   }
183 }
184
185
186
187 //----------------------------------------------------------------------------
188 // For a call instruction, this method sets the CallInterference flag in 
189 // the LR of each variable live int the Live Variable Set live after the
190 // call instruction (except the return value of the call instruction - since
191 // the return value does not interfere with that call itself).
192 //----------------------------------------------------------------------------
193
194 void PhyRegAlloc::setCallInterferences(const MachineInstr *MInst, 
195                                        const ValueSet *LVSetAft) {
196
197   if (DEBUG_RA >= RA_DEBUG_Interference)
198     cerr << "\n For call inst: " << *MInst;
199
200   ValueSet::const_iterator LIt = LVSetAft->begin();
201
202   // for each live var in live variable set after machine inst
203   //
204   for ( ; LIt != LVSetAft->end(); ++LIt) {
205
206     //  get the live range corresponding to live var
207     //
208     LiveRange *const LR = LRI.getLiveRangeForValue(*LIt ); 
209
210     // LR can be null if it is a const since a const 
211     // doesn't have a dominating def - see Assumptions above
212     //
213     if (LR ) {  
214       if (DEBUG_RA >= RA_DEBUG_Interference) {
215         cerr << "\n\tLR after Call: ";
216         printSet(*LR);
217       }
218       LR->setCallInterference();
219       if (DEBUG_RA >= RA_DEBUG_Interference) {
220         cerr << "\n  ++After adding call interference for LR: " ;
221         printSet(*LR);
222       }
223     }
224
225   }
226
227   // Now find the LR of the return value of the call
228   // We do this because, we look at the LV set *after* the instruction
229   // to determine, which LRs must be saved across calls. The return value
230   // of the call is live in this set - but it does not interfere with call
231   // (i.e., we can allocate a volatile register to the return value)
232   //
233   CallArgsDescriptor* argDesc = CallArgsDescriptor::get(MInst);
234   
235   if (const Value *RetVal = argDesc->getReturnValue()) {
236     LiveRange *RetValLR = LRI.getLiveRangeForValue( RetVal );
237     assert( RetValLR && "No LR for RetValue of call");
238     RetValLR->clearCallInterference();
239   }
240
241   // If the CALL is an indirect call, find the LR of the function pointer.
242   // That has a call interference because it conflicts with outgoing args.
243   if (const Value *AddrVal = argDesc->getIndirectFuncPtr()) {
244     LiveRange *AddrValLR = LRI.getLiveRangeForValue( AddrVal );
245     assert( AddrValLR && "No LR for indirect addr val of call");
246     AddrValLR->setCallInterference();
247   }
248
249 }
250
251
252
253
254 //----------------------------------------------------------------------------
255 // This method will walk thru code and create interferences in the IG of
256 // each RegClass. Also, this method calculates the spill cost of each
257 // Live Range (it is done in this method to save another pass over the code).
258 //----------------------------------------------------------------------------
259 void PhyRegAlloc::buildInterferenceGraphs()
260 {
261
262   if (DEBUG_RA >= RA_DEBUG_Interference)
263     cerr << "Creating interference graphs ...\n";
264
265   unsigned BBLoopDepthCost;
266   for (MachineFunction::iterator BBI = MF.begin(), BBE = MF.end();
267        BBI != BBE; ++BBI) {
268     const MachineBasicBlock &MBB = *BBI;
269     const BasicBlock *BB = MBB.getBasicBlock();
270
271     // find the 10^(loop_depth) of this BB 
272     //
273     BBLoopDepthCost = (unsigned)pow(10.0, LoopDepthCalc->getLoopDepth(BB));
274
275     // get the iterator for machine instructions
276     //
277     MachineBasicBlock::const_iterator MII = MBB.begin();
278
279     // iterate over all the machine instructions in BB
280     //
281     for ( ; MII != MBB.end(); ++MII) {
282       const MachineInstr *MInst = *MII;
283
284       // get the LV set after the instruction
285       //
286       const ValueSet &LVSetAI = LVI->getLiveVarSetAfterMInst(MInst, BB);
287       bool isCallInst = TM.getInstrInfo().isCall(MInst->getOpCode());
288
289       if (isCallInst ) {
290         // set the isCallInterference flag of each live range wich extends
291         // accross this call instruction. This information is used by graph
292         // coloring algo to avoid allocating volatile colors to live ranges
293         // that span across calls (since they have to be saved/restored)
294         //
295         setCallInterferences(MInst, &LVSetAI);
296       }
297
298       // iterate over all MI operands to find defs
299       //
300       for (MachineInstr::const_val_op_iterator OpI = MInst->begin(),
301              OpE = MInst->end(); OpI != OpE; ++OpI) {
302         if (OpI.isDef())    // create a new LR iff this operand is a def
303           addInterference(*OpI, &LVSetAI, isCallInst);
304
305         // Calculate the spill cost of each live range
306         //
307         LiveRange *LR = LRI.getLiveRangeForValue(*OpI);
308         if (LR) LR->addSpillCost(BBLoopDepthCost);
309       } 
310
311
312       // if there are multiple defs in this instruction e.g. in SETX
313       //   
314       if (TM.getInstrInfo().isPseudoInstr(MInst->getOpCode()))
315         addInterf4PseudoInstr(MInst);
316
317
318       // Also add interference for any implicit definitions in a machine
319       // instr (currently, only calls have this).
320       //
321       unsigned NumOfImpRefs =  MInst->getNumImplicitRefs();
322       if ( NumOfImpRefs > 0 ) {
323         for (unsigned z=0; z < NumOfImpRefs; z++) 
324           if (MInst->implicitRefIsDefined(z) )
325             addInterference( MInst->getImplicitRef(z), &LVSetAI, isCallInst );
326       }
327
328
329     } // for all machine instructions in BB
330   } // for all BBs in function
331
332
333   // add interferences for function arguments. Since there are no explict 
334   // defs in the function for args, we have to add them manually
335   //  
336   addInterferencesForArgs();          
337
338   if (DEBUG_RA >= RA_DEBUG_Interference)
339     cerr << "Interference graphs calculated!\n";
340 }
341
342
343
344 //--------------------------------------------------------------------------
345 // Pseudo instructions will be exapnded to multiple instructions by the
346 // assembler. Consequently, all the opernds must get distinct registers.
347 // Therefore, we mark all operands of a pseudo instruction as they interfere
348 // with one another.
349 //--------------------------------------------------------------------------
350 void PhyRegAlloc::addInterf4PseudoInstr(const MachineInstr *MInst) {
351
352   bool setInterf = false;
353
354   // iterate over  MI operands to find defs
355   //
356   for (MachineInstr::const_val_op_iterator It1 = MInst->begin(),
357          ItE = MInst->end(); It1 != ItE; ++It1) {
358     const LiveRange *LROfOp1 = LRI.getLiveRangeForValue(*It1); 
359     assert((LROfOp1 || !It1.isDef()) && "No LR for Def in PSEUDO insruction");
360
361     MachineInstr::const_val_op_iterator It2 = It1;
362     for (++It2; It2 != ItE; ++It2) {
363       const LiveRange *LROfOp2 = LRI.getLiveRangeForValue(*It2); 
364
365       if (LROfOp2) {
366         RegClass *RCOfOp1 = LROfOp1->getRegClass(); 
367         RegClass *RCOfOp2 = LROfOp2->getRegClass(); 
368  
369         if (RCOfOp1 == RCOfOp2 ){ 
370           RCOfOp1->setInterference( LROfOp1, LROfOp2 );  
371           setInterf = true;
372         }
373       } // if Op2 has a LR
374     } // for all other defs in machine instr
375   } // for all operands in an instruction
376
377   if (!setInterf && MInst->getNumOperands() > 2) {
378     cerr << "\nInterf not set for any operand in pseudo instr:\n";
379     cerr << *MInst;
380     assert(0 && "Interf not set for pseudo instr with > 2 operands" );
381   }
382
383
384
385
386 //----------------------------------------------------------------------------
387 // This method will add interferences for incoming arguments to a function.
388 //----------------------------------------------------------------------------
389
390 void PhyRegAlloc::addInterferencesForArgs() {
391   // get the InSet of root BB
392   const ValueSet &InSet = LVI->getInSetOfBB(&Fn->front());  
393
394   for (Function::const_aiterator AI = Fn->abegin(); AI != Fn->aend(); ++AI) {
395     // add interferences between args and LVars at start 
396     addInterference(AI, &InSet, false);
397     
398     if (DEBUG_RA >= RA_DEBUG_Interference)
399       cerr << " - %% adding interference for  argument " << RAV(AI) << "\n";
400   }
401 }
402
403
404 //----------------------------------------------------------------------------
405 // This method is called after register allocation is complete to set the
406 // allocated reisters in the machine code. This code will add register numbers
407 // to MachineOperands that contain a Value. Also it calls target specific
408 // methods to produce caller saving instructions. At the end, it adds all
409 // additional instructions produced by the register allocator to the 
410 // instruction stream. 
411 //----------------------------------------------------------------------------
412
413 //-----------------------------
414 // Utility functions used below
415 //-----------------------------
416 inline void
417 InsertBefore(MachineInstr* newMI,
418              MachineBasicBlock& MBB,
419              MachineBasicBlock::iterator& MII)
420 {
421   MII = MBB.insert(MII, newMI);
422   ++MII;
423 }
424
425 inline void
426 InsertAfter(MachineInstr* newMI,
427             MachineBasicBlock& MBB,
428             MachineBasicBlock::iterator& MII)
429 {
430   ++MII;    // insert before the next instruction
431   MII = MBB.insert(MII, newMI);
432 }
433
434 inline void
435 SubstituteInPlace(MachineInstr* newMI,
436                   MachineBasicBlock& MBB,
437                   MachineBasicBlock::iterator MII)
438 {
439   *MII = newMI;
440 }
441
442 inline void
443 PrependInstructions(vector<MachineInstr *> &IBef,
444                     MachineBasicBlock& MBB,
445                     MachineBasicBlock::iterator& MII,
446                     const std::string& msg)
447 {
448   if (!IBef.empty())
449     {
450       MachineInstr* OrigMI = *MII;
451       std::vector<MachineInstr *>::iterator AdIt; 
452       for (AdIt = IBef.begin(); AdIt != IBef.end() ; ++AdIt)
453         {
454           if (DEBUG_RA) {
455             if (OrigMI) cerr << "For MInst:\n  " << *OrigMI;
456             cerr << msg << "PREPENDed instr:\n  " << **AdIt << "\n";
457           }
458           InsertBefore(*AdIt, MBB, MII);
459         }
460     }
461 }
462
463 inline void
464 AppendInstructions(std::vector<MachineInstr *> &IAft,
465                    MachineBasicBlock& MBB,
466                    MachineBasicBlock::iterator& MII,
467                    const std::string& msg)
468 {
469   if (!IAft.empty())
470     {
471       MachineInstr* OrigMI = *MII;
472       std::vector<MachineInstr *>::iterator AdIt; 
473       for ( AdIt = IAft.begin(); AdIt != IAft.end() ; ++AdIt )
474         {
475           if (DEBUG_RA) {
476             if (OrigMI) cerr << "For MInst:\n  " << *OrigMI;
477             cerr << msg << "APPENDed instr:\n  "  << **AdIt << "\n";
478           }
479           InsertAfter(*AdIt, MBB, MII);
480         }
481     }
482 }
483
484
485 void PhyRegAlloc::updateMachineCode() {
486   // Insert any instructions needed at method entry
487   MachineBasicBlock::iterator MII = MF.front().begin();
488   PrependInstructions(AddedInstrAtEntry.InstrnsBefore, MF.front(), MII,
489                       "At function entry: \n");
490   assert(AddedInstrAtEntry.InstrnsAfter.empty() &&
491          "InstrsAfter should be unnecessary since we are just inserting at "
492          "the function entry point here.");
493   
494   for (MachineFunction::iterator BBI = MF.begin(), BBE = MF.end();
495        BBI != BBE; ++BBI) {
496
497     // iterate over all the machine instructions in BB
498     MachineBasicBlock &MBB = *BBI;
499     for (MachineBasicBlock::iterator MII = MBB.begin();
500          MII != MBB.end(); ++MII) {  
501
502       MachineInstr *MInst = *MII; 
503       unsigned Opcode =  MInst->getOpCode();
504     
505       // do not process Phis
506       if (TM.getInstrInfo().isDummyPhiInstr(Opcode))
507         continue;
508
509       // Reset tmp stack positions so they can be reused for each machine instr.
510       MF.popAllTempValues(TM);  
511         
512       // Now insert speical instructions (if necessary) for call/return
513       // instructions. 
514       //
515       if (TM.getInstrInfo().isCall(Opcode) ||
516           TM.getInstrInfo().isReturn(Opcode)) {
517         AddedInstrns &AI = AddedInstrMap[MInst];
518         
519         if (TM.getInstrInfo().isCall(Opcode))
520           MRI.colorCallArgs(MInst, LRI, &AI, *this, MBB.getBasicBlock());
521         else if (TM.getInstrInfo().isReturn(Opcode))
522           MRI.colorRetValue(MInst, LRI, &AI);
523       }
524       
525       // Set the registers for operands in the machine instruction
526       // if a register was successfully allocated.  If not, insert
527       // code to spill the register value.
528       // 
529       for (unsigned OpNum=0; OpNum < MInst->getNumOperands(); ++OpNum)
530         {
531           MachineOperand& Op = MInst->getOperand(OpNum);
532           if (Op.getType() ==  MachineOperand::MO_VirtualRegister || 
533               Op.getType() ==  MachineOperand::MO_CCRegister)
534             {
535               const Value *const Val =  Op.getVRegValue();
536           
537               LiveRange *const LR = LRI.getLiveRangeForValue(Val);
538               if (!LR)              // consts or labels will have no live range
539                 {
540                   // if register is not allocated, mark register as invalid
541                   if (Op.getAllocatedRegNum() == -1)
542                     MInst->SetRegForOperand(OpNum, MRI.getInvalidRegNum()); 
543                   continue;
544                 }
545           
546               if (LR->hasColor())
547                 MInst->SetRegForOperand(OpNum,
548                                 MRI.getUnifiedRegNum(LR->getRegClass()->getID(),
549                                                      LR->getColor()));
550               else
551                 // LR did NOT receive a color (register). Insert spill code.
552                 insertCode4SpilledLR(LR, MInst, MBB.getBasicBlock(), OpNum);
553             }
554         } // for each operand
555
556       // Now add instructions that the register allocator inserts before/after 
557       // this machine instructions (done only for calls/rets/incoming args)
558       // We do this here, to ensure that spill for an instruction is inserted
559       // closest as possible to an instruction (see above insertCode4Spill...)
560       // 
561       // First, if the instruction in the delay slot of a branch needs
562       // instructions inserted, move it out of the delay slot and before the
563       // branch because putting code before or after it would be VERY BAD!
564       // 
565       unsigned bumpIteratorBy = 0;
566       if (MII != MBB.begin())
567         if (unsigned predDelaySlots =
568             TM.getInstrInfo().getNumDelaySlots((*(MII-1))->getOpCode()))
569           {
570             assert(predDelaySlots==1 && "Not handling multiple delay slots!");
571             if (TM.getInstrInfo().isBranch((*(MII-1))->getOpCode())
572                 && (AddedInstrMap.count(MInst) ||
573                     AddedInstrMap[MInst].InstrnsAfter.size() > 0))
574             {
575               // Current instruction is in the delay slot of a branch and it
576               // needs spill code inserted before or after it.
577               // Move it before the preceding branch.
578               InsertBefore(MInst, MBB, --MII);
579               MachineInstr* nopI =
580                 new MachineInstr(TM.getInstrInfo().getNOPOpCode());
581               SubstituteInPlace(nopI, MBB, MII+1); // replace orig with NOP
582               --MII;                  // point to MInst in new location
583               bumpIteratorBy = 2;     // later skip the branch and the NOP!
584             }
585           }
586
587       // If there are instructions to be added, *before* this machine
588       // instruction, add them now.
589       //      
590       if (AddedInstrMap.count(MInst)) {
591         PrependInstructions(AddedInstrMap[MInst].InstrnsBefore, MBB, MII,"");
592       }
593       
594       // If there are instructions to be added *after* this machine
595       // instruction, add them now
596       //
597       if (!AddedInstrMap[MInst].InstrnsAfter.empty()) {
598
599         // if there are delay slots for this instruction, the instructions
600         // added after it must really go after the delayed instruction(s)
601         // So, we move the InstrAfter of the current instruction to the 
602         // corresponding delayed instruction
603         if (unsigned delay =
604             TM.getInstrInfo().getNumDelaySlots(MInst->getOpCode())) { 
605           
606           // Delayed instructions are typically branches or calls.  Let's make
607           // sure this is not a branch, otherwise "insert-after" is meaningless,
608           // and should never happen for any reason (spill code, register
609           // restores, etc.).
610           assert(! TM.getInstrInfo().isBranch(MInst->getOpCode()) &&
611                  ! TM.getInstrInfo().isReturn(MInst->getOpCode()) &&
612                  "INTERNAL ERROR: Register allocator should not be inserting "
613                  "any code after a branch or return!");
614
615           move2DelayedInstr(MInst,  *(MII+delay) );
616         }
617         else {
618           // Here we can add the "instructions after" to the current
619           // instruction since there are no delay slots for this instruction
620           AppendInstructions(AddedInstrMap[MInst].InstrnsAfter, MBB, MII,"");
621         }  // if not delay
622       }
623
624       // If we mucked with the instruction order above, adjust the loop iterator
625       if (bumpIteratorBy)
626         MII = MII + bumpIteratorBy;
627
628     } // for each machine instruction
629   }
630 }
631
632
633
634 //----------------------------------------------------------------------------
635 // This method inserts spill code for AN operand whose LR was spilled.
636 // This method may be called several times for a single machine instruction
637 // if it contains many spilled operands. Each time it is called, it finds
638 // a register which is not live at that instruction and also which is not
639 // used by other spilled operands of the same instruction. Then it uses
640 // this register temporarily to accomodate the spilled value.
641 //----------------------------------------------------------------------------
642 void PhyRegAlloc::insertCode4SpilledLR(const LiveRange *LR, 
643                                        MachineInstr *MInst,
644                                        const BasicBlock *BB,
645                                        const unsigned OpNum) {
646
647   assert((! TM.getInstrInfo().isCall(MInst->getOpCode()) || OpNum == 0) &&
648          "Outgoing arg of a call must be handled elsewhere (func arg ok)");
649   assert(! TM.getInstrInfo().isReturn(MInst->getOpCode()) &&
650          "Return value of a ret must be handled elsewhere");
651
652   MachineOperand& Op = MInst->getOperand(OpNum);
653   bool isDef =  MInst->operandIsDefined(OpNum);
654   bool isDefAndUse =  MInst->operandIsDefinedAndUsed(OpNum);
655   unsigned RegType = MRI.getRegType( LR );
656   int SpillOff = LR->getSpillOffFromFP();
657   RegClass *RC = LR->getRegClass();
658   const ValueSet &LVSetBef = LVI->getLiveVarSetBeforeMInst(MInst, BB);
659
660   MF.pushTempValue(TM, MRI.getSpilledRegSize(RegType) );
661   
662   vector<MachineInstr*> MIBef, MIAft;
663   vector<MachineInstr*> AdIMid;
664   
665   // Choose a register to hold the spilled value.  This may insert code
666   // before and after MInst to free up the value.  If so, this code should
667   // be first and last in the spill sequence before/after MInst.
668   int TmpRegU = getUsableUniRegAtMI(RegType, &LVSetBef, MInst, MIBef, MIAft);
669   
670   // Set the operand first so that it this register does not get used
671   // as a scratch register for later calls to getUsableUniRegAtMI below
672   MInst->SetRegForOperand(OpNum, TmpRegU);
673   
674   // get the added instructions for this instruction
675   AddedInstrns &AI = AddedInstrMap[MInst];
676
677   // We may need a scratch register to copy the spilled value to/from memory.
678   // This may itself have to insert code to free up a scratch register.  
679   // Any such code should go before (after) the spill code for a load (store).
680   int scratchRegType = -1;
681   int scratchReg = -1;
682   if (MRI.regTypeNeedsScratchReg(RegType, scratchRegType))
683     {
684       scratchReg = getUsableUniRegAtMI(scratchRegType, &LVSetBef,
685                                        MInst, MIBef, MIAft);
686       assert(scratchReg != MRI.getInvalidRegNum());
687       MInst->insertUsedReg(scratchReg); 
688     }
689   
690   if (!isDef || isDefAndUse) {
691     // for a USE, we have to load the value of LR from stack to a TmpReg
692     // and use the TmpReg as one operand of instruction
693     
694     // actual loading instruction(s)
695     MRI.cpMem2RegMI(AdIMid, MRI.getFramePointer(), SpillOff, TmpRegU, RegType,
696                     scratchReg);
697     
698     // the actual load should be after the instructions to free up TmpRegU
699     MIBef.insert(MIBef.end(), AdIMid.begin(), AdIMid.end());
700     AdIMid.clear();
701   }
702   
703   if (isDef) {   // if this is a Def
704     // for a DEF, we have to store the value produced by this instruction
705     // on the stack position allocated for this LR
706     
707     // actual storing instruction(s)
708     MRI.cpReg2MemMI(AdIMid, TmpRegU, MRI.getFramePointer(), SpillOff, RegType,
709                     scratchReg);
710     
711     MIAft.insert(MIAft.begin(), AdIMid.begin(), AdIMid.end());
712   }  // if !DEF
713   
714   // Finally, insert the entire spill code sequences before/after MInst
715   AI.InstrnsBefore.insert(AI.InstrnsBefore.end(), MIBef.begin(), MIBef.end());
716   AI.InstrnsAfter.insert(AI.InstrnsAfter.begin(), MIAft.begin(), MIAft.end());
717   
718   if (DEBUG_RA) {
719     cerr << "\nFor Inst:\n  " << *MInst;
720     cerr << "SPILLED LR# " << LR->getUserIGNode()->getIndex();
721     cerr << "; added Instructions:";
722     for_each(MIBef.begin(), MIBef.end(), std::mem_fun(&MachineInstr::dump));
723     for_each(MIAft.begin(), MIAft.end(), std::mem_fun(&MachineInstr::dump));
724   }
725 }
726
727
728 //----------------------------------------------------------------------------
729 // We can use the following method to get a temporary register to be used
730 // BEFORE any given machine instruction. If there is a register available,
731 // this method will simply return that register and set MIBef = MIAft = NULL.
732 // Otherwise, it will return a register and MIAft and MIBef will contain
733 // two instructions used to free up this returned register.
734 // Returned register number is the UNIFIED register number
735 //----------------------------------------------------------------------------
736
737 int PhyRegAlloc::getUsableUniRegAtMI(const int RegType,
738                                      const ValueSet *LVSetBef,
739                                      MachineInstr *MInst, 
740                                      std::vector<MachineInstr*>& MIBef,
741                                      std::vector<MachineInstr*>& MIAft) {
742   
743   RegClass* RC = getRegClassByID(MRI.getRegClassIDOfRegType(RegType));
744   
745   int RegU =  getUnusedUniRegAtMI(RC, MInst, LVSetBef);
746   
747   if (RegU == -1) {
748     // we couldn't find an unused register. Generate code to free up a reg by
749     // saving it on stack and restoring after the instruction
750     
751     int TmpOff = MF.pushTempValue(TM,  MRI.getSpilledRegSize(RegType) );
752     
753     RegU = getUniRegNotUsedByThisInst(RC, MInst);
754     
755     // Check if we need a scratch register to copy this register to memory.
756     int scratchRegType = -1;
757     if (MRI.regTypeNeedsScratchReg(RegType, scratchRegType))
758       {
759         int scratchReg = getUsableUniRegAtMI(scratchRegType, LVSetBef,
760                                              MInst, MIBef, MIAft);
761         assert(scratchReg != MRI.getInvalidRegNum());
762         
763         // We may as well hold the value in the scratch register instead
764         // of copying it to memory and back.  But we have to mark the
765         // register as used by this instruction, so it does not get used
766         // as a scratch reg. by another operand or anyone else.
767         MInst->insertUsedReg(scratchReg); 
768         MRI.cpReg2RegMI(MIBef, RegU, scratchReg, RegType);
769         MRI.cpReg2RegMI(MIAft, scratchReg, RegU, RegType);
770       }
771     else
772       { // the register can be copied directly to/from memory so do it.
773         MRI.cpReg2MemMI(MIBef, RegU, MRI.getFramePointer(), TmpOff, RegType);
774         MRI.cpMem2RegMI(MIAft, MRI.getFramePointer(), TmpOff, RegU, RegType);
775       }
776   }
777   
778   return RegU;
779 }
780
781 //----------------------------------------------------------------------------
782 // This method is called to get a new unused register that can be used to
783 // accomodate a spilled value. 
784 // This method may be called several times for a single machine instruction
785 // if it contains many spilled operands. Each time it is called, it finds
786 // a register which is not live at that instruction and also which is not
787 // used by other spilled operands of the same instruction.
788 // Return register number is relative to the register class. NOT
789 // unified number
790 //----------------------------------------------------------------------------
791 int PhyRegAlloc::getUnusedUniRegAtMI(RegClass *RC, 
792                                   const MachineInstr *MInst, 
793                                   const ValueSet *LVSetBef) {
794
795   unsigned NumAvailRegs =  RC->getNumOfAvailRegs();
796   
797   std::vector<bool> &IsColorUsedArr = RC->getIsColorUsedArr();
798   
799   for (unsigned i=0; i <  NumAvailRegs; i++)     // Reset array
800       IsColorUsedArr[i] = false;
801       
802   ValueSet::const_iterator LIt = LVSetBef->begin();
803
804   // for each live var in live variable set after machine inst
805   for ( ; LIt != LVSetBef->end(); ++LIt) {
806
807    //  get the live range corresponding to live var
808     LiveRange *const LRofLV = LRI.getLiveRangeForValue(*LIt );    
809
810     // LR can be null if it is a const since a const 
811     // doesn't have a dominating def - see Assumptions above
812     if (LRofLV && LRofLV->getRegClass() == RC && LRofLV->hasColor() ) 
813       IsColorUsedArr[ LRofLV->getColor() ] = true;
814   }
815
816   // It is possible that one operand of this MInst was already spilled
817   // and it received some register temporarily. If that's the case,
818   // it is recorded in machine operand. We must skip such registers.
819
820   setRelRegsUsedByThisInst(RC, MInst);
821
822   for (unsigned c=0; c < NumAvailRegs; c++)   // find first unused color
823      if (!IsColorUsedArr[c])
824        return MRI.getUnifiedRegNum(RC->getID(), c);
825   
826   return -1;
827 }
828
829
830 //----------------------------------------------------------------------------
831 // Get any other register in a register class, other than what is used
832 // by operands of a machine instruction. Returns the unified reg number.
833 //----------------------------------------------------------------------------
834 int PhyRegAlloc::getUniRegNotUsedByThisInst(RegClass *RC, 
835                                             const MachineInstr *MInst) {
836
837   vector<bool> &IsColorUsedArr = RC->getIsColorUsedArr();
838   unsigned NumAvailRegs =  RC->getNumOfAvailRegs();
839
840   for (unsigned i=0; i < NumAvailRegs ; i++)   // Reset array
841     IsColorUsedArr[i] = false;
842
843   setRelRegsUsedByThisInst(RC, MInst);
844
845   for (unsigned c=0; c < RC->getNumOfAvailRegs(); c++)// find first unused color
846     if (!IsColorUsedArr[c])
847       return  MRI.getUnifiedRegNum(RC->getID(), c);
848
849   assert(0 && "FATAL: No free register could be found in reg class!!");
850   return 0;
851 }
852
853
854 //----------------------------------------------------------------------------
855 // This method modifies the IsColorUsedArr of the register class passed to it.
856 // It sets the bits corresponding to the registers used by this machine
857 // instructions. Both explicit and implicit operands are set.
858 //----------------------------------------------------------------------------
859 void PhyRegAlloc::setRelRegsUsedByThisInst(RegClass *RC, 
860                                            const MachineInstr *MInst ) {
861
862   vector<bool> &IsColorUsedArr = RC->getIsColorUsedArr();
863   
864   // Add the registers already marked as used by the instruction. 
865   // This should include any scratch registers that are used to save
866   // values across the instruction (e.g., for saving state register values).
867   const vector<bool> &regsUsed = MInst->getRegsUsed();
868   for (unsigned i = 0, e = regsUsed.size(); i != e; ++i)
869     if (regsUsed[i]) {
870       unsigned classId = 0;
871       int classRegNum = MRI.getClassRegNum(i, classId);
872       if (RC->getID() == classId)
873         {
874           assert(classRegNum < (int) IsColorUsedArr.size() &&
875                  "Illegal register number for this reg class?");
876           IsColorUsedArr[classRegNum] = true;
877         }
878     }
879   
880   // Now add registers allocated to the live ranges of values used in
881   // the instruction.  These are not yet recorded in the instruction.
882   for (unsigned OpNum=0; OpNum < MInst->getNumOperands(); ++OpNum)
883     {
884       const MachineOperand& Op = MInst->getOperand(OpNum);
885       
886       if (MInst->getOperandType(OpNum) == MachineOperand::MO_VirtualRegister || 
887           MInst->getOperandType(OpNum) == MachineOperand::MO_CCRegister)
888         if (const Value* Val = Op.getVRegValue())
889           if (MRI.getRegClassIDOfValue(Val) == RC->getID())
890             if (Op.getAllocatedRegNum() == -1)
891               if (LiveRange *LROfVal = LRI.getLiveRangeForValue(Val))
892                 if (LROfVal->hasColor() )
893                   // this operand is in a LR that received a color
894                   IsColorUsedArr[LROfVal->getColor()] = true;
895     }
896   
897   // If there are implicit references, mark their allocated regs as well
898   // 
899   for (unsigned z=0; z < MInst->getNumImplicitRefs(); z++)
900     if (const LiveRange*
901         LRofImpRef = LRI.getLiveRangeForValue(MInst->getImplicitRef(z)))    
902       if (LRofImpRef->hasColor())
903         // this implicit reference is in a LR that received a color
904         IsColorUsedArr[LRofImpRef->getColor()] = true;
905 }
906
907
908 //----------------------------------------------------------------------------
909 // If there are delay slots for an instruction, the instructions
910 // added after it must really go after the delayed instruction(s).
911 // So, we move the InstrAfter of that instruction to the 
912 // corresponding delayed instruction using the following method.
913
914 //----------------------------------------------------------------------------
915 void PhyRegAlloc::move2DelayedInstr(const MachineInstr *OrigMI,
916                                     const MachineInstr *DelayedMI) {
917
918   // "added after" instructions of the original instr
919   std::vector<MachineInstr *> &OrigAft = AddedInstrMap[OrigMI].InstrnsAfter;
920
921   // "added instructions" of the delayed instr
922   AddedInstrns &DelayAdI = AddedInstrMap[DelayedMI];
923
924   // "added after" instructions of the delayed instr
925   std::vector<MachineInstr *> &DelayedAft = DelayAdI.InstrnsAfter;
926
927   // go thru all the "added after instructions" of the original instruction
928   // and append them to the "addded after instructions" of the delayed
929   // instructions
930   DelayedAft.insert(DelayedAft.end(), OrigAft.begin(), OrigAft.end());
931
932   // empty the "added after instructions" of the original instruction
933   OrigAft.clear();
934 }
935
936 //----------------------------------------------------------------------------
937 // This method prints the code with registers after register allocation is
938 // complete.
939 //----------------------------------------------------------------------------
940 void PhyRegAlloc::printMachineCode()
941 {
942
943   cerr << "\n;************** Function " << Fn->getName()
944        << " *****************\n";
945
946   for (MachineFunction::iterator BBI = MF.begin(), BBE = MF.end();
947        BBI != BBE; ++BBI) {
948     cerr << "\n"; printLabel(BBI->getBasicBlock()); cerr << ": ";
949
950     // get the iterator for machine instructions
951     MachineBasicBlock& MBB = *BBI;
952     MachineBasicBlock::iterator MII = MBB.begin();
953
954     // iterate over all the machine instructions in BB
955     for ( ; MII != MBB.end(); ++MII) {  
956       MachineInstr *const MInst = *MII; 
957
958       cerr << "\n\t";
959       cerr << TargetInstrDescriptors[MInst->getOpCode()].opCodeString;
960
961       for (unsigned OpNum=0; OpNum < MInst->getNumOperands(); ++OpNum) {
962         MachineOperand& Op = MInst->getOperand(OpNum);
963
964         if (Op.getType() ==  MachineOperand::MO_VirtualRegister || 
965             Op.getType() ==  MachineOperand::MO_CCRegister /*|| 
966             Op.getType() ==  MachineOperand::MO_PCRelativeDisp*/ ) {
967
968           const Value *const Val = Op.getVRegValue () ;
969           // ****this code is temporary till NULL Values are fixed
970           if (! Val ) {
971             cerr << "\t<*NULL*>";
972             continue;
973           }
974
975           // if a label or a constant
976           if (isa<BasicBlock>(Val)) {
977             cerr << "\t"; printLabel(   Op.getVRegValue () );
978           } else {
979             // else it must be a register value
980             const int RegNum = Op.getAllocatedRegNum();
981
982             cerr << "\t" << "%" << MRI.getUnifiedRegName( RegNum );
983             if (Val->hasName() )
984               cerr << "(" << Val->getName() << ")";
985             else 
986               cerr << "(" << Val << ")";
987
988             if (Op.opIsDef() )
989               cerr << "*";
990
991             const LiveRange *LROfVal = LRI.getLiveRangeForValue(Val);
992             if (LROfVal )
993               if (LROfVal->hasSpillOffset() )
994                 cerr << "$";
995           }
996
997         } 
998         else if (Op.getType() ==  MachineOperand::MO_MachineRegister) {
999           cerr << "\t" << "%" << MRI.getUnifiedRegName(Op.getMachineRegNum());
1000         }
1001
1002         else 
1003           cerr << "\t" << Op;      // use dump field
1004       }
1005
1006     
1007
1008       unsigned NumOfImpRefs =  MInst->getNumImplicitRefs();
1009       if (NumOfImpRefs > 0) {
1010         cerr << "\tImplicit:";
1011
1012         for (unsigned z=0; z < NumOfImpRefs; z++)
1013           cerr << RAV(MInst->getImplicitRef(z)) << "\t";
1014       }
1015
1016     } // for all machine instructions
1017
1018     cerr << "\n";
1019
1020   } // for all BBs
1021
1022   cerr << "\n";
1023 }
1024
1025
1026 //----------------------------------------------------------------------------
1027
1028 //----------------------------------------------------------------------------
1029 void PhyRegAlloc::colorIncomingArgs()
1030 {
1031   MRI.colorMethodArgs(Fn, LRI, &AddedInstrAtEntry);
1032 }
1033
1034
1035 //----------------------------------------------------------------------------
1036 // Used to generate a label for a basic block
1037 //----------------------------------------------------------------------------
1038 void PhyRegAlloc::printLabel(const Value *Val) {
1039   if (Val->hasName())
1040     cerr  << Val->getName();
1041   else
1042     cerr << "Label" << Val;
1043 }
1044
1045
1046 //----------------------------------------------------------------------------
1047 // This method calls setSugColorUsable method of each live range. This
1048 // will determine whether the suggested color of LR is  really usable.
1049 // A suggested color is not usable when the suggested color is volatile
1050 // AND when there are call interferences
1051 //----------------------------------------------------------------------------
1052
1053 void PhyRegAlloc::markUnusableSugColors()
1054 {
1055   // hash map iterator
1056   LiveRangeMapType::const_iterator HMI = (LRI.getLiveRangeMap())->begin();   
1057   LiveRangeMapType::const_iterator HMIEnd = (LRI.getLiveRangeMap())->end();   
1058
1059     for (; HMI != HMIEnd ; ++HMI ) {
1060       if (HMI->first) { 
1061         LiveRange *L = HMI->second;      // get the LiveRange
1062         if (L) { 
1063           if (L->hasSuggestedColor()) {
1064             int RCID = L->getRegClass()->getID();
1065             if (MRI.isRegVolatile( RCID,  L->getSuggestedColor()) &&
1066                 L->isCallInterference() )
1067               L->setSuggestedColorUsable( false );
1068             else
1069               L->setSuggestedColorUsable( true );
1070           }
1071         } // if L->hasSuggestedColor()
1072       }
1073     } // for all LR's in hash map
1074 }
1075
1076
1077
1078 //----------------------------------------------------------------------------
1079 // The following method will set the stack offsets of the live ranges that
1080 // are decided to be spillled. This must be called just after coloring the
1081 // LRs using the graph coloring algo. For each live range that is spilled,
1082 // this method allocate a new spill position on the stack.
1083 //----------------------------------------------------------------------------
1084
1085 void PhyRegAlloc::allocateStackSpace4SpilledLRs() {
1086   if (DEBUG_RA) cerr << "\nSetting LR stack offsets for spills...\n";
1087
1088   LiveRangeMapType::const_iterator HMI    = LRI.getLiveRangeMap()->begin();   
1089   LiveRangeMapType::const_iterator HMIEnd = LRI.getLiveRangeMap()->end();   
1090
1091   for ( ; HMI != HMIEnd ; ++HMI) {
1092     if (HMI->first && HMI->second) {
1093       LiveRange *L = HMI->second;      // get the LiveRange
1094       if (!L->hasColor()) {   //  NOTE: ** allocating the size of long Type **
1095         int stackOffset = MF.allocateSpilledValue(TM, Type::LongTy);
1096         L->setSpillOffFromFP(stackOffset);
1097         if (DEBUG_RA)
1098           cerr << "  LR# " << L->getUserIGNode()->getIndex()
1099                << ": stack-offset = " << stackOffset << "\n";
1100       }
1101     }
1102   } // for all LR's in hash map
1103 }
1104
1105
1106
1107 //----------------------------------------------------------------------------
1108 // The entry pont to Register Allocation
1109 //----------------------------------------------------------------------------
1110
1111 void PhyRegAlloc::allocateRegisters()
1112 {
1113
1114   // make sure that we put all register classes into the RegClassList 
1115   // before we call constructLiveRanges (now done in the constructor of 
1116   // PhyRegAlloc class).
1117   //
1118   LRI.constructLiveRanges();            // create LR info
1119
1120   if (DEBUG_RA >= RA_DEBUG_LiveRanges)
1121     LRI.printLiveRanges();
1122   
1123   createIGNodeListsAndIGs();            // create IGNode list and IGs
1124
1125   buildInterferenceGraphs();            // build IGs in all reg classes
1126   
1127   
1128   if (DEBUG_RA >= RA_DEBUG_LiveRanges) {
1129     // print all LRs in all reg classes
1130     for ( unsigned rc=0; rc < NumOfRegClasses  ; rc++)  
1131       RegClassList[rc]->printIGNodeList(); 
1132     
1133     // print IGs in all register classes
1134     for ( unsigned rc=0; rc < NumOfRegClasses ; rc++)  
1135       RegClassList[rc]->printIG();       
1136   }
1137
1138   LRI.coalesceLRs();                    // coalesce all live ranges
1139
1140   if (DEBUG_RA >= RA_DEBUG_LiveRanges) {
1141     // print all LRs in all reg classes
1142     for (unsigned rc=0; rc < NumOfRegClasses; rc++)
1143       RegClassList[rc]->printIGNodeList();
1144     
1145     // print IGs in all register classes
1146     for (unsigned rc=0; rc < NumOfRegClasses; rc++)
1147       RegClassList[rc]->printIG();
1148   }
1149
1150
1151   // mark un-usable suggested color before graph coloring algorithm.
1152   // When this is done, the graph coloring algo will not reserve
1153   // suggested color unnecessarily - they can be used by another LR
1154   //
1155   markUnusableSugColors(); 
1156
1157   // color all register classes using the graph coloring algo
1158   for (unsigned rc=0; rc < NumOfRegClasses ; rc++)  
1159     RegClassList[rc]->colorAllRegs();    
1160
1161   // Atter grpah coloring, if some LRs did not receive a color (i.e, spilled)
1162   // a poistion for such spilled LRs
1163   //
1164   allocateStackSpace4SpilledLRs();
1165
1166   MF.popAllTempValues(TM);  // TODO **Check
1167
1168   // color incoming args - if the correct color was not received
1169   // insert code to copy to the correct register
1170   //
1171   colorIncomingArgs();
1172
1173   // Now update the machine code with register names and add any 
1174   // additional code inserted by the register allocator to the instruction
1175   // stream
1176   //
1177   updateMachineCode(); 
1178
1179   if (DEBUG_RA) {
1180     cerr << "\n**** Machine Code After Register Allocation:\n\n";
1181     MF.dump();
1182   }
1183 }
1184
1185
1186