768ca1631a83b3ea2cdf86f39f2fd23e3cccdec7
[oota-llvm.git] / lib / CodeGen / ScheduleDAGInstrs.cpp
1 //===---- ScheduleDAGInstrs.cpp - MachineInstr Rescheduling ---------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This implements the ScheduleDAGInstrs class, which implements re-scheduling
11 // of MachineInstrs.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #define DEBUG_TYPE "sched-instrs"
16 #include "ScheduleDAGInstrs.h"
17 #include "llvm/Operator.h"
18 #include "llvm/Analysis/AliasAnalysis.h"
19 #include "llvm/CodeGen/MachineFunctionPass.h"
20 #include "llvm/CodeGen/MachineMemOperand.h"
21 #include "llvm/CodeGen/MachineRegisterInfo.h"
22 #include "llvm/CodeGen/PseudoSourceValue.h"
23 #include "llvm/Target/TargetMachine.h"
24 #include "llvm/Target/TargetInstrInfo.h"
25 #include "llvm/Target/TargetRegisterInfo.h"
26 #include "llvm/Target/TargetSubtarget.h"
27 #include "llvm/Support/Debug.h"
28 #include "llvm/Support/raw_ostream.h"
29 #include "llvm/ADT/SmallSet.h"
30 using namespace llvm;
31
32 ScheduleDAGInstrs::ScheduleDAGInstrs(MachineFunction &mf,
33                                      const MachineLoopInfo &mli,
34                                      const MachineDominatorTree &mdt)
35   : ScheduleDAG(mf), MLI(mli), MDT(mdt), LoopRegs(MLI, MDT) {}
36
37 /// Run - perform scheduling.
38 ///
39 void ScheduleDAGInstrs::Run(MachineBasicBlock *bb,
40                             MachineBasicBlock::iterator begin,
41                             MachineBasicBlock::iterator end,
42                             unsigned endcount) {
43   BB = bb;
44   Begin = begin;
45   InsertPosIndex = endcount;
46
47   ScheduleDAG::Run(bb, end);
48 }
49
50 /// getUnderlyingObjectFromInt - This is the function that does the work of
51 /// looking through basic ptrtoint+arithmetic+inttoptr sequences.
52 static const Value *getUnderlyingObjectFromInt(const Value *V) {
53   do {
54     if (const Operator *U = dyn_cast<Operator>(V)) {
55       // If we find a ptrtoint, we can transfer control back to the
56       // regular getUnderlyingObjectFromInt.
57       if (U->getOpcode() == Instruction::PtrToInt)
58         return U->getOperand(0);
59       // If we find an add of a constant or a multiplied value, it's
60       // likely that the other operand will lead us to the base
61       // object. We don't have to worry about the case where the
62       // object address is somehow being computed by the multiply,
63       // because our callers only care when the result is an
64       // identifibale object.
65       if (U->getOpcode() != Instruction::Add ||
66           (!isa<ConstantInt>(U->getOperand(1)) &&
67            Operator::getOpcode(U->getOperand(1)) != Instruction::Mul))
68         return V;
69       V = U->getOperand(0);
70     } else {
71       return V;
72     }
73     assert(isa<IntegerType>(V->getType()) && "Unexpected operand type!");
74   } while (1);
75 }
76
77 /// getUnderlyingObject - This is a wrapper around Value::getUnderlyingObject
78 /// and adds support for basic ptrtoint+arithmetic+inttoptr sequences.
79 static const Value *getUnderlyingObject(const Value *V) {
80   // First just call Value::getUnderlyingObject to let it do what it does.
81   do {
82     V = V->getUnderlyingObject();
83     // If it found an inttoptr, use special code to continue climing.
84     if (Operator::getOpcode(V) != Instruction::IntToPtr)
85       break;
86     const Value *O = getUnderlyingObjectFromInt(cast<User>(V)->getOperand(0));
87     // If that succeeded in finding a pointer, continue the search.
88     if (!isa<PointerType>(O->getType()))
89       break;
90     V = O;
91   } while (1);
92   return V;
93 }
94
95 /// getUnderlyingObjectForInstr - If this machine instr has memory reference
96 /// information and it can be tracked to a normal reference to a known
97 /// object, return the Value for that object. Otherwise return null.
98 static const Value *getUnderlyingObjectForInstr(const MachineInstr *MI) {
99   if (!MI->hasOneMemOperand() ||
100       !(*MI->memoperands_begin())->getValue() ||
101       (*MI->memoperands_begin())->isVolatile())
102     return 0;
103
104   const Value *V = (*MI->memoperands_begin())->getValue();
105   if (!V)
106     return 0;
107
108   V = getUnderlyingObject(V);
109   if (const PseudoSourceValue *PSV = dyn_cast<PseudoSourceValue>(V)) {
110     // For now, ignore PseudoSourceValues which may alias LLVM IR values
111     // because the code that uses this function has no way to cope with
112     // such aliases.
113     if (PSV->isAliased())
114       return 0;
115     return V;
116   }
117
118   if (isIdentifiedObject(V))
119     return V;
120
121   return 0;
122 }
123
124 void ScheduleDAGInstrs::StartBlock(MachineBasicBlock *BB) {
125   if (MachineLoop *ML = MLI.getLoopFor(BB))
126     if (BB == ML->getLoopLatch()) {
127       MachineBasicBlock *Header = ML->getHeader();
128       for (MachineBasicBlock::livein_iterator I = Header->livein_begin(),
129            E = Header->livein_end(); I != E; ++I)
130         LoopLiveInRegs.insert(*I);
131       LoopRegs.VisitLoop(ML);
132     }
133 }
134
135 void ScheduleDAGInstrs::BuildSchedGraph(AliasAnalysis *AA) {
136   // We'll be allocating one SUnit for each instruction, plus one for
137   // the region exit node.
138   SUnits.reserve(BB->size());
139
140   // We build scheduling units by walking a block's instruction list from bottom
141   // to top.
142
143   // Remember where a generic side-effecting instruction is as we procede. If
144   // ChainMMO is null, this is assumed to have arbitrary side-effects. If
145   // ChainMMO is non-null, then Chain makes only a single memory reference.
146   SUnit *Chain = 0;
147   MachineMemOperand *ChainMMO = 0;
148
149   // Memory references to specific known memory locations are tracked so that
150   // they can be given more precise dependencies.
151   std::map<const Value *, SUnit *> MemDefs;
152   std::map<const Value *, std::vector<SUnit *> > MemUses;
153
154   // Check to see if the scheduler cares about latencies.
155   bool UnitLatencies = ForceUnitLatencies();
156
157   // Ask the target if address-backscheduling is desirable, and if so how much.
158   const TargetSubtarget &ST = TM.getSubtarget<TargetSubtarget>();
159   unsigned SpecialAddressLatency = ST.getSpecialAddressLatency();
160
161   // Walk the list of instructions, from bottom moving up.
162   for (MachineBasicBlock::iterator MII = InsertPos, MIE = Begin;
163        MII != MIE; --MII) {
164     MachineInstr *MI = prior(MII);
165     const TargetInstrDesc &TID = MI->getDesc();
166     assert(!TID.isTerminator() && !MI->isLabel() &&
167            "Cannot schedule terminators or labels!");
168     // Create the SUnit for this MI.
169     SUnit *SU = NewSUnit(MI);
170
171     // Assign the Latency field of SU using target-provided information.
172     if (UnitLatencies)
173       SU->Latency = 1;
174     else
175       ComputeLatency(SU);
176
177     // Add register-based dependencies (data, anti, and output).
178     for (unsigned j = 0, n = MI->getNumOperands(); j != n; ++j) {
179       const MachineOperand &MO = MI->getOperand(j);
180       if (!MO.isReg()) continue;
181       unsigned Reg = MO.getReg();
182       if (Reg == 0) continue;
183
184       assert(TRI->isPhysicalRegister(Reg) && "Virtual register encountered!");
185       std::vector<SUnit *> &UseList = Uses[Reg];
186       std::vector<SUnit *> &DefList = Defs[Reg];
187       // Optionally add output and anti dependencies. For anti
188       // dependencies we use a latency of 0 because for a multi-issue
189       // target we want to allow the defining instruction to issue
190       // in the same cycle as the using instruction.
191       // TODO: Using a latency of 1 here for output dependencies assumes
192       //       there's no cost for reusing registers.
193       SDep::Kind Kind = MO.isUse() ? SDep::Anti : SDep::Output;
194       unsigned AOLatency = (Kind == SDep::Anti) ? 0 : 1;
195       for (unsigned i = 0, e = DefList.size(); i != e; ++i) {
196         SUnit *DefSU = DefList[i];
197         if (DefSU != SU &&
198             (Kind != SDep::Output || !MO.isDead() ||
199              !DefSU->getInstr()->registerDefIsDead(Reg)))
200           DefSU->addPred(SDep(SU, Kind, AOLatency, /*Reg=*/Reg));
201       }
202       for (const unsigned *Alias = TRI->getAliasSet(Reg); *Alias; ++Alias) {
203         std::vector<SUnit *> &DefList = Defs[*Alias];
204         for (unsigned i = 0, e = DefList.size(); i != e; ++i) {
205           SUnit *DefSU = DefList[i];
206           if (DefSU != SU &&
207               (Kind != SDep::Output || !MO.isDead() ||
208                !DefSU->getInstr()->registerDefIsDead(Reg)))
209             DefSU->addPred(SDep(SU, Kind, AOLatency, /*Reg=*/ *Alias));
210         }
211       }
212
213       if (MO.isDef()) {
214         // Add any data dependencies.
215         unsigned DataLatency = SU->Latency;
216         for (unsigned i = 0, e = UseList.size(); i != e; ++i) {
217           SUnit *UseSU = UseList[i];
218           if (UseSU != SU) {
219             unsigned LDataLatency = DataLatency;
220             // Optionally add in a special extra latency for nodes that
221             // feed addresses.
222             // TODO: Do this for register aliases too.
223             // TODO: Perhaps we should get rid of
224             // SpecialAddressLatency and just move this into
225             // adjustSchedDependency for the targets that care about
226             // it.
227             if (SpecialAddressLatency != 0 && !UnitLatencies) {
228               MachineInstr *UseMI = UseSU->getInstr();
229               const TargetInstrDesc &UseTID = UseMI->getDesc();
230               int RegUseIndex = UseMI->findRegisterUseOperandIdx(Reg);
231               assert(RegUseIndex >= 0 && "UseMI doesn's use register!");
232               if ((UseTID.mayLoad() || UseTID.mayStore()) &&
233                   (unsigned)RegUseIndex < UseTID.getNumOperands() &&
234                   UseTID.OpInfo[RegUseIndex].isLookupPtrRegClass())
235                 LDataLatency += SpecialAddressLatency;
236             }
237             // Adjust the dependence latency using operand def/use
238             // information (if any), and then allow the target to
239             // perform its own adjustments.
240             const SDep& dep = SDep(SU, SDep::Data, LDataLatency, Reg);
241             if (!UnitLatencies) {
242               ComputeOperandLatency(SU, UseSU, (SDep &)dep);
243               ST.adjustSchedDependency(SU, UseSU, (SDep &)dep);
244             }
245             UseSU->addPred(dep);
246           }
247         }
248         for (const unsigned *Alias = TRI->getAliasSet(Reg); *Alias; ++Alias) {
249           std::vector<SUnit *> &UseList = Uses[*Alias];
250           for (unsigned i = 0, e = UseList.size(); i != e; ++i) {
251             SUnit *UseSU = UseList[i];
252             if (UseSU != SU) {
253               const SDep& dep = SDep(SU, SDep::Data, DataLatency, *Alias);
254               if (!UnitLatencies) {
255                 ComputeOperandLatency(SU, UseSU, (SDep &)dep);
256                 ST.adjustSchedDependency(SU, UseSU, (SDep &)dep);
257               }
258               UseSU->addPred(dep);
259             }
260           }
261         }
262
263         // If a def is going to wrap back around to the top of the loop,
264         // backschedule it.
265         if (!UnitLatencies && DefList.empty()) {
266           LoopDependencies::LoopDeps::iterator I = LoopRegs.Deps.find(Reg);
267           if (I != LoopRegs.Deps.end()) {
268             const MachineOperand *UseMO = I->second.first;
269             unsigned Count = I->second.second;
270             const MachineInstr *UseMI = UseMO->getParent();
271             unsigned UseMOIdx = UseMO - &UseMI->getOperand(0);
272             const TargetInstrDesc &UseTID = UseMI->getDesc();
273             // TODO: If we knew the total depth of the region here, we could
274             // handle the case where the whole loop is inside the region but
275             // is large enough that the isScheduleHigh trick isn't needed.
276             if (UseMOIdx < UseTID.getNumOperands()) {
277               // Currently, we only support scheduling regions consisting of
278               // single basic blocks. Check to see if the instruction is in
279               // the same region by checking to see if it has the same parent.
280               if (UseMI->getParent() != MI->getParent()) {
281                 unsigned Latency = SU->Latency;
282                 if (UseTID.OpInfo[UseMOIdx].isLookupPtrRegClass())
283                   Latency += SpecialAddressLatency;
284                 // This is a wild guess as to the portion of the latency which
285                 // will be overlapped by work done outside the current
286                 // scheduling region.
287                 Latency -= std::min(Latency, Count);
288                 // Add the artifical edge.
289                 ExitSU.addPred(SDep(SU, SDep::Order, Latency,
290                                     /*Reg=*/0, /*isNormalMemory=*/false,
291                                     /*isMustAlias=*/false,
292                                     /*isArtificial=*/true));
293               } else if (SpecialAddressLatency > 0 &&
294                          UseTID.OpInfo[UseMOIdx].isLookupPtrRegClass()) {
295                 // The entire loop body is within the current scheduling region
296                 // and the latency of this operation is assumed to be greater
297                 // than the latency of the loop.
298                 // TODO: Recursively mark data-edge predecessors as
299                 //       isScheduleHigh too.
300                 SU->isScheduleHigh = true;
301               }
302             }
303             LoopRegs.Deps.erase(I);
304           }
305         }
306
307         UseList.clear();
308         if (!MO.isDead())
309           DefList.clear();
310         DefList.push_back(SU);
311       } else {
312         UseList.push_back(SU);
313       }
314     }
315
316     // Add chain dependencies.
317     // Note that isStoreToStackSlot and isLoadFromStackSLot are not usable
318     // after stack slots are lowered to actual addresses.
319     // TODO: Use an AliasAnalysis and do real alias-analysis queries, and
320     // produce more precise dependence information.
321     if (TID.isCall() || TID.hasUnmodeledSideEffects()) {
322     new_chain:
323       // This is the conservative case. Add dependencies on all memory
324       // references.
325       if (Chain)
326         Chain->addPred(SDep(SU, SDep::Order, SU->Latency));
327       Chain = SU;
328       for (unsigned k = 0, m = PendingLoads.size(); k != m; ++k)
329         PendingLoads[k]->addPred(SDep(SU, SDep::Order, SU->Latency));
330       PendingLoads.clear();
331       for (std::map<const Value *, SUnit *>::iterator I = MemDefs.begin(),
332            E = MemDefs.end(); I != E; ++I) {
333         I->second->addPred(SDep(SU, SDep::Order, SU->Latency));
334         I->second = SU;
335       }
336       for (std::map<const Value *, std::vector<SUnit *> >::iterator I =
337            MemUses.begin(), E = MemUses.end(); I != E; ++I) {
338         for (unsigned i = 0, e = I->second.size(); i != e; ++i)
339           I->second[i]->addPred(SDep(SU, SDep::Order, SU->Latency));
340         I->second.clear();
341       }
342       // See if it is known to just have a single memory reference.
343       MachineInstr *ChainMI = Chain->getInstr();
344       const TargetInstrDesc &ChainTID = ChainMI->getDesc();
345       if (!ChainTID.isCall() &&
346           !ChainTID.hasUnmodeledSideEffects() &&
347           ChainMI->hasOneMemOperand() &&
348           !(*ChainMI->memoperands_begin())->isVolatile() &&
349           (*ChainMI->memoperands_begin())->getValue())
350         // We know that the Chain accesses one specific memory location.
351         ChainMMO = *ChainMI->memoperands_begin();
352       else
353         // Unknown memory accesses. Assume the worst.
354         ChainMMO = 0;
355     } else if (TID.mayStore()) {
356       if (const Value *V = getUnderlyingObjectForInstr(MI)) {
357         // A store to a specific PseudoSourceValue. Add precise dependencies.
358         // Handle the def in MemDefs, if there is one.
359         std::map<const Value *, SUnit *>::iterator I = MemDefs.find(V);
360         if (I != MemDefs.end()) {
361           I->second->addPred(SDep(SU, SDep::Order, SU->Latency, /*Reg=*/0,
362                                   /*isNormalMemory=*/true));
363           I->second = SU;
364         } else {
365           MemDefs[V] = SU;
366         }
367         // Handle the uses in MemUses, if there are any.
368         std::map<const Value *, std::vector<SUnit *> >::iterator J =
369           MemUses.find(V);
370         if (J != MemUses.end()) {
371           for (unsigned i = 0, e = J->second.size(); i != e; ++i)
372             J->second[i]->addPred(SDep(SU, SDep::Order, SU->Latency, /*Reg=*/0,
373                                        /*isNormalMemory=*/true));
374           J->second.clear();
375         }
376         // Add dependencies from all the PendingLoads, since without
377         // memoperands we must assume they alias anything.
378         for (unsigned k = 0, m = PendingLoads.size(); k != m; ++k)
379           PendingLoads[k]->addPred(SDep(SU, SDep::Order, SU->Latency));
380         // Add a general dependence too, if needed.
381         if (Chain)
382           Chain->addPred(SDep(SU, SDep::Order, SU->Latency));
383       } else
384         // Treat all other stores conservatively.
385         goto new_chain;
386     } else if (TID.mayLoad()) {
387       if (MI->isInvariantLoad(AA)) {
388         // Invariant load, no chain dependencies needed!
389       } else if (const Value *V = getUnderlyingObjectForInstr(MI)) {
390         // A load from a specific PseudoSourceValue. Add precise dependencies.
391         std::map<const Value *, SUnit *>::iterator I = MemDefs.find(V);
392         if (I != MemDefs.end())
393           I->second->addPred(SDep(SU, SDep::Order, SU->Latency, /*Reg=*/0,
394                                   /*isNormalMemory=*/true));
395         MemUses[V].push_back(SU);
396
397         // Add a general dependence too, if needed.
398         if (Chain && (!ChainMMO ||
399                       (ChainMMO->isStore() || ChainMMO->isVolatile())))
400           Chain->addPred(SDep(SU, SDep::Order, SU->Latency));
401       } else if (MI->hasVolatileMemoryRef()) {
402         // Treat volatile loads conservatively. Note that this includes
403         // cases where memoperand information is unavailable.
404         goto new_chain;
405       } else {
406         // A normal load. Depend on the general chain, as well as on
407         // all stores. In the absense of MachineMemOperand information,
408         // we can't even assume that the load doesn't alias well-behaved
409         // memory locations.
410         if (Chain)
411           Chain->addPred(SDep(SU, SDep::Order, SU->Latency));
412         for (std::map<const Value *, SUnit *>::iterator I = MemDefs.begin(),
413              E = MemDefs.end(); I != E; ++I)
414           I->second->addPred(SDep(SU, SDep::Order, SU->Latency));
415         PendingLoads.push_back(SU);
416       }
417     }
418   }
419
420   for (int i = 0, e = TRI->getNumRegs(); i != e; ++i) {
421     Defs[i].clear();
422     Uses[i].clear();
423   }
424   PendingLoads.clear();
425 }
426
427 void ScheduleDAGInstrs::FinishBlock() {
428   // Nothing to do.
429 }
430
431 void ScheduleDAGInstrs::ComputeLatency(SUnit *SU) {
432   const InstrItineraryData &InstrItins = TM.getInstrItineraryData();
433
434   // Compute the latency for the node.
435   SU->Latency =
436     InstrItins.getStageLatency(SU->getInstr()->getDesc().getSchedClass());
437
438   // Simplistic target-independent heuristic: assume that loads take
439   // extra time.
440   if (InstrItins.isEmpty())
441     if (SU->getInstr()->getDesc().mayLoad())
442       SU->Latency += 2;
443 }
444
445 void ScheduleDAGInstrs::ComputeOperandLatency(SUnit *Def, SUnit *Use, 
446                                               SDep& dep) const {
447   const InstrItineraryData &InstrItins = TM.getInstrItineraryData();
448   if (InstrItins.isEmpty())
449     return;
450   
451   // For a data dependency with a known register...
452   if ((dep.getKind() != SDep::Data) || (dep.getReg() == 0))
453     return;
454
455   const unsigned Reg = dep.getReg();
456
457   // ... find the definition of the register in the defining
458   // instruction
459   MachineInstr *DefMI = Def->getInstr();
460   int DefIdx = DefMI->findRegisterDefOperandIdx(Reg);
461   if (DefIdx != -1) {
462     int DefCycle = InstrItins.getOperandCycle(DefMI->getDesc().getSchedClass(), DefIdx);
463     if (DefCycle >= 0) {
464       MachineInstr *UseMI = Use->getInstr();
465       const unsigned UseClass = UseMI->getDesc().getSchedClass();
466
467       // For all uses of the register, calculate the maxmimum latency
468       int Latency = -1;
469       for (unsigned i = 0, e = UseMI->getNumOperands(); i != e; ++i) {
470         const MachineOperand &MO = UseMI->getOperand(i);
471         if (!MO.isReg() || !MO.isUse())
472           continue;
473         unsigned MOReg = MO.getReg();
474         if (MOReg != Reg)
475           continue;
476
477         int UseCycle = InstrItins.getOperandCycle(UseClass, i);
478         if (UseCycle >= 0)
479           Latency = std::max(Latency, DefCycle - UseCycle + 1);
480       }
481
482       // If we found a latency, then replace the existing dependence latency.
483       if (Latency >= 0)
484         dep.setLatency(Latency);
485     }
486   }
487 }
488
489 void ScheduleDAGInstrs::dumpNode(const SUnit *SU) const {
490   SU->getInstr()->dump();
491 }
492
493 std::string ScheduleDAGInstrs::getGraphNodeLabel(const SUnit *SU) const {
494   std::string s;
495   raw_string_ostream oss(s);
496   if (SU == &EntrySU)
497     oss << "<entry>";
498   else if (SU == &ExitSU)
499     oss << "<exit>";
500   else
501     SU->getInstr()->print(oss);
502   return oss.str();
503 }
504
505 // EmitSchedule - Emit the machine code in scheduled order.
506 MachineBasicBlock *ScheduleDAGInstrs::
507 EmitSchedule(DenseMap<MachineBasicBlock*, MachineBasicBlock*> *EM) {
508   // For MachineInstr-based scheduling, we're rescheduling the instructions in
509   // the block, so start by removing them from the block.
510   while (Begin != InsertPos) {
511     MachineBasicBlock::iterator I = Begin;
512     ++Begin;
513     BB->remove(I);
514   }
515
516   // Then re-insert them according to the given schedule.
517   for (unsigned i = 0, e = Sequence.size(); i != e; i++) {
518     SUnit *SU = Sequence[i];
519     if (!SU) {
520       // Null SUnit* is a noop.
521       EmitNoop();
522       continue;
523     }
524
525     BB->insert(InsertPos, SU->getInstr());
526   }
527
528   // Update the Begin iterator, as the first instruction in the block
529   // may have been scheduled later.
530   if (!Sequence.empty())
531     Begin = Sequence[0]->getInstr();
532
533   return BB;
534 }