- Rewrite code that update register live interval that's split.
[oota-llvm.git] / include / llvm / CodeGen / LiveIntervalAnalysis.h
1 //===-- LiveIntervalAnalysis.h - Live Interval Analysis ---------*- C++ -*-===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file implements the LiveInterval analysis pass.  Given some numbering of
11 // each the machine instructions (in this implemention depth-first order) an
12 // interval [i, j) is said to be a live interval for register v if there is no
13 // instruction with number j' > j such that v is live at j' and there is no
14 // instruction with number i' < i such that v is live at i'. In this
15 // implementation intervals can have holes, i.e. an interval might look like
16 // [1,20), [50,65), [1000,1001).
17 //
18 //===----------------------------------------------------------------------===//
19
20 #ifndef LLVM_CODEGEN_LIVEINTERVAL_ANALYSIS_H
21 #define LLVM_CODEGEN_LIVEINTERVAL_ANALYSIS_H
22
23 #include "llvm/CodeGen/MachineFunctionPass.h"
24 #include "llvm/CodeGen/LiveInterval.h"
25 #include "llvm/ADT/BitVector.h"
26 #include "llvm/ADT/DenseMap.h"
27 #include "llvm/ADT/SmallPtrSet.h"
28 #include "llvm/ADT/SmallVector.h"
29 #include "llvm/Support/Allocator.h"
30 #include <cmath>
31
32 namespace llvm {
33
34   class AliasAnalysis;
35   class LiveVariables;
36   class MachineLoopInfo;
37   class TargetRegisterInfo;
38   class MachineRegisterInfo;
39   class TargetInstrInfo;
40   class TargetRegisterClass;
41   class VirtRegMap;
42   typedef std::pair<unsigned, MachineBasicBlock*> IdxMBBPair;
43
44   inline bool operator<(unsigned V, const IdxMBBPair &IM) {
45     return V < IM.first;
46   }
47
48   inline bool operator<(const IdxMBBPair &IM, unsigned V) {
49     return IM.first < V;
50   }
51
52   struct Idx2MBBCompare {
53     bool operator()(const IdxMBBPair &LHS, const IdxMBBPair &RHS) const {
54       return LHS.first < RHS.first;
55     }
56   };
57   
58   class LiveIntervals : public MachineFunctionPass {
59     MachineFunction* mf_;
60     MachineRegisterInfo* mri_;
61     const TargetMachine* tm_;
62     const TargetRegisterInfo* tri_;
63     const TargetInstrInfo* tii_;
64     AliasAnalysis *aa_;
65     LiveVariables* lv_;
66
67     /// Special pool allocator for VNInfo's (LiveInterval val#).
68     ///
69     BumpPtrAllocator VNInfoAllocator;
70
71     /// MBB2IdxMap - The indexes of the first and last instructions in the
72     /// specified basic block.
73     std::vector<std::pair<unsigned, unsigned> > MBB2IdxMap;
74
75     /// Idx2MBBMap - Sorted list of pairs of index of first instruction
76     /// and MBB id.
77     std::vector<IdxMBBPair> Idx2MBBMap;
78
79     /// FunctionSize - The number of instructions present in the function
80     uint64_t FunctionSize;
81
82     typedef DenseMap<MachineInstr*, unsigned> Mi2IndexMap;
83     Mi2IndexMap mi2iMap_;
84
85     typedef std::vector<MachineInstr*> Index2MiMap;
86     Index2MiMap i2miMap_;
87
88     typedef DenseMap<unsigned, LiveInterval*> Reg2IntervalMap;
89     Reg2IntervalMap r2iMap_;
90
91     BitVector allocatableRegs_;
92
93     std::vector<MachineInstr*> ClonedMIs;
94
95   public:
96     static char ID; // Pass identification, replacement for typeid
97     LiveIntervals() : MachineFunctionPass(&ID) {}
98
99     struct InstrSlots {
100       enum {
101         LOAD  = 0,
102         USE   = 1,
103         DEF   = 2,
104         STORE = 3,
105         NUM   = 4
106       };
107     };
108
109     static unsigned getBaseIndex(unsigned index) {
110       return index - (index % InstrSlots::NUM);
111     }
112     static unsigned getBoundaryIndex(unsigned index) {
113       return getBaseIndex(index + InstrSlots::NUM - 1);
114     }
115     static unsigned getLoadIndex(unsigned index) {
116       return getBaseIndex(index) + InstrSlots::LOAD;
117     }
118     static unsigned getUseIndex(unsigned index) {
119       return getBaseIndex(index) + InstrSlots::USE;
120     }
121     static unsigned getDefIndex(unsigned index) {
122       return getBaseIndex(index) + InstrSlots::DEF;
123     }
124     static unsigned getStoreIndex(unsigned index) {
125       return getBaseIndex(index) + InstrSlots::STORE;
126     }
127
128     static float getSpillWeight(bool isDef, bool isUse, unsigned loopDepth) {
129       return (isDef + isUse) * powf(10.0F, (float)loopDepth);
130     }
131
132     typedef Reg2IntervalMap::iterator iterator;
133     typedef Reg2IntervalMap::const_iterator const_iterator;
134     const_iterator begin() const { return r2iMap_.begin(); }
135     const_iterator end() const { return r2iMap_.end(); }
136     iterator begin() { return r2iMap_.begin(); }
137     iterator end() { return r2iMap_.end(); }
138     unsigned getNumIntervals() const { return (unsigned)r2iMap_.size(); }
139
140     LiveInterval &getInterval(unsigned reg) {
141       Reg2IntervalMap::iterator I = r2iMap_.find(reg);
142       assert(I != r2iMap_.end() && "Interval does not exist for register");
143       return *I->second;
144     }
145
146     const LiveInterval &getInterval(unsigned reg) const {
147       Reg2IntervalMap::const_iterator I = r2iMap_.find(reg);
148       assert(I != r2iMap_.end() && "Interval does not exist for register");
149       return *I->second;
150     }
151
152     bool hasInterval(unsigned reg) const {
153       return r2iMap_.count(reg);
154     }
155
156     /// getMBBStartIdx - Return the base index of the first instruction in the
157     /// specified MachineBasicBlock.
158     unsigned getMBBStartIdx(MachineBasicBlock *MBB) const {
159       return getMBBStartIdx(MBB->getNumber());
160     }
161     unsigned getMBBStartIdx(unsigned MBBNo) const {
162       assert(MBBNo < MBB2IdxMap.size() && "Invalid MBB number!");
163       return MBB2IdxMap[MBBNo].first;
164     }
165
166     /// getMBBEndIdx - Return the store index of the last instruction in the
167     /// specified MachineBasicBlock.
168     unsigned getMBBEndIdx(MachineBasicBlock *MBB) const {
169       return getMBBEndIdx(MBB->getNumber());
170     }
171     unsigned getMBBEndIdx(unsigned MBBNo) const {
172       assert(MBBNo < MBB2IdxMap.size() && "Invalid MBB number!");
173       return MBB2IdxMap[MBBNo].second;
174     }
175
176     /// getScaledIntervalSize - get the size of an interval in "units,"
177     /// where every function is composed of one thousand units.  This
178     /// measure scales properly with empty index slots in the function.
179     double getScaledIntervalSize(LiveInterval& I) {
180       return (1000.0 / InstrSlots::NUM * I.getSize()) / i2miMap_.size();
181     }
182     
183     /// getApproximateInstructionCount - computes an estimate of the number
184     /// of instructions in a given LiveInterval.
185     unsigned getApproximateInstructionCount(LiveInterval& I) {
186       double IntervalPercentage = getScaledIntervalSize(I) / 1000.0;
187       return (unsigned)(IntervalPercentage * FunctionSize);
188     }
189
190     /// getMBBFromIndex - given an index in any instruction of an
191     /// MBB return a pointer the MBB
192     MachineBasicBlock* getMBBFromIndex(unsigned index) const {
193       std::vector<IdxMBBPair>::const_iterator I =
194         std::lower_bound(Idx2MBBMap.begin(), Idx2MBBMap.end(), index);
195       // Take the pair containing the index
196       std::vector<IdxMBBPair>::const_iterator J =
197         ((I != Idx2MBBMap.end() && I->first > index) ||
198          (I == Idx2MBBMap.end() && Idx2MBBMap.size()>0)) ? (I-1): I;
199
200       assert(J != Idx2MBBMap.end() && J->first < index+1 &&
201              index <= getMBBEndIdx(J->second) &&
202              "index does not correspond to an MBB");
203       return J->second;
204     }
205
206     /// getInstructionIndex - returns the base index of instr
207     unsigned getInstructionIndex(MachineInstr* instr) const {
208       Mi2IndexMap::const_iterator it = mi2iMap_.find(instr);
209       assert(it != mi2iMap_.end() && "Invalid instruction!");
210       return it->second;
211     }
212
213     /// getInstructionFromIndex - given an index in any slot of an
214     /// instruction return a pointer the instruction
215     MachineInstr* getInstructionFromIndex(unsigned index) const {
216       index /= InstrSlots::NUM; // convert index to vector index
217       assert(index < i2miMap_.size() &&
218              "index does not correspond to an instruction");
219       return i2miMap_[index];
220     }
221
222     /// hasGapBeforeInstr - Return true if the previous instruction slot,
223     /// i.e. Index - InstrSlots::NUM, is not occupied.
224     bool hasGapBeforeInstr(unsigned Index) {
225       Index = getBaseIndex(Index - InstrSlots::NUM);
226       return getInstructionFromIndex(Index) == 0;
227     }
228
229     /// findGapBeforeInstr - Find an empty instruction slot before the
230     /// specified index. If "Furthest" is true, find one that's furthest
231     /// away from the index (but before any index that's occupied).
232     unsigned findGapBeforeInstr(unsigned Index, bool Furthest = false) {
233       Index = getBaseIndex(Index - InstrSlots::NUM);
234       if (getInstructionFromIndex(Index))
235         return 0;  // No gap!
236       if (!Furthest)
237         return Index;
238       unsigned PrevIndex = getBaseIndex(Index - InstrSlots::NUM);
239       while (getInstructionFromIndex(Index)) {
240         Index = PrevIndex;
241         PrevIndex = getBaseIndex(Index - InstrSlots::NUM);
242       }
243       return Index;
244     }
245
246     /// InsertMachineInstrInMaps - Insert the specified machine instruction
247     /// into the instruction index map at the given index.
248     void InsertMachineInstrInMaps(MachineInstr *MI, unsigned Index) {
249       i2miMap_[Index / InstrSlots::NUM] = MI;
250       Mi2IndexMap::iterator it = mi2iMap_.find(MI);
251       assert(it == mi2iMap_.end() && "Already in map!");
252       mi2iMap_[MI] = Index;
253     }
254
255     /// conflictsWithPhysRegDef - Returns true if the specified register
256     /// is defined during the duration of the specified interval.
257     bool conflictsWithPhysRegDef(const LiveInterval &li, VirtRegMap &vrm,
258                                  unsigned reg);
259
260     /// findLiveInMBBs - Given a live range, if the value of the range
261     /// is live in any MBB returns true as well as the list of basic blocks
262     /// in which the value is live.
263     bool findLiveInMBBs(unsigned Start, unsigned End,
264                         SmallVectorImpl<MachineBasicBlock*> &MBBs) const;
265
266     /// findReachableMBBs - Return a list MBB that can be reached via any
267     /// branch or fallthroughs. Return true if the list is not empty.
268     bool findReachableMBBs(unsigned Start, unsigned End,
269                         SmallVectorImpl<MachineBasicBlock*> &MBBs) const;
270
271     // Interval creation
272
273     LiveInterval &getOrCreateInterval(unsigned reg) {
274       Reg2IntervalMap::iterator I = r2iMap_.find(reg);
275       if (I == r2iMap_.end())
276         I = r2iMap_.insert(std::make_pair(reg, createInterval(reg))).first;
277       return *I->second;
278     }
279     
280     /// addLiveRangeToEndOfBlock - Given a register and an instruction,
281     /// adds a live range from that instruction to the end of its MBB.
282     LiveRange addLiveRangeToEndOfBlock(unsigned reg,
283                                         MachineInstr* startInst);
284
285     // Interval removal
286
287     void removeInterval(unsigned Reg) {
288       DenseMap<unsigned, LiveInterval*>::iterator I = r2iMap_.find(Reg);
289       delete I->second;
290       r2iMap_.erase(I);
291     }
292
293     /// isRemoved - returns true if the specified machine instr has been
294     /// removed.
295     bool isRemoved(MachineInstr* instr) const {
296       return !mi2iMap_.count(instr);
297     }
298
299     /// RemoveMachineInstrFromMaps - This marks the specified machine instr as
300     /// deleted.
301     void RemoveMachineInstrFromMaps(MachineInstr *MI) {
302       // remove index -> MachineInstr and
303       // MachineInstr -> index mappings
304       Mi2IndexMap::iterator mi2i = mi2iMap_.find(MI);
305       if (mi2i != mi2iMap_.end()) {
306         i2miMap_[mi2i->second/InstrSlots::NUM] = 0;
307         mi2iMap_.erase(mi2i);
308       }
309     }
310
311     /// ReplaceMachineInstrInMaps - Replacing a machine instr with a new one in
312     /// maps used by register allocator.
313     void ReplaceMachineInstrInMaps(MachineInstr *MI, MachineInstr *NewMI) {
314       Mi2IndexMap::iterator mi2i = mi2iMap_.find(MI);
315       if (mi2i == mi2iMap_.end())
316         return;
317       i2miMap_[mi2i->second/InstrSlots::NUM] = NewMI;
318       Mi2IndexMap::iterator it = mi2iMap_.find(MI);
319       assert(it != mi2iMap_.end() && "Invalid instruction!");
320       unsigned Index = it->second;
321       mi2iMap_.erase(it);
322       mi2iMap_[NewMI] = Index;
323     }
324
325     BumpPtrAllocator& getVNInfoAllocator() { return VNInfoAllocator; }
326
327     /// getVNInfoSourceReg - Helper function that parses the specified VNInfo
328     /// copy field and returns the source register that defines it.
329     unsigned getVNInfoSourceReg(const VNInfo *VNI) const;
330
331     virtual void getAnalysisUsage(AnalysisUsage &AU) const;
332     virtual void releaseMemory();
333
334     /// runOnMachineFunction - pass entry point
335     virtual bool runOnMachineFunction(MachineFunction&);
336
337     /// print - Implement the dump method.
338     virtual void print(std::ostream &O, const Module* = 0) const;
339     void print(std::ostream *O, const Module* M = 0) const {
340       if (O) print(*O, M);
341     }
342
343     /// addIntervalsForSpills - Create new intervals for spilled defs / uses of
344     /// the given interval. FIXME: It also returns the weight of the spill slot
345     /// (if any is created) by reference. This is temporary.
346     std::vector<LiveInterval*>
347     addIntervalsForSpills(const LiveInterval& i,
348                           SmallVectorImpl<LiveInterval*> &SpillIs,
349                           const MachineLoopInfo *loopInfo, VirtRegMap& vrm,
350                           float &SSWeight);
351     
352     /// addIntervalsForSpillsFast - Quickly create new intervals for spilled
353     /// defs / uses without remat or splitting.
354     std::vector<LiveInterval*>
355     addIntervalsForSpillsFast(const LiveInterval &li,
356                               const MachineLoopInfo *loopInfo,
357                               VirtRegMap &vrm, float& SSWeight);
358
359     /// spillPhysRegAroundRegDefsUses - Spill the specified physical register
360     /// around all defs and uses of the specified interval.
361     void spillPhysRegAroundRegDefsUses(const LiveInterval &li,
362                                        unsigned PhysReg, VirtRegMap &vrm);
363
364     /// isReMaterializable - Returns true if every definition of MI of every
365     /// val# of the specified interval is re-materializable. Also returns true
366     /// by reference if all of the defs are load instructions.
367     bool isReMaterializable(const LiveInterval &li,
368                             SmallVectorImpl<LiveInterval*> &SpillIs,
369                             bool &isLoad);
370
371     /// isReMaterializable - Returns true if the definition MI of the specified
372     /// val# of the specified interval is re-materializable.
373     bool isReMaterializable(const LiveInterval &li, const VNInfo *ValNo,
374                             MachineInstr *MI);
375
376     /// getRepresentativeReg - Find the largest super register of the specified
377     /// physical register.
378     unsigned getRepresentativeReg(unsigned Reg) const;
379
380     /// getNumConflictsWithPhysReg - Return the number of uses and defs of the
381     /// specified interval that conflicts with the specified physical register.
382     unsigned getNumConflictsWithPhysReg(const LiveInterval &li,
383                                         unsigned PhysReg) const;
384
385     /// computeNumbering - Compute the index numbering.
386     void computeNumbering();
387
388   private:      
389     /// computeIntervals - Compute live intervals.
390     void computeIntervals();
391     
392     /// handleRegisterDef - update intervals for a register def
393     /// (calls handlePhysicalRegisterDef and
394     /// handleVirtualRegisterDef)
395     void handleRegisterDef(MachineBasicBlock *MBB,
396                            MachineBasicBlock::iterator MI, unsigned MIIdx,
397                            MachineOperand& MO, unsigned MOIdx);
398
399     /// handleVirtualRegisterDef - update intervals for a virtual
400     /// register def
401     void handleVirtualRegisterDef(MachineBasicBlock *MBB,
402                                   MachineBasicBlock::iterator MI,
403                                   unsigned MIIdx, MachineOperand& MO,
404                                   unsigned MOIdx, LiveInterval& interval);
405
406     /// handlePhysicalRegisterDef - update intervals for a physical register
407     /// def.
408     void handlePhysicalRegisterDef(MachineBasicBlock* mbb,
409                                    MachineBasicBlock::iterator mi,
410                                    unsigned MIIdx, MachineOperand& MO,
411                                    LiveInterval &interval,
412                                    MachineInstr *CopyMI);
413
414     /// handleLiveInRegister - Create interval for a livein register.
415     void handleLiveInRegister(MachineBasicBlock* mbb,
416                               unsigned MIIdx,
417                               LiveInterval &interval, bool isAlias = false);
418
419     /// getReMatImplicitUse - If the remat definition MI has one (for now, we
420     /// only allow one) virtual register operand, then its uses are implicitly
421     /// using the register. Returns the virtual register.
422     unsigned getReMatImplicitUse(const LiveInterval &li,
423                                  MachineInstr *MI) const;
424
425     /// isValNoAvailableAt - Return true if the val# of the specified interval
426     /// which reaches the given instruction also reaches the specified use
427     /// index.
428     bool isValNoAvailableAt(const LiveInterval &li, MachineInstr *MI,
429                             unsigned UseIdx) const;
430
431     /// isReMaterializable - Returns true if the definition MI of the specified
432     /// val# of the specified interval is re-materializable. Also returns true
433     /// by reference if the def is a load.
434     bool isReMaterializable(const LiveInterval &li, const VNInfo *ValNo,
435                             MachineInstr *MI,
436                             SmallVectorImpl<LiveInterval*> &SpillIs,
437                             bool &isLoad);
438
439     /// tryFoldMemoryOperand - Attempts to fold either a spill / restore from
440     /// slot / to reg or any rematerialized load into ith operand of specified
441     /// MI. If it is successul, MI is updated with the newly created MI and
442     /// returns true.
443     bool tryFoldMemoryOperand(MachineInstr* &MI, VirtRegMap &vrm,
444                               MachineInstr *DefMI, unsigned InstrIdx,
445                               SmallVector<unsigned, 2> &Ops,
446                               bool isSS, int Slot, unsigned Reg);
447
448     /// canFoldMemoryOperand - Return true if the specified load / store
449     /// folding is possible.
450     bool canFoldMemoryOperand(MachineInstr *MI,
451                               SmallVector<unsigned, 2> &Ops,
452                               bool ReMatLoadSS) const;
453
454     /// anyKillInMBBAfterIdx - Returns true if there is a kill of the specified
455     /// VNInfo that's after the specified index but is within the basic block.
456     bool anyKillInMBBAfterIdx(const LiveInterval &li, const VNInfo *VNI,
457                               MachineBasicBlock *MBB, unsigned Idx) const;
458
459     /// intervalIsInOneMBB - Returns true if the specified interval is entirely
460     /// within a single basic block.
461     bool intervalIsInOneMBB(const LiveInterval &li) const;
462
463     /// hasAllocatableSuperReg - Return true if the specified physical register
464     /// has any super register that's allocatable.
465     bool hasAllocatableSuperReg(unsigned Reg) const;
466
467     /// SRInfo - Spill / restore info.
468     struct SRInfo {
469       int index;
470       unsigned vreg;
471       bool canFold;
472       SRInfo(int i, unsigned vr, bool f) : index(i), vreg(vr), canFold(f) {};
473     };
474
475     bool alsoFoldARestore(int Id, int index, unsigned vr,
476                           BitVector &RestoreMBBs,
477                           DenseMap<unsigned,std::vector<SRInfo> >&RestoreIdxes);
478     void eraseRestoreInfo(int Id, int index, unsigned vr,
479                           BitVector &RestoreMBBs,
480                           DenseMap<unsigned,std::vector<SRInfo> >&RestoreIdxes);
481
482     /// handleSpilledImpDefs - Remove IMPLICIT_DEF instructions which are being
483     /// spilled and create empty intervals for their uses.
484     void handleSpilledImpDefs(const LiveInterval &li, VirtRegMap &vrm,
485                               const TargetRegisterClass* rc,
486                               std::vector<LiveInterval*> &NewLIs);
487
488     /// rewriteImplicitOps - Rewrite implicit use operands of MI (i.e. uses of
489     /// interval on to-be re-materialized operands of MI) with new register.
490     void rewriteImplicitOps(const LiveInterval &li,
491                            MachineInstr *MI, unsigned NewVReg, VirtRegMap &vrm);
492
493     /// rewriteInstructionForSpills, rewriteInstructionsForSpills - Helper
494     /// functions for addIntervalsForSpills to rewrite uses / defs for the given
495     /// live range.
496     bool rewriteInstructionForSpills(const LiveInterval &li, const VNInfo *VNI,
497         bool TrySplit, unsigned index, unsigned end, MachineInstr *MI,
498         MachineInstr *OrigDefMI, MachineInstr *DefMI, unsigned Slot, int LdSlot,
499         bool isLoad, bool isLoadSS, bool DefIsReMat, bool CanDelete,
500         VirtRegMap &vrm, const TargetRegisterClass* rc,
501         SmallVector<int, 4> &ReMatIds, const MachineLoopInfo *loopInfo,
502         unsigned &NewVReg, unsigned ImpUse, bool &HasDef, bool &HasUse,
503         DenseMap<unsigned,unsigned> &MBBVRegsMap,
504         std::vector<LiveInterval*> &NewLIs, float &SSWeight);
505     void rewriteInstructionsForSpills(const LiveInterval &li, bool TrySplit,
506         LiveInterval::Ranges::const_iterator &I,
507         MachineInstr *OrigDefMI, MachineInstr *DefMI, unsigned Slot, int LdSlot,
508         bool isLoad, bool isLoadSS, bool DefIsReMat, bool CanDelete,
509         VirtRegMap &vrm, const TargetRegisterClass* rc,
510         SmallVector<int, 4> &ReMatIds, const MachineLoopInfo *loopInfo,
511         BitVector &SpillMBBs,
512         DenseMap<unsigned,std::vector<SRInfo> > &SpillIdxes,
513         BitVector &RestoreMBBs,
514         DenseMap<unsigned,std::vector<SRInfo> > &RestoreIdxes,
515         DenseMap<unsigned,unsigned> &MBBVRegsMap,
516         std::vector<LiveInterval*> &NewLIs, float &SSWeight);
517
518     static LiveInterval* createInterval(unsigned Reg);
519
520     void printRegName(unsigned reg) const;
521   };
522
523 } // End llvm namespace
524
525 #endif