Fix problem when using LiveRangeQuery with block entries.
[oota-llvm.git] / include / llvm / CodeGen / LiveInterval.h
1 //===-- llvm/CodeGen/LiveInterval.h - Interval representation ---*- C++ -*-===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file implements the LiveRange and LiveInterval classes.  Given some
11 // numbering of each the machine instructions an interval [i, j) is said to be a
12 // live interval for register v if there is no instruction with number j' >= j
13 // such that v is live at j' and there is no instruction with number i' < i such
14 // that v is live at i'. In this implementation intervals can have holes,
15 // i.e. an interval might look like [1,20), [50,65), [1000,1001).  Each
16 // individual range is represented as an instance of LiveRange, and the whole
17 // interval is represented as an instance of LiveInterval.
18 //
19 //===----------------------------------------------------------------------===//
20
21 #ifndef LLVM_CODEGEN_LIVEINTERVAL_H
22 #define LLVM_CODEGEN_LIVEINTERVAL_H
23
24 #include "llvm/ADT/IntEqClasses.h"
25 #include "llvm/Support/Allocator.h"
26 #include "llvm/Support/AlignOf.h"
27 #include "llvm/CodeGen/SlotIndexes.h"
28 #include <cassert>
29 #include <climits>
30
31 namespace llvm {
32   class CoalescerPair;
33   class LiveIntervals;
34   class MachineInstr;
35   class MachineRegisterInfo;
36   class TargetRegisterInfo;
37   class raw_ostream;
38
39   /// VNInfo - Value Number Information.
40   /// This class holds information about a machine level values, including
41   /// definition and use points.
42   ///
43   class VNInfo {
44   public:
45     typedef BumpPtrAllocator Allocator;
46
47     /// The ID number of this value.
48     unsigned id;
49
50     /// The index of the defining instruction.
51     SlotIndex def;
52
53     /// VNInfo constructor.
54     VNInfo(unsigned i, SlotIndex d)
55       : id(i), def(d)
56     { }
57
58     /// VNInfo construtor, copies values from orig, except for the value number.
59     VNInfo(unsigned i, const VNInfo &orig)
60       : id(i), def(orig.def)
61     { }
62
63     /// Copy from the parameter into this VNInfo.
64     void copyFrom(VNInfo &src) {
65       def = src.def;
66     }
67
68     /// Returns true if this value is defined by a PHI instruction (or was,
69     /// PHI instrucions may have been eliminated).
70     /// PHI-defs begin at a block boundary, all other defs begin at register or
71     /// EC slots.
72     bool isPHIDef() const { return def.isBlock(); }
73
74     /// Returns true if this value is unused.
75     bool isUnused() const { return !def.isValid(); }
76
77     /// Mark this value as unused.
78     void markUnused() { def = SlotIndex(); }
79   };
80
81   /// LiveRange structure - This represents a simple register range in the
82   /// program, with an inclusive start point and an exclusive end point.
83   /// These ranges are rendered as [start,end).
84   struct LiveRange {
85     SlotIndex start;  // Start point of the interval (inclusive)
86     SlotIndex end;    // End point of the interval (exclusive)
87     VNInfo *valno;   // identifier for the value contained in this interval.
88
89     LiveRange(SlotIndex S, SlotIndex E, VNInfo *V)
90       : start(S), end(E), valno(V) {
91
92       assert(S < E && "Cannot create empty or backwards range");
93     }
94
95     /// contains - Return true if the index is covered by this range.
96     ///
97     bool contains(SlotIndex I) const {
98       return start <= I && I < end;
99     }
100
101     /// containsRange - Return true if the given range, [S, E), is covered by
102     /// this range.
103     bool containsRange(SlotIndex S, SlotIndex E) const {
104       assert((S < E) && "Backwards interval?");
105       return (start <= S && S < end) && (start < E && E <= end);
106     }
107
108     bool operator<(const LiveRange &LR) const {
109       return start < LR.start || (start == LR.start && end < LR.end);
110     }
111     bool operator==(const LiveRange &LR) const {
112       return start == LR.start && end == LR.end;
113     }
114
115     void dump() const;
116     void print(raw_ostream &os) const;
117
118   private:
119     LiveRange(); // DO NOT IMPLEMENT
120   };
121
122   template <> struct isPodLike<LiveRange> { static const bool value = true; };
123
124   raw_ostream& operator<<(raw_ostream& os, const LiveRange &LR);
125
126
127   inline bool operator<(SlotIndex V, const LiveRange &LR) {
128     return V < LR.start;
129   }
130
131   inline bool operator<(const LiveRange &LR, SlotIndex V) {
132     return LR.start < V;
133   }
134
135   /// LiveInterval - This class represents some number of live ranges for a
136   /// register or value.  This class also contains a bit of register allocator
137   /// state.
138   class LiveInterval {
139   public:
140
141     typedef SmallVector<LiveRange,4> Ranges;
142     typedef SmallVector<VNInfo*,4> VNInfoList;
143
144     const unsigned reg;  // the register or stack slot of this interval.
145     float weight;        // weight of this interval
146     Ranges ranges;       // the ranges in which this register is live
147     VNInfoList valnos;   // value#'s
148
149     struct InstrSlots {
150       enum {
151         LOAD  = 0,
152         USE   = 1,
153         DEF   = 2,
154         STORE = 3,
155         NUM   = 4
156       };
157
158     };
159
160     LiveInterval(unsigned Reg, float Weight)
161       : reg(Reg), weight(Weight) {}
162
163     typedef Ranges::iterator iterator;
164     iterator begin() { return ranges.begin(); }
165     iterator end()   { return ranges.end(); }
166
167     typedef Ranges::const_iterator const_iterator;
168     const_iterator begin() const { return ranges.begin(); }
169     const_iterator end() const  { return ranges.end(); }
170
171     typedef VNInfoList::iterator vni_iterator;
172     vni_iterator vni_begin() { return valnos.begin(); }
173     vni_iterator vni_end() { return valnos.end(); }
174
175     typedef VNInfoList::const_iterator const_vni_iterator;
176     const_vni_iterator vni_begin() const { return valnos.begin(); }
177     const_vni_iterator vni_end() const { return valnos.end(); }
178
179     /// advanceTo - Advance the specified iterator to point to the LiveRange
180     /// containing the specified position, or end() if the position is past the
181     /// end of the interval.  If no LiveRange contains this position, but the
182     /// position is in a hole, this method returns an iterator pointing to the
183     /// LiveRange immediately after the hole.
184     iterator advanceTo(iterator I, SlotIndex Pos) {
185       assert(I != end());
186       if (Pos >= endIndex())
187         return end();
188       while (I->end <= Pos) ++I;
189       return I;
190     }
191
192     /// find - Return an iterator pointing to the first range that ends after
193     /// Pos, or end(). This is the same as advanceTo(begin(), Pos), but faster
194     /// when searching large intervals.
195     ///
196     /// If Pos is contained in a LiveRange, that range is returned.
197     /// If Pos is in a hole, the following LiveRange is returned.
198     /// If Pos is beyond endIndex, end() is returned.
199     iterator find(SlotIndex Pos);
200
201     const_iterator find(SlotIndex Pos) const {
202       return const_cast<LiveInterval*>(this)->find(Pos);
203     }
204
205     void clear() {
206       valnos.clear();
207       ranges.clear();
208     }
209
210     bool hasAtLeastOneValue() const { return !valnos.empty(); }
211
212     bool containsOneValue() const { return valnos.size() == 1; }
213
214     unsigned getNumValNums() const { return (unsigned)valnos.size(); }
215
216     /// getValNumInfo - Returns pointer to the specified val#.
217     ///
218     inline VNInfo *getValNumInfo(unsigned ValNo) {
219       return valnos[ValNo];
220     }
221     inline const VNInfo *getValNumInfo(unsigned ValNo) const {
222       return valnos[ValNo];
223     }
224
225     /// containsValue - Returns true if VNI belongs to this interval.
226     bool containsValue(const VNInfo *VNI) const {
227       return VNI && VNI->id < getNumValNums() && VNI == getValNumInfo(VNI->id);
228     }
229
230     /// getNextValue - Create a new value number and return it.  MIIdx specifies
231     /// the instruction that defines the value number.
232     VNInfo *getNextValue(SlotIndex def, VNInfo::Allocator &VNInfoAllocator) {
233       VNInfo *VNI =
234         new (VNInfoAllocator) VNInfo((unsigned)valnos.size(), def);
235       valnos.push_back(VNI);
236       return VNI;
237     }
238
239     /// createDeadDef - Make sure the interval has a value defined at Def.
240     /// If one already exists, return it. Otherwise allocate a new value and
241     /// add liveness for a dead def.
242     VNInfo *createDeadDef(SlotIndex Def, VNInfo::Allocator &VNInfoAllocator);
243
244     /// Create a copy of the given value. The new value will be identical except
245     /// for the Value number.
246     VNInfo *createValueCopy(const VNInfo *orig,
247                             VNInfo::Allocator &VNInfoAllocator) {
248       VNInfo *VNI =
249         new (VNInfoAllocator) VNInfo((unsigned)valnos.size(), *orig);
250       valnos.push_back(VNI);
251       return VNI;
252     }
253
254     /// RenumberValues - Renumber all values in order of appearance and remove
255     /// unused values.
256     void RenumberValues(LiveIntervals &lis);
257
258     /// MergeValueNumberInto - This method is called when two value nubmers
259     /// are found to be equivalent.  This eliminates V1, replacing all
260     /// LiveRanges with the V1 value number with the V2 value number.  This can
261     /// cause merging of V1/V2 values numbers and compaction of the value space.
262     VNInfo* MergeValueNumberInto(VNInfo *V1, VNInfo *V2);
263
264     /// MergeValueInAsValue - Merge all of the live ranges of a specific val#
265     /// in RHS into this live interval as the specified value number.
266     /// The LiveRanges in RHS are allowed to overlap with LiveRanges in the
267     /// current interval, it will replace the value numbers of the overlaped
268     /// live ranges with the specified value number.
269     void MergeRangesInAsValue(const LiveInterval &RHS, VNInfo *LHSValNo);
270
271     /// MergeValueInAsValue - Merge all of the live ranges of a specific val#
272     /// in RHS into this live interval as the specified value number.
273     /// The LiveRanges in RHS are allowed to overlap with LiveRanges in the
274     /// current interval, but only if the overlapping LiveRanges have the
275     /// specified value number.
276     void MergeValueInAsValue(const LiveInterval &RHS,
277                              const VNInfo *RHSValNo, VNInfo *LHSValNo);
278
279     bool empty() const { return ranges.empty(); }
280
281     /// beginIndex - Return the lowest numbered slot covered by interval.
282     SlotIndex beginIndex() const {
283       assert(!empty() && "Call to beginIndex() on empty interval.");
284       return ranges.front().start;
285     }
286
287     /// endNumber - return the maximum point of the interval of the whole,
288     /// exclusive.
289     SlotIndex endIndex() const {
290       assert(!empty() && "Call to endIndex() on empty interval.");
291       return ranges.back().end;
292     }
293
294     bool expiredAt(SlotIndex index) const {
295       return index >= endIndex();
296     }
297
298     bool liveAt(SlotIndex index) const {
299       const_iterator r = find(index);
300       return r != end() && r->start <= index;
301     }
302
303     /// killedAt - Return true if a live range ends at index. Note that the kill
304     /// point is not contained in the half-open live range. It is usually the
305     /// getDefIndex() slot following its last use.
306     bool killedAt(SlotIndex index) const {
307       const_iterator r = find(index.getRegSlot(true));
308       return r != end() && r->end == index;
309     }
310
311     /// getLiveRangeContaining - Return the live range that contains the
312     /// specified index, or null if there is none.
313     const LiveRange *getLiveRangeContaining(SlotIndex Idx) const {
314       const_iterator I = FindLiveRangeContaining(Idx);
315       return I == end() ? 0 : &*I;
316     }
317
318     /// getLiveRangeContaining - Return the live range that contains the
319     /// specified index, or null if there is none.
320     LiveRange *getLiveRangeContaining(SlotIndex Idx) {
321       iterator I = FindLiveRangeContaining(Idx);
322       return I == end() ? 0 : &*I;
323     }
324
325     /// getVNInfoAt - Return the VNInfo that is live at Idx, or NULL.
326     VNInfo *getVNInfoAt(SlotIndex Idx) const {
327       const_iterator I = FindLiveRangeContaining(Idx);
328       return I == end() ? 0 : I->valno;
329     }
330
331     /// getVNInfoBefore - Return the VNInfo that is live up to but not
332     /// necessarilly including Idx, or NULL. Use this to find the reaching def
333     /// used by an instruction at this SlotIndex position.
334     VNInfo *getVNInfoBefore(SlotIndex Idx) const {
335       const_iterator I = FindLiveRangeContaining(Idx.getPrevSlot());
336       return I == end() ? 0 : I->valno;
337     }
338
339     /// FindLiveRangeContaining - Return an iterator to the live range that
340     /// contains the specified index, or end() if there is none.
341     iterator FindLiveRangeContaining(SlotIndex Idx) {
342       iterator I = find(Idx);
343       return I != end() && I->start <= Idx ? I : end();
344     }
345
346     const_iterator FindLiveRangeContaining(SlotIndex Idx) const {
347       const_iterator I = find(Idx);
348       return I != end() && I->start <= Idx ? I : end();
349     }
350
351     /// overlaps - Return true if the intersection of the two live intervals is
352     /// not empty.
353     bool overlaps(const LiveInterval& other) const {
354       if (other.empty())
355         return false;
356       return overlapsFrom(other, other.begin());
357     }
358
359     /// overlaps - Return true if the two intervals have overlapping segments
360     /// that are not coalescable according to CP.
361     ///
362     /// Overlapping segments where one interval is defined by a coalescable
363     /// copy are allowed.
364     bool overlaps(const LiveInterval &Other, const CoalescerPair &CP,
365                   const SlotIndexes&) const;
366
367     /// overlaps - Return true if the live interval overlaps a range specified
368     /// by [Start, End).
369     bool overlaps(SlotIndex Start, SlotIndex End) const;
370
371     /// overlapsFrom - Return true if the intersection of the two live intervals
372     /// is not empty.  The specified iterator is a hint that we can begin
373     /// scanning the Other interval starting at I.
374     bool overlapsFrom(const LiveInterval& other, const_iterator I) const;
375
376     /// addRange - Add the specified LiveRange to this interval, merging
377     /// intervals as appropriate.  This returns an iterator to the inserted live
378     /// range (which may have grown since it was inserted.
379     void addRange(LiveRange LR) {
380       addRangeFrom(LR, ranges.begin());
381     }
382
383     /// extendInBlock - If this interval is live before Kill in the basic block
384     /// that starts at StartIdx, extend it to be live up to Kill, and return
385     /// the value. If there is no live range before Kill, return NULL.
386     VNInfo *extendInBlock(SlotIndex StartIdx, SlotIndex Kill);
387
388     /// join - Join two live intervals (this, and other) together.  This applies
389     /// mappings to the value numbers in the LHS/RHS intervals as specified.  If
390     /// the intervals are not joinable, this aborts.
391     void join(LiveInterval &Other,
392               const int *ValNoAssignments,
393               const int *RHSValNoAssignments,
394               SmallVector<VNInfo*, 16> &NewVNInfo,
395               MachineRegisterInfo *MRI);
396
397     /// isInOneLiveRange - Return true if the range specified is entirely in the
398     /// a single LiveRange of the live interval.
399     bool isInOneLiveRange(SlotIndex Start, SlotIndex End) const {
400       const_iterator r = find(Start);
401       return r != end() && r->containsRange(Start, End);
402     }
403
404     /// removeRange - Remove the specified range from this interval.  Note that
405     /// the range must be a single LiveRange in its entirety.
406     void removeRange(SlotIndex Start, SlotIndex End,
407                      bool RemoveDeadValNo = false);
408
409     void removeRange(LiveRange LR, bool RemoveDeadValNo = false) {
410       removeRange(LR.start, LR.end, RemoveDeadValNo);
411     }
412
413     /// removeValNo - Remove all the ranges defined by the specified value#.
414     /// Also remove the value# from value# list.
415     void removeValNo(VNInfo *ValNo);
416
417     /// getSize - Returns the sum of sizes of all the LiveRange's.
418     ///
419     unsigned getSize() const;
420
421     /// Returns true if the live interval is zero length, i.e. no live ranges
422     /// span instructions. It doesn't pay to spill such an interval.
423     bool isZeroLength(SlotIndexes *Indexes) const {
424       for (const_iterator i = begin(), e = end(); i != e; ++i)
425         if (Indexes->getNextNonNullIndex(i->start).getBaseIndex() <
426             i->end.getBaseIndex())
427           return false;
428       return true;
429     }
430
431     /// isSpillable - Can this interval be spilled?
432     bool isSpillable() const {
433       return weight != HUGE_VALF;
434     }
435
436     /// markNotSpillable - Mark interval as not spillable
437     void markNotSpillable() {
438       weight = HUGE_VALF;
439     }
440
441     bool operator<(const LiveInterval& other) const {
442       const SlotIndex &thisIndex = beginIndex();
443       const SlotIndex &otherIndex = other.beginIndex();
444       return (thisIndex < otherIndex ||
445               (thisIndex == otherIndex && reg < other.reg));
446     }
447
448     void print(raw_ostream &OS) const;
449     void dump() const;
450
451     /// \brief Walk the interval and assert if any invariants fail to hold.
452     ///
453     /// Note that this is a no-op when asserts are disabled.
454 #ifdef NDEBUG
455     void verify() const {}
456 #else
457     void verify() const;
458 #endif
459
460   private:
461
462     Ranges::iterator addRangeFrom(LiveRange LR, Ranges::iterator From);
463     void extendIntervalEndTo(Ranges::iterator I, SlotIndex NewEnd);
464     Ranges::iterator extendIntervalStartTo(Ranges::iterator I, SlotIndex NewStr);
465     void markValNoForDeletion(VNInfo *V);
466     void mergeIntervalRanges(const LiveInterval &RHS,
467                              VNInfo *LHSValNo = 0,
468                              const VNInfo *RHSValNo = 0);
469
470     LiveInterval& operator=(const LiveInterval& rhs); // DO NOT IMPLEMENT
471
472   };
473
474   inline raw_ostream &operator<<(raw_ostream &OS, const LiveInterval &LI) {
475     LI.print(OS);
476     return OS;
477   }
478
479   /// LiveRangeQuery - Query information about a live range around a given
480   /// instruction. This class hides the implementation details of live ranges,
481   /// and it should be used as the primary interface for examining live ranges
482   /// around instructions.
483   ///
484   class LiveRangeQuery {
485     VNInfo *EarlyVal;
486     VNInfo *LateVal;
487     SlotIndex EndPoint;
488     bool Kill;
489
490   public:
491     /// Create a LiveRangeQuery for the given live range and instruction index.
492     /// The sub-instruction slot of Idx doesn't matter, only the instruction it
493     /// refers to is considered.
494     LiveRangeQuery(const LiveInterval &LI, SlotIndex Idx)
495       : EarlyVal(0), LateVal(0), Kill(false) {
496       // Find the segment that enters the instruction.
497       LiveInterval::const_iterator I = LI.find(Idx.getBaseIndex());
498       LiveInterval::const_iterator E = LI.end();
499       if (I == E)
500         return;
501       // Is this an instruction live-in segment?
502       // If Idx is the start index of a basic block, include live-in segments
503       // that start at Idx.getBaseIndex().
504       if (I->start <= Idx.getBaseIndex()) {
505         EarlyVal = I->valno;
506         EndPoint = I->end;
507         // Move to the potentially live-out segment.
508         if (SlotIndex::isSameInstr(Idx, I->end)) {
509           Kill = true;
510           if (++I == E)
511             return;
512         }
513         // Special case: A PHIDef value can have its def in the middle of a
514         // segment if the value happens to be live out of the layout
515         // predecessor.
516         // Such a value is not live-in.
517         if (EarlyVal->def == Idx.getBaseIndex())
518           EarlyVal = 0;
519       }
520       // I now points to the segment that may be live-through, or defined by
521       // this instr. Ignore segments starting after the current instr.
522       if (SlotIndex::isEarlierInstr(Idx, I->start))
523         return;
524       LateVal = I->valno;
525       EndPoint = I->end;
526     }
527
528     /// Return the value that is live-in to the instruction. This is the value
529     /// that will be read by the instruction's use operands. Return NULL if no
530     /// value is live-in.
531     VNInfo *valueIn() const {
532       return EarlyVal;
533     }
534
535     /// Return true if the live-in value is killed by this instruction. This
536     /// means that either the live range ends at the instruction, or it changes
537     /// value.
538     bool isKill() const {
539       return Kill;
540     }
541
542     /// Return true if this instruction has a dead def.
543     bool isDeadDef() const {
544       return EndPoint.isDead();
545     }
546
547     /// Return the value leaving the instruction, if any. This can be a
548     /// live-through value, or a live def. A dead def returns NULL.
549     VNInfo *valueOut() const {
550       return isDeadDef() ? 0 : LateVal;
551     }
552
553     /// Return the value defined by this instruction, if any. This includes
554     /// dead defs, it is the value created by the instruction's def operands.
555     VNInfo *valueDefined() const {
556       return EarlyVal == LateVal ? 0 : LateVal;
557     }
558
559     /// Return the end point of the last live range segment to interact with
560     /// the instruction, if any.
561     ///
562     /// The end point is an invalid SlotIndex only if the live range doesn't
563     /// intersect the instruction at all.
564     ///
565     /// The end point may be at or past the end of the instruction's basic
566     /// block. That means the value was live out of the block.
567     SlotIndex endPoint() const {
568       return EndPoint;
569     }
570   };
571
572   /// ConnectedVNInfoEqClasses - Helper class that can divide VNInfos in a
573   /// LiveInterval into equivalence clases of connected components. A
574   /// LiveInterval that has multiple connected components can be broken into
575   /// multiple LiveIntervals.
576   ///
577   /// Given a LiveInterval that may have multiple connected components, run:
578   ///
579   ///   unsigned numComps = ConEQ.Classify(LI);
580   ///   if (numComps > 1) {
581   ///     // allocate numComps-1 new LiveIntervals into LIS[1..]
582   ///     ConEQ.Distribute(LIS);
583   /// }
584
585   class ConnectedVNInfoEqClasses {
586     LiveIntervals &LIS;
587     IntEqClasses EqClass;
588
589     // Note that values a and b are connected.
590     void Connect(unsigned a, unsigned b);
591
592     unsigned Renumber();
593
594   public:
595     explicit ConnectedVNInfoEqClasses(LiveIntervals &lis) : LIS(lis) {}
596
597     /// Classify - Classify the values in LI into connected components.
598     /// Return the number of connected components.
599     unsigned Classify(const LiveInterval *LI);
600
601     /// getEqClass - Classify creates equivalence classes numbered 0..N. Return
602     /// the equivalence class assigned the VNI.
603     unsigned getEqClass(const VNInfo *VNI) const { return EqClass[VNI->id]; }
604
605     /// Distribute - Distribute values in LIV[0] into a separate LiveInterval
606     /// for each connected component. LIV must have a LiveInterval for each
607     /// connected component. The LiveIntervals in Liv[1..] must be empty.
608     /// Instructions using LIV[0] are rewritten.
609     void Distribute(LiveInterval *LIV[], MachineRegisterInfo &MRI);
610
611   };
612
613 }
614 #endif