include/llvm/CodeGen/SlotIndexes.h

   1 //===- llvm/CodeGen/SlotIndexes.h - Slot indexes representation -*- C++ -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements SlotIndex and related classes. The purpose of SlotIndex
  11 // is to describe a position at which a register can become live, or cease to
  12 // be live.
  13 //
  14 // SlotIndex is mostly a proxy for entries of the SlotIndexList, a class which
  15 // is held is LiveIntervals and provides the real numbering. This allows
  16 // LiveIntervals to perform largely transparent renumbering.
  17 //===----------------------------------------------------------------------===//
  18
  19 #ifndef LLVM_CODEGEN_SLOTINDEXES_H
  20 #define LLVM_CODEGEN_SLOTINDEXES_H
  21
  22 #include "llvm/CodeGen/MachineInstrBundle.h"
  23 #include "llvm/CodeGen/MachineFunction.h"
  24 #include "llvm/CodeGen/MachineFunctionPass.h"
  25 #include "llvm/ADT/PointerIntPair.h"
  26 #include "llvm/ADT/SmallVector.h"
  27 #include "llvm/ADT/DenseMap.h"
  28 #include "llvm/Support/Allocator.h"
  29
  30 namespace llvm {
  31
  32   /// This class represents an entry in the slot index list held in the
  33   /// SlotIndexes pass. It should not be used directly. See the
  34   /// SlotIndex & SlotIndexes classes for the public interface to this
  35   /// information.
  36   class IndexListEntry {
  37     IndexListEntry *next, *prev;
  38     MachineInstr *mi;
  39     unsigned index;
  40
  41   public:
  42
  43     IndexListEntry(MachineInstr *mi, unsigned index) : mi(mi), index(index) {}
  44
  45     MachineInstr* getInstr() const { return mi; }
  46     void setInstr(MachineInstr *mi) {
  47       this->mi = mi;
  48     }
  49
  50     unsigned getIndex() const { return index; }
  51     void setIndex(unsigned index) {
  52       this->index = index;
  53     }
  54
  55     IndexListEntry* getNext() { return next; }
  56     const IndexListEntry* getNext() const { return next; }
  57     void setNext(IndexListEntry *next) {
  58       this->next = next;
  59     }
  60
  61     IndexListEntry* getPrev() { return prev; }
  62     const IndexListEntry* getPrev() const { return prev; }
  63     void setPrev(IndexListEntry *prev) {
  64       this->prev = prev;
  65     }
  66   };
  67
  68   // Specialize PointerLikeTypeTraits for IndexListEntry.
  69   template <>
  70   class PointerLikeTypeTraits<IndexListEntry*> {
  71   public:
  72     static inline void* getAsVoidPointer(IndexListEntry *p) {
  73       return p;
  74     }
  75     static inline IndexListEntry* getFromVoidPointer(void *p) {
  76       return static_cast<IndexListEntry*>(p);
  77     }
  78     enum { NumLowBitsAvailable = 3 };
  79   };
  80
  81   /// SlotIndex - An opaque wrapper around machine indexes.
  82   class SlotIndex {
  83     friend class SlotIndexes;
  84     friend struct DenseMapInfo<SlotIndex>;
  85
  86     enum Slot {
  87       /// Basic block boundary.  Used for live ranges entering and leaving a
  88       /// block without being live in the layout neighbor.  Also used as the
  89       /// def slot of PHI-defs.
  90       Slot_Block,
  91
  92       /// Early-clobber register use/def slot.  A live range defined at
  93       /// Slot_EarlyCLobber interferes with normal live ranges killed at
  94       /// Slot_Register.  Also used as the kill slot for live ranges tied to an
  95       /// early-clobber def.
  96       Slot_EarlyClobber,
  97
  98       /// Normal register use/def slot.  Normal instructions kill and define
  99       /// register live ranges at this slot.
 100       Slot_Register,
 101
 102       /// Dead def kill point.  Kill slot for a live range that is defined by
 103       /// the same instruction (Slot_Register or Slot_EarlyClobber), but isn't
 104       /// used anywhere.
 105       Slot_Dead,
 106
 107       Slot_Count
 108     };
 109
 110     PointerIntPair<IndexListEntry*, 2, unsigned> lie;
 111
 112     SlotIndex(IndexListEntry *entry, unsigned slot)
 113       : lie(entry, slot) {}
 114
 115     IndexListEntry& entry() const {
 116       assert(isValid() && "Attempt to compare reserved index.");
 117       return *lie.getPointer();
 118     }
 119
 120     int getIndex() const {
 121       return entry().getIndex() | getSlot();
 122     }
 123
 124     /// Returns the slot for this SlotIndex.
 125     Slot getSlot() const {
 126       return static_cast<Slot>(lie.getInt());
 127     }
 128
 129     static inline unsigned getHashValue(const SlotIndex &v) {
 130       void *ptrVal = v.lie.getOpaqueValue();
 131       return (unsigned((intptr_t)ptrVal)) ^ (unsigned((intptr_t)ptrVal) >> 9);
 132     }
 133
 134   public:
 135     enum {
 136       /// The default distance between instructions as returned by distance().
 137       /// This may vary as instructions are inserted and removed.
 138       InstrDist = 4 * Slot_Count
 139     };
 140
 141     static inline SlotIndex getEmptyKey() {
 142       return SlotIndex(0, 1);
 143     }
 144
 145     static inline SlotIndex getTombstoneKey() {
 146       return SlotIndex(0, 2);
 147     }
 148
 149     /// Construct an invalid index.
 150     SlotIndex() : lie(0, 0) {}
 151
 152     // Construct a new slot index from the given one, and set the slot.
 153     SlotIndex(const SlotIndex &li, Slot s)
 154       : lie(&li.entry(), unsigned(s)) {
 155       assert(lie.getPointer() != 0 &&
 156              "Attempt to construct index with 0 pointer.");
 157     }
 158
 159     /// Returns true if this is a valid index. Invalid indicies do
 160     /// not point into an index table, and cannot be compared.
 161     bool isValid() const {
 162       return lie.getPointer();
 163     }
 164
 165     /// Return true for a valid index.
 166     operator bool() const { return isValid(); }
 167
 168     /// Print this index to the given raw_ostream.
 169     void print(raw_ostream &os) const;
 170
 171     /// Dump this index to stderr.
 172     void dump() const;
 173
 174     /// Compare two SlotIndex objects for equality.
 175     bool operator==(SlotIndex other) const {
 176       return lie == other.lie;
 177     }
 178     /// Compare two SlotIndex objects for inequality.
 179     bool operator!=(SlotIndex other) const {
 180       return lie != other.lie;
 181     }
 182
 183     /// Compare two SlotIndex objects. Return true if the first index
 184     /// is strictly lower than the second.
 185     bool operator<(SlotIndex other) const {
 186       return getIndex() < other.getIndex();
 187     }
 188     /// Compare two SlotIndex objects. Return true if the first index
 189     /// is lower than, or equal to, the second.
 190     bool operator<=(SlotIndex other) const {
 191       return getIndex() <= other.getIndex();
 192     }
 193
 194     /// Compare two SlotIndex objects. Return true if the first index
 195     /// is greater than the second.
 196     bool operator>(SlotIndex other) const {
 197       return getIndex() > other.getIndex();
 198     }
 199
 200     /// Compare two SlotIndex objects. Return true if the first index
 201     /// is greater than, or equal to, the second.
 202     bool operator>=(SlotIndex other) const {
 203       return getIndex() >= other.getIndex();
 204     }
 205
 206     /// isSameInstr - Return true if A and B refer to the same instruction.
 207     static bool isSameInstr(SlotIndex A, SlotIndex B) {
 208       return A.lie.getPointer() == B.lie.getPointer();
 209     }
 210
 211     /// isEarlierInstr - Return true if A refers to an instruction earlier than
 212     /// B. This is equivalent to A < B && !isSameInstr(A, B).
 213     static bool isEarlierInstr(SlotIndex A, SlotIndex B) {
 214       return A.entry().getIndex() < B.entry().getIndex();
 215     }
 216
 217     /// Return the distance from this index to the given one.
 218     int distance(SlotIndex other) const {
 219       return other.getIndex() - getIndex();
 220     }
 221
 222     /// isBlock - Returns true if this is a block boundary slot.
 223     bool isBlock() const { return getSlot() == Slot_Block; }
 224
 225     /// isEarlyClobber - Returns true if this is an early-clobber slot.
 226     bool isEarlyClobber() const { return getSlot() == Slot_EarlyClobber; }
 227
 228     /// isRegister - Returns true if this is a normal register use/def slot.
 229     /// Note that early-clobber slots may also be used for uses and defs.
 230     bool isRegister() const { return getSlot() == Slot_Register; }
 231
 232     /// isDead - Returns true if this is a dead def kill slot.
 233     bool isDead() const { return getSlot() == Slot_Dead; }
 234
 235     /// Returns the base index for associated with this index. The base index
 236     /// is the one associated with the Slot_Block slot for the instruction
 237     /// pointed to by this index.
 238     SlotIndex getBaseIndex() const {
 239       return SlotIndex(&entry(), Slot_Block);
 240     }
 241
 242     /// Returns the boundary index for associated with this index. The boundary
 243     /// index is the one associated with the Slot_Block slot for the instruction
 244     /// pointed to by this index.
 245     SlotIndex getBoundaryIndex() const {
 246       return SlotIndex(&entry(), Slot_Dead);
 247     }
 248
 249     /// Returns the register use/def slot in the current instruction for a
 250     /// normal or early-clobber def.
 251     SlotIndex getRegSlot(bool EC = false) const {
 252       return SlotIndex(&entry(), EC ? Slot_EarlyClobber : Slot_Register);
 253     }
 254
 255     /// Returns the dead def kill slot for the current instruction.
 256     SlotIndex getDeadSlot() const {
 257       return SlotIndex(&entry(), Slot_Dead);
 258     }
 259
 260     /// Returns the next slot in the index list. This could be either the
 261     /// next slot for the instruction pointed to by this index or, if this
 262     /// index is a STORE, the first slot for the next instruction.
 263     /// WARNING: This method is considerably more expensive than the methods
 264     /// that return specific slots (getUseIndex(), etc). If you can - please
 265     /// use one of those methods.
 266     SlotIndex getNextSlot() const {
 267       Slot s = getSlot();
 268       if (s == Slot_Dead) {
 269         return SlotIndex(entry().getNext(), Slot_Block);
 270       }
 271       return SlotIndex(&entry(), s + 1);
 272     }
 273
 274     /// Returns the next index. This is the index corresponding to the this
 275     /// index's slot, but for the next instruction.
 276     SlotIndex getNextIndex() const {
 277       return SlotIndex(entry().getNext(), getSlot());
 278     }
 279
 280     /// Returns the previous slot in the index list. This could be either the
 281     /// previous slot for the instruction pointed to by this index or, if this
 282     /// index is a Slot_Block, the last slot for the previous instruction.
 283     /// WARNING: This method is considerably more expensive than the methods
 284     /// that return specific slots (getUseIndex(), etc). If you can - please
 285     /// use one of those methods.
 286     SlotIndex getPrevSlot() const {
 287       Slot s = getSlot();
 288       if (s == Slot_Block) {
 289         return SlotIndex(entry().getPrev(), Slot_Dead);
 290       }
 291       return SlotIndex(&entry(), s - 1);
 292     }
 293
 294     /// Returns the previous index. This is the index corresponding to this
 295     /// index's slot, but for the previous instruction.
 296     SlotIndex getPrevIndex() const {
 297       return SlotIndex(entry().getPrev(), getSlot());
 298     }
 299
 300   };
 301
 302   /// DenseMapInfo specialization for SlotIndex.
 303   template <>
 304   struct DenseMapInfo<SlotIndex> {
 305     static inline SlotIndex getEmptyKey() {
 306       return SlotIndex::getEmptyKey();
 307     }
 308     static inline SlotIndex getTombstoneKey() {
 309       return SlotIndex::getTombstoneKey();
 310     }
 311     static inline unsigned getHashValue(const SlotIndex &v) {
 312       return SlotIndex::getHashValue(v);
 313     }
 314     static inline bool isEqual(const SlotIndex &LHS, const SlotIndex &RHS) {
 315       return (LHS == RHS);
 316     }
 317   };
 318
 319   template <> struct isPodLike<SlotIndex> { static const bool value = true; };
 320
 321
 322   inline raw_ostream& operator<<(raw_ostream &os, SlotIndex li) {
 323     li.print(os);
 324     return os;
 325   }
 326
 327   typedef std::pair<SlotIndex, MachineBasicBlock*> IdxMBBPair;
 328
 329   inline bool operator<(SlotIndex V, const IdxMBBPair &IM) {
 330     return V < IM.first;
 331   }
 332
 333   inline bool operator<(const IdxMBBPair &IM, SlotIndex V) {
 334     return IM.first < V;
 335   }
 336
 337   struct Idx2MBBCompare {
 338     bool operator()(const IdxMBBPair &LHS, const IdxMBBPair &RHS) const {
 339       return LHS.first < RHS.first;
 340     }
 341   };
 342
 343   /// SlotIndexes pass.
 344   ///
 345   /// This pass assigns indexes to each instruction.
 346   class SlotIndexes : public MachineFunctionPass {
 347   private:
 348
 349     MachineFunction *mf;
 350     IndexListEntry *indexListHead;
 351     unsigned functionSize;
 352
 353     typedef DenseMap<const MachineInstr*, SlotIndex> Mi2IndexMap;
 354     Mi2IndexMap mi2iMap;
 355
 356     /// MBBRanges - Map MBB number to (start, stop) indexes.
 357     SmallVector<std::pair<SlotIndex, SlotIndex>, 8> MBBRanges;
 358
 359     /// Idx2MBBMap - Sorted list of pairs of index of first instruction
 360     /// and MBB id.
 361     SmallVector<IdxMBBPair, 8> idx2MBBMap;
 362
 363     // IndexListEntry allocator.
 364     BumpPtrAllocator ileAllocator;
 365
 366     IndexListEntry* createEntry(MachineInstr *mi, unsigned index) {
 367       IndexListEntry *entry =
 368         static_cast<IndexListEntry*>(
 369           ileAllocator.Allocate(sizeof(IndexListEntry),
 370           alignOf<IndexListEntry>()));
 371
 372       new (entry) IndexListEntry(mi, index);
 373
 374       return entry;
 375     }
 376
 377     void initList() {
 378       assert(indexListHead == 0 && "Zero entry non-null at initialisation.");
 379       indexListHead = createEntry(0, ~0U);
 380       indexListHead->setNext(0);
 381       indexListHead->setPrev(indexListHead);
 382     }
 383
 384     void clearList() {
 385       indexListHead = 0;
 386       ileAllocator.Reset();
 387     }
 388
 389     IndexListEntry* getTail() {
 390       assert(indexListHead != 0 && "Call to getTail on uninitialized list.");
 391       return indexListHead->getPrev();
 392     }
 393
 394     const IndexListEntry* getTail() const {
 395       assert(indexListHead != 0 && "Call to getTail on uninitialized list.");
 396       return indexListHead->getPrev();
 397     }
 398
 399     // Returns true if the index list is empty.
 400     bool empty() const { return (indexListHead == getTail()); }
 401
 402     IndexListEntry* front() {
 403       assert(!empty() && "front() called on empty index list.");
 404       return indexListHead;
 405     }
 406
 407     const IndexListEntry* front() const {
 408       assert(!empty() && "front() called on empty index list.");
 409       return indexListHead;
 410     }
 411
 412     IndexListEntry* back() {
 413       assert(!empty() && "back() called on empty index list.");
 414       return getTail()->getPrev();
 415     }
 416
 417     const IndexListEntry* back() const {
 418       assert(!empty() && "back() called on empty index list.");
 419       return getTail()->getPrev();
 420     }
 421
 422     /// Insert a new entry before itr.
 423     void insert(IndexListEntry *itr, IndexListEntry *val) {
 424       assert(itr != 0 && "itr should not be null.");
 425       IndexListEntry *prev = itr->getPrev();
 426       val->setNext(itr);
 427       val->setPrev(prev);
 428
 429       if (itr != indexListHead) {
 430         prev->setNext(val);
 431       }
 432       else {
 433         indexListHead = val;
 434       }
 435       itr->setPrev(val);
 436     }
 437
 438     /// Push a new entry on to the end of the list.
 439     void push_back(IndexListEntry *val) {
 440       insert(getTail(), val);
 441     }
 442
 443     /// Renumber locally after inserting newEntry.
 444     void renumberIndexes(IndexListEntry *newEntry);
 445
 446   public:
 447     static char ID;
 448
 449     SlotIndexes() : MachineFunctionPass(ID), indexListHead(0) {
 450       initializeSlotIndexesPass(*PassRegistry::getPassRegistry());
 451     }
 452
 453     virtual void getAnalysisUsage(AnalysisUsage &au) const;
 454     virtual void releaseMemory();
 455
 456     virtual bool runOnMachineFunction(MachineFunction &fn);
 457
 458     /// Dump the indexes.
 459     void dump() const;
 460
 461     /// Renumber the index list, providing space for new instructions.
 462     void renumberIndexes();
 463
 464     /// Returns the zero index for this analysis.
 465     SlotIndex getZeroIndex() {
 466       assert(front()->getIndex() == 0 && "First index is not 0?");
 467       return SlotIndex(front(), 0);
 468     }
 469
 470     /// Returns the base index of the last slot in this analysis.
 471     SlotIndex getLastIndex() {
 472       return SlotIndex(back(), 0);
 473     }
 474
 475     /// Returns the distance between the highest and lowest indexes allocated
 476     /// so far.
 477     unsigned getIndexesLength() const {
 478       assert(front()->getIndex() == 0 &&
 479              "Initial index isn't zero?");
 480
 481       return back()->getIndex();
 482     }
 483
 484     /// Returns the number of instructions in the function.
 485     unsigned getFunctionSize() const {
 486       return functionSize;
 487     }
 488
 489     /// Returns true if the given machine instr is mapped to an index,
 490     /// otherwise returns false.
 491     bool hasIndex(const MachineInstr *instr) const {
 492       return mi2iMap.count(instr);
 493     }
 494
 495     /// Returns the base index for the given instruction.
 496     SlotIndex getInstructionIndex(const MachineInstr *MI) const {
 497       // Instructions inside a bundle have the same number as the bundle itself.
 498       Mi2IndexMap::const_iterator itr = mi2iMap.find(getBundleStart(MI));
 499       assert(itr != mi2iMap.end() && "Instruction not found in maps.");
 500       return itr->second;
 501     }
 502
 503     /// Returns the instruction for the given index, or null if the given
 504     /// index has no instruction associated with it.
 505     MachineInstr* getInstructionFromIndex(SlotIndex index) const {
 506       return index.isValid() ? index.entry().getInstr() : 0;
 507     }
 508
 509     /// Returns the next non-null index.
 510     SlotIndex getNextNonNullIndex(SlotIndex index) {
 511       SlotIndex nextNonNull = index.getNextIndex();
 512
 513       while (&nextNonNull.entry() != getTail() &&
 514              getInstructionFromIndex(nextNonNull) == 0) {
 515         nextNonNull = nextNonNull.getNextIndex();
 516       }
 517
 518       return nextNonNull;
 519     }
 520
 521     /// getIndexBefore - Returns the index of the last indexed instruction
 522     /// before MI, or the the start index of its basic block.
 523     /// MI is not required to have an index.
 524     SlotIndex getIndexBefore(const MachineInstr *MI) const {
 525       const MachineBasicBlock *MBB = MI->getParent();
 526       assert(MBB && "MI must be inserted inna basic block");
 527       MachineBasicBlock::const_iterator I = MI, B = MBB->begin();
 528       for (;;) {
 529         if (I == B)
 530           return getMBBStartIdx(MBB);
 531         --I;
 532         Mi2IndexMap::const_iterator MapItr = mi2iMap.find(I);
 533         if (MapItr != mi2iMap.end())
 534           return MapItr->second;
 535       }
 536     }
 537
 538     /// getIndexAfter - Returns the index of the first indexed instruction
 539     /// after MI, or the end index of its basic block.
 540     /// MI is not required to have an index.
 541     SlotIndex getIndexAfter(const MachineInstr *MI) const {
 542       const MachineBasicBlock *MBB = MI->getParent();
 543       assert(MBB && "MI must be inserted inna basic block");
 544       MachineBasicBlock::const_iterator I = MI, E = MBB->end();
 545       for (;;) {
 546         ++I;
 547         if (I == E)
 548           return getMBBEndIdx(MBB);
 549         Mi2IndexMap::const_iterator MapItr = mi2iMap.find(I);
 550         if (MapItr != mi2iMap.end())
 551           return MapItr->second;
 552       }
 553     }
 554
 555     /// Return the (start,end) range of the given basic block number.
 556     const std::pair<SlotIndex, SlotIndex> &
 557     getMBBRange(unsigned Num) const {
 558       return MBBRanges[Num];
 559     }
 560
 561     /// Return the (start,end) range of the given basic block.
 562     const std::pair<SlotIndex, SlotIndex> &
 563     getMBBRange(const MachineBasicBlock *MBB) const {
 564       return getMBBRange(MBB->getNumber());
 565     }
 566
 567     /// Returns the first index in the given basic block number.
 568     SlotIndex getMBBStartIdx(unsigned Num) const {
 569       return getMBBRange(Num).first;
 570     }
 571
 572     /// Returns the first index in the given basic block.
 573     SlotIndex getMBBStartIdx(const MachineBasicBlock *mbb) const {
 574       return getMBBRange(mbb).first;
 575     }
 576
 577     /// Returns the last index in the given basic block number.
 578     SlotIndex getMBBEndIdx(unsigned Num) const {
 579       return getMBBRange(Num).second;
 580     }
 581
 582     /// Returns the last index in the given basic block.
 583     SlotIndex getMBBEndIdx(const MachineBasicBlock *mbb) const {
 584       return getMBBRange(mbb).second;
 585     }
 586
 587     /// Returns the basic block which the given index falls in.
 588     MachineBasicBlock* getMBBFromIndex(SlotIndex index) const {
 589       if (MachineInstr *MI = getInstructionFromIndex(index))
 590         return MI->getParent();
 591       SmallVectorImpl<IdxMBBPair>::const_iterator I =
 592         std::lower_bound(idx2MBBMap.begin(), idx2MBBMap.end(), index);
 593       // Take the pair containing the index
 594       SmallVectorImpl<IdxMBBPair>::const_iterator J =
 595         ((I != idx2MBBMap.end() && I->first > index) ||
 596          (I == idx2MBBMap.end() && idx2MBBMap.size()>0)) ? (I-1): I;
 597
 598       assert(J != idx2MBBMap.end() && J->first <= index &&
 599              index < getMBBEndIdx(J->second) &&
 600              "index does not correspond to an MBB");
 601       return J->second;
 602     }
 603
 604     bool findLiveInMBBs(SlotIndex start, SlotIndex end,
 605                         SmallVectorImpl<MachineBasicBlock*> &mbbs) const {
 606       SmallVectorImpl<IdxMBBPair>::const_iterator itr =
 607         std::lower_bound(idx2MBBMap.begin(), idx2MBBMap.end(), start);
 608       bool resVal = false;
 609
 610       while (itr != idx2MBBMap.end()) {
 611         if (itr->first >= end)
 612           break;
 613         mbbs.push_back(itr->second);
 614         resVal = true;
 615         ++itr;
 616       }
 617       return resVal;
 618     }
 619
 620     /// Returns the MBB covering the given range, or null if the range covers
 621     /// more than one basic block.
 622     MachineBasicBlock* getMBBCoveringRange(SlotIndex start, SlotIndex end) const {
 623
 624       assert(start < end && "Backwards ranges not allowed.");
 625
 626       SmallVectorImpl<IdxMBBPair>::const_iterator itr =
 627         std::lower_bound(idx2MBBMap.begin(), idx2MBBMap.end(), start);
 628
 629       if (itr == idx2MBBMap.end()) {
 630         itr = prior(itr);
 631         return itr->second;
 632       }
 633
 634       // Check that we don't cross the boundary into this block.
 635       if (itr->first < end)
 636         return 0;
 637
 638       itr = prior(itr);
 639
 640       if (itr->first <= start)
 641         return itr->second;
 642
 643       return 0;
 644     }
 645
 646     /// Insert the given machine instruction into the mapping. Returns the
 647     /// assigned index.
 648     /// If Late is set and there are null indexes between mi's neighboring
 649     /// instructions, create the new index after the null indexes instead of
 650     /// before them.
 651     SlotIndex insertMachineInstrInMaps(MachineInstr *mi, bool Late = false) {
 652       assert(!mi->isInsideBundle() &&
 653              "Instructions inside bundles should use bundle start's slot.");
 654       assert(mi2iMap.find(mi) == mi2iMap.end() && "Instr already indexed.");
 655       // Numbering DBG_VALUE instructions could cause code generation to be
 656       // affected by debug information.
 657       assert(!mi->isDebugValue() && "Cannot number DBG_VALUE instructions.");
 658
 659       assert(mi->getParent() != 0 && "Instr must be added to function.");
 660
 661       // Get the entries where mi should be inserted.
 662       IndexListEntry *prevEntry, *nextEntry;
 663       if (Late) {
 664         // Insert mi's index immediately before the following instruction.
 665         nextEntry = &getIndexAfter(mi).entry();
 666         prevEntry = nextEntry->getPrev();
 667       } else {
 668         // Insert mi's index immediately after the preceeding instruction.
 669         prevEntry = &getIndexBefore(mi).entry();
 670         nextEntry = prevEntry->getNext();
 671       }
 672
 673       // Get a number for the new instr, or 0 if there's no room currently.
 674       // In the latter case we'll force a renumber later.
 675       unsigned dist = ((nextEntry->getIndex() - prevEntry->getIndex())/2) & ~3u;
 676       unsigned newNumber = prevEntry->getIndex() + dist;
 677
 678       // Insert a new list entry for mi.
 679       IndexListEntry *newEntry = createEntry(mi, newNumber);
 680       insert(nextEntry, newEntry);
 681
 682       // Renumber locally if we need to.
 683       if (dist == 0)
 684         renumberIndexes(newEntry);
 685
 686       SlotIndex newIndex(newEntry, SlotIndex::Slot_Block);
 687       mi2iMap.insert(std::make_pair(mi, newIndex));
 688       return newIndex;
 689     }
 690
 691     /// Remove the given machine instruction from the mapping.
 692     void removeMachineInstrFromMaps(MachineInstr *mi) {
 693       // remove index -> MachineInstr and
 694       // MachineInstr -> index mappings
 695       Mi2IndexMap::iterator mi2iItr = mi2iMap.find(mi);
 696       if (mi2iItr != mi2iMap.end()) {
 697         IndexListEntry *miEntry(&mi2iItr->second.entry());
 698         assert(miEntry->getInstr() == mi && "Instruction indexes broken.");
 699         // FIXME: Eventually we want to actually delete these indexes.
 700         miEntry->setInstr(0);
 701         mi2iMap.erase(mi2iItr);
 702       }
 703     }
 704
 705     /// ReplaceMachineInstrInMaps - Replacing a machine instr with a new one in
 706     /// maps used by register allocator.
 707     void replaceMachineInstrInMaps(MachineInstr *mi, MachineInstr *newMI) {
 708       Mi2IndexMap::iterator mi2iItr = mi2iMap.find(mi);
 709       if (mi2iItr == mi2iMap.end())
 710         return;
 711       SlotIndex replaceBaseIndex = mi2iItr->second;
 712       IndexListEntry *miEntry(&replaceBaseIndex.entry());
 713       assert(miEntry->getInstr() == mi &&
 714              "Mismatched instruction in index tables.");
 715       miEntry->setInstr(newMI);
 716       mi2iMap.erase(mi2iItr);
 717       mi2iMap.insert(std::make_pair(newMI, replaceBaseIndex));
 718     }
 719
 720     /// Add the given MachineBasicBlock into the maps.
 721     void insertMBBInMaps(MachineBasicBlock *mbb) {
 722       MachineFunction::iterator nextMBB =
 723         llvm::next(MachineFunction::iterator(mbb));
 724       IndexListEntry *startEntry = createEntry(0, 0);
 725       IndexListEntry *stopEntry = createEntry(0, 0);
 726       IndexListEntry *nextEntry = 0;
 727
 728       if (nextMBB == mbb->getParent()->end()) {
 729         nextEntry = getTail();
 730       } else {
 731         nextEntry = &getMBBStartIdx(nextMBB).entry();
 732       }
 733
 734       insert(nextEntry, startEntry);
 735       insert(nextEntry, stopEntry);
 736
 737       SlotIndex startIdx(startEntry, SlotIndex::Slot_Block);
 738       SlotIndex endIdx(nextEntry, SlotIndex::Slot_Block);
 739
 740       assert(unsigned(mbb->getNumber()) == MBBRanges.size() &&
 741              "Blocks must be added in order");
 742       MBBRanges.push_back(std::make_pair(startIdx, endIdx));
 743
 744       idx2MBBMap.push_back(IdxMBBPair(startIdx, mbb));
 745
 746       renumberIndexes();
 747       std::sort(idx2MBBMap.begin(), idx2MBBMap.end(), Idx2MBBCompare());
 748     }
 749
 750   };
 751
 752
 753   // Specialize IntervalMapInfo for half-open slot index intervals.
 754   template <typename> struct IntervalMapInfo;
 755   template <> struct IntervalMapInfo<SlotIndex> {
 756     static inline bool startLess(const SlotIndex &x, const SlotIndex &a) {
 757       return x < a;
 758     }
 759     static inline bool stopLess(const SlotIndex &b, const SlotIndex &x) {
 760       return b <= x;
 761     }
 762     static inline bool adjacent(const SlotIndex &a, const SlotIndex &b) {
 763       return a == b;
 764     }
 765   };
 766
 767 }
 768
 769 #endif // LLVM_CODEGEN_LIVEINDEX_H