lib/CodeGen/LiveIntervalAnalysis.cpp

   1 //===-- LiveIntervals.cpp - Live Interval Analysis ------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file was developed by the LLVM research group and is distributed under
   6 // the University of Illinois Open Source License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the LiveInterval analysis pass which is used
  11 // by the Linear Scan Register allocator. This pass linearizes the
  12 // basic blocks of the function in DFS order and uses the
  13 // LiveVariables pass to conservatively compute live intervals for
  14 // each virtual and physical register.
  15 //
  16 //===----------------------------------------------------------------------===//
  17
  18 #define DEBUG_TYPE "liveintervals"
  19 #include "llvm/CodeGen/LiveIntervals.h"
  20 #include "llvm/Function.h"
  21 #include "llvm/Analysis/LoopInfo.h"
  22 #include "llvm/CodeGen/LiveVariables.h"
  23 #include "llvm/CodeGen/MachineFrameInfo.h"
  24 #include "llvm/CodeGen/MachineFunctionPass.h"
  25 #include "llvm/CodeGen/MachineInstr.h"
  26 #include "llvm/CodeGen/Passes.h"
  27 #include "llvm/CodeGen/SSARegMap.h"
  28 #include "llvm/Target/MRegisterInfo.h"
  29 #include "llvm/Target/TargetInstrInfo.h"
  30 #include "llvm/Target/TargetMachine.h"
  31 #include "llvm/Target/TargetRegInfo.h"
  32 #include "llvm/Support/CFG.h"
  33 #include "Support/Debug.h"
  34 #include "Support/DepthFirstIterator.h"
  35 #include "Support/Statistic.h"
  36 #include <cmath>
  37 #include <iostream>
  38 #include <limits>
  39
  40 using namespace llvm;
  41
  42 namespace {
  43     RegisterAnalysis<LiveIntervals> X("liveintervals",
  44                                       "Live Interval Analysis");
  45
  46     Statistic<> numIntervals("liveintervals", "Number of intervals");
  47 };
  48
  49 void LiveIntervals::getAnalysisUsage(AnalysisUsage &AU) const
  50 {
  51     AU.addPreserved<LiveVariables>();
  52     AU.addRequired<LiveVariables>();
  53     AU.addPreservedID(PHIEliminationID);
  54     AU.addRequiredID(PHIEliminationID);
  55     AU.addRequiredID(TwoAddressInstructionPassID);
  56     AU.addRequired<LoopInfo>();
  57     MachineFunctionPass::getAnalysisUsage(AU);
  58 }
  59
  60 /// runOnMachineFunction - Register allocate the whole function
  61 ///
  62 bool LiveIntervals::runOnMachineFunction(MachineFunction &fn) {
  63     DEBUG(std::cerr << "Machine Function\n");
  64     mf_ = &fn;
  65     tm_ = &fn.getTarget();
  66     mri_ = tm_->getRegisterInfo();
  67     lv_ = &getAnalysis<LiveVariables>();
  68     mbbi2mbbMap_.clear();
  69     mi2iMap_.clear();
  70     r2iMap_.clear();
  71     r2iMap_.clear();
  72     intervals_.clear();
  73
  74     // number MachineInstrs
  75     unsigned miIndex = 0;
  76     for (MachineFunction::iterator mbb = mf_->begin(), mbbEnd = mf_->end();
  77          mbb != mbbEnd; ++mbb) {
  78         const std::pair<MachineBasicBlock*, unsigned>& entry =
  79             lv_->getMachineBasicBlockInfo(&*mbb);
  80         bool inserted = mbbi2mbbMap_.insert(std::make_pair(entry.second,
  81                                                            entry.first)).second;
  82         assert(inserted && "multiple index -> MachineBasicBlock");
  83
  84         for (MachineBasicBlock::iterator mi = mbb->begin(), miEnd = mbb->end();
  85              mi != miEnd; ++mi) {
  86             inserted = mi2iMap_.insert(std::make_pair(*mi, miIndex)).second;
  87             assert(inserted && "multiple MachineInstr -> index mappings");
  88             ++miIndex;
  89         }
  90     }
  91
  92     computeIntervals();
  93
  94     // compute spill weights
  95     const LoopInfo& loopInfo = getAnalysis<LoopInfo>();
  96     const TargetInstrInfo& tii = tm_->getInstrInfo();
  97
  98     for (MbbIndex2MbbMap::iterator
  99              it = mbbi2mbbMap_.begin(), itEnd = mbbi2mbbMap_.end();
 100          it != itEnd; ++it) {
 101         MachineBasicBlock* mbb = it->second;
 102
 103         unsigned loopDepth = loopInfo.getLoopDepth(mbb->getBasicBlock());
 104
 105         for (MachineBasicBlock::iterator mi = mbb->begin(), miEnd = mbb->end();
 106              mi != miEnd; ++mi) {
 107             MachineInstr* instr = *mi;
 108             for (int i = instr->getNumOperands() - 1; i >= 0; --i) {
 109                 MachineOperand& mop = instr->getOperand(i);
 110
 111                 if (!mop.isVirtualRegister())
 112                     continue;
 113
 114                 unsigned reg = mop.getAllocatedRegNum();
 115                 Reg2IntervalMap::iterator r2iit = r2iMap_.find(reg);
 116                 assert(r2iit != r2iMap_.end());
 117                 r2iit->second->weight += pow(10.0F, loopDepth);
 118             }
 119         }
 120     }
 121
 122     numIntervals += intervals_.size();
 123
 124     return true;
 125 }
 126
 127 void LiveIntervals::printRegName(unsigned reg) const
 128 {
 129     if (reg < MRegisterInfo::FirstVirtualRegister)
 130         std::cerr << mri_->getName(reg);
 131     else
 132         std::cerr << '%' << reg;
 133 }
 134
 135 void LiveIntervals::handleVirtualRegisterDef(MachineBasicBlock* mbb,
 136                                              MachineBasicBlock::iterator mi,
 137                                              unsigned reg)
 138 {
 139     DEBUG(std::cerr << "\t\tregister: ";printRegName(reg); std::cerr << '\n');
 140
 141     unsigned instrIndex = getInstructionIndex(*mi);
 142
 143     LiveVariables::VarInfo& vi = lv_->getVarInfo(reg);
 144
 145     Interval* interval = 0;
 146     Reg2IntervalMap::iterator r2iit = r2iMap_.find(reg);
 147     if (r2iit == r2iMap_.end()) {
 148         // add new interval
 149         intervals_.push_back(Interval(reg));
 150         // update interval index for this register
 151         bool inserted =
 152             r2iMap_.insert(std::make_pair(reg, --intervals_.end())).second;
 153         assert(inserted);
 154         interval = &intervals_.back();
 155     }
 156     else {
 157         interval = &*r2iit->second;
 158     }
 159
 160     for (MbbIndex2MbbMap::iterator
 161              it = mbbi2mbbMap_.begin(), itEnd = mbbi2mbbMap_.end();
 162          it != itEnd; ++it) {
 163         unsigned liveBlockIndex = it->first;
 164         MachineBasicBlock* liveBlock = it->second;
 165         if (liveBlockIndex < vi.AliveBlocks.size() &&
 166             vi.AliveBlocks[liveBlockIndex] &&
 167             !liveBlock->empty()) {
 168             unsigned start =  getInstructionIndex(liveBlock->front());
 169             unsigned end = getInstructionIndex(liveBlock->back()) + 1;
 170             interval->addRange(start, end);
 171         }
 172     }
 173
 174     bool killedInDefiningBasicBlock = false;
 175     for (int i = 0, e = vi.Kills.size(); i != e; ++i) {
 176         MachineBasicBlock* killerBlock = vi.Kills[i].first;
 177         MachineInstr* killerInstr = vi.Kills[i].second;
 178         unsigned start = (mbb == killerBlock ?
 179                           instrIndex :
 180                           getInstructionIndex(killerBlock->front()));
 181         unsigned end = getInstructionIndex(killerInstr) + 1;
 182         if (start < end) {
 183             killedInDefiningBasicBlock |= mbb == killerBlock;
 184             interval->addRange(start, end);
 185         }
 186     }
 187
 188     if (!killedInDefiningBasicBlock) {
 189         unsigned end = getInstructionIndex(mbb->back()) + 1;
 190         interval->addRange(instrIndex, end);
 191     }
 192 }
 193
 194 void LiveIntervals::handlePhysicalRegisterDef(MachineBasicBlock* mbb,
 195                                               MachineBasicBlock::iterator mi,
 196                                               unsigned reg)
 197 {
 198     DEBUG(std::cerr << "\t\tregister: "; printRegName(reg));
 199
 200     unsigned start = getInstructionIndex(*mi);
 201     unsigned end = start;
 202
 203     // register can be dead by the instruction defining it but it can
 204     // only be killed by subsequent instructions
 205
 206     for (LiveVariables::killed_iterator
 207              ki = lv_->dead_begin(*mi),
 208              ke = lv_->dead_end(*mi);
 209          ki != ke; ++ki) {
 210         if (reg == ki->second) {
 211             end = getInstructionIndex(ki->first) + 1;
 212             DEBUG(std::cerr << " dead\n");
 213             goto exit;
 214         }
 215     }
 216     ++mi;
 217
 218     for (MachineBasicBlock::iterator e = mbb->end(); mi != e; ++mi) {
 219         for (LiveVariables::killed_iterator
 220                  ki = lv_->dead_begin(*mi),
 221                  ke = lv_->dead_end(*mi);
 222              ki != ke; ++ki) {
 223             if (reg == ki->second) {
 224                 end = getInstructionIndex(ki->first) + 1;
 225                 DEBUG(std::cerr << " dead\n");
 226                 goto exit;
 227             }
 228         }
 229
 230         for (LiveVariables::killed_iterator
 231                  ki = lv_->killed_begin(*mi),
 232                  ke = lv_->killed_end(*mi);
 233              ki != ke; ++ki) {
 234             if (reg == ki->second) {
 235                 end = getInstructionIndex(ki->first) + 1;
 236                 DEBUG(std::cerr << " killed\n");
 237                 goto exit;
 238             }
 239         }
 240     }
 241 exit:
 242     assert(start < end && "did not find end of interval?");
 243
 244     Reg2IntervalMap::iterator r2iit = r2iMap_.find(reg);
 245     if (r2iit != r2iMap_.end()) {
 246         Interval& interval = *r2iit->second;
 247         interval.addRange(start, end);
 248     }
 249     else {
 250         intervals_.push_back(Interval(reg));
 251         Interval& interval = intervals_.back();
 252         // update interval index for this register
 253         bool inserted =
 254             r2iMap_.insert(std::make_pair(reg, --intervals_.end())).second;
 255         assert(inserted);
 256         interval.addRange(start, end);
 257     }
 258 }
 259
 260 void LiveIntervals::handleRegisterDef(MachineBasicBlock* mbb,
 261                                       MachineBasicBlock::iterator mi,
 262                                       unsigned reg)
 263 {
 264     if (reg < MRegisterInfo::FirstVirtualRegister) {
 265         if (lv_->getAllocatablePhysicalRegisters()[reg]) {
 266             handlePhysicalRegisterDef(mbb, mi, reg);
 267             for (const unsigned* as = mri_->getAliasSet(reg); *as; ++as)
 268                 handlePhysicalRegisterDef(mbb, mi, *as);
 269         }
 270     }
 271     else {
 272         handleVirtualRegisterDef(mbb, mi, reg);
 273     }
 274 }
 275
 276 unsigned LiveIntervals::getInstructionIndex(MachineInstr* instr) const
 277 {
 278     assert(mi2iMap_.find(instr) != mi2iMap_.end() &&
 279            "instruction not assigned a number");
 280     return mi2iMap_.find(instr)->second;
 281 }
 282
 283 /// computeIntervals - computes the live intervals for virtual
 284 /// registers. for some ordering of the machine instructions [1,N] a
 285 /// live interval is an interval [i, j] where 1 <= i <= j <= N for
 286 /// which a variable is live
 287 void LiveIntervals::computeIntervals()
 288 {
 289     DEBUG(std::cerr << "computing live intervals:\n");
 290
 291     for (MbbIndex2MbbMap::iterator
 292              it = mbbi2mbbMap_.begin(), itEnd = mbbi2mbbMap_.end();
 293          it != itEnd; ++it) {
 294         MachineBasicBlock* mbb = it->second;
 295         DEBUG(std::cerr << "machine basic block: "
 296               << mbb->getBasicBlock()->getName() << "\n");
 297
 298         for (MachineBasicBlock::iterator mi = mbb->begin(), miEnd = mbb->end();
 299              mi != miEnd; ++mi) {
 300             MachineInstr* instr = *mi;
 301             const TargetInstrDescriptor& tid =
 302                 tm_->getInstrInfo().get(instr->getOpcode());
 303             DEBUG(std::cerr << "\t[" << getInstructionIndex(instr) << "] ";
 304                   instr->print(std::cerr, *tm_););
 305
 306             // handle implicit defs
 307             for (const unsigned* id = tid.ImplicitDefs; *id; ++id)
 308                 handleRegisterDef(mbb, mi, *id);
 309
 310             // handle explicit defs
 311             for (int i = instr->getNumOperands() - 1; i >= 0; --i) {
 312                 MachineOperand& mop = instr->getOperand(i);
 313
 314                 if (!mop.isRegister())
 315                     continue;
 316
 317                 // handle defs - build intervals
 318                 if (mop.isDef())
 319                     handleRegisterDef(mbb, mi, mop.getAllocatedRegNum());
 320             }
 321         }
 322     }
 323
 324     intervals_.sort(StartPointComp());
 325     DEBUG(std::copy(intervals_.begin(), intervals_.end(),
 326                     std::ostream_iterator<Interval>(std::cerr, "\n")));
 327 }
 328
 329 LiveIntervals::Interval::Interval(unsigned r)
 330     : reg(r), hint(0),
 331       weight((r < MRegisterInfo::FirstVirtualRegister ?
 332               std::numeric_limits<float>::max() : 0.0F))
 333 {
 334
 335 }
 336
 337 void LiveIntervals::Interval::addRange(unsigned start, unsigned end)
 338 {
 339     DEBUG(std::cerr << "\t\t\tadding range: [" << start <<','<< end << ") -> ");
 340     //assert(start < end && "invalid range?");
 341     Range range = std::make_pair(start, end);
 342     Ranges::iterator it =
 343         ranges.insert(std::upper_bound(ranges.begin(), ranges.end(), range),
 344                       range);
 345
 346     mergeRangesForward(it);
 347     mergeRangesBackward(it);
 348     DEBUG(std::cerr << *this << '\n');
 349 }
 350
 351 void LiveIntervals::Interval::mergeRangesForward(Ranges::iterator it)
 352 {
 353     for (Ranges::iterator next = it + 1;
 354          next != ranges.end() && it->second >= next->first; ) {
 355         it->second = std::max(it->second, next->second);
 356         next = ranges.erase(next);
 357     }
 358 }
 359
 360 void LiveIntervals::Interval::mergeRangesBackward(Ranges::iterator it)
 361 {
 362     for (Ranges::iterator prev = it - 1;
 363          it != ranges.begin() && it->first <= prev->second; ) {
 364         it->first = std::min(it->first, prev->first);
 365         it->second = std::max(it->second, prev->second);
 366         it = ranges.erase(prev);
 367         prev = it - 1;
 368     }
 369 }
 370
 371 bool LiveIntervals::Interval::liveAt(unsigned index) const
 372 {
 373     Ranges::const_iterator r = ranges.begin();
 374     while (r != ranges.end() && index < (r->second - 1)) {
 375         if (index >= r->first)
 376             return true;
 377         ++r;
 378     }
 379     return false;
 380 }
 381
 382 bool LiveIntervals::Interval::overlaps(const Interval& other) const
 383 {
 384     Ranges::const_iterator i = ranges.begin();
 385     Ranges::const_iterator j = other.ranges.begin();
 386
 387     while (i != ranges.end() && j != other.ranges.end()) {
 388         if (i->first < j->first) {
 389             if ((i->second - 1) > j->first) {
 390                 return true;
 391             }
 392             else {
 393                 ++i;
 394             }
 395         }
 396         else if (j->first < i->first) {
 397             if ((j->second - 1) > i->first) {
 398                 return true;
 399             }
 400             else {
 401                 ++j;
 402             }
 403         }
 404         else {
 405             return true;
 406         }
 407     }
 408
 409     return false;
 410 }
 411
 412 std::ostream& llvm::operator<<(std::ostream& os,
 413                                const LiveIntervals::Interval& li)
 414 {
 415     os << "%reg" << li.reg << ',' << li.weight << " = ";
 416     for (LiveIntervals::Interval::Ranges::const_iterator
 417              i = li.ranges.begin(), e = li.ranges.end(); i != e; ++i) {
 418         os << "[" << i->first << "," << i->second << ")";
 419     }
 420     return os;
 421 }