lib/CodeGen/MachineTraceMetrics.cpp

   1 //===- lib/CodeGen/MachineTraceMetrics.cpp ----------------------*- C++ -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #define DEBUG_TYPE "early-ifcvt"
  11 #include "MachineTraceMetrics.h"
  12 #include "llvm/CodeGen/MachineBasicBlock.h"
  13 #include "llvm/CodeGen/MachineBranchProbabilityInfo.h"
  14 #include "llvm/CodeGen/MachineLoopInfo.h"
  15 #include "llvm/CodeGen/MachineRegisterInfo.h"
  16 #include "llvm/CodeGen/Passes.h"
  17 #include "llvm/Target/TargetInstrInfo.h"
  18 #include "llvm/Target/TargetRegisterInfo.h"
  19 #include "llvm/Support/Debug.h"
  20 #include "llvm/Support/raw_ostream.h"
  21 #include "llvm/ADT/PostOrderIterator.h"
  22
  23 using namespace llvm;
  24
  25 char MachineTraceMetrics::ID = 0;
  26 char &llvm::MachineTraceMetricsID = MachineTraceMetrics::ID;
  27
  28 INITIALIZE_PASS_BEGIN(MachineTraceMetrics,
  29                   "machine-trace-metrics", "Machine Trace Metrics", false, true)
  30 INITIALIZE_PASS_DEPENDENCY(MachineBranchProbabilityInfo)
  31 INITIALIZE_PASS_DEPENDENCY(MachineLoopInfo)
  32 INITIALIZE_PASS_END(MachineTraceMetrics,
  33                   "machine-trace-metrics", "Machine Trace Metrics", false, true)
  34
  35 MachineTraceMetrics::MachineTraceMetrics()
  36   : MachineFunctionPass(ID), TII(0), TRI(0), MRI(0), Loops(0) {
  37   std::fill(Ensembles, array_endof(Ensembles), (Ensemble*)0);
  38 }
  39
  40 void MachineTraceMetrics::getAnalysisUsage(AnalysisUsage &AU) const {
  41   AU.setPreservesAll();
  42   AU.addRequired<MachineBranchProbabilityInfo>();
  43   AU.addRequired<MachineLoopInfo>();
  44   MachineFunctionPass::getAnalysisUsage(AU);
  45 }
  46
  47 bool MachineTraceMetrics::runOnMachineFunction(MachineFunction &MF) {
  48   TII = MF.getTarget().getInstrInfo();
  49   TRI = MF.getTarget().getRegisterInfo();
  50   MRI = &MF.getRegInfo();
  51   Loops = &getAnalysis<MachineLoopInfo>();
  52   unsigned NumBlocks = MF.getNumBlockIDs();
  53   BlockInfo.resize(NumBlocks);
  54   return false;
  55 }
  56
  57 void MachineTraceMetrics::releaseMemory() {
  58   BlockInfo.clear();
  59   for (unsigned i = 0; i != TS_NumStrategies; ++i) {
  60     delete Ensembles[i];
  61     Ensembles[i] = 0;
  62   }
  63 }
  64
  65 //===----------------------------------------------------------------------===//
  66 //                          Fixed block information
  67 //===----------------------------------------------------------------------===//
  68 //
  69 // The number of instructions in a basic block and the CPU resources used by
  70 // those instructions don't depend on any given trace strategy.
  71
  72 /// Is MI an instruction that should be considered free because it will likely
  73 /// be eliminated by later passes?
  74 static bool isFree(const MachineInstr *MI) {
  75   switch(MI->getOpcode()) {
  76   default: return false;
  77   case TargetOpcode::PHI:
  78   case TargetOpcode::PROLOG_LABEL:
  79   case TargetOpcode::EH_LABEL:
  80   case TargetOpcode::GC_LABEL:
  81   case TargetOpcode::KILL:
  82   case TargetOpcode::EXTRACT_SUBREG:
  83   case TargetOpcode::INSERT_SUBREG:
  84   case TargetOpcode::IMPLICIT_DEF:
  85   case TargetOpcode::SUBREG_TO_REG:
  86   case TargetOpcode::COPY_TO_REGCLASS:
  87   case TargetOpcode::DBG_VALUE:
  88   case TargetOpcode::REG_SEQUENCE:
  89   case TargetOpcode::COPY:
  90     return true;
  91   }
  92 }
  93
  94 /// Compute the resource usage in basic block MBB.
  95 const MachineTraceMetrics::FixedBlockInfo*
  96 MachineTraceMetrics::getResources(const MachineBasicBlock *MBB) {
  97   assert(MBB && "No basic block");
  98   FixedBlockInfo *FBI = &BlockInfo[MBB->getNumber()];
  99   if (FBI->hasResources())
 100     return FBI;
 101
 102   // Compute resource usage in the block.
 103   // FIXME: Compute per-functional unit counts.
 104   FBI->HasCalls = false;
 105   unsigned InstrCount = 0;
 106   for (MachineBasicBlock::const_iterator I = MBB->begin(), E = MBB->end();
 107        I != E; ++I) {
 108     const MachineInstr *MI = I;
 109     if (isFree(MI))
 110       continue;
 111     ++InstrCount;
 112     if (MI->isCall())
 113       FBI->HasCalls = true;
 114   }
 115   FBI->InstrCount = InstrCount;
 116   return FBI;
 117 }
 118
 119 //===----------------------------------------------------------------------===//
 120 //                         Ensemble utility functions
 121 //===----------------------------------------------------------------------===//
 122
 123 MachineTraceMetrics::Ensemble::Ensemble(MachineTraceMetrics *ct)
 124   : CT(*ct) {
 125   BlockInfo.resize(CT.BlockInfo.size());
 126 }
 127
 128 // Virtual destructor serves as an anchor.
 129 MachineTraceMetrics::Ensemble::~Ensemble() {}
 130
 131 MachineLoop*
 132 MachineTraceMetrics::Ensemble::getLoopFor(const MachineBasicBlock *MBB) {
 133   return CT.Loops->getLoopFor(MBB);
 134 }
 135
 136 // Update resource-related information in the TraceBlockInfo for MBB.
 137 // Only update resources related to the trace above MBB.
 138 void MachineTraceMetrics::Ensemble::
 139 computeDepthResources(const MachineBasicBlock *MBB) {
 140   TraceBlockInfo *TBI = &BlockInfo[MBB->getNumber()];
 141
 142   // Compute resources from trace above. The top block is simple.
 143   if (!TBI->Pred) {
 144     TBI->InstrDepth = 0;
 145     TBI->Head = MBB->getNumber();
 146     return;
 147   }
 148
 149   // Compute from the block above. A post-order traversal ensures the
 150   // predecessor is always computed first.
 151   TraceBlockInfo *PredTBI = &BlockInfo[TBI->Pred->getNumber()];
 152   assert(PredTBI->hasValidDepth() && "Trace above has not been computed yet");
 153   const FixedBlockInfo *PredFBI = CT.getResources(TBI->Pred);
 154   TBI->InstrDepth = PredTBI->InstrDepth + PredFBI->InstrCount;
 155   TBI->Head = PredTBI->Head;
 156 }
 157
 158 // Update resource-related information in the TraceBlockInfo for MBB.
 159 // Only update resources related to the trace below MBB.
 160 void MachineTraceMetrics::Ensemble::
 161 computeHeightResources(const MachineBasicBlock *MBB) {
 162   TraceBlockInfo *TBI = &BlockInfo[MBB->getNumber()];
 163
 164   // Compute resources for the current block.
 165   TBI->InstrHeight = CT.getResources(MBB)->InstrCount;
 166
 167   // The trace tail is done.
 168   if (!TBI->Succ) {
 169     TBI->Tail = MBB->getNumber();
 170     return;
 171   }
 172
 173   // Compute from the block below. A post-order traversal ensures the
 174   // predecessor is always computed first.
 175   TraceBlockInfo *SuccTBI = &BlockInfo[TBI->Succ->getNumber()];
 176   assert(SuccTBI->hasValidHeight() && "Trace below has not been computed yet");
 177   TBI->InstrHeight += SuccTBI->InstrHeight;
 178   TBI->Tail = SuccTBI->Tail;
 179 }
 180
 181 // Check if depth resources for MBB are valid and return the TBI.
 182 // Return NULL if the resources have been invalidated.
 183 const MachineTraceMetrics::TraceBlockInfo*
 184 MachineTraceMetrics::Ensemble::
 185 getDepthResources(const MachineBasicBlock *MBB) const {
 186   const TraceBlockInfo *TBI = &BlockInfo[MBB->getNumber()];
 187   return TBI->hasValidDepth() ? TBI : 0;
 188 }
 189
 190 // Check if height resources for MBB are valid and return the TBI.
 191 // Return NULL if the resources have been invalidated.
 192 const MachineTraceMetrics::TraceBlockInfo*
 193 MachineTraceMetrics::Ensemble::
 194 getHeightResources(const MachineBasicBlock *MBB) const {
 195   const TraceBlockInfo *TBI = &BlockInfo[MBB->getNumber()];
 196   return TBI->hasValidHeight() ? TBI : 0;
 197 }
 198
 199 //===----------------------------------------------------------------------===//
 200 //                         Trace Selection Strategies
 201 //===----------------------------------------------------------------------===//
 202 //
 203 // A trace selection strategy is implemented as a sub-class of Ensemble. The
 204 // trace through a block B is computed by two DFS traversals of the CFG
 205 // starting from B. One upwards, and one downwards. During the upwards DFS,
 206 // pickTracePred() is called on the post-ordered blocks. During the downwards
 207 // DFS, pickTraceSucc() is called in a post-order.
 208 //
 209
 210 // MinInstrCountEnsemble - Pick the trace that executes the least number of
 211 // instructions.
 212 namespace {
 213 class MinInstrCountEnsemble : public MachineTraceMetrics::Ensemble {
 214   const char *getName() { return "MinInstr"; }
 215   const MachineBasicBlock *pickTracePred(const MachineBasicBlock*);
 216   const MachineBasicBlock *pickTraceSucc(const MachineBasicBlock*);
 217
 218 public:
 219   MinInstrCountEnsemble(MachineTraceMetrics *ct)
 220     : MachineTraceMetrics::Ensemble(ct) {}
 221 };
 222 }
 223
 224 // Select the preferred predecessor for MBB.
 225 const MachineBasicBlock*
 226 MinInstrCountEnsemble::pickTracePred(const MachineBasicBlock *MBB) {
 227   if (MBB->pred_empty())
 228     return 0;
 229   MachineLoop *CurLoop = getLoopFor(MBB);
 230   // Don't leave loops, and never follow back-edges.
 231   if (CurLoop && MBB == CurLoop->getHeader())
 232     return 0;
 233   unsigned CurCount = CT.getResources(MBB)->InstrCount;
 234   const MachineBasicBlock *Best = 0;
 235   unsigned BestDepth = 0;
 236   for (MachineBasicBlock::const_pred_iterator
 237        I = MBB->pred_begin(), E = MBB->pred_end(); I != E; ++I) {
 238     const MachineBasicBlock *Pred = *I;
 239     const MachineTraceMetrics::TraceBlockInfo *PredTBI =
 240       getDepthResources(Pred);
 241     // Ignore invalidated predecessors. This never happens on the first scan,
 242     // but if we rejected this predecessor earlier, it won't be revalidated.
 243     if (!PredTBI)
 244       continue;
 245     // Don't consider predecessors in other loops.
 246     if (getLoopFor(Pred) != CurLoop)
 247       continue;
 248     // Pick the predecessor that would give this block the smallest InstrDepth.
 249     unsigned Depth = PredTBI->InstrDepth + CurCount;
 250     if (!Best || Depth < BestDepth)
 251       Best = Pred, BestDepth = Depth;
 252   }
 253   return Best;
 254 }
 255
 256 // Select the preferred successor for MBB.
 257 const MachineBasicBlock*
 258 MinInstrCountEnsemble::pickTraceSucc(const MachineBasicBlock *MBB) {
 259   if (MBB->pred_empty())
 260     return 0;
 261   MachineLoop *CurLoop = getLoopFor(MBB);
 262   const MachineBasicBlock *Best = 0;
 263   unsigned BestHeight = 0;
 264   for (MachineBasicBlock::const_succ_iterator
 265        I = MBB->succ_begin(), E = MBB->succ_end(); I != E; ++I) {
 266     const MachineBasicBlock *Succ = *I;
 267     const MachineTraceMetrics::TraceBlockInfo *SuccTBI =
 268       getHeightResources(Succ);
 269     // Ignore invalidated successors.
 270     if (!SuccTBI)
 271       continue;
 272     // Don't consider back-edges.
 273     if (CurLoop && Succ == CurLoop->getHeader())
 274       continue;
 275     // Don't consider successors in other loops.
 276     if (getLoopFor(Succ) != CurLoop)
 277       continue;
 278     // Pick the successor that would give this block the smallest InstrHeight.
 279     unsigned Height = SuccTBI->InstrHeight;
 280     if (!Best || Height < BestHeight)
 281       Best = Succ, BestHeight = Height;
 282   }
 283   return Best;
 284 }
 285
 286 // Get an Ensemble sub-class for the requested trace strategy.
 287 MachineTraceMetrics::Ensemble *
 288 MachineTraceMetrics::getEnsemble(MachineTraceMetrics::Strategy strategy) {
 289   assert(strategy < TS_NumStrategies && "Invalid trace strategy enum");
 290   Ensemble *&E = Ensembles[strategy];
 291   if (E)
 292     return E;
 293
 294   // Allocate new Ensemble on demand.
 295   switch (strategy) {
 296   case TS_MinInstrCount: return (E = new MinInstrCountEnsemble(this));
 297   default: llvm_unreachable("Invalid trace strategy enum");
 298   }
 299 }
 300
 301 void MachineTraceMetrics::invalidate(const MachineBasicBlock *MBB) {
 302   DEBUG(dbgs() << "Invalidate traces through BB#" << MBB->getNumber() << '\n');
 303   BlockInfo[MBB->getNumber()].invalidate();
 304   for (unsigned i = 0; i != TS_NumStrategies; ++i)
 305     if (Ensembles[i])
 306       Ensembles[i]->invalidate(MBB);
 307 }
 308
 309 //===----------------------------------------------------------------------===//
 310 //                               Trace building
 311 //===----------------------------------------------------------------------===//
 312 //
 313 // Traces are built by two CFG traversals. To avoid recomputing too much, use a
 314 // set abstraction that confines the search to the current loop, and doesn't
 315 // revisit blocks.
 316
 317 namespace {
 318 struct LoopBounds {
 319   MutableArrayRef<MachineTraceMetrics::TraceBlockInfo> Blocks;
 320   const MachineLoopInfo *Loops;
 321   const MachineLoop *CurLoop;
 322   bool Downward;
 323   LoopBounds(MutableArrayRef<MachineTraceMetrics::TraceBlockInfo> blocks,
 324              const MachineLoopInfo *loops, const MachineLoop *curloop)
 325     : Blocks(blocks), Loops(loops), CurLoop(curloop), Downward(false) {}
 326 };
 327 }
 328
 329 // Specialize po_iterator_storage in order to prune the post-order traversal so
 330 // it is limited to the current loop and doesn't traverse the loop back edges.
 331 namespace llvm {
 332 template<>
 333 class po_iterator_storage<LoopBounds, true> {
 334   LoopBounds &LB;
 335 public:
 336   po_iterator_storage(LoopBounds &lb) : LB(lb) {}
 337   void finishPostorder(const MachineBasicBlock*) {}
 338
 339   bool insertEdge(const MachineBasicBlock *From, const MachineBasicBlock *To) {
 340     // Skip already visited To blocks.
 341     MachineTraceMetrics::TraceBlockInfo &TBI = LB.Blocks[To->getNumber()];
 342     if (LB.Downward ? TBI.hasValidHeight() : TBI.hasValidDepth())
 343       return false;
 344     // Don't follow CurLoop backedges.
 345     if (LB.CurLoop && (LB.Downward ? To : From) == LB.CurLoop->getHeader())
 346       return false;
 347     // Don't leave CurLoop.
 348     if (LB.Loops->getLoopFor(To) != LB.CurLoop)
 349       return false;
 350     // This is a new block. The PO traversal will compute height/depth
 351     // resources, causing us to reject new edges to To. This only works because
 352     // we reject back-edges, so the CFG is cycle-free.
 353     return true;
 354   }
 355 };
 356 }
 357
 358 /// Compute the trace through MBB.
 359 void MachineTraceMetrics::Ensemble::computeTrace(const MachineBasicBlock *MBB) {
 360   DEBUG(dbgs() << "Computing " << getName() << " trace through BB#"
 361                << MBB->getNumber() << '\n');
 362   // Set up loop bounds for the backwards post-order traversal.
 363   LoopBounds Bounds(BlockInfo, CT.Loops, getLoopFor(MBB));
 364
 365   // Run an upwards post-order search for the trace start.
 366   Bounds.Downward = false;
 367   typedef ipo_ext_iterator<const MachineBasicBlock*, LoopBounds> UpwardPO;
 368   for (UpwardPO I = ipo_ext_begin(MBB, Bounds), E = ipo_ext_end(MBB, Bounds);
 369        I != E; ++I) {
 370     DEBUG(dbgs() << "  pred for BB#" << I->getNumber() << ": ");
 371     TraceBlockInfo &TBI = BlockInfo[I->getNumber()];
 372     // All the predecessors have been visited, pick the preferred one.
 373     TBI.Pred = pickTracePred(*I);
 374     DEBUG({
 375       if (TBI.Pred)
 376         dbgs() << "BB#" << TBI.Pred->getNumber() << '\n';
 377       else
 378         dbgs() << "null\n";
 379     });
 380     // The trace leading to I is now known, compute the depth resources.
 381     computeDepthResources(*I);
 382   }
 383
 384   // Run a downwards post-order search for the trace end.
 385   Bounds.Downward = true;
 386   typedef po_ext_iterator<const MachineBasicBlock*, LoopBounds> DownwardPO;
 387   for (DownwardPO I = po_ext_begin(MBB, Bounds), E = po_ext_end(MBB, Bounds);
 388        I != E; ++I) {
 389     DEBUG(dbgs() << "  succ for BB#" << I->getNumber() << ": ");
 390     TraceBlockInfo &TBI = BlockInfo[I->getNumber()];
 391     // All the successors have been visited, pick the preferred one.
 392     TBI.Succ = pickTraceSucc(*I);
 393     DEBUG({
 394       if (TBI.Pred)
 395         dbgs() << "BB#" << TBI.Succ->getNumber() << '\n';
 396       else
 397         dbgs() << "null\n";
 398     });
 399     // The trace leaving I is now known, compute the height resources.
 400     computeHeightResources(*I);
 401   }
 402 }
 403
 404 /// Invalidate traces through BadMBB.
 405 void
 406 MachineTraceMetrics::Ensemble::invalidate(const MachineBasicBlock *BadMBB) {
 407   SmallVector<const MachineBasicBlock*, 16> WorkList;
 408   TraceBlockInfo &BadTBI = BlockInfo[BadMBB->getNumber()];
 409
 410   // Invalidate height resources of blocks above MBB.
 411   if (BadTBI.hasValidHeight()) {
 412     BadTBI.invalidateHeight();
 413     WorkList.push_back(BadMBB);
 414     do {
 415       const MachineBasicBlock *MBB = WorkList.pop_back_val();
 416       DEBUG(dbgs() << "Invalidate BB#" << MBB->getNumber() << ' ' << getName()
 417             << " height.\n");
 418       // Find any MBB predecessors that have MBB as their preferred successor.
 419       // They are the only ones that need to be invalidated.
 420       for (MachineBasicBlock::const_pred_iterator
 421            I = MBB->pred_begin(), E = MBB->pred_end(); I != E; ++I) {
 422         TraceBlockInfo &TBI = BlockInfo[(*I)->getNumber()];
 423         if (TBI.hasValidHeight() && TBI.Succ == MBB) {
 424           TBI.invalidateHeight();
 425           WorkList.push_back(*I);
 426         }
 427       }
 428     } while (!WorkList.empty());
 429   }
 430
 431   // Invalidate depth resources of blocks below MBB.
 432   if (BadTBI.hasValidDepth()) {
 433     BadTBI.invalidateDepth();
 434     WorkList.push_back(BadMBB);
 435     do {
 436       const MachineBasicBlock *MBB = WorkList.pop_back_val();
 437       DEBUG(dbgs() << "Invalidate BB#" << MBB->getNumber() << ' ' << getName()
 438             << " depth.\n");
 439       // Find any MBB successors that have MBB as their preferred predecessor.
 440       // They are the only ones that need to be invalidated.
 441       for (MachineBasicBlock::const_succ_iterator
 442            I = MBB->succ_begin(), E = MBB->succ_end(); I != E; ++I) {
 443         TraceBlockInfo &TBI = BlockInfo[(*I)->getNumber()];
 444         if (TBI.hasValidDepth() && TBI.Pred == MBB) {
 445           TBI.invalidateDepth();
 446           WorkList.push_back(*I);
 447         }
 448       }
 449     } while (!WorkList.empty());
 450   }
 451 }
 452
 453
 454 MachineTraceMetrics::Trace
 455 MachineTraceMetrics::Ensemble::getTrace(const MachineBasicBlock *MBB) {
 456   // FIXME: Check cache tags, recompute as needed.
 457   computeTrace(MBB);
 458   return Trace(*this, BlockInfo[MBB->getNumber()]);
 459 }
 460
 461 void MachineTraceMetrics::Trace::print(raw_ostream &OS) const {
 462   unsigned MBBNum = &TBI - &TE.BlockInfo[0];
 463
 464   OS << TE.getName() << " trace BB#" << TBI.Head << " --> BB#" << MBBNum
 465      << " --> BB#" << TBI.Tail << ':';
 466   if (TBI.hasValidHeight() && TBI.hasValidDepth())
 467     OS << ' ' << getInstrCount() << " instrs.";
 468
 469   const MachineTraceMetrics::TraceBlockInfo *Block = &TBI;
 470   OS << "\nBB#" << MBBNum;
 471   while (Block->hasValidDepth() && Block->Pred) {
 472     unsigned Num = Block->Pred->getNumber();
 473     OS << " <- BB#" << Num;
 474     Block = &TE.BlockInfo[Num];
 475   }
 476
 477   Block = &TBI;
 478   OS << "\n    ";
 479   while (Block->hasValidHeight() && Block->Succ) {
 480     unsigned Num = Block->Succ->getNumber();
 481     OS << " -> BB#" << Num;
 482     Block = &TE.BlockInfo[Num];
 483   }
 484   OS << '\n';
 485 }