lib/Target/ARM/ARMBaseInstrInfo.cpp

   1 //===- ARMBaseInstrInfo.cpp - ARM Instruction Information -------*- C++ -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file contains the Base ARM implementation of the TargetInstrInfo class.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "ARMBaseInstrInfo.h"
  15 #include "ARM.h"
  16 #include "ARMAddressingModes.h"
  17 #include "ARMConstantPoolValue.h"
  18 #include "ARMHazardRecognizer.h"
  19 #include "ARMMachineFunctionInfo.h"
  20 #include "ARMRegisterInfo.h"
  21 #include "ARMGenInstrInfo.inc"
  22 #include "llvm/Constants.h"
  23 #include "llvm/Function.h"
  24 #include "llvm/GlobalValue.h"
  25 #include "llvm/CodeGen/LiveVariables.h"
  26 #include "llvm/CodeGen/MachineConstantPool.h"
  27 #include "llvm/CodeGen/MachineFrameInfo.h"
  28 #include "llvm/CodeGen/MachineInstrBuilder.h"
  29 #include "llvm/CodeGen/MachineJumpTableInfo.h"
  30 #include "llvm/CodeGen/MachineMemOperand.h"
  31 #include "llvm/CodeGen/MachineRegisterInfo.h"
  32 #include "llvm/CodeGen/PseudoSourceValue.h"
  33 #include "llvm/MC/MCAsmInfo.h"
  34 #include "llvm/Support/CommandLine.h"
  35 #include "llvm/Support/Debug.h"
  36 #include "llvm/Support/ErrorHandling.h"
  37 #include "llvm/ADT/STLExtras.h"
  38 using namespace llvm;
  39
  40 static cl::opt<bool>
  41 EnableARM3Addr("enable-arm-3-addr-conv", cl::Hidden,
  42                cl::desc("Enable ARM 2-addr to 3-addr conv"));
  43
  44 /// ARM_MLxEntry - Record information about MLA / MLS instructions.
  45 struct ARM_MLxEntry {
  46   unsigned MLxOpc;     // MLA / MLS opcode
  47   unsigned MulOpc;     // Expanded multiplication opcode
  48   unsigned AddSubOpc;  // Expanded add / sub opcode
  49   bool NegAcc;         // True if the acc is negated before the add / sub.
  50   bool HasLane;        // True if instruction has an extra "lane" operand.
  51 };
  52
  53 static const ARM_MLxEntry ARM_MLxTable[] = {
  54   // MLxOpc,          MulOpc,           AddSubOpc,       NegAcc, HasLane
  55   // fp scalar ops
  56   { ARM::VMLAS,       ARM::VMULS,       ARM::VADDS,      false,  false },
  57   { ARM::VMLSS,       ARM::VMULS,       ARM::VSUBS,      false,  false },
  58   { ARM::VMLAD,       ARM::VMULD,       ARM::VADDD,      false,  false },
  59   { ARM::VMLSD,       ARM::VMULD,       ARM::VSUBD,      false,  false },
  60   { ARM::VNMLAS,      ARM::VNMULS,      ARM::VSUBS,      true,   false },
  61   { ARM::VNMLSS,      ARM::VMULS,       ARM::VSUBS,      true,   false },
  62   { ARM::VNMLAD,      ARM::VNMULD,      ARM::VSUBD,      true,   false },
  63   { ARM::VNMLSD,      ARM::VMULD,       ARM::VSUBD,      true,   false },
  64
  65   // fp SIMD ops
  66   { ARM::VMLAfd,      ARM::VMULfd,      ARM::VADDfd,     false,  false },
  67   { ARM::VMLSfd,      ARM::VMULfd,      ARM::VSUBfd,     false,  false },
  68   { ARM::VMLAfq,      ARM::VMULfq,      ARM::VADDfq,     false,  false },
  69   { ARM::VMLSfq,      ARM::VMULfq,      ARM::VSUBfq,     false,  false },
  70   { ARM::VMLAslfd,    ARM::VMULslfd,    ARM::VADDfd,     false,  true  },
  71   { ARM::VMLSslfd,    ARM::VMULslfd,    ARM::VSUBfd,     false,  true  },
  72   { ARM::VMLAslfq,    ARM::VMULslfq,    ARM::VADDfq,     false,  true  },
  73   { ARM::VMLSslfq,    ARM::VMULslfq,    ARM::VSUBfq,     false,  true  },
  74 };
  75
  76 ARMBaseInstrInfo::ARMBaseInstrInfo(const ARMSubtarget& STI)
  77   : TargetInstrInfoImpl(ARMInsts, array_lengthof(ARMInsts)),
  78     Subtarget(STI) {
  79   for (unsigned i = 0, e = array_lengthof(ARM_MLxTable); i != e; ++i) {
  80     if (!MLxEntryMap.insert(std::make_pair(ARM_MLxTable[i].MLxOpc, i)).second)
  81       assert(false && "Duplicated entries?");
  82     MLxHazardOpcodes.insert(ARM_MLxTable[i].AddSubOpc);
  83     MLxHazardOpcodes.insert(ARM_MLxTable[i].MulOpc);
  84   }
  85 }
  86
  87 // Use a ScoreboardHazardRecognizer for prepass ARM scheduling. TargetInstrImpl
  88 // currently defaults to no prepass hazard recognizer.
  89 ScheduleHazardRecognizer *ARMBaseInstrInfo::
  90 CreateTargetHazardRecognizer(const TargetMachine *TM,
  91                              const ScheduleDAG *DAG) const {
  92   if (usePreRAHazardRecognizer()) {
  93     const InstrItineraryData *II = TM->getInstrItineraryData();
  94     return new ScoreboardHazardRecognizer(II, DAG, "pre-RA-sched");
  95   }
  96   return TargetInstrInfoImpl::CreateTargetHazardRecognizer(TM, DAG);
  97 }
  98
  99 ScheduleHazardRecognizer *ARMBaseInstrInfo::
 100 CreateTargetPostRAHazardRecognizer(const InstrItineraryData *II,
 101                                    const ScheduleDAG *DAG) const {
 102   if (Subtarget.isThumb2() || Subtarget.hasVFP2())
 103     return (ScheduleHazardRecognizer *)
 104       new ARMHazardRecognizer(II, *this, getRegisterInfo(), Subtarget, DAG);
 105   return TargetInstrInfoImpl::CreateTargetPostRAHazardRecognizer(II, DAG);
 106 }
 107
 108 MachineInstr *
 109 ARMBaseInstrInfo::convertToThreeAddress(MachineFunction::iterator &MFI,
 110                                         MachineBasicBlock::iterator &MBBI,
 111                                         LiveVariables *LV) const {
 112   // FIXME: Thumb2 support.
 113
 114   if (!EnableARM3Addr)
 115     return NULL;
 116
 117   MachineInstr *MI = MBBI;
 118   MachineFunction &MF = *MI->getParent()->getParent();
 119   uint64_t TSFlags = MI->getDesc().TSFlags;
 120   bool isPre = false;
 121   switch ((TSFlags & ARMII::IndexModeMask) >> ARMII::IndexModeShift) {
 122   default: return NULL;
 123   case ARMII::IndexModePre:
 124     isPre = true;
 125     break;
 126   case ARMII::IndexModePost:
 127     break;
 128   }
 129
 130   // Try splitting an indexed load/store to an un-indexed one plus an add/sub
 131   // operation.
 132   unsigned MemOpc = getUnindexedOpcode(MI->getOpcode());
 133   if (MemOpc == 0)
 134     return NULL;
 135
 136   MachineInstr *UpdateMI = NULL;
 137   MachineInstr *MemMI = NULL;
 138   unsigned AddrMode = (TSFlags & ARMII::AddrModeMask);
 139   const TargetInstrDesc &TID = MI->getDesc();
 140   unsigned NumOps = TID.getNumOperands();
 141   bool isLoad = !TID.mayStore();
 142   const MachineOperand &WB = isLoad ? MI->getOperand(1) : MI->getOperand(0);
 143   const MachineOperand &Base = MI->getOperand(2);
 144   const MachineOperand &Offset = MI->getOperand(NumOps-3);
 145   unsigned WBReg = WB.getReg();
 146   unsigned BaseReg = Base.getReg();
 147   unsigned OffReg = Offset.getReg();
 148   unsigned OffImm = MI->getOperand(NumOps-2).getImm();
 149   ARMCC::CondCodes Pred = (ARMCC::CondCodes)MI->getOperand(NumOps-1).getImm();
 150   switch (AddrMode) {
 151   default:
 152     assert(false && "Unknown indexed op!");
 153     return NULL;
 154   case ARMII::AddrMode2: {
 155     bool isSub = ARM_AM::getAM2Op(OffImm) == ARM_AM::sub;
 156     unsigned Amt = ARM_AM::getAM2Offset(OffImm);
 157     if (OffReg == 0) {
 158       if (ARM_AM::getSOImmVal(Amt) == -1)
 159         // Can't encode it in a so_imm operand. This transformation will
 160         // add more than 1 instruction. Abandon!
 161         return NULL;
 162       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
 163                          get(isSub ? ARM::SUBri : ARM::ADDri), WBReg)
 164         .addReg(BaseReg).addImm(Amt)
 165         .addImm(Pred).addReg(0).addReg(0);
 166     } else if (Amt != 0) {
 167       ARM_AM::ShiftOpc ShOpc = ARM_AM::getAM2ShiftOpc(OffImm);
 168       unsigned SOOpc = ARM_AM::getSORegOpc(ShOpc, Amt);
 169       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
 170                          get(isSub ? ARM::SUBrs : ARM::ADDrs), WBReg)
 171         .addReg(BaseReg).addReg(OffReg).addReg(0).addImm(SOOpc)
 172         .addImm(Pred).addReg(0).addReg(0);
 173     } else
 174       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
 175                          get(isSub ? ARM::SUBrr : ARM::ADDrr), WBReg)
 176         .addReg(BaseReg).addReg(OffReg)
 177         .addImm(Pred).addReg(0).addReg(0);
 178     break;
 179   }
 180   case ARMII::AddrMode3 : {
 181     bool isSub = ARM_AM::getAM3Op(OffImm) == ARM_AM::sub;
 182     unsigned Amt = ARM_AM::getAM3Offset(OffImm);
 183     if (OffReg == 0)
 184       // Immediate is 8-bits. It's guaranteed to fit in a so_imm operand.
 185       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
 186                          get(isSub ? ARM::SUBri : ARM::ADDri), WBReg)
 187         .addReg(BaseReg).addImm(Amt)
 188         .addImm(Pred).addReg(0).addReg(0);
 189     else
 190       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
 191                          get(isSub ? ARM::SUBrr : ARM::ADDrr), WBReg)
 192         .addReg(BaseReg).addReg(OffReg)
 193         .addImm(Pred).addReg(0).addReg(0);
 194     break;
 195   }
 196   }
 197
 198   std::vector<MachineInstr*> NewMIs;
 199   if (isPre) {
 200     if (isLoad)
 201       MemMI = BuildMI(MF, MI->getDebugLoc(),
 202                       get(MemOpc), MI->getOperand(0).getReg())
 203         .addReg(WBReg).addImm(0).addImm(Pred);
 204     else
 205       MemMI = BuildMI(MF, MI->getDebugLoc(),
 206                       get(MemOpc)).addReg(MI->getOperand(1).getReg())
 207         .addReg(WBReg).addReg(0).addImm(0).addImm(Pred);
 208     NewMIs.push_back(MemMI);
 209     NewMIs.push_back(UpdateMI);
 210   } else {
 211     if (isLoad)
 212       MemMI = BuildMI(MF, MI->getDebugLoc(),
 213                       get(MemOpc), MI->getOperand(0).getReg())
 214         .addReg(BaseReg).addImm(0).addImm(Pred);
 215     else
 216       MemMI = BuildMI(MF, MI->getDebugLoc(),
 217                       get(MemOpc)).addReg(MI->getOperand(1).getReg())
 218         .addReg(BaseReg).addReg(0).addImm(0).addImm(Pred);
 219     if (WB.isDead())
 220       UpdateMI->getOperand(0).setIsDead();
 221     NewMIs.push_back(UpdateMI);
 222     NewMIs.push_back(MemMI);
 223   }
 224
 225   // Transfer LiveVariables states, kill / dead info.
 226   if (LV) {
 227     for (unsigned i = 0, e = MI->getNumOperands(); i != e; ++i) {
 228       MachineOperand &MO = MI->getOperand(i);
 229       if (MO.isReg() && TargetRegisterInfo::isVirtualRegister(MO.getReg())) {
 230         unsigned Reg = MO.getReg();
 231
 232         LiveVariables::VarInfo &VI = LV->getVarInfo(Reg);
 233         if (MO.isDef()) {
 234           MachineInstr *NewMI = (Reg == WBReg) ? UpdateMI : MemMI;
 235           if (MO.isDead())
 236             LV->addVirtualRegisterDead(Reg, NewMI);
 237         }
 238         if (MO.isUse() && MO.isKill()) {
 239           for (unsigned j = 0; j < 2; ++j) {
 240             // Look at the two new MI's in reverse order.
 241             MachineInstr *NewMI = NewMIs[j];
 242             if (!NewMI->readsRegister(Reg))
 243               continue;
 244             LV->addVirtualRegisterKilled(Reg, NewMI);
 245             if (VI.removeKill(MI))
 246               VI.Kills.push_back(NewMI);
 247             break;
 248           }
 249         }
 250       }
 251     }
 252   }
 253
 254   MFI->insert(MBBI, NewMIs[1]);
 255   MFI->insert(MBBI, NewMIs[0]);
 256   return NewMIs[0];
 257 }
 258
 259 // Branch analysis.
 260 bool
 261 ARMBaseInstrInfo::AnalyzeBranch(MachineBasicBlock &MBB,MachineBasicBlock *&TBB,
 262                                 MachineBasicBlock *&FBB,
 263                                 SmallVectorImpl<MachineOperand> &Cond,
 264                                 bool AllowModify) const {
 265   // If the block has no terminators, it just falls into the block after it.
 266   MachineBasicBlock::iterator I = MBB.end();
 267   if (I == MBB.begin())
 268     return false;
 269   --I;
 270   while (I->isDebugValue()) {
 271     if (I == MBB.begin())
 272       return false;
 273     --I;
 274   }
 275   if (!isUnpredicatedTerminator(I))
 276     return false;
 277
 278   // Get the last instruction in the block.
 279   MachineInstr *LastInst = I;
 280
 281   // If there is only one terminator instruction, process it.
 282   unsigned LastOpc = LastInst->getOpcode();
 283   if (I == MBB.begin() || !isUnpredicatedTerminator(--I)) {
 284     if (isUncondBranchOpcode(LastOpc)) {
 285       TBB = LastInst->getOperand(0).getMBB();
 286       return false;
 287     }
 288     if (isCondBranchOpcode(LastOpc)) {
 289       // Block ends with fall-through condbranch.
 290       TBB = LastInst->getOperand(0).getMBB();
 291       Cond.push_back(LastInst->getOperand(1));
 292       Cond.push_back(LastInst->getOperand(2));
 293       return false;
 294     }
 295     return true;  // Can't handle indirect branch.
 296   }
 297
 298   // Get the instruction before it if it is a terminator.
 299   MachineInstr *SecondLastInst = I;
 300   unsigned SecondLastOpc = SecondLastInst->getOpcode();
 301
 302   // If AllowModify is true and the block ends with two or more unconditional
 303   // branches, delete all but the first unconditional branch.
 304   if (AllowModify && isUncondBranchOpcode(LastOpc)) {
 305     while (isUncondBranchOpcode(SecondLastOpc)) {
 306       LastInst->eraseFromParent();
 307       LastInst = SecondLastInst;
 308       LastOpc = LastInst->getOpcode();
 309       if (I == MBB.begin() || !isUnpredicatedTerminator(--I)) {
 310         // Return now the only terminator is an unconditional branch.
 311         TBB = LastInst->getOperand(0).getMBB();
 312         return false;
 313       } else {
 314         SecondLastInst = I;
 315         SecondLastOpc = SecondLastInst->getOpcode();
 316       }
 317     }
 318   }
 319
 320   // If there are three terminators, we don't know what sort of block this is.
 321   if (SecondLastInst && I != MBB.begin() && isUnpredicatedTerminator(--I))
 322     return true;
 323
 324   // If the block ends with a B and a Bcc, handle it.
 325   if (isCondBranchOpcode(SecondLastOpc) && isUncondBranchOpcode(LastOpc)) {
 326     TBB =  SecondLastInst->getOperand(0).getMBB();
 327     Cond.push_back(SecondLastInst->getOperand(1));
 328     Cond.push_back(SecondLastInst->getOperand(2));
 329     FBB = LastInst->getOperand(0).getMBB();
 330     return false;
 331   }
 332
 333   // If the block ends with two unconditional branches, handle it.  The second
 334   // one is not executed, so remove it.
 335   if (isUncondBranchOpcode(SecondLastOpc) && isUncondBranchOpcode(LastOpc)) {
 336     TBB = SecondLastInst->getOperand(0).getMBB();
 337     I = LastInst;
 338     if (AllowModify)
 339       I->eraseFromParent();
 340     return false;
 341   }
 342
 343   // ...likewise if it ends with a branch table followed by an unconditional
 344   // branch. The branch folder can create these, and we must get rid of them for
 345   // correctness of Thumb constant islands.
 346   if ((isJumpTableBranchOpcode(SecondLastOpc) ||
 347        isIndirectBranchOpcode(SecondLastOpc)) &&
 348       isUncondBranchOpcode(LastOpc)) {
 349     I = LastInst;
 350     if (AllowModify)
 351       I->eraseFromParent();
 352     return true;
 353   }
 354
 355   // Otherwise, can't handle this.
 356   return true;
 357 }
 358
 359
 360 unsigned ARMBaseInstrInfo::RemoveBranch(MachineBasicBlock &MBB) const {
 361   MachineBasicBlock::iterator I = MBB.end();
 362   if (I == MBB.begin()) return 0;
 363   --I;
 364   while (I->isDebugValue()) {
 365     if (I == MBB.begin())
 366       return 0;
 367     --I;
 368   }
 369   if (!isUncondBranchOpcode(I->getOpcode()) &&
 370       !isCondBranchOpcode(I->getOpcode()))
 371     return 0;
 372
 373   // Remove the branch.
 374   I->eraseFromParent();
 375
 376   I = MBB.end();
 377
 378   if (I == MBB.begin()) return 1;
 379   --I;
 380   if (!isCondBranchOpcode(I->getOpcode()))
 381     return 1;
 382
 383   // Remove the branch.
 384   I->eraseFromParent();
 385   return 2;
 386 }
 387
 388 unsigned
 389 ARMBaseInstrInfo::InsertBranch(MachineBasicBlock &MBB, MachineBasicBlock *TBB,
 390                                MachineBasicBlock *FBB,
 391                                const SmallVectorImpl<MachineOperand> &Cond,
 392                                DebugLoc DL) const {
 393   ARMFunctionInfo *AFI = MBB.getParent()->getInfo<ARMFunctionInfo>();
 394   int BOpc   = !AFI->isThumbFunction()
 395     ? ARM::B : (AFI->isThumb2Function() ? ARM::t2B : ARM::tB);
 396   int BccOpc = !AFI->isThumbFunction()
 397     ? ARM::Bcc : (AFI->isThumb2Function() ? ARM::t2Bcc : ARM::tBcc);
 398
 399   // Shouldn't be a fall through.
 400   assert(TBB && "InsertBranch must not be told to insert a fallthrough");
 401   assert((Cond.size() == 2 || Cond.size() == 0) &&
 402          "ARM branch conditions have two components!");
 403
 404   if (FBB == 0) {
 405     if (Cond.empty()) // Unconditional branch?
 406       BuildMI(&MBB, DL, get(BOpc)).addMBB(TBB);
 407     else
 408       BuildMI(&MBB, DL, get(BccOpc)).addMBB(TBB)
 409         .addImm(Cond[0].getImm()).addReg(Cond[1].getReg());
 410     return 1;
 411   }
 412
 413   // Two-way conditional branch.
 414   BuildMI(&MBB, DL, get(BccOpc)).addMBB(TBB)
 415     .addImm(Cond[0].getImm()).addReg(Cond[1].getReg());
 416   BuildMI(&MBB, DL, get(BOpc)).addMBB(FBB);
 417   return 2;
 418 }
 419
 420 bool ARMBaseInstrInfo::
 421 ReverseBranchCondition(SmallVectorImpl<MachineOperand> &Cond) const {
 422   ARMCC::CondCodes CC = (ARMCC::CondCodes)(int)Cond[0].getImm();
 423   Cond[0].setImm(ARMCC::getOppositeCondition(CC));
 424   return false;
 425 }
 426
 427 bool ARMBaseInstrInfo::
 428 PredicateInstruction(MachineInstr *MI,
 429                      const SmallVectorImpl<MachineOperand> &Pred) const {
 430   unsigned Opc = MI->getOpcode();
 431   if (isUncondBranchOpcode(Opc)) {
 432     MI->setDesc(get(getMatchingCondBranchOpcode(Opc)));
 433     MI->addOperand(MachineOperand::CreateImm(Pred[0].getImm()));
 434     MI->addOperand(MachineOperand::CreateReg(Pred[1].getReg(), false));
 435     return true;
 436   }
 437
 438   int PIdx = MI->findFirstPredOperandIdx();
 439   if (PIdx != -1) {
 440     MachineOperand &PMO = MI->getOperand(PIdx);
 441     PMO.setImm(Pred[0].getImm());
 442     MI->getOperand(PIdx+1).setReg(Pred[1].getReg());
 443     return true;
 444   }
 445   return false;
 446 }
 447
 448 bool ARMBaseInstrInfo::
 449 SubsumesPredicate(const SmallVectorImpl<MachineOperand> &Pred1,
 450                   const SmallVectorImpl<MachineOperand> &Pred2) const {
 451   if (Pred1.size() > 2 || Pred2.size() > 2)
 452     return false;
 453
 454   ARMCC::CondCodes CC1 = (ARMCC::CondCodes)Pred1[0].getImm();
 455   ARMCC::CondCodes CC2 = (ARMCC::CondCodes)Pred2[0].getImm();
 456   if (CC1 == CC2)
 457     return true;
 458
 459   switch (CC1) {
 460   default:
 461     return false;
 462   case ARMCC::AL:
 463     return true;
 464   case ARMCC::HS:
 465     return CC2 == ARMCC::HI;
 466   case ARMCC::LS:
 467     return CC2 == ARMCC::LO || CC2 == ARMCC::EQ;
 468   case ARMCC::GE:
 469     return CC2 == ARMCC::GT;
 470   case ARMCC::LE:
 471     return CC2 == ARMCC::LT;
 472   }
 473 }
 474
 475 bool ARMBaseInstrInfo::DefinesPredicate(MachineInstr *MI,
 476                                     std::vector<MachineOperand> &Pred) const {
 477   // FIXME: This confuses implicit_def with optional CPSR def.
 478   const TargetInstrDesc &TID = MI->getDesc();
 479   if (!TID.getImplicitDefs() && !TID.hasOptionalDef())
 480     return false;
 481
 482   bool Found = false;
 483   for (unsigned i = 0, e = MI->getNumOperands(); i != e; ++i) {
 484     const MachineOperand &MO = MI->getOperand(i);
 485     if (MO.isReg() && MO.getReg() == ARM::CPSR) {
 486       Pred.push_back(MO);
 487       Found = true;
 488     }
 489   }
 490
 491   return Found;
 492 }
 493
 494 /// isPredicable - Return true if the specified instruction can be predicated.
 495 /// By default, this returns true for every instruction with a
 496 /// PredicateOperand.
 497 bool ARMBaseInstrInfo::isPredicable(MachineInstr *MI) const {
 498   const TargetInstrDesc &TID = MI->getDesc();
 499   if (!TID.isPredicable())
 500     return false;
 501
 502   if ((TID.TSFlags & ARMII::DomainMask) == ARMII::DomainNEON) {
 503     ARMFunctionInfo *AFI =
 504       MI->getParent()->getParent()->getInfo<ARMFunctionInfo>();
 505     return AFI->isThumb2Function();
 506   }
 507   return true;
 508 }
 509
 510 /// FIXME: Works around a gcc miscompilation with -fstrict-aliasing.
 511 LLVM_ATTRIBUTE_NOINLINE
 512 static unsigned getNumJTEntries(const std::vector<MachineJumpTableEntry> &JT,
 513                                 unsigned JTI);
 514 static unsigned getNumJTEntries(const std::vector<MachineJumpTableEntry> &JT,
 515                                 unsigned JTI) {
 516   assert(JTI < JT.size());
 517   return JT[JTI].MBBs.size();
 518 }
 519
 520 /// GetInstSize - Return the size of the specified MachineInstr.
 521 ///
 522 unsigned ARMBaseInstrInfo::GetInstSizeInBytes(const MachineInstr *MI) const {
 523   const MachineBasicBlock &MBB = *MI->getParent();
 524   const MachineFunction *MF = MBB.getParent();
 525   const MCAsmInfo *MAI = MF->getTarget().getMCAsmInfo();
 526
 527   // Basic size info comes from the TSFlags field.
 528   const TargetInstrDesc &TID = MI->getDesc();
 529   uint64_t TSFlags = TID.TSFlags;
 530
 531   unsigned Opc = MI->getOpcode();
 532   switch ((TSFlags & ARMII::SizeMask) >> ARMII::SizeShift) {
 533   default: {
 534     // If this machine instr is an inline asm, measure it.
 535     if (MI->getOpcode() == ARM::INLINEASM)
 536       return getInlineAsmLength(MI->getOperand(0).getSymbolName(), *MAI);
 537     if (MI->isLabel())
 538       return 0;
 539     switch (Opc) {
 540     default:
 541       llvm_unreachable("Unknown or unset size field for instr!");
 542     case TargetOpcode::IMPLICIT_DEF:
 543     case TargetOpcode::KILL:
 544     case TargetOpcode::PROLOG_LABEL:
 545     case TargetOpcode::EH_LABEL:
 546     case TargetOpcode::DBG_VALUE:
 547       return 0;
 548     }
 549     break;
 550   }
 551   case ARMII::Size8Bytes: return 8;          // ARM instruction x 2.
 552   case ARMII::Size4Bytes: return 4;          // ARM / Thumb2 instruction.
 553   case ARMII::Size2Bytes: return 2;          // Thumb1 instruction.
 554   case ARMII::SizeSpecial: {
 555     switch (Opc) {
 556     case ARM::MOVi16_ga_pcrel:
 557     case ARM::MOVTi16_ga_pcrel:
 558     case ARM::t2MOVi16_ga_pcrel:
 559     case ARM::t2MOVTi16_ga_pcrel:
 560       return 4;
 561     case ARM::MOVi32imm:
 562     case ARM::t2MOVi32imm:
 563       return 8;
 564     case ARM::CONSTPOOL_ENTRY:
 565       // If this machine instr is a constant pool entry, its size is recorded as
 566       // operand #2.
 567       return MI->getOperand(2).getImm();
 568     case ARM::Int_eh_sjlj_longjmp:
 569       return 16;
 570     case ARM::tInt_eh_sjlj_longjmp:
 571       return 10;
 572     case ARM::Int_eh_sjlj_setjmp:
 573     case ARM::Int_eh_sjlj_setjmp_nofp:
 574       return 20;
 575     case ARM::tInt_eh_sjlj_setjmp:
 576     case ARM::t2Int_eh_sjlj_setjmp:
 577     case ARM::t2Int_eh_sjlj_setjmp_nofp:
 578       return 12;
 579     case ARM::BR_JTr:
 580     case ARM::BR_JTm:
 581     case ARM::BR_JTadd:
 582     case ARM::tBR_JTr:
 583     case ARM::t2BR_JT:
 584     case ARM::t2TBB_JT:
 585     case ARM::t2TBH_JT: {
 586       // These are jumptable branches, i.e. a branch followed by an inlined
 587       // jumptable. The size is 4 + 4 * number of entries. For TBB, each
 588       // entry is one byte; TBH two byte each.
 589       unsigned EntrySize = (Opc == ARM::t2TBB_JT)
 590         ? 1 : ((Opc == ARM::t2TBH_JT) ? 2 : 4);
 591       unsigned NumOps = TID.getNumOperands();
 592       MachineOperand JTOP =
 593         MI->getOperand(NumOps - (TID.isPredicable() ? 3 : 2));
 594       unsigned JTI = JTOP.getIndex();
 595       const MachineJumpTableInfo *MJTI = MF->getJumpTableInfo();
 596       assert(MJTI != 0);
 597       const std::vector<MachineJumpTableEntry> &JT = MJTI->getJumpTables();
 598       assert(JTI < JT.size());
 599       // Thumb instructions are 2 byte aligned, but JT entries are 4 byte
 600       // 4 aligned. The assembler / linker may add 2 byte padding just before
 601       // the JT entries.  The size does not include this padding; the
 602       // constant islands pass does separate bookkeeping for it.
 603       // FIXME: If we know the size of the function is less than (1 << 16) *2
 604       // bytes, we can use 16-bit entries instead. Then there won't be an
 605       // alignment issue.
 606       unsigned InstSize = (Opc == ARM::tBR_JTr || Opc == ARM::t2BR_JT) ? 2 : 4;
 607       unsigned NumEntries = getNumJTEntries(JT, JTI);
 608       if (Opc == ARM::t2TBB_JT && (NumEntries & 1))
 609         // Make sure the instruction that follows TBB is 2-byte aligned.
 610         // FIXME: Constant island pass should insert an "ALIGN" instruction
 611         // instead.
 612         ++NumEntries;
 613       return NumEntries * EntrySize + InstSize;
 614     }
 615     default:
 616       // Otherwise, pseudo-instruction sizes are zero.
 617       return 0;
 618     }
 619   }
 620   }
 621   return 0; // Not reached
 622 }
 623
 624 void ARMBaseInstrInfo::copyPhysReg(MachineBasicBlock &MBB,
 625                                    MachineBasicBlock::iterator I, DebugLoc DL,
 626                                    unsigned DestReg, unsigned SrcReg,
 627                                    bool KillSrc) const {
 628   bool GPRDest = ARM::GPRRegClass.contains(DestReg);
 629   bool GPRSrc  = ARM::GPRRegClass.contains(SrcReg);
 630
 631   if (GPRDest && GPRSrc) {
 632     AddDefaultCC(AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::MOVr), DestReg)
 633                                   .addReg(SrcReg, getKillRegState(KillSrc))));
 634     return;
 635   }
 636
 637   bool SPRDest = ARM::SPRRegClass.contains(DestReg);
 638   bool SPRSrc  = ARM::SPRRegClass.contains(SrcReg);
 639
 640   unsigned Opc;
 641   if (SPRDest && SPRSrc)
 642     Opc = ARM::VMOVS;
 643   else if (GPRDest && SPRSrc)
 644     Opc = ARM::VMOVRS;
 645   else if (SPRDest && GPRSrc)
 646     Opc = ARM::VMOVSR;
 647   else if (ARM::DPRRegClass.contains(DestReg, SrcReg))
 648     Opc = ARM::VMOVD;
 649   else if (ARM::QPRRegClass.contains(DestReg, SrcReg))
 650     Opc = ARM::VMOVQ;
 651   else if (ARM::QQPRRegClass.contains(DestReg, SrcReg))
 652     Opc = ARM::VMOVQQ;
 653   else if (ARM::QQQQPRRegClass.contains(DestReg, SrcReg))
 654     Opc = ARM::VMOVQQQQ;
 655   else
 656     llvm_unreachable("Impossible reg-to-reg copy");
 657
 658   MachineInstrBuilder MIB = BuildMI(MBB, I, DL, get(Opc), DestReg);
 659   MIB.addReg(SrcReg, getKillRegState(KillSrc));
 660   if (Opc != ARM::VMOVQQ && Opc != ARM::VMOVQQQQ)
 661     AddDefaultPred(MIB);
 662 }
 663
 664 static const
 665 MachineInstrBuilder &AddDReg(MachineInstrBuilder &MIB,
 666                              unsigned Reg, unsigned SubIdx, unsigned State,
 667                              const TargetRegisterInfo *TRI) {
 668   if (!SubIdx)
 669     return MIB.addReg(Reg, State);
 670
 671   if (TargetRegisterInfo::isPhysicalRegister(Reg))
 672     return MIB.addReg(TRI->getSubReg(Reg, SubIdx), State);
 673   return MIB.addReg(Reg, State, SubIdx);
 674 }
 675
 676 void ARMBaseInstrInfo::
 677 storeRegToStackSlot(MachineBasicBlock &MBB, MachineBasicBlock::iterator I,
 678                     unsigned SrcReg, bool isKill, int FI,
 679                     const TargetRegisterClass *RC,
 680                     const TargetRegisterInfo *TRI) const {
 681   DebugLoc DL;
 682   if (I != MBB.end()) DL = I->getDebugLoc();
 683   MachineFunction &MF = *MBB.getParent();
 684   MachineFrameInfo &MFI = *MF.getFrameInfo();
 685   unsigned Align = MFI.getObjectAlignment(FI);
 686
 687   MachineMemOperand *MMO =
 688     MF.getMachineMemOperand(MachinePointerInfo(
 689                                          PseudoSourceValue::getFixedStack(FI)),
 690                             MachineMemOperand::MOStore,
 691                             MFI.getObjectSize(FI),
 692                             Align);
 693
 694   // tGPR is used sometimes in ARM instructions that need to avoid using
 695   // certain registers.  Just treat it as GPR here. Likewise, rGPR.
 696   if (RC == ARM::tGPRRegisterClass || RC == ARM::tcGPRRegisterClass
 697       || RC == ARM::rGPRRegisterClass)
 698     RC = ARM::GPRRegisterClass;
 699
 700   switch (RC->getID()) {
 701   case ARM::GPRRegClassID:
 702     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::STRi12))
 703                    .addReg(SrcReg, getKillRegState(isKill))
 704                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
 705     break;
 706   case ARM::SPRRegClassID:
 707     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VSTRS))
 708                    .addReg(SrcReg, getKillRegState(isKill))
 709                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
 710     break;
 711   case ARM::DPRRegClassID:
 712   case ARM::DPR_VFP2RegClassID:
 713   case ARM::DPR_8RegClassID:
 714     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VSTRD))
 715                    .addReg(SrcReg, getKillRegState(isKill))
 716                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
 717     break;
 718   case ARM::QPRRegClassID:
 719   case ARM::QPR_VFP2RegClassID:
 720   case ARM::QPR_8RegClassID:
 721     if (Align >= 16 && getRegisterInfo().needsStackRealignment(MF)) {
 722       AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VST1q64Pseudo))
 723                      .addFrameIndex(FI).addImm(16)
 724                      .addReg(SrcReg, getKillRegState(isKill))
 725                      .addMemOperand(MMO));
 726     } else {
 727       AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VSTMQIA))
 728                      .addReg(SrcReg, getKillRegState(isKill))
 729                      .addFrameIndex(FI)
 730                      .addMemOperand(MMO));
 731     }
 732     break;
 733   case ARM::QQPRRegClassID:
 734   case ARM::QQPR_VFP2RegClassID:
 735     if (Align >= 16 && getRegisterInfo().canRealignStack(MF)) {
 736       // FIXME: It's possible to only store part of the QQ register if the
 737       // spilled def has a sub-register index.
 738       AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VST1d64QPseudo))
 739                      .addFrameIndex(FI).addImm(16)
 740                      .addReg(SrcReg, getKillRegState(isKill))
 741                      .addMemOperand(MMO));
 742     } else {
 743       MachineInstrBuilder MIB =
 744         AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VSTMDIA))
 745                        .addFrameIndex(FI))
 746         .addMemOperand(MMO);
 747       MIB = AddDReg(MIB, SrcReg, ARM::dsub_0, getKillRegState(isKill), TRI);
 748       MIB = AddDReg(MIB, SrcReg, ARM::dsub_1, 0, TRI);
 749       MIB = AddDReg(MIB, SrcReg, ARM::dsub_2, 0, TRI);
 750             AddDReg(MIB, SrcReg, ARM::dsub_3, 0, TRI);
 751     }
 752     break;
 753   case ARM::QQQQPRRegClassID: {
 754     MachineInstrBuilder MIB =
 755       AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VSTMDIA))
 756                      .addFrameIndex(FI))
 757       .addMemOperand(MMO);
 758     MIB = AddDReg(MIB, SrcReg, ARM::dsub_0, getKillRegState(isKill), TRI);
 759     MIB = AddDReg(MIB, SrcReg, ARM::dsub_1, 0, TRI);
 760     MIB = AddDReg(MIB, SrcReg, ARM::dsub_2, 0, TRI);
 761     MIB = AddDReg(MIB, SrcReg, ARM::dsub_3, 0, TRI);
 762     MIB = AddDReg(MIB, SrcReg, ARM::dsub_4, 0, TRI);
 763     MIB = AddDReg(MIB, SrcReg, ARM::dsub_5, 0, TRI);
 764     MIB = AddDReg(MIB, SrcReg, ARM::dsub_6, 0, TRI);
 765           AddDReg(MIB, SrcReg, ARM::dsub_7, 0, TRI);
 766     break;
 767   }
 768   default:
 769     llvm_unreachable("Unknown regclass!");
 770   }
 771 }
 772
 773 unsigned
 774 ARMBaseInstrInfo::isStoreToStackSlot(const MachineInstr *MI,
 775                                      int &FrameIndex) const {
 776   switch (MI->getOpcode()) {
 777   default: break;
 778   case ARM::STRrs:
 779   case ARM::t2STRs: // FIXME: don't use t2STRs to access frame.
 780     if (MI->getOperand(1).isFI() &&
 781         MI->getOperand(2).isReg() &&
 782         MI->getOperand(3).isImm() &&
 783         MI->getOperand(2).getReg() == 0 &&
 784         MI->getOperand(3).getImm() == 0) {
 785       FrameIndex = MI->getOperand(1).getIndex();
 786       return MI->getOperand(0).getReg();
 787     }
 788     break;
 789   case ARM::STRi12:
 790   case ARM::t2STRi12:
 791   case ARM::tSpill:
 792   case ARM::VSTRD:
 793   case ARM::VSTRS:
 794     if (MI->getOperand(1).isFI() &&
 795         MI->getOperand(2).isImm() &&
 796         MI->getOperand(2).getImm() == 0) {
 797       FrameIndex = MI->getOperand(1).getIndex();
 798       return MI->getOperand(0).getReg();
 799     }
 800     break;
 801   case ARM::VST1q64Pseudo:
 802     if (MI->getOperand(0).isFI() &&
 803         MI->getOperand(2).getSubReg() == 0) {
 804       FrameIndex = MI->getOperand(0).getIndex();
 805       return MI->getOperand(2).getReg();
 806     }
 807     break;
 808   case ARM::VSTMQIA:
 809     if (MI->getOperand(1).isFI() &&
 810         MI->getOperand(0).getSubReg() == 0) {
 811       FrameIndex = MI->getOperand(1).getIndex();
 812       return MI->getOperand(0).getReg();
 813     }
 814     break;
 815   }
 816
 817   return 0;
 818 }
 819
 820 void ARMBaseInstrInfo::
 821 loadRegFromStackSlot(MachineBasicBlock &MBB, MachineBasicBlock::iterator I,
 822                      unsigned DestReg, int FI,
 823                      const TargetRegisterClass *RC,
 824                      const TargetRegisterInfo *TRI) const {
 825   DebugLoc DL;
 826   if (I != MBB.end()) DL = I->getDebugLoc();
 827   MachineFunction &MF = *MBB.getParent();
 828   MachineFrameInfo &MFI = *MF.getFrameInfo();
 829   unsigned Align = MFI.getObjectAlignment(FI);
 830   MachineMemOperand *MMO =
 831     MF.getMachineMemOperand(
 832                     MachinePointerInfo(PseudoSourceValue::getFixedStack(FI)),
 833                             MachineMemOperand::MOLoad,
 834                             MFI.getObjectSize(FI),
 835                             Align);
 836
 837   // tGPR is used sometimes in ARM instructions that need to avoid using
 838   // certain registers.  Just treat it as GPR here.
 839   if (RC == ARM::tGPRRegisterClass || RC == ARM::tcGPRRegisterClass
 840       || RC == ARM::rGPRRegisterClass)
 841     RC = ARM::GPRRegisterClass;
 842
 843   switch (RC->getID()) {
 844   case ARM::GPRRegClassID:
 845     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::LDRi12), DestReg)
 846                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
 847     break;
 848   case ARM::SPRRegClassID:
 849     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLDRS), DestReg)
 850                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
 851     break;
 852   case ARM::DPRRegClassID:
 853   case ARM::DPR_VFP2RegClassID:
 854   case ARM::DPR_8RegClassID:
 855     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLDRD), DestReg)
 856                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
 857     break;
 858   case ARM::QPRRegClassID:
 859   case ARM::QPR_VFP2RegClassID:
 860   case ARM::QPR_8RegClassID:
 861     if (Align >= 16 && getRegisterInfo().needsStackRealignment(MF)) {
 862       AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLD1q64Pseudo), DestReg)
 863                      .addFrameIndex(FI).addImm(16)
 864                      .addMemOperand(MMO));
 865     } else {
 866       AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLDMQIA), DestReg)
 867                      .addFrameIndex(FI)
 868                      .addMemOperand(MMO));
 869     }
 870     break;
 871   case ARM::QQPRRegClassID:
 872   case ARM::QQPR_VFP2RegClassID:
 873     if (Align >= 16 && getRegisterInfo().canRealignStack(MF)) {
 874       AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLD1d64QPseudo), DestReg)
 875                      .addFrameIndex(FI).addImm(16)
 876                      .addMemOperand(MMO));
 877     } else {
 878       MachineInstrBuilder MIB =
 879         AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLDMDIA))
 880                        .addFrameIndex(FI))
 881         .addMemOperand(MMO);
 882       MIB = AddDReg(MIB, DestReg, ARM::dsub_0, RegState::Define, TRI);
 883       MIB = AddDReg(MIB, DestReg, ARM::dsub_1, RegState::Define, TRI);
 884       MIB = AddDReg(MIB, DestReg, ARM::dsub_2, RegState::Define, TRI);
 885             AddDReg(MIB, DestReg, ARM::dsub_3, RegState::Define, TRI);
 886     }
 887     break;
 888   case ARM::QQQQPRRegClassID: {
 889     MachineInstrBuilder MIB =
 890       AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLDMDIA))
 891                      .addFrameIndex(FI))
 892       .addMemOperand(MMO);
 893     MIB = AddDReg(MIB, DestReg, ARM::dsub_0, RegState::Define, TRI);
 894     MIB = AddDReg(MIB, DestReg, ARM::dsub_1, RegState::Define, TRI);
 895     MIB = AddDReg(MIB, DestReg, ARM::dsub_2, RegState::Define, TRI);
 896     MIB = AddDReg(MIB, DestReg, ARM::dsub_3, RegState::Define, TRI);
 897     MIB = AddDReg(MIB, DestReg, ARM::dsub_4, RegState::Define, TRI);
 898     MIB = AddDReg(MIB, DestReg, ARM::dsub_5, RegState::Define, TRI);
 899     MIB = AddDReg(MIB, DestReg, ARM::dsub_6, RegState::Define, TRI);
 900     AddDReg(MIB, DestReg, ARM::dsub_7, RegState::Define, TRI);
 901     break;
 902   }
 903   default:
 904     llvm_unreachable("Unknown regclass!");
 905   }
 906 }
 907
 908 unsigned
 909 ARMBaseInstrInfo::isLoadFromStackSlot(const MachineInstr *MI,
 910                                       int &FrameIndex) const {
 911   switch (MI->getOpcode()) {
 912   default: break;
 913   case ARM::LDRrs:
 914   case ARM::t2LDRs:  // FIXME: don't use t2LDRs to access frame.
 915     if (MI->getOperand(1).isFI() &&
 916         MI->getOperand(2).isReg() &&
 917         MI->getOperand(3).isImm() &&
 918         MI->getOperand(2).getReg() == 0 &&
 919         MI->getOperand(3).getImm() == 0) {
 920       FrameIndex = MI->getOperand(1).getIndex();
 921       return MI->getOperand(0).getReg();
 922     }
 923     break;
 924   case ARM::LDRi12:
 925   case ARM::t2LDRi12:
 926   case ARM::tRestore:
 927   case ARM::VLDRD:
 928   case ARM::VLDRS:
 929     if (MI->getOperand(1).isFI() &&
 930         MI->getOperand(2).isImm() &&
 931         MI->getOperand(2).getImm() == 0) {
 932       FrameIndex = MI->getOperand(1).getIndex();
 933       return MI->getOperand(0).getReg();
 934     }
 935     break;
 936   case ARM::VLD1q64Pseudo:
 937     if (MI->getOperand(1).isFI() &&
 938         MI->getOperand(0).getSubReg() == 0) {
 939       FrameIndex = MI->getOperand(1).getIndex();
 940       return MI->getOperand(0).getReg();
 941     }
 942     break;
 943   case ARM::VLDMQIA:
 944     if (MI->getOperand(1).isFI() &&
 945         MI->getOperand(0).getSubReg() == 0) {
 946       FrameIndex = MI->getOperand(1).getIndex();
 947       return MI->getOperand(0).getReg();
 948     }
 949     break;
 950   }
 951
 952   return 0;
 953 }
 954
 955 MachineInstr*
 956 ARMBaseInstrInfo::emitFrameIndexDebugValue(MachineFunction &MF,
 957                                            int FrameIx, uint64_t Offset,
 958                                            const MDNode *MDPtr,
 959                                            DebugLoc DL) const {
 960   MachineInstrBuilder MIB = BuildMI(MF, DL, get(ARM::DBG_VALUE))
 961     .addFrameIndex(FrameIx).addImm(0).addImm(Offset).addMetadata(MDPtr);
 962   return &*MIB;
 963 }
 964
 965 /// Create a copy of a const pool value. Update CPI to the new index and return
 966 /// the label UID.
 967 static unsigned duplicateCPV(MachineFunction &MF, unsigned &CPI) {
 968   MachineConstantPool *MCP = MF.getConstantPool();
 969   ARMFunctionInfo *AFI = MF.getInfo<ARMFunctionInfo>();
 970
 971   const MachineConstantPoolEntry &MCPE = MCP->getConstants()[CPI];
 972   assert(MCPE.isMachineConstantPoolEntry() &&
 973          "Expecting a machine constantpool entry!");
 974   ARMConstantPoolValue *ACPV =
 975     static_cast<ARMConstantPoolValue*>(MCPE.Val.MachineCPVal);
 976
 977   unsigned PCLabelId = AFI->createPICLabelUId();
 978   ARMConstantPoolValue *NewCPV = 0;
 979   // FIXME: The below assumes PIC relocation model and that the function
 980   // is Thumb mode (t1 or t2). PCAdjustment would be 8 for ARM mode PIC, and
 981   // zero for non-PIC in ARM or Thumb. The callers are all of thumb LDR
 982   // instructions, so that's probably OK, but is PIC always correct when
 983   // we get here?
 984   if (ACPV->isGlobalValue())
 985     NewCPV = new ARMConstantPoolValue(ACPV->getGV(), PCLabelId,
 986                                       ARMCP::CPValue, 4);
 987   else if (ACPV->isExtSymbol())
 988     NewCPV = new ARMConstantPoolValue(MF.getFunction()->getContext(),
 989                                       ACPV->getSymbol(), PCLabelId, 4);
 990   else if (ACPV->isBlockAddress())
 991     NewCPV = new ARMConstantPoolValue(ACPV->getBlockAddress(), PCLabelId,
 992                                       ARMCP::CPBlockAddress, 4);
 993   else if (ACPV->isLSDA())
 994     NewCPV = new ARMConstantPoolValue(MF.getFunction(), PCLabelId,
 995                                       ARMCP::CPLSDA, 4);
 996   else
 997     llvm_unreachable("Unexpected ARM constantpool value type!!");
 998   CPI = MCP->getConstantPoolIndex(NewCPV, MCPE.getAlignment());
 999   return PCLabelId;
1000 }
1001
1002 void ARMBaseInstrInfo::
1003 reMaterialize(MachineBasicBlock &MBB,
1004               MachineBasicBlock::iterator I,
1005               unsigned DestReg, unsigned SubIdx,
1006               const MachineInstr *Orig,
1007               const TargetRegisterInfo &TRI) const {
1008   unsigned Opcode = Orig->getOpcode();
1009   switch (Opcode) {
1010   default: {
1011     MachineInstr *MI = MBB.getParent()->CloneMachineInstr(Orig);
1012     MI->substituteRegister(Orig->getOperand(0).getReg(), DestReg, SubIdx, TRI);
1013     MBB.insert(I, MI);
1014     break;
1015   }
1016   case ARM::tLDRpci_pic:
1017   case ARM::t2LDRpci_pic: {
1018     MachineFunction &MF = *MBB.getParent();
1019     unsigned CPI = Orig->getOperand(1).getIndex();
1020     unsigned PCLabelId = duplicateCPV(MF, CPI);
1021     MachineInstrBuilder MIB = BuildMI(MBB, I, Orig->getDebugLoc(), get(Opcode),
1022                                       DestReg)
1023       .addConstantPoolIndex(CPI).addImm(PCLabelId);
1024     (*MIB).setMemRefs(Orig->memoperands_begin(), Orig->memoperands_end());
1025     break;
1026   }
1027   }
1028 }
1029
1030 MachineInstr *
1031 ARMBaseInstrInfo::duplicate(MachineInstr *Orig, MachineFunction &MF) const {
1032   MachineInstr *MI = TargetInstrInfoImpl::duplicate(Orig, MF);
1033   switch(Orig->getOpcode()) {
1034   case ARM::tLDRpci_pic:
1035   case ARM::t2LDRpci_pic: {
1036     unsigned CPI = Orig->getOperand(1).getIndex();
1037     unsigned PCLabelId = duplicateCPV(MF, CPI);
1038     Orig->getOperand(1).setIndex(CPI);
1039     Orig->getOperand(2).setImm(PCLabelId);
1040     break;
1041   }
1042   }
1043   return MI;
1044 }
1045
1046 bool ARMBaseInstrInfo::produceSameValue(const MachineInstr *MI0,
1047                                         const MachineInstr *MI1,
1048                                         const MachineRegisterInfo *MRI) const {
1049   int Opcode = MI0->getOpcode();
1050   if (Opcode == ARM::t2LDRpci ||
1051       Opcode == ARM::t2LDRpci_pic ||
1052       Opcode == ARM::tLDRpci ||
1053       Opcode == ARM::tLDRpci_pic ||
1054       Opcode == ARM::MOV_ga_dyn ||
1055       Opcode == ARM::MOV_ga_pcrel ||
1056       Opcode == ARM::MOV_ga_pcrel_ldr ||
1057       Opcode == ARM::t2MOV_ga_dyn ||
1058       Opcode == ARM::t2MOV_ga_pcrel) {
1059     if (MI1->getOpcode() != Opcode)
1060       return false;
1061     if (MI0->getNumOperands() != MI1->getNumOperands())
1062       return false;
1063
1064     const MachineOperand &MO0 = MI0->getOperand(1);
1065     const MachineOperand &MO1 = MI1->getOperand(1);
1066     if (MO0.getOffset() != MO1.getOffset())
1067       return false;
1068
1069     if (Opcode == ARM::MOV_ga_dyn ||
1070         Opcode == ARM::MOV_ga_pcrel ||
1071         Opcode == ARM::MOV_ga_pcrel_ldr ||
1072         Opcode == ARM::t2MOV_ga_dyn ||
1073         Opcode == ARM::t2MOV_ga_pcrel)
1074       // Ignore the PC labels.
1075       return MO0.getGlobal() == MO1.getGlobal();
1076
1077     const MachineFunction *MF = MI0->getParent()->getParent();
1078     const MachineConstantPool *MCP = MF->getConstantPool();
1079     int CPI0 = MO0.getIndex();
1080     int CPI1 = MO1.getIndex();
1081     const MachineConstantPoolEntry &MCPE0 = MCP->getConstants()[CPI0];
1082     const MachineConstantPoolEntry &MCPE1 = MCP->getConstants()[CPI1];
1083     bool isARMCP0 = MCPE0.isMachineConstantPoolEntry();
1084     bool isARMCP1 = MCPE1.isMachineConstantPoolEntry();
1085     if (isARMCP0 && isARMCP1) {
1086       ARMConstantPoolValue *ACPV0 =
1087         static_cast<ARMConstantPoolValue*>(MCPE0.Val.MachineCPVal);
1088       ARMConstantPoolValue *ACPV1 =
1089         static_cast<ARMConstantPoolValue*>(MCPE1.Val.MachineCPVal);
1090       return ACPV0->hasSameValue(ACPV1);
1091     } else if (!isARMCP0 && !isARMCP1) {
1092       return MCPE0.Val.ConstVal == MCPE1.Val.ConstVal;
1093     }
1094     return false;
1095   } else if (Opcode == ARM::PICLDR) {
1096     if (MI1->getOpcode() != Opcode)
1097       return false;
1098     if (MI0->getNumOperands() != MI1->getNumOperands())
1099       return false;
1100
1101     unsigned Addr0 = MI0->getOperand(1).getReg();
1102     unsigned Addr1 = MI1->getOperand(1).getReg();
1103     if (Addr0 != Addr1) {
1104       if (!MRI ||
1105           !TargetRegisterInfo::isVirtualRegister(Addr0) ||
1106           !TargetRegisterInfo::isVirtualRegister(Addr1))
1107         return false;
1108
1109       // This assumes SSA form.
1110       MachineInstr *Def0 = MRI->getVRegDef(Addr0);
1111       MachineInstr *Def1 = MRI->getVRegDef(Addr1);
1112       // Check if the loaded value, e.g. a constantpool of a global address, are
1113       // the same.
1114       if (!produceSameValue(Def0, Def1, MRI))
1115         return false;
1116     }
1117
1118     for (unsigned i = 3, e = MI0->getNumOperands(); i != e; ++i) {
1119       // %vreg12<def> = PICLDR %vreg11, 0, pred:14, pred:%noreg
1120       const MachineOperand &MO0 = MI0->getOperand(i);
1121       const MachineOperand &MO1 = MI1->getOperand(i);
1122       if (!MO0.isIdenticalTo(MO1))
1123         return false;
1124     }
1125     return true;
1126   }
1127
1128   return MI0->isIdenticalTo(MI1, MachineInstr::IgnoreVRegDefs);
1129 }
1130
1131 /// areLoadsFromSameBasePtr - This is used by the pre-regalloc scheduler to
1132 /// determine if two loads are loading from the same base address. It should
1133 /// only return true if the base pointers are the same and the only differences
1134 /// between the two addresses is the offset. It also returns the offsets by
1135 /// reference.
1136 bool ARMBaseInstrInfo::areLoadsFromSameBasePtr(SDNode *Load1, SDNode *Load2,
1137                                                int64_t &Offset1,
1138                                                int64_t &Offset2) const {
1139   // Don't worry about Thumb: just ARM and Thumb2.
1140   if (Subtarget.isThumb1Only()) return false;
1141
1142   if (!Load1->isMachineOpcode() || !Load2->isMachineOpcode())
1143     return false;
1144
1145   switch (Load1->getMachineOpcode()) {
1146   default:
1147     return false;
1148   case ARM::LDRi12:
1149   case ARM::LDRBi12:
1150   case ARM::LDRD:
1151   case ARM::LDRH:
1152   case ARM::LDRSB:
1153   case ARM::LDRSH:
1154   case ARM::VLDRD:
1155   case ARM::VLDRS:
1156   case ARM::t2LDRi8:
1157   case ARM::t2LDRDi8:
1158   case ARM::t2LDRSHi8:
1159   case ARM::t2LDRi12:
1160   case ARM::t2LDRSHi12:
1161     break;
1162   }
1163
1164   switch (Load2->getMachineOpcode()) {
1165   default:
1166     return false;
1167   case ARM::LDRi12:
1168   case ARM::LDRBi12:
1169   case ARM::LDRD:
1170   case ARM::LDRH:
1171   case ARM::LDRSB:
1172   case ARM::LDRSH:
1173   case ARM::VLDRD:
1174   case ARM::VLDRS:
1175   case ARM::t2LDRi8:
1176   case ARM::t2LDRDi8:
1177   case ARM::t2LDRSHi8:
1178   case ARM::t2LDRi12:
1179   case ARM::t2LDRSHi12:
1180     break;
1181   }
1182
1183   // Check if base addresses and chain operands match.
1184   if (Load1->getOperand(0) != Load2->getOperand(0) ||
1185       Load1->getOperand(4) != Load2->getOperand(4))
1186     return false;
1187
1188   // Index should be Reg0.
1189   if (Load1->getOperand(3) != Load2->getOperand(3))
1190     return false;
1191
1192   // Determine the offsets.
1193   if (isa<ConstantSDNode>(Load1->getOperand(1)) &&
1194       isa<ConstantSDNode>(Load2->getOperand(1))) {
1195     Offset1 = cast<ConstantSDNode>(Load1->getOperand(1))->getSExtValue();
1196     Offset2 = cast<ConstantSDNode>(Load2->getOperand(1))->getSExtValue();
1197     return true;
1198   }
1199
1200   return false;
1201 }
1202
1203 /// shouldScheduleLoadsNear - This is a used by the pre-regalloc scheduler to
1204 /// determine (in conjuction with areLoadsFromSameBasePtr) if two loads should
1205 /// be scheduled togther. On some targets if two loads are loading from
1206 /// addresses in the same cache line, it's better if they are scheduled
1207 /// together. This function takes two integers that represent the load offsets
1208 /// from the common base address. It returns true if it decides it's desirable
1209 /// to schedule the two loads together. "NumLoads" is the number of loads that
1210 /// have already been scheduled after Load1.
1211 bool ARMBaseInstrInfo::shouldScheduleLoadsNear(SDNode *Load1, SDNode *Load2,
1212                                                int64_t Offset1, int64_t Offset2,
1213                                                unsigned NumLoads) const {
1214   // Don't worry about Thumb: just ARM and Thumb2.
1215   if (Subtarget.isThumb1Only()) return false;
1216
1217   assert(Offset2 > Offset1);
1218
1219   if ((Offset2 - Offset1) / 8 > 64)
1220     return false;
1221
1222   if (Load1->getMachineOpcode() != Load2->getMachineOpcode())
1223     return false;  // FIXME: overly conservative?
1224
1225   // Four loads in a row should be sufficient.
1226   if (NumLoads >= 3)
1227     return false;
1228
1229   return true;
1230 }
1231
1232 bool ARMBaseInstrInfo::isSchedulingBoundary(const MachineInstr *MI,
1233                                             const MachineBasicBlock *MBB,
1234                                             const MachineFunction &MF) const {
1235   // Debug info is never a scheduling boundary. It's necessary to be explicit
1236   // due to the special treatment of IT instructions below, otherwise a
1237   // dbg_value followed by an IT will result in the IT instruction being
1238   // considered a scheduling hazard, which is wrong. It should be the actual
1239   // instruction preceding the dbg_value instruction(s), just like it is
1240   // when debug info is not present.
1241   if (MI->isDebugValue())
1242     return false;
1243
1244   // Terminators and labels can't be scheduled around.
1245   if (MI->getDesc().isTerminator() || MI->isLabel())
1246     return true;
1247
1248   // Treat the start of the IT block as a scheduling boundary, but schedule
1249   // t2IT along with all instructions following it.
1250   // FIXME: This is a big hammer. But the alternative is to add all potential
1251   // true and anti dependencies to IT block instructions as implicit operands
1252   // to the t2IT instruction. The added compile time and complexity does not
1253   // seem worth it.
1254   MachineBasicBlock::const_iterator I = MI;
1255   // Make sure to skip any dbg_value instructions
1256   while (++I != MBB->end() && I->isDebugValue())
1257     ;
1258   if (I != MBB->end() && I->getOpcode() == ARM::t2IT)
1259     return true;
1260
1261   // Don't attempt to schedule around any instruction that defines
1262   // a stack-oriented pointer, as it's unlikely to be profitable. This
1263   // saves compile time, because it doesn't require every single
1264   // stack slot reference to depend on the instruction that does the
1265   // modification.
1266   if (MI->definesRegister(ARM::SP))
1267     return true;
1268
1269   return false;
1270 }
1271
1272 bool ARMBaseInstrInfo::isProfitableToIfCvt(MachineBasicBlock &MBB,
1273                                            unsigned NumCyles,
1274                                            unsigned ExtraPredCycles,
1275                                            float Probability,
1276                                            float Confidence) const {
1277   if (!NumCyles)
1278     return false;
1279
1280   // Attempt to estimate the relative costs of predication versus branching.
1281   float UnpredCost = Probability * NumCyles;
1282   UnpredCost += 1.0; // The branch itself
1283   UnpredCost += (1.0 - Confidence) * Subtarget.getMispredictionPenalty();
1284
1285   return (float)(NumCyles + ExtraPredCycles) < UnpredCost;
1286 }
1287
1288 bool ARMBaseInstrInfo::
1289 isProfitableToIfCvt(MachineBasicBlock &TMBB,
1290                     unsigned TCycles, unsigned TExtra,
1291                     MachineBasicBlock &FMBB,
1292                     unsigned FCycles, unsigned FExtra,
1293                     float Probability, float Confidence) const {
1294   if (!TCycles || !FCycles)
1295     return false;
1296
1297   // Attempt to estimate the relative costs of predication versus branching.
1298   float UnpredCost = Probability * TCycles + (1.0 - Probability) * FCycles;
1299   UnpredCost += 1.0; // The branch itself
1300   UnpredCost += (1.0 - Confidence) * Subtarget.getMispredictionPenalty();
1301
1302   return (float)(TCycles + FCycles + TExtra + FExtra) < UnpredCost;
1303 }
1304
1305 /// getInstrPredicate - If instruction is predicated, returns its predicate
1306 /// condition, otherwise returns AL. It also returns the condition code
1307 /// register by reference.
1308 ARMCC::CondCodes
1309 llvm::getInstrPredicate(const MachineInstr *MI, unsigned &PredReg) {
1310   int PIdx = MI->findFirstPredOperandIdx();
1311   if (PIdx == -1) {
1312     PredReg = 0;
1313     return ARMCC::AL;
1314   }
1315
1316   PredReg = MI->getOperand(PIdx+1).getReg();
1317   return (ARMCC::CondCodes)MI->getOperand(PIdx).getImm();
1318 }
1319
1320
1321 int llvm::getMatchingCondBranchOpcode(int Opc) {
1322   if (Opc == ARM::B)
1323     return ARM::Bcc;
1324   else if (Opc == ARM::tB)
1325     return ARM::tBcc;
1326   else if (Opc == ARM::t2B)
1327       return ARM::t2Bcc;
1328
1329   llvm_unreachable("Unknown unconditional branch opcode!");
1330   return 0;
1331 }
1332
1333
1334 void llvm::emitARMRegPlusImmediate(MachineBasicBlock &MBB,
1335                                MachineBasicBlock::iterator &MBBI, DebugLoc dl,
1336                                unsigned DestReg, unsigned BaseReg, int NumBytes,
1337                                ARMCC::CondCodes Pred, unsigned PredReg,
1338                                const ARMBaseInstrInfo &TII, unsigned MIFlags) {
1339   bool isSub = NumBytes < 0;
1340   if (isSub) NumBytes = -NumBytes;
1341
1342   while (NumBytes) {
1343     unsigned RotAmt = ARM_AM::getSOImmValRotate(NumBytes);
1344     unsigned ThisVal = NumBytes & ARM_AM::rotr32(0xFF, RotAmt);
1345     assert(ThisVal && "Didn't extract field correctly");
1346
1347     // We will handle these bits from offset, clear them.
1348     NumBytes &= ~ThisVal;
1349
1350     assert(ARM_AM::getSOImmVal(ThisVal) != -1 && "Bit extraction didn't work?");
1351
1352     // Build the new ADD / SUB.
1353     unsigned Opc = isSub ? ARM::SUBri : ARM::ADDri;
1354     BuildMI(MBB, MBBI, dl, TII.get(Opc), DestReg)
1355       .addReg(BaseReg, RegState::Kill).addImm(ThisVal)
1356       .addImm((unsigned)Pred).addReg(PredReg).addReg(0)
1357       .setMIFlags(MIFlags);
1358     BaseReg = DestReg;
1359   }
1360 }
1361
1362 bool llvm::rewriteARMFrameIndex(MachineInstr &MI, unsigned FrameRegIdx,
1363                                 unsigned FrameReg, int &Offset,
1364                                 const ARMBaseInstrInfo &TII) {
1365   unsigned Opcode = MI.getOpcode();
1366   const TargetInstrDesc &Desc = MI.getDesc();
1367   unsigned AddrMode = (Desc.TSFlags & ARMII::AddrModeMask);
1368   bool isSub = false;
1369
1370   // Memory operands in inline assembly always use AddrMode2.
1371   if (Opcode == ARM::INLINEASM)
1372     AddrMode = ARMII::AddrMode2;
1373
1374   if (Opcode == ARM::ADDri) {
1375     Offset += MI.getOperand(FrameRegIdx+1).getImm();
1376     if (Offset == 0) {
1377       // Turn it into a move.
1378       MI.setDesc(TII.get(ARM::MOVr));
1379       MI.getOperand(FrameRegIdx).ChangeToRegister(FrameReg, false);
1380       MI.RemoveOperand(FrameRegIdx+1);
1381       Offset = 0;
1382       return true;
1383     } else if (Offset < 0) {
1384       Offset = -Offset;
1385       isSub = true;
1386       MI.setDesc(TII.get(ARM::SUBri));
1387     }
1388
1389     // Common case: small offset, fits into instruction.
1390     if (ARM_AM::getSOImmVal(Offset) != -1) {
1391       // Replace the FrameIndex with sp / fp
1392       MI.getOperand(FrameRegIdx).ChangeToRegister(FrameReg, false);
1393       MI.getOperand(FrameRegIdx+1).ChangeToImmediate(Offset);
1394       Offset = 0;
1395       return true;
1396     }
1397
1398     // Otherwise, pull as much of the immedidate into this ADDri/SUBri
1399     // as possible.
1400     unsigned RotAmt = ARM_AM::getSOImmValRotate(Offset);
1401     unsigned ThisImmVal = Offset & ARM_AM::rotr32(0xFF, RotAmt);
1402
1403     // We will handle these bits from offset, clear them.
1404     Offset &= ~ThisImmVal;
1405
1406     // Get the properly encoded SOImmVal field.
1407     assert(ARM_AM::getSOImmVal(ThisImmVal) != -1 &&
1408            "Bit extraction didn't work?");
1409     MI.getOperand(FrameRegIdx+1).ChangeToImmediate(ThisImmVal);
1410  } else {
1411     unsigned ImmIdx = 0;
1412     int InstrOffs = 0;
1413     unsigned NumBits = 0;
1414     unsigned Scale = 1;
1415     switch (AddrMode) {
1416     case ARMII::AddrMode_i12: {
1417       ImmIdx = FrameRegIdx + 1;
1418       InstrOffs = MI.getOperand(ImmIdx).getImm();
1419       NumBits = 12;
1420       break;
1421     }
1422     case ARMII::AddrMode2: {
1423       ImmIdx = FrameRegIdx+2;
1424       InstrOffs = ARM_AM::getAM2Offset(MI.getOperand(ImmIdx).getImm());
1425       if (ARM_AM::getAM2Op(MI.getOperand(ImmIdx).getImm()) == ARM_AM::sub)
1426         InstrOffs *= -1;
1427       NumBits = 12;
1428       break;
1429     }
1430     case ARMII::AddrMode3: {
1431       ImmIdx = FrameRegIdx+2;
1432       InstrOffs = ARM_AM::getAM3Offset(MI.getOperand(ImmIdx).getImm());
1433       if (ARM_AM::getAM3Op(MI.getOperand(ImmIdx).getImm()) == ARM_AM::sub)
1434         InstrOffs *= -1;
1435       NumBits = 8;
1436       break;
1437     }
1438     case ARMII::AddrMode4:
1439     case ARMII::AddrMode6:
1440       // Can't fold any offset even if it's zero.
1441       return false;
1442     case ARMII::AddrMode5: {
1443       ImmIdx = FrameRegIdx+1;
1444       InstrOffs = ARM_AM::getAM5Offset(MI.getOperand(ImmIdx).getImm());
1445       if (ARM_AM::getAM5Op(MI.getOperand(ImmIdx).getImm()) == ARM_AM::sub)
1446         InstrOffs *= -1;
1447       NumBits = 8;
1448       Scale = 4;
1449       break;
1450     }
1451     default:
1452       llvm_unreachable("Unsupported addressing mode!");
1453       break;
1454     }
1455
1456     Offset += InstrOffs * Scale;
1457     assert((Offset & (Scale-1)) == 0 && "Can't encode this offset!");
1458     if (Offset < 0) {
1459       Offset = -Offset;
1460       isSub = true;
1461     }
1462
1463     // Attempt to fold address comp. if opcode has offset bits
1464     if (NumBits > 0) {
1465       // Common case: small offset, fits into instruction.
1466       MachineOperand &ImmOp = MI.getOperand(ImmIdx);
1467       int ImmedOffset = Offset / Scale;
1468       unsigned Mask = (1 << NumBits) - 1;
1469       if ((unsigned)Offset <= Mask * Scale) {
1470         // Replace the FrameIndex with sp
1471         MI.getOperand(FrameRegIdx).ChangeToRegister(FrameReg, false);
1472         // FIXME: When addrmode2 goes away, this will simplify (like the
1473         // T2 version), as the LDR.i12 versions don't need the encoding
1474         // tricks for the offset value.
1475         if (isSub) {
1476           if (AddrMode == ARMII::AddrMode_i12)
1477             ImmedOffset = -ImmedOffset;
1478           else
1479             ImmedOffset |= 1 << NumBits;
1480         }
1481         ImmOp.ChangeToImmediate(ImmedOffset);
1482         Offset = 0;
1483         return true;
1484       }
1485
1486       // Otherwise, it didn't fit. Pull in what we can to simplify the immed.
1487       ImmedOffset = ImmedOffset & Mask;
1488       if (isSub) {
1489         if (AddrMode == ARMII::AddrMode_i12)
1490           ImmedOffset = -ImmedOffset;
1491         else
1492           ImmedOffset |= 1 << NumBits;
1493       }
1494       ImmOp.ChangeToImmediate(ImmedOffset);
1495       Offset &= ~(Mask*Scale);
1496     }
1497   }
1498
1499   Offset = (isSub) ? -Offset : Offset;
1500   return Offset == 0;
1501 }
1502
1503 bool ARMBaseInstrInfo::
1504 AnalyzeCompare(const MachineInstr *MI, unsigned &SrcReg, int &CmpMask,
1505                int &CmpValue) const {
1506   switch (MI->getOpcode()) {
1507   default: break;
1508   case ARM::CMPri:
1509   case ARM::t2CMPri:
1510     SrcReg = MI->getOperand(0).getReg();
1511     CmpMask = ~0;
1512     CmpValue = MI->getOperand(1).getImm();
1513     return true;
1514   case ARM::TSTri:
1515   case ARM::t2TSTri:
1516     SrcReg = MI->getOperand(0).getReg();
1517     CmpMask = MI->getOperand(1).getImm();
1518     CmpValue = 0;
1519     return true;
1520   }
1521
1522   return false;
1523 }
1524
1525 /// isSuitableForMask - Identify a suitable 'and' instruction that
1526 /// operates on the given source register and applies the same mask
1527 /// as a 'tst' instruction. Provide a limited look-through for copies.
1528 /// When successful, MI will hold the found instruction.
1529 static bool isSuitableForMask(MachineInstr *&MI, unsigned SrcReg,
1530                               int CmpMask, bool CommonUse) {
1531   switch (MI->getOpcode()) {
1532     case ARM::ANDri:
1533     case ARM::t2ANDri:
1534       if (CmpMask != MI->getOperand(2).getImm())
1535         return false;
1536       if (SrcReg == MI->getOperand(CommonUse ? 1 : 0).getReg())
1537         return true;
1538       break;
1539     case ARM::COPY: {
1540       // Walk down one instruction which is potentially an 'and'.
1541       const MachineInstr &Copy = *MI;
1542       MachineBasicBlock::iterator AND(
1543         llvm::next(MachineBasicBlock::iterator(MI)));
1544       if (AND == MI->getParent()->end()) return false;
1545       MI = AND;
1546       return isSuitableForMask(MI, Copy.getOperand(0).getReg(),
1547                                CmpMask, true);
1548     }
1549   }
1550
1551   return false;
1552 }
1553
1554 /// OptimizeCompareInstr - Convert the instruction supplying the argument to the
1555 /// comparison into one that sets the zero bit in the flags register.
1556 bool ARMBaseInstrInfo::
1557 OptimizeCompareInstr(MachineInstr *CmpInstr, unsigned SrcReg, int CmpMask,
1558                      int CmpValue, const MachineRegisterInfo *MRI) const {
1559   if (CmpValue != 0)
1560     return false;
1561
1562   MachineRegisterInfo::def_iterator DI = MRI->def_begin(SrcReg);
1563   if (llvm::next(DI) != MRI->def_end())
1564     // Only support one definition.
1565     return false;
1566
1567   MachineInstr *MI = &*DI;
1568
1569   // Masked compares sometimes use the same register as the corresponding 'and'.
1570   if (CmpMask != ~0) {
1571     if (!isSuitableForMask(MI, SrcReg, CmpMask, false)) {
1572       MI = 0;
1573       for (MachineRegisterInfo::use_iterator UI = MRI->use_begin(SrcReg),
1574            UE = MRI->use_end(); UI != UE; ++UI) {
1575         if (UI->getParent() != CmpInstr->getParent()) continue;
1576         MachineInstr *PotentialAND = &*UI;
1577         if (!isSuitableForMask(PotentialAND, SrcReg, CmpMask, true))
1578           continue;
1579         MI = PotentialAND;
1580         break;
1581       }
1582       if (!MI) return false;
1583     }
1584   }
1585
1586   // Conservatively refuse to convert an instruction which isn't in the same BB
1587   // as the comparison.
1588   if (MI->getParent() != CmpInstr->getParent())
1589     return false;
1590
1591   // Check that CPSR isn't set between the comparison instruction and the one we
1592   // want to change.
1593   MachineBasicBlock::const_iterator I = CmpInstr, E = MI,
1594     B = MI->getParent()->begin();
1595
1596   // Early exit if CmpInstr is at the beginning of the BB.
1597   if (I == B) return false;
1598
1599   --I;
1600   for (; I != E; --I) {
1601     const MachineInstr &Instr = *I;
1602
1603     for (unsigned IO = 0, EO = Instr.getNumOperands(); IO != EO; ++IO) {
1604       const MachineOperand &MO = Instr.getOperand(IO);
1605       if (!MO.isReg()) continue;
1606
1607       // This instruction modifies or uses CPSR after the one we want to
1608       // change. We can't do this transformation.
1609       if (MO.getReg() == ARM::CPSR)
1610         return false;
1611     }
1612
1613     if (I == B)
1614       // The 'and' is below the comparison instruction.
1615       return false;
1616   }
1617
1618   // Set the "zero" bit in CPSR.
1619   switch (MI->getOpcode()) {
1620   default: break;
1621   case ARM::ADDri:
1622   case ARM::SUBri:
1623   case ARM::t2ADDri:
1624   case ARM::t2SUBri: {
1625     // Scan forward for the use of CPSR, if it's a conditional code requires
1626     // checking of V bit, then this is not safe to do. If we can't find the
1627     // CPSR use (i.e. used in another block), then it's not safe to perform
1628     // the optimization.
1629     bool isSafe = false;
1630     I = CmpInstr;
1631     E = MI->getParent()->end();
1632     while (!isSafe && ++I != E) {
1633       const MachineInstr &Instr = *I;
1634       for (unsigned IO = 0, EO = Instr.getNumOperands();
1635            !isSafe && IO != EO; ++IO) {
1636         const MachineOperand &MO = Instr.getOperand(IO);
1637         if (!MO.isReg() || MO.getReg() != ARM::CPSR)
1638           continue;
1639         if (MO.isDef()) {
1640           isSafe = true;
1641           break;
1642         }
1643         // Condition code is after the operand before CPSR.
1644         ARMCC::CondCodes CC = (ARMCC::CondCodes)Instr.getOperand(IO-1).getImm();
1645         switch (CC) {
1646         default:
1647           isSafe = true;
1648           break;
1649         case ARMCC::VS:
1650         case ARMCC::VC:
1651         case ARMCC::GE:
1652         case ARMCC::LT:
1653         case ARMCC::GT:
1654         case ARMCC::LE:
1655           return false;
1656         }
1657       }
1658     }
1659
1660     if (!isSafe)
1661       return false;
1662
1663     // fallthrough
1664   }
1665   case ARM::ANDri:
1666   case ARM::t2ANDri:
1667     // Toggle the optional operand to CPSR.
1668     MI->getOperand(5).setReg(ARM::CPSR);
1669     MI->getOperand(5).setIsDef(true);
1670     CmpInstr->eraseFromParent();
1671     return true;
1672   }
1673
1674   return false;
1675 }
1676
1677 bool ARMBaseInstrInfo::FoldImmediate(MachineInstr *UseMI,
1678                                      MachineInstr *DefMI, unsigned Reg,
1679                                      MachineRegisterInfo *MRI) const {
1680   // Fold large immediates into add, sub, or, xor.
1681   unsigned DefOpc = DefMI->getOpcode();
1682   if (DefOpc != ARM::t2MOVi32imm && DefOpc != ARM::MOVi32imm)
1683     return false;
1684   if (!DefMI->getOperand(1).isImm())
1685     // Could be t2MOVi32imm <ga:xx>
1686     return false;
1687
1688   if (!MRI->hasOneNonDBGUse(Reg))
1689     return false;
1690
1691   unsigned UseOpc = UseMI->getOpcode();
1692   unsigned NewUseOpc = 0;
1693   uint32_t ImmVal = (uint32_t)DefMI->getOperand(1).getImm();
1694   uint32_t SOImmValV1 = 0, SOImmValV2 = 0;
1695   bool Commute = false;
1696   switch (UseOpc) {
1697   default: return false;
1698   case ARM::SUBrr:
1699   case ARM::ADDrr:
1700   case ARM::ORRrr:
1701   case ARM::EORrr:
1702   case ARM::t2SUBrr:
1703   case ARM::t2ADDrr:
1704   case ARM::t2ORRrr:
1705   case ARM::t2EORrr: {
1706     Commute = UseMI->getOperand(2).getReg() != Reg;
1707     switch (UseOpc) {
1708     default: break;
1709     case ARM::SUBrr: {
1710       if (Commute)
1711         return false;
1712       ImmVal = -ImmVal;
1713       NewUseOpc = ARM::SUBri;
1714       // Fallthrough
1715     }
1716     case ARM::ADDrr:
1717     case ARM::ORRrr:
1718     case ARM::EORrr: {
1719       if (!ARM_AM::isSOImmTwoPartVal(ImmVal))
1720         return false;
1721       SOImmValV1 = (uint32_t)ARM_AM::getSOImmTwoPartFirst(ImmVal);
1722       SOImmValV2 = (uint32_t)ARM_AM::getSOImmTwoPartSecond(ImmVal);
1723       switch (UseOpc) {
1724       default: break;
1725       case ARM::ADDrr: NewUseOpc = ARM::ADDri; break;
1726       case ARM::ORRrr: NewUseOpc = ARM::ORRri; break;
1727       case ARM::EORrr: NewUseOpc = ARM::EORri; break;
1728       }
1729       break;
1730     }
1731     case ARM::t2SUBrr: {
1732       if (Commute)
1733         return false;
1734       ImmVal = -ImmVal;
1735       NewUseOpc = ARM::t2SUBri;
1736       // Fallthrough
1737     }
1738     case ARM::t2ADDrr:
1739     case ARM::t2ORRrr:
1740     case ARM::t2EORrr: {
1741       if (!ARM_AM::isT2SOImmTwoPartVal(ImmVal))
1742         return false;
1743       SOImmValV1 = (uint32_t)ARM_AM::getT2SOImmTwoPartFirst(ImmVal);
1744       SOImmValV2 = (uint32_t)ARM_AM::getT2SOImmTwoPartSecond(ImmVal);
1745       switch (UseOpc) {
1746       default: break;
1747       case ARM::t2ADDrr: NewUseOpc = ARM::t2ADDri; break;
1748       case ARM::t2ORRrr: NewUseOpc = ARM::t2ORRri; break;
1749       case ARM::t2EORrr: NewUseOpc = ARM::t2EORri; break;
1750       }
1751       break;
1752     }
1753     }
1754   }
1755   }
1756
1757   unsigned OpIdx = Commute ? 2 : 1;
1758   unsigned Reg1 = UseMI->getOperand(OpIdx).getReg();
1759   bool isKill = UseMI->getOperand(OpIdx).isKill();
1760   unsigned NewReg = MRI->createVirtualRegister(MRI->getRegClass(Reg));
1761   AddDefaultCC(AddDefaultPred(BuildMI(*UseMI->getParent(),
1762                                       *UseMI, UseMI->getDebugLoc(),
1763                                       get(NewUseOpc), NewReg)
1764                               .addReg(Reg1, getKillRegState(isKill))
1765                               .addImm(SOImmValV1)));
1766   UseMI->setDesc(get(NewUseOpc));
1767   UseMI->getOperand(1).setReg(NewReg);
1768   UseMI->getOperand(1).setIsKill();
1769   UseMI->getOperand(2).ChangeToImmediate(SOImmValV2);
1770   DefMI->eraseFromParent();
1771   return true;
1772 }
1773
1774 unsigned
1775 ARMBaseInstrInfo::getNumMicroOps(const InstrItineraryData *ItinData,
1776                                  const MachineInstr *MI) const {
1777   if (!ItinData || ItinData->isEmpty())
1778     return 1;
1779
1780   const TargetInstrDesc &Desc = MI->getDesc();
1781   unsigned Class = Desc.getSchedClass();
1782   unsigned UOps = ItinData->Itineraries[Class].NumMicroOps;
1783   if (UOps)
1784     return UOps;
1785
1786   unsigned Opc = MI->getOpcode();
1787   switch (Opc) {
1788   default:
1789     llvm_unreachable("Unexpected multi-uops instruction!");
1790     break;
1791   case ARM::VLDMQIA:
1792   case ARM::VSTMQIA:
1793     return 2;
1794
1795   // The number of uOps for load / store multiple are determined by the number
1796   // registers.
1797   //
1798   // On Cortex-A8, each pair of register loads / stores can be scheduled on the
1799   // same cycle. The scheduling for the first load / store must be done
1800   // separately by assuming the the address is not 64-bit aligned.
1801   //
1802   // On Cortex-A9, the formula is simply (#reg / 2) + (#reg % 2). If the address
1803   // is not 64-bit aligned, then AGU would take an extra cycle.  For VFP / NEON
1804   // load / store multiple, the formula is (#reg / 2) + (#reg % 2) + 1.
1805   case ARM::VLDMDIA:
1806   case ARM::VLDMDIA_UPD:
1807   case ARM::VLDMDDB_UPD:
1808   case ARM::VLDMSIA:
1809   case ARM::VLDMSIA_UPD:
1810   case ARM::VLDMSDB_UPD:
1811   case ARM::VSTMDIA:
1812   case ARM::VSTMDIA_UPD:
1813   case ARM::VSTMDDB_UPD:
1814   case ARM::VSTMSIA:
1815   case ARM::VSTMSIA_UPD:
1816   case ARM::VSTMSDB_UPD: {
1817     unsigned NumRegs = MI->getNumOperands() - Desc.getNumOperands();
1818     return (NumRegs / 2) + (NumRegs % 2) + 1;
1819   }
1820
1821   case ARM::LDMIA_RET:
1822   case ARM::LDMIA:
1823   case ARM::LDMDA:
1824   case ARM::LDMDB:
1825   case ARM::LDMIB:
1826   case ARM::LDMIA_UPD:
1827   case ARM::LDMDA_UPD:
1828   case ARM::LDMDB_UPD:
1829   case ARM::LDMIB_UPD:
1830   case ARM::STMIA:
1831   case ARM::STMDA:
1832   case ARM::STMDB:
1833   case ARM::STMIB:
1834   case ARM::STMIA_UPD:
1835   case ARM::STMDA_UPD:
1836   case ARM::STMDB_UPD:
1837   case ARM::STMIB_UPD:
1838   case ARM::tLDMIA:
1839   case ARM::tLDMIA_UPD:
1840   case ARM::tSTMIA:
1841   case ARM::tSTMIA_UPD:
1842   case ARM::tPOP_RET:
1843   case ARM::tPOP:
1844   case ARM::tPUSH:
1845   case ARM::t2LDMIA_RET:
1846   case ARM::t2LDMIA:
1847   case ARM::t2LDMDB:
1848   case ARM::t2LDMIA_UPD:
1849   case ARM::t2LDMDB_UPD:
1850   case ARM::t2STMIA:
1851   case ARM::t2STMDB:
1852   case ARM::t2STMIA_UPD:
1853   case ARM::t2STMDB_UPD: {
1854     unsigned NumRegs = MI->getNumOperands() - Desc.getNumOperands() + 1;
1855     if (Subtarget.isCortexA8()) {
1856       if (NumRegs < 4)
1857         return 2;
1858       // 4 registers would be issued: 2, 2.
1859       // 5 registers would be issued: 2, 2, 1.
1860       UOps = (NumRegs / 2);
1861       if (NumRegs % 2)
1862         ++UOps;
1863       return UOps;
1864     } else if (Subtarget.isCortexA9()) {
1865       UOps = (NumRegs / 2);
1866       // If there are odd number of registers or if it's not 64-bit aligned,
1867       // then it takes an extra AGU (Address Generation Unit) cycle.
1868       if ((NumRegs % 2) ||
1869           !MI->hasOneMemOperand() ||
1870           (*MI->memoperands_begin())->getAlignment() < 8)
1871         ++UOps;
1872       return UOps;
1873     } else {
1874       // Assume the worst.
1875       return NumRegs;
1876     }
1877   }
1878   }
1879 }
1880
1881 int
1882 ARMBaseInstrInfo::getVLDMDefCycle(const InstrItineraryData *ItinData,
1883                                   const TargetInstrDesc &DefTID,
1884                                   unsigned DefClass,
1885                                   unsigned DefIdx, unsigned DefAlign) const {
1886   int RegNo = (int)(DefIdx+1) - DefTID.getNumOperands() + 1;
1887   if (RegNo <= 0)
1888     // Def is the address writeback.
1889     return ItinData->getOperandCycle(DefClass, DefIdx);
1890
1891   int DefCycle;
1892   if (Subtarget.isCortexA8()) {
1893     // (regno / 2) + (regno % 2) + 1
1894     DefCycle = RegNo / 2 + 1;
1895     if (RegNo % 2)
1896       ++DefCycle;
1897   } else if (Subtarget.isCortexA9()) {
1898     DefCycle = RegNo;
1899     bool isSLoad = false;
1900
1901     switch (DefTID.getOpcode()) {
1902     default: break;
1903     case ARM::VLDMSIA:
1904     case ARM::VLDMSIA_UPD:
1905     case ARM::VLDMSDB_UPD:
1906       isSLoad = true;
1907       break;
1908     }
1909
1910     // If there are odd number of 'S' registers or if it's not 64-bit aligned,
1911     // then it takes an extra cycle.
1912     if ((isSLoad && (RegNo % 2)) || DefAlign < 8)
1913       ++DefCycle;
1914   } else {
1915     // Assume the worst.
1916     DefCycle = RegNo + 2;
1917   }
1918
1919   return DefCycle;
1920 }
1921
1922 int
1923 ARMBaseInstrInfo::getLDMDefCycle(const InstrItineraryData *ItinData,
1924                                  const TargetInstrDesc &DefTID,
1925                                  unsigned DefClass,
1926                                  unsigned DefIdx, unsigned DefAlign) const {
1927   int RegNo = (int)(DefIdx+1) - DefTID.getNumOperands() + 1;
1928   if (RegNo <= 0)
1929     // Def is the address writeback.
1930     return ItinData->getOperandCycle(DefClass, DefIdx);
1931
1932   int DefCycle;
1933   if (Subtarget.isCortexA8()) {
1934     // 4 registers would be issued: 1, 2, 1.
1935     // 5 registers would be issued: 1, 2, 2.
1936     DefCycle = RegNo / 2;
1937     if (DefCycle < 1)
1938       DefCycle = 1;
1939     // Result latency is issue cycle + 2: E2.
1940     DefCycle += 2;
1941   } else if (Subtarget.isCortexA9()) {
1942     DefCycle = (RegNo / 2);
1943     // If there are odd number of registers or if it's not 64-bit aligned,
1944     // then it takes an extra AGU (Address Generation Unit) cycle.
1945     if ((RegNo % 2) || DefAlign < 8)
1946       ++DefCycle;
1947     // Result latency is AGU cycles + 2.
1948     DefCycle += 2;
1949   } else {
1950     // Assume the worst.
1951     DefCycle = RegNo + 2;
1952   }
1953
1954   return DefCycle;
1955 }
1956
1957 int
1958 ARMBaseInstrInfo::getVSTMUseCycle(const InstrItineraryData *ItinData,
1959                                   const TargetInstrDesc &UseTID,
1960                                   unsigned UseClass,
1961                                   unsigned UseIdx, unsigned UseAlign) const {
1962   int RegNo = (int)(UseIdx+1) - UseTID.getNumOperands() + 1;
1963   if (RegNo <= 0)
1964     return ItinData->getOperandCycle(UseClass, UseIdx);
1965
1966   int UseCycle;
1967   if (Subtarget.isCortexA8()) {
1968     // (regno / 2) + (regno % 2) + 1
1969     UseCycle = RegNo / 2 + 1;
1970     if (RegNo % 2)
1971       ++UseCycle;
1972   } else if (Subtarget.isCortexA9()) {
1973     UseCycle = RegNo;
1974     bool isSStore = false;
1975
1976     switch (UseTID.getOpcode()) {
1977     default: break;
1978     case ARM::VSTMSIA:
1979     case ARM::VSTMSIA_UPD:
1980     case ARM::VSTMSDB_UPD:
1981       isSStore = true;
1982       break;
1983     }
1984
1985     // If there are odd number of 'S' registers or if it's not 64-bit aligned,
1986     // then it takes an extra cycle.
1987     if ((isSStore && (RegNo % 2)) || UseAlign < 8)
1988       ++UseCycle;
1989   } else {
1990     // Assume the worst.
1991     UseCycle = RegNo + 2;
1992   }
1993
1994   return UseCycle;
1995 }
1996
1997 int
1998 ARMBaseInstrInfo::getSTMUseCycle(const InstrItineraryData *ItinData,
1999                                  const TargetInstrDesc &UseTID,
2000                                  unsigned UseClass,
2001                                  unsigned UseIdx, unsigned UseAlign) const {
2002   int RegNo = (int)(UseIdx+1) - UseTID.getNumOperands() + 1;
2003   if (RegNo <= 0)
2004     return ItinData->getOperandCycle(UseClass, UseIdx);
2005
2006   int UseCycle;
2007   if (Subtarget.isCortexA8()) {
2008     UseCycle = RegNo / 2;
2009     if (UseCycle < 2)
2010       UseCycle = 2;
2011     // Read in E3.
2012     UseCycle += 2;
2013   } else if (Subtarget.isCortexA9()) {
2014     UseCycle = (RegNo / 2);
2015     // If there are odd number of registers or if it's not 64-bit aligned,
2016     // then it takes an extra AGU (Address Generation Unit) cycle.
2017     if ((RegNo % 2) || UseAlign < 8)
2018       ++UseCycle;
2019   } else {
2020     // Assume the worst.
2021     UseCycle = 1;
2022   }
2023   return UseCycle;
2024 }
2025
2026 int
2027 ARMBaseInstrInfo::getOperandLatency(const InstrItineraryData *ItinData,
2028                                     const TargetInstrDesc &DefTID,
2029                                     unsigned DefIdx, unsigned DefAlign,
2030                                     const TargetInstrDesc &UseTID,
2031                                     unsigned UseIdx, unsigned UseAlign) const {
2032   unsigned DefClass = DefTID.getSchedClass();
2033   unsigned UseClass = UseTID.getSchedClass();
2034
2035   if (DefIdx < DefTID.getNumDefs() && UseIdx < UseTID.getNumOperands())
2036     return ItinData->getOperandLatency(DefClass, DefIdx, UseClass, UseIdx);
2037
2038   // This may be a def / use of a variable_ops instruction, the operand
2039   // latency might be determinable dynamically. Let the target try to
2040   // figure it out.
2041   int DefCycle = -1;
2042   bool LdmBypass = false;
2043   switch (DefTID.getOpcode()) {
2044   default:
2045     DefCycle = ItinData->getOperandCycle(DefClass, DefIdx);
2046     break;
2047
2048   case ARM::VLDMDIA:
2049   case ARM::VLDMDIA_UPD:
2050   case ARM::VLDMDDB_UPD:
2051   case ARM::VLDMSIA:
2052   case ARM::VLDMSIA_UPD:
2053   case ARM::VLDMSDB_UPD:
2054     DefCycle = getVLDMDefCycle(ItinData, DefTID, DefClass, DefIdx, DefAlign);
2055     break;
2056
2057   case ARM::LDMIA_RET:
2058   case ARM::LDMIA:
2059   case ARM::LDMDA:
2060   case ARM::LDMDB:
2061   case ARM::LDMIB:
2062   case ARM::LDMIA_UPD:
2063   case ARM::LDMDA_UPD:
2064   case ARM::LDMDB_UPD:
2065   case ARM::LDMIB_UPD:
2066   case ARM::tLDMIA:
2067   case ARM::tLDMIA_UPD:
2068   case ARM::tPUSH:
2069   case ARM::t2LDMIA_RET:
2070   case ARM::t2LDMIA:
2071   case ARM::t2LDMDB:
2072   case ARM::t2LDMIA_UPD:
2073   case ARM::t2LDMDB_UPD:
2074     LdmBypass = 1;
2075     DefCycle = getLDMDefCycle(ItinData, DefTID, DefClass, DefIdx, DefAlign);
2076     break;
2077   }
2078
2079   if (DefCycle == -1)
2080     // We can't seem to determine the result latency of the def, assume it's 2.
2081     DefCycle = 2;
2082
2083   int UseCycle = -1;
2084   switch (UseTID.getOpcode()) {
2085   default:
2086     UseCycle = ItinData->getOperandCycle(UseClass, UseIdx);
2087     break;
2088
2089   case ARM::VSTMDIA:
2090   case ARM::VSTMDIA_UPD:
2091   case ARM::VSTMDDB_UPD:
2092   case ARM::VSTMSIA:
2093   case ARM::VSTMSIA_UPD:
2094   case ARM::VSTMSDB_UPD:
2095     UseCycle = getVSTMUseCycle(ItinData, UseTID, UseClass, UseIdx, UseAlign);
2096     break;
2097
2098   case ARM::STMIA:
2099   case ARM::STMDA:
2100   case ARM::STMDB:
2101   case ARM::STMIB:
2102   case ARM::STMIA_UPD:
2103   case ARM::STMDA_UPD:
2104   case ARM::STMDB_UPD:
2105   case ARM::STMIB_UPD:
2106   case ARM::tSTMIA:
2107   case ARM::tSTMIA_UPD:
2108   case ARM::tPOP_RET:
2109   case ARM::tPOP:
2110   case ARM::t2STMIA:
2111   case ARM::t2STMDB:
2112   case ARM::t2STMIA_UPD:
2113   case ARM::t2STMDB_UPD:
2114     UseCycle = getSTMUseCycle(ItinData, UseTID, UseClass, UseIdx, UseAlign);
2115     break;
2116   }
2117
2118   if (UseCycle == -1)
2119     // Assume it's read in the first stage.
2120     UseCycle = 1;
2121
2122   UseCycle = DefCycle - UseCycle + 1;
2123   if (UseCycle > 0) {
2124     if (LdmBypass) {
2125       // It's a variable_ops instruction so we can't use DefIdx here. Just use
2126       // first def operand.
2127       if (ItinData->hasPipelineForwarding(DefClass, DefTID.getNumOperands()-1,
2128                                           UseClass, UseIdx))
2129         --UseCycle;
2130     } else if (ItinData->hasPipelineForwarding(DefClass, DefIdx,
2131                                                UseClass, UseIdx)) {
2132       --UseCycle;
2133     }
2134   }
2135
2136   return UseCycle;
2137 }
2138
2139 int
2140 ARMBaseInstrInfo::getOperandLatency(const InstrItineraryData *ItinData,
2141                              const MachineInstr *DefMI, unsigned DefIdx,
2142                              const MachineInstr *UseMI, unsigned UseIdx) const {
2143   if (DefMI->isCopyLike() || DefMI->isInsertSubreg() ||
2144       DefMI->isRegSequence() || DefMI->isImplicitDef())
2145     return 1;
2146
2147   const TargetInstrDesc &DefTID = DefMI->getDesc();
2148   if (!ItinData || ItinData->isEmpty())
2149     return DefTID.mayLoad() ? 3 : 1;
2150
2151   const TargetInstrDesc &UseTID = UseMI->getDesc();
2152   const MachineOperand &DefMO = DefMI->getOperand(DefIdx);
2153   if (DefMO.getReg() == ARM::CPSR) {
2154     if (DefMI->getOpcode() == ARM::FMSTAT) {
2155       // fpscr -> cpsr stalls over 20 cycles on A8 (and earlier?)
2156       return Subtarget.isCortexA9() ? 1 : 20;
2157     }
2158
2159     // CPSR set and branch can be paired in the same cycle.
2160     if (UseTID.isBranch())
2161       return 0;
2162   }
2163
2164   unsigned DefAlign = DefMI->hasOneMemOperand()
2165     ? (*DefMI->memoperands_begin())->getAlignment() : 0;
2166   unsigned UseAlign = UseMI->hasOneMemOperand()
2167     ? (*UseMI->memoperands_begin())->getAlignment() : 0;
2168   int Latency = getOperandLatency(ItinData, DefTID, DefIdx, DefAlign,
2169                                   UseTID, UseIdx, UseAlign);
2170
2171   if (Latency > 1 &&
2172       (Subtarget.isCortexA8() || Subtarget.isCortexA9())) {
2173     // FIXME: Shifter op hack: no shift (i.e. [r +/- r]) or [r + r << 2]
2174     // variants are one cycle cheaper.
2175     switch (DefTID.getOpcode()) {
2176     default: break;
2177     case ARM::LDRrs:
2178     case ARM::LDRBrs: {
2179       unsigned ShOpVal = DefMI->getOperand(3).getImm();
2180       unsigned ShImm = ARM_AM::getAM2Offset(ShOpVal);
2181       if (ShImm == 0 ||
2182           (ShImm == 2 && ARM_AM::getAM2ShiftOpc(ShOpVal) == ARM_AM::lsl))
2183         --Latency;
2184       break;
2185     }
2186     case ARM::t2LDRs:
2187     case ARM::t2LDRBs:
2188     case ARM::t2LDRHs:
2189     case ARM::t2LDRSHs: {
2190       // Thumb2 mode: lsl only.
2191       unsigned ShAmt = DefMI->getOperand(3).getImm();
2192       if (ShAmt == 0 || ShAmt == 2)
2193         --Latency;
2194       break;
2195     }
2196     }
2197   }
2198
2199   return Latency;
2200 }
2201
2202 int
2203 ARMBaseInstrInfo::getOperandLatency(const InstrItineraryData *ItinData,
2204                                     SDNode *DefNode, unsigned DefIdx,
2205                                     SDNode *UseNode, unsigned UseIdx) const {
2206   if (!DefNode->isMachineOpcode())
2207     return 1;
2208
2209   const TargetInstrDesc &DefTID = get(DefNode->getMachineOpcode());
2210
2211   if (isZeroCost(DefTID.Opcode))
2212     return 0;
2213
2214   if (!ItinData || ItinData->isEmpty())
2215     return DefTID.mayLoad() ? 3 : 1;
2216
2217   if (!UseNode->isMachineOpcode()) {
2218     int Latency = ItinData->getOperandCycle(DefTID.getSchedClass(), DefIdx);
2219     if (Subtarget.isCortexA9())
2220       return Latency <= 2 ? 1 : Latency - 1;
2221     else
2222       return Latency <= 3 ? 1 : Latency - 2;
2223   }
2224
2225   const TargetInstrDesc &UseTID = get(UseNode->getMachineOpcode());
2226   const MachineSDNode *DefMN = dyn_cast<MachineSDNode>(DefNode);
2227   unsigned DefAlign = !DefMN->memoperands_empty()
2228     ? (*DefMN->memoperands_begin())->getAlignment() : 0;
2229   const MachineSDNode *UseMN = dyn_cast<MachineSDNode>(UseNode);
2230   unsigned UseAlign = !UseMN->memoperands_empty()
2231     ? (*UseMN->memoperands_begin())->getAlignment() : 0;
2232   int Latency = getOperandLatency(ItinData, DefTID, DefIdx, DefAlign,
2233                                   UseTID, UseIdx, UseAlign);
2234
2235   if (Latency > 1 &&
2236       (Subtarget.isCortexA8() || Subtarget.isCortexA9())) {
2237     // FIXME: Shifter op hack: no shift (i.e. [r +/- r]) or [r + r << 2]
2238     // variants are one cycle cheaper.
2239     switch (DefTID.getOpcode()) {
2240     default: break;
2241     case ARM::LDRrs:
2242     case ARM::LDRBrs: {
2243       unsigned ShOpVal =
2244         cast<ConstantSDNode>(DefNode->getOperand(2))->getZExtValue();
2245       unsigned ShImm = ARM_AM::getAM2Offset(ShOpVal);
2246       if (ShImm == 0 ||
2247           (ShImm == 2 && ARM_AM::getAM2ShiftOpc(ShOpVal) == ARM_AM::lsl))
2248         --Latency;
2249       break;
2250     }
2251     case ARM::t2LDRs:
2252     case ARM::t2LDRBs:
2253     case ARM::t2LDRHs:
2254     case ARM::t2LDRSHs: {
2255       // Thumb2 mode: lsl only.
2256       unsigned ShAmt =
2257         cast<ConstantSDNode>(DefNode->getOperand(2))->getZExtValue();
2258       if (ShAmt == 0 || ShAmt == 2)
2259         --Latency;
2260       break;
2261     }
2262     }
2263   }
2264
2265   return Latency;
2266 }
2267
2268 int ARMBaseInstrInfo::getInstrLatency(const InstrItineraryData *ItinData,
2269                                       const MachineInstr *MI,
2270                                       unsigned *PredCost) const {
2271   if (MI->isCopyLike() || MI->isInsertSubreg() ||
2272       MI->isRegSequence() || MI->isImplicitDef())
2273     return 1;
2274
2275   if (!ItinData || ItinData->isEmpty())
2276     return 1;
2277
2278   const TargetInstrDesc &TID = MI->getDesc();
2279   unsigned Class = TID.getSchedClass();
2280   unsigned UOps = ItinData->Itineraries[Class].NumMicroOps;
2281   if (PredCost && TID.hasImplicitDefOfPhysReg(ARM::CPSR))
2282     // When predicated, CPSR is an additional source operand for CPSR updating
2283     // instructions, this apparently increases their latencies.
2284     *PredCost = 1;
2285   if (UOps)
2286     return ItinData->getStageLatency(Class);
2287   return getNumMicroOps(ItinData, MI);
2288 }
2289
2290 int ARMBaseInstrInfo::getInstrLatency(const InstrItineraryData *ItinData,
2291                                       SDNode *Node) const {
2292   if (!Node->isMachineOpcode())
2293     return 1;
2294
2295   if (!ItinData || ItinData->isEmpty())
2296     return 1;
2297
2298   unsigned Opcode = Node->getMachineOpcode();
2299   switch (Opcode) {
2300   default:
2301     return ItinData->getStageLatency(get(Opcode).getSchedClass());
2302   case ARM::VLDMQIA:
2303   case ARM::VSTMQIA:
2304     return 2;
2305   }
2306 }
2307
2308 bool ARMBaseInstrInfo::
2309 hasHighOperandLatency(const InstrItineraryData *ItinData,
2310                       const MachineRegisterInfo *MRI,
2311                       const MachineInstr *DefMI, unsigned DefIdx,
2312                       const MachineInstr *UseMI, unsigned UseIdx) const {
2313   unsigned DDomain = DefMI->getDesc().TSFlags & ARMII::DomainMask;
2314   unsigned UDomain = UseMI->getDesc().TSFlags & ARMII::DomainMask;
2315   if (Subtarget.isCortexA8() &&
2316       (DDomain == ARMII::DomainVFP || UDomain == ARMII::DomainVFP))
2317     // CortexA8 VFP instructions are not pipelined.
2318     return true;
2319
2320   // Hoist VFP / NEON instructions with 4 or higher latency.
2321   int Latency = getOperandLatency(ItinData, DefMI, DefIdx, UseMI, UseIdx);
2322   if (Latency <= 3)
2323     return false;
2324   return DDomain == ARMII::DomainVFP || DDomain == ARMII::DomainNEON ||
2325          UDomain == ARMII::DomainVFP || UDomain == ARMII::DomainNEON;
2326 }
2327
2328 bool ARMBaseInstrInfo::
2329 hasLowDefLatency(const InstrItineraryData *ItinData,
2330                  const MachineInstr *DefMI, unsigned DefIdx) const {
2331   if (!ItinData || ItinData->isEmpty())
2332     return false;
2333
2334   unsigned DDomain = DefMI->getDesc().TSFlags & ARMII::DomainMask;
2335   if (DDomain == ARMII::DomainGeneral) {
2336     unsigned DefClass = DefMI->getDesc().getSchedClass();
2337     int DefCycle = ItinData->getOperandCycle(DefClass, DefIdx);
2338     return (DefCycle != -1 && DefCycle <= 2);
2339   }
2340   return false;
2341 }
2342
2343 bool
2344 ARMBaseInstrInfo::isFpMLxInstruction(unsigned Opcode, unsigned &MulOpc,
2345                                      unsigned &AddSubOpc,
2346                                      bool &NegAcc, bool &HasLane) const {
2347   DenseMap<unsigned, unsigned>::const_iterator I = MLxEntryMap.find(Opcode);
2348   if (I == MLxEntryMap.end())
2349     return false;
2350
2351   const ARM_MLxEntry &Entry = ARM_MLxTable[I->second];
2352   MulOpc = Entry.MulOpc;
2353   AddSubOpc = Entry.AddSubOpc;
2354   NegAcc = Entry.NegAcc;
2355   HasLane = Entry.HasLane;
2356   return true;
2357 }