lib/Target/CellSPU/SPUISelDAGToDAG.cpp

   1 //===-- SPUISelDAGToDAG.cpp - CellSPU pattern matching inst selector ------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file defines a pattern matching instruction selector for the Cell SPU,
  11 // converting from a legalized dag to a SPU-target dag.
  12 //
  13 //===----------------------------------------------------------------------===//
  14
  15 #include "SPU.h"
  16 #include "SPUTargetMachine.h"
  17 #include "SPUISelLowering.h"
  18 #include "SPUHazardRecognizers.h"
  19 #include "SPUFrameInfo.h"
  20 #include "llvm/CodeGen/MachineConstantPool.h"
  21 #include "llvm/CodeGen/MachineInstrBuilder.h"
  22 #include "llvm/CodeGen/MachineFunction.h"
  23 #include "llvm/CodeGen/MachineModuleInfo.h"
  24 #include "llvm/CodeGen/SelectionDAG.h"
  25 #include "llvm/CodeGen/SelectionDAGISel.h"
  26 #include "llvm/Target/TargetOptions.h"
  27 #include "llvm/ADT/Statistic.h"
  28 #include "llvm/Constants.h"
  29 #include "llvm/GlobalValue.h"
  30 #include "llvm/Intrinsics.h"
  31 #include "llvm/Support/Debug.h"
  32 #include "llvm/Support/MathExtras.h"
  33 #include "llvm/Support/Compiler.h"
  34 #include <iostream>
  35 #include <queue>
  36 #include <set>
  37
  38 using namespace llvm;
  39
  40 namespace {
  41   //! ConstantSDNode predicate for i32 sign-extended, 10-bit immediates
  42   bool
  43   isI64IntS10Immediate(ConstantSDNode *CN)
  44   {
  45     return isS10Constant(CN->getValue());
  46   }
  47
  48   //! ConstantSDNode predicate for i32 sign-extended, 10-bit immediates
  49   bool
  50   isI32IntS10Immediate(ConstantSDNode *CN)
  51   {
  52     return isS10Constant((int) CN->getValue());
  53   }
  54
  55 #if 0
  56   //! SDNode predicate for sign-extended, 10-bit immediate values
  57   bool
  58   isI32IntS10Immediate(SDNode *N)
  59   {
  60     return (N->getOpcode() == ISD::Constant
  61             && isI32IntS10Immediate(cast<ConstantSDNode>(N)));
  62   }
  63 #endif
  64
  65   //! ConstantSDNode predicate for i32 unsigned 10-bit immediate values
  66   bool
  67   isI32IntU10Immediate(ConstantSDNode *CN)
  68   {
  69     return isU10Constant((int) CN->getValue());
  70   }
  71
  72   //! ConstantSDNode predicate for i16 sign-extended, 10-bit immediate values
  73   bool
  74   isI16IntS10Immediate(ConstantSDNode *CN)
  75   {
  76     return isS10Constant((short) CN->getValue());
  77   }
  78
  79   //! SDNode predicate for i16 sign-extended, 10-bit immediate values
  80   bool
  81   isI16IntS10Immediate(SDNode *N)
  82   {
  83     return (N->getOpcode() == ISD::Constant
  84             && isI16IntS10Immediate(cast<ConstantSDNode>(N)));
  85   }
  86
  87   //! ConstantSDNode predicate for i16 unsigned 10-bit immediate values
  88   bool
  89   isI16IntU10Immediate(ConstantSDNode *CN)
  90   {
  91     return isU10Constant((short) CN->getValue());
  92   }
  93
  94   //! SDNode predicate for i16 sign-extended, 10-bit immediate values
  95   bool
  96   isI16IntU10Immediate(SDNode *N)
  97   {
  98     return (N->getOpcode() == ISD::Constant
  99             && isI16IntU10Immediate(cast<ConstantSDNode>(N)));
 100   }
 101
 102   //! ConstantSDNode predicate for signed 16-bit values
 103   /*!
 104     \arg CN The constant SelectionDAG node holding the value
 105     \arg Imm The returned 16-bit value, if returning true
 106
 107     This predicate tests the value in \a CN to see whether it can be
 108     represented as a 16-bit, sign-extended quantity. Returns true if
 109     this is the case.
 110    */
 111   bool
 112   isIntS16Immediate(ConstantSDNode *CN, short &Imm)
 113   {
 114     MVT::ValueType vt = CN->getValueType(0);
 115     Imm = (short) CN->getValue();
 116     if (vt >= MVT::i1 && vt <= MVT::i16) {
 117       return true;
 118     } else if (vt == MVT::i32) {
 119       int32_t i_val = (int32_t) CN->getValue();
 120       short s_val = (short) i_val;
 121       return i_val == s_val;
 122     } else {
 123       int64_t i_val = (int64_t) CN->getValue();
 124       short s_val = (short) i_val;
 125       return i_val == s_val;
 126     }
 127
 128     return false;
 129   }
 130
 131   //! SDNode predicate for signed 16-bit values.
 132   bool
 133   isIntS16Immediate(SDNode *N, short &Imm)
 134   {
 135     return (N->getOpcode() == ISD::Constant
 136             && isIntS16Immediate(cast<ConstantSDNode>(N), Imm));
 137   }
 138
 139   //! ConstantFPSDNode predicate for representing floats as 16-bit sign ext.
 140   static bool
 141   isFPS16Immediate(ConstantFPSDNode *FPN, short &Imm)
 142   {
 143     MVT::ValueType vt = FPN->getValueType(0);
 144     if (vt == MVT::f32) {
 145       int val = FloatToBits(FPN->getValueAPF().convertToFloat());
 146       int sval = (int) ((val << 16) >> 16);
 147       Imm = (short) val;
 148       return val == sval;
 149     }
 150
 151     return false;
 152   }
 153
 154   bool
 155   isHighLow(const SDOperand &Op)
 156   {
 157     return (Op.getOpcode() == SPUISD::IndirectAddr
 158             && ((Op.getOperand(0).getOpcode() == SPUISD::Hi
 159                  && Op.getOperand(1).getOpcode() == SPUISD::Lo)
 160                 || (Op.getOperand(0).getOpcode() == SPUISD::Lo
 161                     && Op.getOperand(1).getOpcode() == SPUISD::Hi)));
 162   }
 163
 164   //===------------------------------------------------------------------===//
 165   //! MVT::ValueType to "useful stuff" mapping structure:
 166
 167   struct valtype_map_s {
 168     MVT::ValueType VT;
 169     unsigned ldresult_ins;      /// LDRESULT instruction (0 = undefined)
 170     int prefslot_byte;          /// Byte offset of the "preferred" slot
 171   };
 172
 173   const valtype_map_s valtype_map[] = {
 174     { MVT::i1,    0,            3 },
 175     { MVT::i8,    SPU::ORBIr8,  3 },
 176     { MVT::i16,   SPU::ORHIr16, 2 },
 177     { MVT::i32,   SPU::ORIr32,  0 },
 178     { MVT::i64,   SPU::ORIr64,  0 },
 179     { MVT::f32,   0,            0 },
 180     { MVT::f64,   0,            0 },
 181     // vector types... (sigh!)
 182     { MVT::v16i8, 0,            0 },
 183     { MVT::v8i16, 0,            0 },
 184     { MVT::v4i32, 0,            0 },
 185     { MVT::v2i64, 0,            0 },
 186     { MVT::v4f32, 0,            0 },
 187     { MVT::v2f64, 0,            0 }
 188   };
 189
 190   const size_t n_valtype_map = sizeof(valtype_map) / sizeof(valtype_map[0]);
 191
 192   const valtype_map_s *getValueTypeMapEntry(MVT::ValueType VT)
 193   {
 194     const valtype_map_s *retval = 0;
 195     for (size_t i = 0; i < n_valtype_map; ++i) {
 196       if (valtype_map[i].VT == VT) {
 197         retval = valtype_map + i;
 198         break;
 199       }
 200     }
 201
 202
 203 #ifndef NDEBUG
 204     if (retval == 0) {
 205       cerr << "SPUISelDAGToDAG.cpp: getValueTypeMapEntry returns NULL for "
 206            << MVT::getValueTypeString(VT)
 207            << "\n";
 208       abort();
 209     }
 210 #endif
 211
 212     return retval;
 213   }
 214 }
 215
 216 //===--------------------------------------------------------------------===//
 217 /// SPUDAGToDAGISel - Cell SPU-specific code to select SPU machine
 218 /// instructions for SelectionDAG operations.
 219 ///
 220 class SPUDAGToDAGISel :
 221   public SelectionDAGISel
 222 {
 223   SPUTargetMachine &TM;
 224   SPUTargetLowering &SPUtli;
 225   unsigned GlobalBaseReg;
 226
 227 public:
 228   SPUDAGToDAGISel(SPUTargetMachine &tm) :
 229     SelectionDAGISel(*tm.getTargetLowering()),
 230     TM(tm),
 231     SPUtli(*tm.getTargetLowering())
 232   {}
 233
 234   virtual bool runOnFunction(Function &Fn) {
 235     // Make sure we re-emit a set of the global base reg if necessary
 236     GlobalBaseReg = 0;
 237     SelectionDAGISel::runOnFunction(Fn);
 238     return true;
 239   }
 240
 241   /// getI32Imm - Return a target constant with the specified value, of type
 242   /// i32.
 243   inline SDOperand getI32Imm(uint32_t Imm) {
 244     return CurDAG->getTargetConstant(Imm, MVT::i32);
 245   }
 246
 247   /// getI64Imm - Return a target constant with the specified value, of type
 248   /// i64.
 249   inline SDOperand getI64Imm(uint64_t Imm) {
 250     return CurDAG->getTargetConstant(Imm, MVT::i64);
 251   }
 252
 253   /// getSmallIPtrImm - Return a target constant of pointer type.
 254   inline SDOperand getSmallIPtrImm(unsigned Imm) {
 255     return CurDAG->getTargetConstant(Imm, SPUtli.getPointerTy());
 256   }
 257
 258   /// Select - Convert the specified operand from a target-independent to a
 259   /// target-specific node if it hasn't already been changed.
 260   SDNode *Select(SDOperand Op);
 261
 262   //! Returns true if the address N is an A-form (local store) address
 263   bool SelectAFormAddr(SDOperand Op, SDOperand N, SDOperand &Base,
 264                        SDOperand &Index);
 265
 266   //! D-form address predicate
 267   bool SelectDFormAddr(SDOperand Op, SDOperand N, SDOperand &Base,
 268                        SDOperand &Index);
 269
 270   /// Alternate D-form address using i7 offset predicate
 271   bool SelectDForm2Addr(SDOperand Op, SDOperand N, SDOperand &Disp,
 272                         SDOperand &Base);
 273
 274   /// D-form address selection workhorse
 275   bool DFormAddressPredicate(SDOperand Op, SDOperand N, SDOperand &Disp,
 276                              SDOperand &Base, int minOffset, int maxOffset);
 277
 278   //! Address predicate if N can be expressed as an indexed [r+r] operation.
 279   bool SelectXFormAddr(SDOperand Op, SDOperand N, SDOperand &Base,
 280                        SDOperand &Index);
 281
 282   /// SelectInlineAsmMemoryOperand - Implement addressing mode selection for
 283   /// inline asm expressions.
 284   virtual bool SelectInlineAsmMemoryOperand(const SDOperand &Op,
 285                                             char ConstraintCode,
 286                                             std::vector<SDOperand> &OutOps,
 287                                             SelectionDAG &DAG) {
 288     SDOperand Op0, Op1;
 289     switch (ConstraintCode) {
 290     default: return true;
 291     case 'm':   // memory
 292       if (!SelectDFormAddr(Op, Op, Op0, Op1)
 293           && !SelectAFormAddr(Op, Op, Op0, Op1))
 294         SelectXFormAddr(Op, Op, Op0, Op1);
 295       break;
 296     case 'o':   // offsetable
 297       if (!SelectDFormAddr(Op, Op, Op0, Op1)
 298           && !SelectAFormAddr(Op, Op, Op0, Op1)) {
 299         Op0 = Op;
 300         AddToISelQueue(Op0);     // r+0.
 301         Op1 = getSmallIPtrImm(0);
 302       }
 303       break;
 304     case 'v':   // not offsetable
 305 #if 1
 306       assert(0 && "InlineAsmMemoryOperand 'v' constraint not handled.");
 307 #else
 308       SelectAddrIdxOnly(Op, Op, Op0, Op1);
 309 #endif
 310       break;
 311     }
 312
 313     OutOps.push_back(Op0);
 314     OutOps.push_back(Op1);
 315     return false;
 316   }
 317
 318   /// InstructionSelectBasicBlock - This callback is invoked by
 319   /// SelectionDAGISel when it has created a SelectionDAG for us to codegen.
 320   virtual void InstructionSelectBasicBlock(SelectionDAG &DAG);
 321
 322   virtual const char *getPassName() const {
 323     return "Cell SPU DAG->DAG Pattern Instruction Selection";
 324   }
 325
 326   /// CreateTargetHazardRecognizer - Return the hazard recognizer to use for
 327   /// this target when scheduling the DAG.
 328   virtual HazardRecognizer *CreateTargetHazardRecognizer() {
 329     const TargetInstrInfo *II = SPUtli.getTargetMachine().getInstrInfo();
 330     assert(II && "No InstrInfo?");
 331     return new SPUHazardRecognizer(*II);
 332   }
 333
 334   // Include the pieces autogenerated from the target description.
 335 #include "SPUGenDAGISel.inc"
 336 };
 337
 338 /// InstructionSelectBasicBlock - This callback is invoked by
 339 /// SelectionDAGISel when it has created a SelectionDAG for us to codegen.
 340 void
 341 SPUDAGToDAGISel::InstructionSelectBasicBlock(SelectionDAG &DAG)
 342 {
 343   DEBUG(BB->dump());
 344
 345   // Select target instructions for the DAG.
 346   DAG.setRoot(SelectRoot(DAG.getRoot()));
 347   DAG.RemoveDeadNodes();
 348
 349   // Emit machine code to BB.
 350   ScheduleAndEmitDAG(DAG);
 351 }
 352
 353 /*!
 354  \arg Op The ISD instructio operand
 355  \arg N The address to be tested
 356  \arg Base The base address
 357  \arg Index The base address index
 358  */
 359 bool
 360 SPUDAGToDAGISel::SelectAFormAddr(SDOperand Op, SDOperand N, SDOperand &Base,
 361                     SDOperand &Index) {
 362   // These match the addr256k operand type:
 363   MVT::ValueType OffsVT = MVT::i16;
 364   SDOperand Zero = CurDAG->getTargetConstant(0, OffsVT);
 365
 366   switch (N.getOpcode()) {
 367   case ISD::Constant:
 368   case ISD::ConstantPool:
 369   case ISD::GlobalAddress:
 370     cerr << "SPU SelectAFormAddr: Constant/Pool/Global not lowered.\n";
 371     abort();
 372     /*NOTREACHED*/
 373
 374   case ISD::TargetConstant:
 375   case ISD::TargetGlobalAddress:
 376   case ISD::TargetJumpTable:
 377     cerr << "SPUSelectAFormAddr: Target Constant/Pool/Global not wrapped as "
 378          << "A-form address.\n";
 379     abort();
 380     /*NOTREACHED*/
 381
 382   case SPUISD::AFormAddr:
 383     // Just load from memory if there's only a single use of the location,
 384     // otherwise, this will get handled below with D-form offset addresses
 385     if (N.hasOneUse()) {
 386       SDOperand Op0 = N.getOperand(0);
 387       switch (Op0.getOpcode()) {
 388       case ISD::TargetConstantPool:
 389       case ISD::TargetJumpTable:
 390         Base = Op0;
 391         Index = Zero;
 392         return true;
 393
 394       case ISD::TargetGlobalAddress: {
 395         GlobalAddressSDNode *GSDN = cast<GlobalAddressSDNode>(Op0);
 396         GlobalValue *GV = GSDN->getGlobal();
 397         if (GV->getAlignment() == 16) {
 398           Base = Op0;
 399           Index = Zero;
 400           return true;
 401         }
 402         break;
 403       }
 404       }
 405     }
 406     break;
 407   }
 408   return false;
 409 }
 410
 411 bool
 412 SPUDAGToDAGISel::SelectDForm2Addr(SDOperand Op, SDOperand N, SDOperand &Disp,
 413                                   SDOperand &Base) {
 414   return DFormAddressPredicate(Op, N, Disp, Base, -(1 << 7), (1 << 7) - 1);
 415 }
 416
 417 /*!
 418   \arg Op The ISD instruction (ignored)
 419   \arg N The address to be tested
 420   \arg Base Base address register/pointer
 421   \arg Index Base address index
 422
 423   Examine the input address by a base register plus a signed 10-bit
 424   displacement, [r+I10] (D-form address).
 425
 426   \return true if \a N is a D-form address with \a Base and \a Index set
 427   to non-empty SDOperand instances.
 428 */
 429 bool
 430 SPUDAGToDAGISel::SelectDFormAddr(SDOperand Op, SDOperand N, SDOperand &Base,
 431                                  SDOperand &Index) {
 432   return DFormAddressPredicate(Op, N, Base, Index,
 433                               SPUFrameInfo::minFrameOffset(),
 434                               SPUFrameInfo::maxFrameOffset());
 435 }
 436
 437 bool
 438 SPUDAGToDAGISel::DFormAddressPredicate(SDOperand Op, SDOperand N, SDOperand &Base,
 439                                       SDOperand &Index, int minOffset,
 440                                       int maxOffset) {
 441   unsigned Opc = N.getOpcode();
 442   unsigned PtrTy = SPUtli.getPointerTy();
 443
 444   if (Opc == ISD::FrameIndex) {
 445     // Stack frame index must be less than 512 (divided by 16):
 446     FrameIndexSDNode *FI = dyn_cast<FrameIndexSDNode>(N);
 447     DEBUG(cerr << "SelectDFormAddr: ISD::FrameIndex = "
 448           << FI->getIndex() << "\n");
 449     if (FI->getIndex() < maxOffset) {
 450       Base = CurDAG->getTargetConstant(0, PtrTy);
 451       Index = CurDAG->getTargetFrameIndex(FI->getIndex(), PtrTy);
 452       return true;
 453     }
 454   } else if (Opc == ISD::ADD) {
 455     // Generated by getelementptr
 456     const SDOperand Op0 = N.getOperand(0);
 457     const SDOperand Op1 = N.getOperand(1);
 458
 459     if ((Op0.getOpcode() == SPUISD::Hi && Op1.getOpcode() == SPUISD::Lo)
 460         || (Op1.getOpcode() == SPUISD::Hi && Op0.getOpcode() == SPUISD::Lo)) {
 461       Base = CurDAG->getTargetConstant(0, PtrTy);
 462       Index = N;
 463       return true;
 464     } else if (Op1.getOpcode() == ISD::Constant
 465                || Op1.getOpcode() == ISD::TargetConstant) {
 466       ConstantSDNode *CN = dyn_cast<ConstantSDNode>(Op1);
 467       int32_t offset = int32_t(CN->getSignExtended());
 468
 469       if (Op0.getOpcode() == ISD::FrameIndex) {
 470         FrameIndexSDNode *FI = dyn_cast<FrameIndexSDNode>(Op0);
 471         DEBUG(cerr << "SelectDFormAddr: ISD::ADD offset = " << offset
 472               << " frame index = " << FI->getIndex() << "\n");
 473
 474         if (FI->getIndex() < maxOffset) {
 475           Base = CurDAG->getTargetConstant(offset, PtrTy);
 476           Index = CurDAG->getTargetFrameIndex(FI->getIndex(), PtrTy);
 477           return true;
 478         }
 479       } else if (offset > minOffset && offset < maxOffset) {
 480         Base = CurDAG->getTargetConstant(offset, PtrTy);
 481         Index = Op0;
 482         return true;
 483       }
 484     } else if (Op0.getOpcode() == ISD::Constant
 485                || Op0.getOpcode() == ISD::TargetConstant) {
 486       ConstantSDNode *CN = dyn_cast<ConstantSDNode>(Op0);
 487       int32_t offset = int32_t(CN->getSignExtended());
 488
 489       if (Op1.getOpcode() == ISD::FrameIndex) {
 490         FrameIndexSDNode *FI = dyn_cast<FrameIndexSDNode>(Op1);
 491         DEBUG(cerr << "SelectDFormAddr: ISD::ADD offset = " << offset
 492               << " frame index = " << FI->getIndex() << "\n");
 493
 494         if (FI->getIndex() < maxOffset) {
 495           Base = CurDAG->getTargetConstant(offset, PtrTy);
 496           Index = CurDAG->getTargetFrameIndex(FI->getIndex(), PtrTy);
 497           return true;
 498         }
 499       } else if (offset > minOffset && offset < maxOffset) {
 500         Base = CurDAG->getTargetConstant(offset, PtrTy);
 501         Index = Op1;
 502         return true;
 503       }
 504     }
 505   } else if (Opc == SPUISD::IndirectAddr) {
 506     // Indirect with constant offset -> D-Form address
 507     const SDOperand Op0 = N.getOperand(0);
 508     const SDOperand Op1 = N.getOperand(1);
 509
 510     if (Op0.getOpcode() == SPUISD::Hi
 511         && Op1.getOpcode() == SPUISD::Lo) {
 512       // (SPUindirect (SPUhi <arg>, 0), (SPUlo <arg>, 0))
 513       Base = CurDAG->getTargetConstant(0, PtrTy);
 514       Index = N;
 515       return true;
 516     } else if (isa<ConstantSDNode>(Op0) || isa<ConstantSDNode>(Op1)) {
 517       int32_t offset = 0;
 518       SDOperand idxOp;
 519
 520       if (isa<ConstantSDNode>(Op1)) {
 521         ConstantSDNode *CN = cast<ConstantSDNode>(Op1);
 522         offset = int32_t(CN->getSignExtended());
 523         idxOp = Op0;
 524       } else if (isa<ConstantSDNode>(Op0)) {
 525         ConstantSDNode *CN = cast<ConstantSDNode>(Op0);
 526         offset = int32_t(CN->getSignExtended());
 527         idxOp = Op1;
 528       }
 529
 530       if (offset >= minOffset && offset <= maxOffset) {
 531         Base = CurDAG->getTargetConstant(offset, PtrTy);
 532         Index = idxOp;
 533         return true;
 534       }
 535     }
 536   } else if (Opc == SPUISD::AFormAddr) {
 537     Base = CurDAG->getTargetConstant(0, N.getValueType());
 538     Index = N;
 539     return true;
 540   } else if (Opc == SPUISD::LDRESULT) {
 541     Base = CurDAG->getTargetConstant(0, N.getValueType());
 542     Index = N;
 543     return true;
 544   }
 545   return false;
 546 }
 547
 548 /*!
 549   \arg Op The ISD instruction operand
 550   \arg N The address operand
 551   \arg Base The base pointer operand
 552   \arg Index The offset/index operand
 553
 554   If the address \a N can be expressed as a [r + s10imm] address, returns false.
 555   Otherwise, creates two operands, Base and Index that will become the [r+r]
 556   address.
 557 */
 558 bool
 559 SPUDAGToDAGISel::SelectXFormAddr(SDOperand Op, SDOperand N, SDOperand &Base,
 560                                  SDOperand &Index) {
 561   if (SelectAFormAddr(Op, N, Base, Index)
 562       || SelectDFormAddr(Op, N, Base, Index))
 563     return false;
 564
 565   // All else fails, punt and use an X-form address:
 566   Base = N.getOperand(0);
 567   Index = N.getOperand(1);
 568   return true;
 569 }
 570
 571 //! Convert the operand from a target-independent to a target-specific node
 572 /*!
 573  */
 574 SDNode *
 575 SPUDAGToDAGISel::Select(SDOperand Op) {
 576   SDNode *N = Op.Val;
 577   unsigned Opc = N->getOpcode();
 578   int n_ops = -1;
 579   unsigned NewOpc;
 580   MVT::ValueType OpVT = Op.getValueType();
 581   SDOperand Ops[8];
 582
 583   if (Opc >= ISD::BUILTIN_OP_END && Opc < SPUISD::FIRST_NUMBER) {
 584     return NULL;   // Already selected.
 585   } else if (Opc == ISD::FrameIndex) {
 586     // Selects to AIr32 FI, 0 which in turn will become AIr32 SP, imm.
 587     int FI = cast<FrameIndexSDNode>(N)->getIndex();
 588     MVT::ValueType PtrVT = SPUtli.getPointerTy();
 589     SDOperand Zero = CurDAG->getTargetConstant(0, PtrVT);
 590     SDOperand TFI = CurDAG->getTargetFrameIndex(FI, PtrVT);
 591
 592     DEBUG(cerr << "SPUDAGToDAGISel: Replacing FrameIndex with AI32 <FI>, 0\n");
 593     NewOpc = SPU::AIr32;
 594     Ops[0] = TFI;
 595     Ops[1] = Zero;
 596     n_ops = 2;
 597   } else if (Opc == ISD::ZERO_EXTEND) {
 598     // (zero_extend:i16 (and:i8 <arg>, <const>))
 599     const SDOperand &Op1 = N->getOperand(0);
 600
 601     if (Op.getValueType() == MVT::i16 && Op1.getValueType() == MVT::i8) {
 602       if (Op1.getOpcode() == ISD::AND) {
 603         // Fold this into a single ANDHI. This is often seen in expansions of i1
 604         // to i8, then i8 to i16 in logical/branching operations.
 605         DEBUG(cerr << "CellSPU: Coalescing (zero_extend:i16 (and:i8 "
 606                       "<arg>, <const>))\n");
 607         NewOpc = SPU::ANDHI1To2;
 608         Ops[0] = Op1.getOperand(0);
 609         Ops[1] = Op1.getOperand(1);
 610         n_ops = 2;
 611       }
 612     }
 613   } else if (Opc == SPUISD::LDRESULT) {
 614     // Custom select instructions for LDRESULT
 615     unsigned VT = N->getValueType(0);
 616     SDOperand Arg = N->getOperand(0);
 617     SDOperand Chain = N->getOperand(1);
 618     SDNode *Result;
 619
 620     AddToISelQueue(Arg);
 621     if (!MVT::isFloatingPoint(VT)) {
 622       SDOperand Zero = CurDAG->getTargetConstant(0, VT);
 623       const valtype_map_s *vtm = getValueTypeMapEntry(VT);
 624
 625       if (vtm->ldresult_ins == 0) {
 626         cerr << "LDRESULT for unsupported type: "
 627              << MVT::getValueTypeString(VT)
 628              << "\n";
 629         abort();
 630       } else
 631         Opc = vtm->ldresult_ins;
 632
 633       AddToISelQueue(Zero);
 634       Result = CurDAG->getTargetNode(Opc, VT, MVT::Other, Arg, Zero, Chain);
 635     } else {
 636       Opc = (VT == MVT::f32 ? SPU::ORf32 : SPU::ORf64);
 637       Result = CurDAG->getTargetNode(Opc, MVT::Other, Arg, Arg, Chain);
 638     }
 639
 640     Chain = SDOperand(Result, 1);
 641     AddToISelQueue(Chain);
 642
 643     return Result;
 644   } else if (Opc == SPUISD::IndirectAddr) {
 645     SDOperand Op0 = Op.getOperand(0);
 646     if (Op0.getOpcode() == SPUISD::LDRESULT) {
 647         /* || Op0.getOpcode() == SPUISD::AFormAddr) */
 648       // (IndirectAddr (LDRESULT, imm))
 649       SDOperand Op1 = Op.getOperand(1);
 650       MVT::ValueType VT = Op.getValueType();
 651
 652       DEBUG(cerr << "CellSPU: IndirectAddr(LDRESULT, imm):\nOp0 = ");
 653       DEBUG(Op.getOperand(0).Val->dump(CurDAG));
 654       DEBUG(cerr << "\nOp1 = ");
 655       DEBUG(Op.getOperand(1).Val->dump(CurDAG));
 656       DEBUG(cerr << "\n");
 657
 658       if (Op1.getOpcode() == ISD::Constant) {
 659         ConstantSDNode *CN = cast<ConstantSDNode>(Op1);
 660         Op1 = CurDAG->getTargetConstant(CN->getValue(), VT);
 661         NewOpc = (isI32IntS10Immediate(CN) ? SPU::AIr32 : SPU::Ar32);
 662         AddToISelQueue(Op0);
 663         AddToISelQueue(Op1);
 664         Ops[0] = Op0;
 665         Ops[1] = Op1;
 666         n_ops = 2;
 667       }
 668     }
 669   }
 670
 671   if (n_ops > 0) {
 672     if (N->hasOneUse())
 673       return CurDAG->SelectNodeTo(N, NewOpc, OpVT, Ops, n_ops);
 674     else
 675       return CurDAG->getTargetNode(NewOpc, OpVT, Ops, n_ops);
 676   } else
 677     return SelectCode(Op);
 678 }
 679
 680 /// createPPCISelDag - This pass converts a legalized DAG into a
 681 /// SPU-specific DAG, ready for instruction scheduling.
 682 ///
 683 FunctionPass *llvm::createSPUISelDag(SPUTargetMachine &TM) {
 684   return new SPUDAGToDAGISel(TM);
 685 }