lib/Target/PowerPC/PPCISelPattern.cpp

   1 //===-- PPC32ISelPattern.cpp - A pattern matching inst selector for PPC32 -===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file was developed by Nate Begeman and is distributed under
   6 // the University of Illinois Open Source License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file defines a pattern matching instruction selector for 32 bit PowerPC.
  11 // Magic number generation for integer divide from the PowerPC Compiler Writer's
  12 // Guide, section 3.2.3.5
  13 //
  14 //===----------------------------------------------------------------------===//
  15
  16 #include "PowerPC.h"
  17 #include "PowerPCInstrBuilder.h"
  18 #include "PowerPCInstrInfo.h"
  19 #include "PPC32TargetMachine.h"
  20 #include "llvm/Constants.h"
  21 #include "llvm/Function.h"
  22 #include "llvm/CodeGen/MachineConstantPool.h"
  23 #include "llvm/CodeGen/MachineFunction.h"
  24 #include "llvm/CodeGen/MachineFrameInfo.h"
  25 #include "llvm/CodeGen/SelectionDAG.h"
  26 #include "llvm/CodeGen/SelectionDAGISel.h"
  27 #include "llvm/CodeGen/SSARegMap.h"
  28 #include "llvm/Target/TargetData.h"
  29 #include "llvm/Target/TargetLowering.h"
  30 #include "llvm/Target/TargetOptions.h"
  31 #include "llvm/Support/Debug.h"
  32 #include "llvm/Support/MathExtras.h"
  33 #include "llvm/ADT/Statistic.h"
  34 #include <set>
  35 #include <algorithm>
  36 using namespace llvm;
  37
  38 //===----------------------------------------------------------------------===//
  39 //  PPC32TargetLowering - PPC32 Implementation of the TargetLowering interface
  40 namespace {
  41   class PPC32TargetLowering : public TargetLowering {
  42     int VarArgsFrameIndex;            // FrameIndex for start of varargs area.
  43     int ReturnAddrIndex;              // FrameIndex for return slot.
  44   public:
  45     PPC32TargetLowering(TargetMachine &TM) : TargetLowering(TM) {
  46       // Fold away setcc operations if possible.
  47       setSetCCIsExpensive();
  48
  49       // Set up the register classes.
  50       addRegisterClass(MVT::i32, PPC32::GPRCRegisterClass);
  51       addRegisterClass(MVT::f32, PPC32::FPRCRegisterClass);
  52       addRegisterClass(MVT::f64, PPC32::FPRCRegisterClass);
  53
  54       // PowerPC has no intrinsics for these particular operations
  55       setOperationAction(ISD::MEMMOVE, MVT::Other, Expand);
  56       setOperationAction(ISD::MEMSET, MVT::Other, Expand);
  57       setOperationAction(ISD::MEMCPY, MVT::Other, Expand);
  58
  59       // PowerPC has an i16 but no i8 (or i1) SEXTLOAD
  60       setOperationAction(ISD::SEXTLOAD, MVT::i1, Expand);
  61       setOperationAction(ISD::SEXTLOAD, MVT::i8, Expand);
  62
  63       // PowerPC has no SREM/UREM instructions
  64       setOperationAction(ISD::SREM, MVT::i32, Expand);
  65       setOperationAction(ISD::UREM, MVT::i32, Expand);
  66
  67       // We don't support sin/cos/sqrt/fmod
  68       setOperationAction(ISD::FSIN , MVT::f64, Expand);
  69       setOperationAction(ISD::FCOS , MVT::f64, Expand);
  70       setOperationAction(ISD::SREM , MVT::f64, Expand);
  71       setOperationAction(ISD::FSIN , MVT::f32, Expand);
  72       setOperationAction(ISD::FCOS , MVT::f32, Expand);
  73       setOperationAction(ISD::SREM , MVT::f32, Expand);
  74
  75       // If we're enabling GP optimizations, use hardware square root
  76       if (!GPOPT) {
  77         setOperationAction(ISD::FSQRT, MVT::f64, Expand);
  78         setOperationAction(ISD::FSQRT, MVT::f32, Expand);
  79       }
  80
  81       //PowerPC does not have CTPOP or CTTZ
  82       setOperationAction(ISD::CTPOP, MVT::i32  , Expand);
  83       setOperationAction(ISD::CTTZ , MVT::i32  , Expand);
  84
  85       setSetCCResultContents(ZeroOrOneSetCCResult);
  86       addLegalFPImmediate(+0.0); // Necessary for FSEL
  87       addLegalFPImmediate(-0.0); //
  88
  89       computeRegisterProperties();
  90     }
  91
  92     /// LowerArguments - This hook must be implemented to indicate how we should
  93     /// lower the arguments for the specified function, into the specified DAG.
  94     virtual std::vector<SDOperand>
  95     LowerArguments(Function &F, SelectionDAG &DAG);
  96
  97     /// LowerCallTo - This hook lowers an abstract call to a function into an
  98     /// actual call.
  99     virtual std::pair<SDOperand, SDOperand>
 100     LowerCallTo(SDOperand Chain, const Type *RetTy, bool isVarArg, unsigned CC,
 101                 bool isTailCall, SDOperand Callee, ArgListTy &Args,
 102                 SelectionDAG &DAG);
 103
 104     virtual SDOperand LowerVAStart(SDOperand Chain, SDOperand VAListP,
 105                                    Value *VAListV, SelectionDAG &DAG);
 106
 107     virtual std::pair<SDOperand,SDOperand>
 108       LowerVAArg(SDOperand Chain, SDOperand VAListP, Value *VAListV,
 109                  const Type *ArgTy, SelectionDAG &DAG);
 110
 111     virtual std::pair<SDOperand, SDOperand>
 112     LowerFrameReturnAddress(bool isFrameAddr, SDOperand Chain, unsigned Depth,
 113                             SelectionDAG &DAG);
 114   };
 115 }
 116
 117
 118 std::vector<SDOperand>
 119 PPC32TargetLowering::LowerArguments(Function &F, SelectionDAG &DAG) {
 120   //
 121   // add beautiful description of PPC stack frame format, or at least some docs
 122   //
 123   MachineFunction &MF = DAG.getMachineFunction();
 124   MachineFrameInfo *MFI = MF.getFrameInfo();
 125   MachineBasicBlock& BB = MF.front();
 126   std::vector<SDOperand> ArgValues;
 127
 128   // Due to the rather complicated nature of the PowerPC ABI, rather than a
 129   // fixed size array of physical args, for the sake of simplicity let the STL
 130   // handle tracking them for us.
 131   std::vector<unsigned> argVR, argPR, argOp;
 132   unsigned ArgOffset = 24;
 133   unsigned GPR_remaining = 8;
 134   unsigned FPR_remaining = 13;
 135   unsigned GPR_idx = 0, FPR_idx = 0;
 136   static const unsigned GPR[] = {
 137     PPC::R3, PPC::R4, PPC::R5, PPC::R6,
 138     PPC::R7, PPC::R8, PPC::R9, PPC::R10,
 139   };
 140   static const unsigned FPR[] = {
 141     PPC::F1, PPC::F2, PPC::F3, PPC::F4, PPC::F5, PPC::F6, PPC::F7,
 142     PPC::F8, PPC::F9, PPC::F10, PPC::F11, PPC::F12, PPC::F13
 143   };
 144
 145   // Add DAG nodes to load the arguments...  On entry to a function on PPC,
 146   // the arguments start at offset 24, although they are likely to be passed
 147   // in registers.
 148   for (Function::arg_iterator I = F.arg_begin(), E = F.arg_end(); I != E; ++I) {
 149     SDOperand newroot, argt;
 150     unsigned ObjSize;
 151     bool needsLoad = false;
 152     bool ArgLive = !I->use_empty();
 153     MVT::ValueType ObjectVT = getValueType(I->getType());
 154
 155     switch (ObjectVT) {
 156     default: assert(0 && "Unhandled argument type!");
 157     case MVT::i1:
 158     case MVT::i8:
 159     case MVT::i16:
 160     case MVT::i32:
 161       ObjSize = 4;
 162       if (!ArgLive) break;
 163       if (GPR_remaining > 0) {
 164         MF.addLiveIn(GPR[GPR_idx]);
 165         argt = newroot = DAG.getCopyFromReg(GPR[GPR_idx], MVT::i32,
 166                                             DAG.getRoot());
 167         if (ObjectVT != MVT::i32)
 168           argt = DAG.getNode(ISD::TRUNCATE, ObjectVT, newroot);
 169       } else {
 170         needsLoad = true;
 171       }
 172       break;
 173       case MVT::i64: ObjSize = 8;
 174       if (!ArgLive) break;
 175       if (GPR_remaining > 0) {
 176         SDOperand argHi, argLo;
 177         MF.addLiveIn(GPR[GPR_idx]);
 178         argHi = DAG.getCopyFromReg(GPR[GPR_idx], MVT::i32, DAG.getRoot());
 179         // If we have two or more remaining argument registers, then both halves
 180         // of the i64 can be sourced from there.  Otherwise, the lower half will
 181         // have to come off the stack.  This can happen when an i64 is preceded
 182         // by 28 bytes of arguments.
 183         if (GPR_remaining > 1) {
 184           MF.addLiveIn(GPR[GPR_idx+1]);
 185           argLo = DAG.getCopyFromReg(GPR[GPR_idx+1], MVT::i32, argHi);
 186         } else {
 187           int FI = MFI->CreateFixedObject(4, ArgOffset+4);
 188           SDOperand FIN = DAG.getFrameIndex(FI, MVT::i32);
 189           argLo = DAG.getLoad(MVT::i32, DAG.getEntryNode(), FIN,
 190                               DAG.getSrcValue(NULL));
 191         }
 192         // Build the outgoing arg thingy
 193         argt = DAG.getNode(ISD::BUILD_PAIR, MVT::i64, argLo, argHi);
 194         newroot = argLo;
 195       } else {
 196         needsLoad = true;
 197       }
 198       break;
 199       case MVT::f32:
 200       case MVT::f64:
 201       ObjSize = (ObjectVT == MVT::f64) ? 8 : 4;
 202       if (!ArgLive) break;
 203       if (FPR_remaining > 0) {
 204         MF.addLiveIn(FPR[FPR_idx]);
 205         argt = newroot = DAG.getCopyFromReg(FPR[FPR_idx], ObjectVT,
 206                                             DAG.getRoot());
 207         --FPR_remaining;
 208         ++FPR_idx;
 209       } else {
 210         needsLoad = true;
 211       }
 212       break;
 213     }
 214
 215     // We need to load the argument to a virtual register if we determined above
 216     // that we ran out of physical registers of the appropriate type
 217     if (needsLoad) {
 218       unsigned SubregOffset = 0;
 219       if (ObjectVT == MVT::i8 || ObjectVT == MVT::i1) SubregOffset = 3;
 220       if (ObjectVT == MVT::i16) SubregOffset = 2;
 221       int FI = MFI->CreateFixedObject(ObjSize, ArgOffset);
 222       SDOperand FIN = DAG.getFrameIndex(FI, MVT::i32);
 223       FIN = DAG.getNode(ISD::ADD, MVT::i32, FIN,
 224                         DAG.getConstant(SubregOffset, MVT::i32));
 225       argt = newroot = DAG.getLoad(ObjectVT, DAG.getEntryNode(), FIN,
 226                                    DAG.getSrcValue(NULL));
 227     }
 228
 229     // Every 4 bytes of argument space consumes one of the GPRs available for
 230     // argument passing.
 231     if (GPR_remaining > 0) {
 232       unsigned delta = (GPR_remaining > 1 && ObjSize == 8) ? 2 : 1;
 233       GPR_remaining -= delta;
 234       GPR_idx += delta;
 235     }
 236     ArgOffset += ObjSize;
 237     if (newroot.Val)
 238       DAG.setRoot(newroot.getValue(1));
 239
 240     ArgValues.push_back(argt);
 241   }
 242
 243   // If the function takes variable number of arguments, make a frame index for
 244   // the start of the first vararg value... for expansion of llvm.va_start.
 245   if (F.isVarArg()) {
 246     VarArgsFrameIndex = MFI->CreateFixedObject(4, ArgOffset);
 247     SDOperand FIN = DAG.getFrameIndex(VarArgsFrameIndex, MVT::i32);
 248     // If this function is vararg, store any remaining integer argument regs
 249     // to their spots on the stack so that they may be loaded by deferencing the
 250     // result of va_next.
 251     std::vector<SDOperand> MemOps;
 252     for (; GPR_remaining > 0; --GPR_remaining, ++GPR_idx) {
 253       MF.addLiveIn(GPR[GPR_idx]);
 254       SDOperand Val = DAG.getCopyFromReg(GPR[GPR_idx], MVT::i32, DAG.getRoot());
 255       SDOperand Store = DAG.getNode(ISD::STORE, MVT::Other, Val.getValue(1),
 256                                     Val, FIN, DAG.getSrcValue(NULL));
 257       MemOps.push_back(Store);
 258       // Increment the address by four for the next argument to store
 259       SDOperand PtrOff = DAG.getConstant(4, getPointerTy());
 260       FIN = DAG.getNode(ISD::ADD, MVT::i32, FIN, PtrOff);
 261     }
 262     DAG.setRoot(DAG.getNode(ISD::TokenFactor, MVT::Other, MemOps));
 263   }
 264
 265   // Finally, inform the code generator which regs we return values in.
 266   switch (getValueType(F.getReturnType())) {
 267   default: assert(0 && "Unknown type!");
 268   case MVT::isVoid: break;
 269   case MVT::i1:
 270   case MVT::i8:
 271   case MVT::i16:
 272   case MVT::i32:
 273     MF.addLiveOut(PPC::R3);
 274     break;
 275   case MVT::i64:
 276     MF.addLiveOut(PPC::R3);
 277     MF.addLiveOut(PPC::R4);
 278     break;
 279   case MVT::f32:
 280   case MVT::f64:
 281     MF.addLiveOut(PPC::F1);
 282     break;
 283   }
 284
 285   return ArgValues;
 286 }
 287
 288 std::pair<SDOperand, SDOperand>
 289 PPC32TargetLowering::LowerCallTo(SDOperand Chain,
 290                                  const Type *RetTy, bool isVarArg,
 291                                  unsigned CallingConv, bool isTailCall,
 292                                  SDOperand Callee, ArgListTy &Args,
 293                                  SelectionDAG &DAG) {
 294   // args_to_use will accumulate outgoing args for the ISD::CALL case in
 295   // SelectExpr to use to put the arguments in the appropriate registers.
 296   std::vector<SDOperand> args_to_use;
 297
 298   // Count how many bytes are to be pushed on the stack, including the linkage
 299   // area, and parameter passing area.
 300   unsigned NumBytes = 24;
 301
 302   if (Args.empty()) {
 303     Chain = DAG.getNode(ISD::CALLSEQ_START, MVT::Other, Chain,
 304                         DAG.getConstant(NumBytes, getPointerTy()));
 305   } else {
 306     for (unsigned i = 0, e = Args.size(); i != e; ++i)
 307       switch (getValueType(Args[i].second)) {
 308       default: assert(0 && "Unknown value type!");
 309       case MVT::i1:
 310       case MVT::i8:
 311       case MVT::i16:
 312       case MVT::i32:
 313       case MVT::f32:
 314         NumBytes += 4;
 315         break;
 316       case MVT::i64:
 317       case MVT::f64:
 318         NumBytes += 8;
 319         break;
 320       }
 321
 322     // Just to be safe, we'll always reserve the full 24 bytes of linkage area
 323     // plus 32 bytes of argument space in case any called code gets funky on us.
 324     if (NumBytes < 56) NumBytes = 56;
 325
 326     // Adjust the stack pointer for the new arguments...
 327     // These operations are automatically eliminated by the prolog/epilog pass
 328     Chain = DAG.getNode(ISD::CALLSEQ_START, MVT::Other, Chain,
 329                         DAG.getConstant(NumBytes, getPointerTy()));
 330
 331     // Set up a copy of the stack pointer for use loading and storing any
 332     // arguments that may not fit in the registers available for argument
 333     // passing.
 334     SDOperand StackPtr = DAG.getCopyFromReg(PPC::R1, MVT::i32,
 335                                             DAG.getEntryNode());
 336
 337     // Figure out which arguments are going to go in registers, and which in
 338     // memory.  Also, if this is a vararg function, floating point operations
 339     // must be stored to our stack, and loaded into integer regs as well, if
 340     // any integer regs are available for argument passing.
 341     unsigned ArgOffset = 24;
 342     unsigned GPR_remaining = 8;
 343     unsigned FPR_remaining = 13;
 344
 345     std::vector<SDOperand> MemOps;
 346     for (unsigned i = 0, e = Args.size(); i != e; ++i) {
 347       // PtrOff will be used to store the current argument to the stack if a
 348       // register cannot be found for it.
 349       SDOperand PtrOff = DAG.getConstant(ArgOffset, getPointerTy());
 350       PtrOff = DAG.getNode(ISD::ADD, MVT::i32, StackPtr, PtrOff);
 351       MVT::ValueType ArgVT = getValueType(Args[i].second);
 352
 353       switch (ArgVT) {
 354       default: assert(0 && "Unexpected ValueType for argument!");
 355       case MVT::i1:
 356       case MVT::i8:
 357       case MVT::i16:
 358         // Promote the integer to 32 bits.  If the input type is signed use a
 359         // sign extend, otherwise use a zero extend.
 360         if (Args[i].second->isSigned())
 361           Args[i].first =DAG.getNode(ISD::SIGN_EXTEND, MVT::i32, Args[i].first);
 362         else
 363           Args[i].first =DAG.getNode(ISD::ZERO_EXTEND, MVT::i32, Args[i].first);
 364         // FALL THROUGH
 365       case MVT::i32:
 366         if (GPR_remaining > 0) {
 367           args_to_use.push_back(Args[i].first);
 368           --GPR_remaining;
 369         } else {
 370           MemOps.push_back(DAG.getNode(ISD::STORE, MVT::Other, Chain,
 371                                        Args[i].first, PtrOff,
 372                                        DAG.getSrcValue(NULL)));
 373         }
 374         ArgOffset += 4;
 375         break;
 376       case MVT::i64:
 377         // If we have one free GPR left, we can place the upper half of the i64
 378         // in it, and store the other half to the stack.  If we have two or more
 379         // free GPRs, then we can pass both halves of the i64 in registers.
 380         if (GPR_remaining > 0) {
 381           SDOperand Hi = DAG.getNode(ISD::EXTRACT_ELEMENT, MVT::i32,
 382             Args[i].first, DAG.getConstant(1, MVT::i32));
 383           SDOperand Lo = DAG.getNode(ISD::EXTRACT_ELEMENT, MVT::i32,
 384             Args[i].first, DAG.getConstant(0, MVT::i32));
 385           args_to_use.push_back(Hi);
 386           --GPR_remaining;
 387           if (GPR_remaining > 0) {
 388             args_to_use.push_back(Lo);
 389             --GPR_remaining;
 390           } else {
 391             SDOperand ConstFour = DAG.getConstant(4, getPointerTy());
 392             PtrOff = DAG.getNode(ISD::ADD, MVT::i32, PtrOff, ConstFour);
 393             MemOps.push_back(DAG.getNode(ISD::STORE, MVT::Other, Chain,
 394                                          Lo, PtrOff, DAG.getSrcValue(NULL)));
 395           }
 396         } else {
 397           MemOps.push_back(DAG.getNode(ISD::STORE, MVT::Other, Chain,
 398                                        Args[i].first, PtrOff,
 399                                        DAG.getSrcValue(NULL)));
 400         }
 401         ArgOffset += 8;
 402         break;
 403       case MVT::f32:
 404       case MVT::f64:
 405         if (FPR_remaining > 0) {
 406           args_to_use.push_back(Args[i].first);
 407           --FPR_remaining;
 408           if (isVarArg) {
 409             SDOperand Store = DAG.getNode(ISD::STORE, MVT::Other, Chain,
 410                                           Args[i].first, PtrOff,
 411                                           DAG.getSrcValue(NULL));
 412             MemOps.push_back(Store);
 413             // Float varargs are always shadowed in available integer registers
 414             if (GPR_remaining > 0) {
 415               SDOperand Load = DAG.getLoad(MVT::i32, Store, PtrOff,
 416                                            DAG.getSrcValue(NULL));
 417               MemOps.push_back(Load);
 418               args_to_use.push_back(Load);
 419               --GPR_remaining;
 420             }
 421             if (GPR_remaining > 0 && MVT::f64 == ArgVT) {
 422               SDOperand ConstFour = DAG.getConstant(4, getPointerTy());
 423               PtrOff = DAG.getNode(ISD::ADD, MVT::i32, PtrOff, ConstFour);
 424               SDOperand Load = DAG.getLoad(MVT::i32, Store, PtrOff,
 425                                            DAG.getSrcValue(NULL));
 426               MemOps.push_back(Load);
 427               args_to_use.push_back(Load);
 428               --GPR_remaining;
 429             }
 430           } else {
 431             // If we have any FPRs remaining, we may also have GPRs remaining.
 432             // Args passed in FPRs consume either 1 (f32) or 2 (f64) available
 433             // GPRs.
 434             if (GPR_remaining > 0) {
 435               args_to_use.push_back(DAG.getNode(ISD::UNDEF, MVT::i32));
 436               --GPR_remaining;
 437             }
 438             if (GPR_remaining > 0 && MVT::f64 == ArgVT) {
 439               args_to_use.push_back(DAG.getNode(ISD::UNDEF, MVT::i32));
 440               --GPR_remaining;
 441             }
 442           }
 443         } else {
 444           MemOps.push_back(DAG.getNode(ISD::STORE, MVT::Other, Chain,
 445                                        Args[i].first, PtrOff,
 446                                        DAG.getSrcValue(NULL)));
 447         }
 448         ArgOffset += (ArgVT == MVT::f32) ? 4 : 8;
 449         break;
 450       }
 451     }
 452     if (!MemOps.empty())
 453       Chain = DAG.getNode(ISD::TokenFactor, MVT::Other, MemOps);
 454   }
 455
 456   std::vector<MVT::ValueType> RetVals;
 457   MVT::ValueType RetTyVT = getValueType(RetTy);
 458   if (RetTyVT != MVT::isVoid)
 459     RetVals.push_back(RetTyVT);
 460   RetVals.push_back(MVT::Other);
 461
 462   SDOperand TheCall = SDOperand(DAG.getCall(RetVals,
 463                                             Chain, Callee, args_to_use), 0);
 464   Chain = TheCall.getValue(RetTyVT != MVT::isVoid);
 465   Chain = DAG.getNode(ISD::CALLSEQ_END, MVT::Other, Chain,
 466                       DAG.getConstant(NumBytes, getPointerTy()));
 467   return std::make_pair(TheCall, Chain);
 468 }
 469
 470 SDOperand PPC32TargetLowering::LowerVAStart(SDOperand Chain, SDOperand VAListP,
 471                                             Value *VAListV, SelectionDAG &DAG) {
 472   // vastart just stores the address of the VarArgsFrameIndex slot into the
 473   // memory location argument.
 474   SDOperand FR = DAG.getFrameIndex(VarArgsFrameIndex, MVT::i32);
 475   return DAG.getNode(ISD::STORE, MVT::Other, Chain, FR, VAListP,
 476                      DAG.getSrcValue(VAListV));
 477 }
 478
 479 std::pair<SDOperand,SDOperand>
 480 PPC32TargetLowering::LowerVAArg(SDOperand Chain,
 481                                 SDOperand VAListP, Value *VAListV,
 482                                 const Type *ArgTy, SelectionDAG &DAG) {
 483   MVT::ValueType ArgVT = getValueType(ArgTy);
 484
 485   SDOperand VAList =
 486     DAG.getLoad(MVT::i32, Chain, VAListP, DAG.getSrcValue(VAListV));
 487   SDOperand Result = DAG.getLoad(ArgVT, Chain, VAList, DAG.getSrcValue(NULL));
 488   unsigned Amt;
 489   if (ArgVT == MVT::i32 || ArgVT == MVT::f32)
 490     Amt = 4;
 491   else {
 492     assert((ArgVT == MVT::i64 || ArgVT == MVT::f64) &&
 493            "Other types should have been promoted for varargs!");
 494     Amt = 8;
 495   }
 496   VAList = DAG.getNode(ISD::ADD, VAList.getValueType(), VAList,
 497                       DAG.getConstant(Amt, VAList.getValueType()));
 498   Chain = DAG.getNode(ISD::STORE, MVT::Other, Chain,
 499                       VAList, VAListP, DAG.getSrcValue(VAListV));
 500   return std::make_pair(Result, Chain);
 501 }
 502
 503
 504 std::pair<SDOperand, SDOperand> PPC32TargetLowering::
 505 LowerFrameReturnAddress(bool isFrameAddress, SDOperand Chain, unsigned Depth,
 506                         SelectionDAG &DAG) {
 507   assert(0 && "LowerFrameReturnAddress unimplemented");
 508   abort();
 509 }
 510
 511 namespace {
 512 Statistic<>Recorded("ppc-codegen", "Number of recording ops emitted");
 513 Statistic<>FusedFP("ppc-codegen", "Number of fused fp operations");
 514 Statistic<>MultiBranch("ppc-codegen", "Number of setcc logical ops collapsed");
 515 //===--------------------------------------------------------------------===//
 516 /// ISel - PPC32 specific code to select PPC32 machine instructions for
 517 /// SelectionDAG operations.
 518 //===--------------------------------------------------------------------===//
 519 class ISel : public SelectionDAGISel {
 520   PPC32TargetLowering PPC32Lowering;
 521   SelectionDAG *ISelDAG;  // Hack to support us having a dag->dag transform
 522                           // for sdiv and udiv until it is put into the future
 523                           // dag combiner.
 524
 525   /// ExprMap - As shared expressions are codegen'd, we keep track of which
 526   /// vreg the value is produced in, so we only emit one copy of each compiled
 527   /// tree.
 528   std::map<SDOperand, unsigned> ExprMap;
 529
 530   unsigned GlobalBaseReg;
 531   bool GlobalBaseInitialized;
 532   bool RecordSuccess;
 533 public:
 534   ISel(TargetMachine &TM) : SelectionDAGISel(PPC32Lowering), PPC32Lowering(TM),
 535                             ISelDAG(0) {}
 536
 537   /// runOnFunction - Override this function in order to reset our per-function
 538   /// variables.
 539   virtual bool runOnFunction(Function &Fn) {
 540     // Make sure we re-emit a set of the global base reg if necessary
 541     GlobalBaseInitialized = false;
 542     return SelectionDAGISel::runOnFunction(Fn);
 543   }
 544
 545   /// InstructionSelectBasicBlock - This callback is invoked by
 546   /// SelectionDAGISel when it has created a SelectionDAG for us to codegen.
 547   virtual void InstructionSelectBasicBlock(SelectionDAG &DAG) {
 548     DEBUG(BB->dump());
 549     // Codegen the basic block.
 550     ISelDAG = &DAG;
 551     Select(DAG.getRoot());
 552
 553     // Clear state used for selection.
 554     ExprMap.clear();
 555     ISelDAG = 0;
 556   }
 557
 558   // dag -> dag expanders for integer divide by constant
 559   SDOperand BuildSDIVSequence(SDOperand N);
 560   SDOperand BuildUDIVSequence(SDOperand N);
 561
 562   unsigned getGlobalBaseReg();
 563   unsigned getConstDouble(double floatVal, unsigned Result);
 564   void MoveCRtoGPR(unsigned CCReg, bool Inv, unsigned Idx, unsigned Result);
 565   bool SelectBitfieldInsert(SDOperand OR, unsigned Result);
 566   unsigned FoldIfWideZeroExtend(SDOperand N);
 567   unsigned SelectCC(SDOperand CC, unsigned &Opc, bool &Inv, unsigned &Idx);
 568   unsigned SelectCCExpr(SDOperand N, unsigned& Opc, bool &Inv, unsigned &Idx);
 569   unsigned SelectExpr(SDOperand N, bool Recording=false);
 570   void Select(SDOperand N);
 571
 572   bool SelectAddr(SDOperand N, unsigned& Reg, int& offset);
 573   void SelectBranchCC(SDOperand N);
 574 };
 575
 576 /// ExactLog2 - This function solves for (Val == 1 << (N-1)) and returns N.  It
 577 /// returns zero when the input is not exactly a power of two.
 578 static unsigned ExactLog2(unsigned Val) {
 579   if (Val == 0 || (Val & (Val-1))) return 0;
 580   unsigned Count = 0;
 581   while (Val != 1) {
 582     Val >>= 1;
 583     ++Count;
 584   }
 585   return Count;
 586 }
 587
 588 // IsRunOfOnes - returns true if Val consists of one contiguous run of 1's with
 589 // any number of 0's on either side.  the 1's are allowed to wrap from LSB to
 590 // MSB.  so 0x000FFF0, 0x0000FFFF, and 0xFF0000FF are all runs.  0x0F0F0000 is
 591 // not, since all 1's are not contiguous.
 592 static bool IsRunOfOnes(unsigned Val, unsigned &MB, unsigned &ME) {
 593   bool isRun = true;
 594   MB = 0;
 595   ME = 0;
 596
 597   // look for first set bit
 598   int i = 0;
 599   for (; i < 32; i++) {
 600     if ((Val & (1 << (31 - i))) != 0) {
 601       MB = i;
 602       ME = i;
 603       break;
 604     }
 605   }
 606
 607   // look for last set bit
 608   for (; i < 32; i++) {
 609     if ((Val & (1 << (31 - i))) == 0)
 610       break;
 611     ME = i;
 612   }
 613
 614   // look for next set bit
 615   for (; i < 32; i++) {
 616     if ((Val & (1 << (31 - i))) != 0)
 617       break;
 618   }
 619
 620   // if we exhausted all the bits, we found a match at this point for 0*1*0*
 621   if (i == 32)
 622     return true;
 623
 624   // since we just encountered more 1's, if it doesn't wrap around to the
 625   // most significant bit of the word, then we did not find a match to 1*0*1* so
 626   // exit.
 627   if (MB != 0)
 628     return false;
 629
 630   // look for last set bit
 631   for (MB = i; i < 32; i++) {
 632     if ((Val & (1 << (31 - i))) == 0)
 633       break;
 634   }
 635
 636   // if we exhausted all the bits, then we found a match for 1*0*1*, otherwise,
 637   // the value is not a run of ones.
 638   if (i == 32)
 639     return true;
 640   return false;
 641 }
 642
 643 /// getImmediateForOpcode - This method returns a value indicating whether
 644 /// the ConstantSDNode N can be used as an immediate to Opcode.  The return
 645 /// values are either 0, 1 or 2.  0 indicates that either N is not a
 646 /// ConstantSDNode, or is not suitable for use by that opcode.
 647 /// Return value codes for turning into an enum someday:
 648 /// 1: constant may be used in normal immediate form.
 649 /// 2: constant may be used in shifted immediate form.
 650 /// 3: log base 2 of the constant may be used.
 651 /// 4: constant is suitable for integer division conversion
 652 /// 5: constant is a bitfield mask
 653 ///
 654 static unsigned getImmediateForOpcode(SDOperand N, unsigned Opcode,
 655                                       unsigned& Imm, bool U = false) {
 656   if (N.getOpcode() != ISD::Constant) return 0;
 657
 658   int v = (int)cast<ConstantSDNode>(N)->getSignExtended();
 659
 660   switch(Opcode) {
 661   default: return 0;
 662   case ISD::ADD:
 663     if (v <= 32767 && v >= -32768) { Imm = v & 0xFFFF; return 1; }
 664     if ((v & 0x0000FFFF) == 0) { Imm = v >> 16; return 2; }
 665     break;
 666   case ISD::AND: {
 667     unsigned MB, ME;
 668     if (IsRunOfOnes(v, MB, ME)) { Imm = MB << 16 | ME & 0xFFFF; return 5; }
 669     if (v >= 0 && v <= 65535) { Imm = v & 0xFFFF; return 1; }
 670     if ((v & 0x0000FFFF) == 0) { Imm = v >> 16; return 2; }
 671     break;
 672   }
 673   case ISD::XOR:
 674   case ISD::OR:
 675     if (v >= 0 && v <= 65535) { Imm = v & 0xFFFF; return 1; }
 676     if ((v & 0x0000FFFF) == 0) { Imm = v >> 16; return 2; }
 677     break;
 678   case ISD::MUL:
 679     if (v <= 32767 && v >= -32768) { Imm = v & 0xFFFF; return 1; }
 680     break;
 681   case ISD::SUB:
 682     // handle subtract-from separately from subtract, since subi is really addi
 683     if (U && v <= 32767 && v >= -32768) { Imm = v & 0xFFFF; return 1; }
 684     if (!U && v <= 32768 && v >= -32767) { Imm = (-v) & 0xFFFF; return 1; }
 685     break;
 686   case ISD::SETCC:
 687     if (U && (v >= 0 && v <= 65535)) { Imm = v & 0xFFFF; return 1; }
 688     if (!U && (v <= 32767 && v >= -32768)) { Imm = v & 0xFFFF; return 1; }
 689     break;
 690   case ISD::SDIV:
 691     if ((Imm = ExactLog2(v))) { return 3; }
 692     if ((Imm = ExactLog2(-v))) { Imm = -Imm; return 3; }
 693     if (v <= -2 || v >= 2) { return 4; }
 694     break;
 695   case ISD::UDIV:
 696     if (v > 1) { return 4; }
 697     break;
 698   }
 699   return 0;
 700 }
 701
 702 /// NodeHasRecordingVariant - If SelectExpr can always produce code for
 703 /// NodeOpcode that also sets CR0 as a side effect, return true.  Otherwise,
 704 /// return false.
 705 static bool NodeHasRecordingVariant(unsigned NodeOpcode) {
 706   switch(NodeOpcode) {
 707   default: return false;
 708   case ISD::AND:
 709   case ISD::OR:
 710     return true;
 711   }
 712 }
 713
 714 /// getBCCForSetCC - Returns the PowerPC condition branch mnemonic corresponding
 715 /// to Condition.  If the Condition is unordered or unsigned, the bool argument
 716 /// U is set to true, otherwise it is set to false.
 717 static unsigned getBCCForSetCC(unsigned Condition, bool& U) {
 718   U = false;
 719   switch (Condition) {
 720   default: assert(0 && "Unknown condition!"); abort();
 721   case ISD::SETEQ:  return PPC::BEQ;
 722   case ISD::SETNE:  return PPC::BNE;
 723   case ISD::SETULT: U = true;
 724   case ISD::SETLT:  return PPC::BLT;
 725   case ISD::SETULE: U = true;
 726   case ISD::SETLE:  return PPC::BLE;
 727   case ISD::SETUGT: U = true;
 728   case ISD::SETGT:  return PPC::BGT;
 729   case ISD::SETUGE: U = true;
 730   case ISD::SETGE:  return PPC::BGE;
 731   }
 732   return 0;
 733 }
 734
 735 /// getCROpForOp - Return the condition register opcode (or inverted opcode)
 736 /// associated with the SelectionDAG opcode.
 737 static unsigned getCROpForSetCC(unsigned Opcode, bool Inv1, bool Inv2) {
 738   switch (Opcode) {
 739   default: assert(0 && "Unknown opcode!"); abort();
 740   case ISD::AND:
 741     if (Inv1 && Inv2) return PPC::CRNOR; // De Morgan's Law
 742     if (!Inv1 && !Inv2) return PPC::CRAND;
 743     if (Inv1 ^ Inv2) return PPC::CRANDC;
 744   case ISD::OR:
 745     if (Inv1 && Inv2) return PPC::CRNAND; // De Morgan's Law
 746     if (!Inv1 && !Inv2) return PPC::CROR;
 747     if (Inv1 ^ Inv2) return PPC::CRORC;
 748   }
 749   return 0;
 750 }
 751
 752 /// getCRIdxForSetCC - Return the index of the condition register field
 753 /// associated with the SetCC condition, and whether or not the field is
 754 /// treated as inverted.  That is, lt = 0; ge = 0 inverted.
 755 static unsigned getCRIdxForSetCC(unsigned Condition, bool& Inv) {
 756   switch (Condition) {
 757   default: assert(0 && "Unknown condition!"); abort();
 758   case ISD::SETULT:
 759   case ISD::SETLT:  Inv = false;  return 0;
 760   case ISD::SETUGE:
 761   case ISD::SETGE:  Inv = true;   return 0;
 762   case ISD::SETUGT:
 763   case ISD::SETGT:  Inv = false;  return 1;
 764   case ISD::SETULE:
 765   case ISD::SETLE:  Inv = true;   return 1;
 766   case ISD::SETEQ:  Inv = false;  return 2;
 767   case ISD::SETNE:  Inv = true;   return 2;
 768   }
 769   return 0;
 770 }
 771
 772 /// IndexedOpForOp - Return the indexed variant for each of the PowerPC load
 773 /// and store immediate instructions.
 774 static unsigned IndexedOpForOp(unsigned Opcode) {
 775   switch(Opcode) {
 776   default: assert(0 && "Unknown opcode!"); abort();
 777   case PPC::LBZ: return PPC::LBZX;  case PPC::STB: return PPC::STBX;
 778   case PPC::LHZ: return PPC::LHZX;  case PPC::STH: return PPC::STHX;
 779   case PPC::LHA: return PPC::LHAX;  case PPC::STW: return PPC::STWX;
 780   case PPC::LWZ: return PPC::LWZX;  case PPC::STFS: return PPC::STFSX;
 781   case PPC::LFS: return PPC::LFSX;  case PPC::STFD: return PPC::STFDX;
 782   case PPC::LFD: return PPC::LFDX;
 783   }
 784   return 0;
 785 }
 786
 787 // Structure used to return the necessary information to codegen an SDIV as
 788 // a multiply.
 789 struct ms {
 790   int m; // magic number
 791   int s; // shift amount
 792 };
 793
 794 struct mu {
 795   unsigned int m; // magic number
 796   int a;          // add indicator
 797   int s;          // shift amount
 798 };
 799
 800 /// magic - calculate the magic numbers required to codegen an integer sdiv as
 801 /// a sequence of multiply and shifts.  Requires that the divisor not be 0, 1,
 802 /// or -1.
 803 static struct ms magic(int d) {
 804   int p;
 805   unsigned int ad, anc, delta, q1, r1, q2, r2, t;
 806   const unsigned int two31 = 2147483648U; // 2^31
 807   struct ms mag;
 808
 809   ad = abs(d);
 810   t = two31 + ((unsigned int)d >> 31);
 811   anc = t - 1 - t%ad;   // absolute value of nc
 812   p = 31;               // initialize p
 813   q1 = two31/anc;       // initialize q1 = 2p/abs(nc)
 814   r1 = two31 - q1*anc;  // initialize r1 = rem(2p,abs(nc))
 815   q2 = two31/ad;        // initialize q2 = 2p/abs(d)
 816   r2 = two31 - q2*ad;   // initialize r2 = rem(2p,abs(d))
 817   do {
 818     p = p + 1;
 819     q1 = 2*q1;        // update q1 = 2p/abs(nc)
 820     r1 = 2*r1;        // update r1 = rem(2p/abs(nc))
 821     if (r1 >= anc) {  // must be unsigned comparison
 822       q1 = q1 + 1;
 823       r1 = r1 - anc;
 824     }
 825     q2 = 2*q2;        // update q2 = 2p/abs(d)
 826     r2 = 2*r2;        // update r2 = rem(2p/abs(d))
 827     if (r2 >= ad) {   // must be unsigned comparison
 828       q2 = q2 + 1;
 829       r2 = r2 - ad;
 830     }
 831     delta = ad - r2;
 832   } while (q1 < delta || (q1 == delta && r1 == 0));
 833
 834   mag.m = q2 + 1;
 835   if (d < 0) mag.m = -mag.m; // resulting magic number
 836   mag.s = p - 32;            // resulting shift
 837   return mag;
 838 }
 839
 840 /// magicu - calculate the magic numbers required to codegen an integer udiv as
 841 /// a sequence of multiply, add and shifts.  Requires that the divisor not be 0.
 842 static struct mu magicu(unsigned d)
 843 {
 844   int p;
 845   unsigned int nc, delta, q1, r1, q2, r2;
 846   struct mu magu;
 847   magu.a = 0;               // initialize "add" indicator
 848   nc = - 1 - (-d)%d;
 849   p = 31;                   // initialize p
 850   q1 = 0x80000000/nc;       // initialize q1 = 2p/nc
 851   r1 = 0x80000000 - q1*nc;  // initialize r1 = rem(2p,nc)
 852   q2 = 0x7FFFFFFF/d;        // initialize q2 = (2p-1)/d
 853   r2 = 0x7FFFFFFF - q2*d;   // initialize r2 = rem((2p-1),d)
 854   do {
 855     p = p + 1;
 856     if (r1 >= nc - r1 ) {
 857       q1 = 2*q1 + 1;  // update q1
 858       r1 = 2*r1 - nc; // update r1
 859     }
 860     else {
 861       q1 = 2*q1; // update q1
 862       r1 = 2*r1; // update r1
 863     }
 864     if (r2 + 1 >= d - r2) {
 865       if (q2 >= 0x7FFFFFFF) magu.a = 1;
 866       q2 = 2*q2 + 1;     // update q2
 867       r2 = 2*r2 + 1 - d; // update r2
 868     }
 869     else {
 870       if (q2 >= 0x80000000) magu.a = 1;
 871       q2 = 2*q2;     // update q2
 872       r2 = 2*r2 + 1; // update r2
 873     }
 874     delta = d - 1 - r2;
 875   } while (p < 64 && (q1 < delta || (q1 == delta && r1 == 0)));
 876   magu.m = q2 + 1; // resulting magic number
 877   magu.s = p - 32;  // resulting shift
 878   return magu;
 879 }
 880 }
 881
 882 /// BuildSDIVSequence - Given an ISD::SDIV node expressing a divide by constant,
 883 /// return a DAG expression to select that will generate the same value by
 884 /// multiplying by a magic number.  See:
 885 /// <http://the.wall.riscom.net/books/proc/ppc/cwg/code2.html>
 886 SDOperand ISel::BuildSDIVSequence(SDOperand N) {
 887   int d = (int)cast<ConstantSDNode>(N.getOperand(1))->getSignExtended();
 888   ms magics = magic(d);
 889   // Multiply the numerator (operand 0) by the magic value
 890   SDOperand Q = ISelDAG->getNode(ISD::MULHS, MVT::i32, N.getOperand(0),
 891                                  ISelDAG->getConstant(magics.m, MVT::i32));
 892   // If d > 0 and m < 0, add the numerator
 893   if (d > 0 && magics.m < 0)
 894     Q = ISelDAG->getNode(ISD::ADD, MVT::i32, Q, N.getOperand(0));
 895   // If d < 0 and m > 0, subtract the numerator.
 896   if (d < 0 && magics.m > 0)
 897     Q = ISelDAG->getNode(ISD::SUB, MVT::i32, Q, N.getOperand(0));
 898   // Shift right algebraic if shift value is nonzero
 899   if (magics.s > 0)
 900     Q = ISelDAG->getNode(ISD::SRA, MVT::i32, Q,
 901                          ISelDAG->getConstant(magics.s, MVT::i32));
 902   // Extract the sign bit and add it to the quotient
 903   SDOperand T =
 904     ISelDAG->getNode(ISD::SRL, MVT::i32, Q, ISelDAG->getConstant(31, MVT::i32));
 905   return ISelDAG->getNode(ISD::ADD, MVT::i32, Q, T);
 906 }
 907
 908 /// BuildUDIVSequence - Given an ISD::UDIV node expressing a divide by constant,
 909 /// return a DAG expression to select that will generate the same value by
 910 /// multiplying by a magic number.  See:
 911 /// <http://the.wall.riscom.net/books/proc/ppc/cwg/code2.html>
 912 SDOperand ISel::BuildUDIVSequence(SDOperand N) {
 913   unsigned d =
 914     (unsigned)cast<ConstantSDNode>(N.getOperand(1))->getSignExtended();
 915   mu magics = magicu(d);
 916   // Multiply the numerator (operand 0) by the magic value
 917   SDOperand Q = ISelDAG->getNode(ISD::MULHU, MVT::i32, N.getOperand(0),
 918                                  ISelDAG->getConstant(magics.m, MVT::i32));
 919   if (magics.a == 0) {
 920     Q = ISelDAG->getNode(ISD::SRL, MVT::i32, Q,
 921                          ISelDAG->getConstant(magics.s, MVT::i32));
 922   } else {
 923     SDOperand NPQ = ISelDAG->getNode(ISD::SUB, MVT::i32, N.getOperand(0), Q);
 924     NPQ = ISelDAG->getNode(ISD::SRL, MVT::i32, NPQ,
 925                            ISelDAG->getConstant(1, MVT::i32));
 926     NPQ = ISelDAG->getNode(ISD::ADD, MVT::i32, NPQ, Q);
 927     Q = ISelDAG->getNode(ISD::SRL, MVT::i32, NPQ,
 928                            ISelDAG->getConstant(magics.s-1, MVT::i32));
 929   }
 930   return Q;
 931 }
 932
 933 /// getGlobalBaseReg - Output the instructions required to put the
 934 /// base address to use for accessing globals into a register.
 935 ///
 936 unsigned ISel::getGlobalBaseReg() {
 937   if (!GlobalBaseInitialized) {
 938     // Insert the set of GlobalBaseReg into the first MBB of the function
 939     MachineBasicBlock &FirstMBB = BB->getParent()->front();
 940     MachineBasicBlock::iterator MBBI = FirstMBB.begin();
 941     GlobalBaseReg = MakeReg(MVT::i32);
 942     BuildMI(FirstMBB, MBBI, PPC::MovePCtoLR, 0, PPC::LR);
 943     BuildMI(FirstMBB, MBBI, PPC::MFLR, 1, GlobalBaseReg).addReg(PPC::LR);
 944     GlobalBaseInitialized = true;
 945   }
 946   return GlobalBaseReg;
 947 }
 948
 949 /// getConstDouble - Loads a floating point value into a register, via the
 950 /// Constant Pool.  Optionally takes a register in which to load the value.
 951 unsigned ISel::getConstDouble(double doubleVal, unsigned Result=0) {
 952   unsigned Tmp1 = MakeReg(MVT::i32);
 953   if (0 == Result) Result = MakeReg(MVT::f64);
 954   MachineConstantPool *CP = BB->getParent()->getConstantPool();
 955   ConstantFP *CFP = ConstantFP::get(Type::DoubleTy, doubleVal);
 956   unsigned CPI = CP->getConstantPoolIndex(CFP);
 957   if (PICEnabled)
 958     BuildMI(BB, PPC::ADDIS, 2, Tmp1).addReg(getGlobalBaseReg())
 959       .addConstantPoolIndex(CPI);
 960   else
 961     BuildMI(BB, PPC::LIS, 1, Tmp1).addConstantPoolIndex(CPI);
 962   BuildMI(BB, PPC::LFD, 2, Result).addConstantPoolIndex(CPI).addReg(Tmp1);
 963   return Result;
 964 }
 965
 966 /// MoveCRtoGPR - Move CCReg[Idx] to the least significant bit of Result.  If
 967 /// Inv is true, then invert the result.
 968 void ISel::MoveCRtoGPR(unsigned CCReg, bool Inv, unsigned Idx, unsigned Result){
 969   unsigned IntCR = MakeReg(MVT::i32);
 970   BuildMI(BB, PPC::MCRF, 1, PPC::CR7).addReg(CCReg);
 971   BuildMI(BB, GPOPT ? PPC::MFOCRF : PPC::MFCR, 1, IntCR).addReg(PPC::CR7);
 972   if (Inv) {
 973     unsigned Tmp1 = MakeReg(MVT::i32);
 974     BuildMI(BB, PPC::RLWINM, 4, Tmp1).addReg(IntCR).addImm(32-(3-Idx))
 975       .addImm(31).addImm(31);
 976     BuildMI(BB, PPC::XORI, 2, Result).addReg(Tmp1).addImm(1);
 977   } else {
 978     BuildMI(BB, PPC::RLWINM, 4, Result).addReg(IntCR).addImm(32-(3-Idx))
 979       .addImm(31).addImm(31);
 980   }
 981 }
 982
 983 /// SelectBitfieldInsert - turn an or of two masked values into
 984 /// the rotate left word immediate then mask insert (rlwimi) instruction.
 985 /// Returns true on success, false if the caller still needs to select OR.
 986 ///
 987 /// Patterns matched:
 988 /// 1. or shl, and   5. or and, and
 989 /// 2. or and, shl   6. or shl, shr
 990 /// 3. or shr, and   7. or shr, shl
 991 /// 4. or and, shr
 992 bool ISel::SelectBitfieldInsert(SDOperand OR, unsigned Result) {
 993   bool IsRotate = false;
 994   unsigned TgtMask = 0xFFFFFFFF, InsMask = 0xFFFFFFFF, Amount = 0;
 995
 996   SDOperand Op0 = OR.getOperand(0);
 997   SDOperand Op1 = OR.getOperand(1);
 998
 999   unsigned Op0Opc = Op0.getOpcode();
1000   unsigned Op1Opc = Op1.getOpcode();
1001
1002   // Verify that we have the correct opcodes
1003   if (ISD::SHL != Op0Opc && ISD::SRL != Op0Opc && ISD::AND != Op0Opc)
1004     return false;
1005   if (ISD::SHL != Op1Opc && ISD::SRL != Op1Opc && ISD::AND != Op1Opc)
1006     return false;
1007
1008   // Generate Mask value for Target
1009   if (ConstantSDNode *CN =
1010       dyn_cast<ConstantSDNode>(Op0.getOperand(1).Val)) {
1011     switch(Op0Opc) {
1012     case ISD::SHL: TgtMask <<= (unsigned)CN->getValue(); break;
1013     case ISD::SRL: TgtMask >>= (unsigned)CN->getValue(); break;
1014     case ISD::AND: TgtMask &= (unsigned)CN->getValue(); break;
1015     }
1016   } else {
1017     return false;
1018   }
1019
1020   // Generate Mask value for Insert
1021   if (ConstantSDNode *CN =
1022       dyn_cast<ConstantSDNode>(Op1.getOperand(1).Val)) {
1023     switch(Op1Opc) {
1024     case ISD::SHL:
1025       Amount = CN->getValue();
1026       InsMask <<= Amount;
1027       if (Op0Opc == ISD::SRL) IsRotate = true;
1028       break;
1029     case ISD::SRL:
1030       Amount = CN->getValue();
1031       InsMask >>= Amount;
1032       Amount = 32-Amount;
1033       if (Op0Opc == ISD::SHL) IsRotate = true;
1034       break;
1035     case ISD::AND:
1036       InsMask &= (unsigned)CN->getValue();
1037       break;
1038     }
1039   } else {
1040     return false;
1041   }
1042
1043   unsigned Tmp3 = 0;
1044
1045   // If both of the inputs are ANDs and one of them has a logical shift by
1046   // constant as its input, make that the inserted value so that we can combine
1047   // the shift into the rotate part of the rlwimi instruction
1048   if (Op0Opc == ISD::AND && Op1Opc == ISD::AND) {
1049     if (Op1.getOperand(0).getOpcode() == ISD::SHL ||
1050         Op1.getOperand(0).getOpcode() == ISD::SRL) {
1051       if (ConstantSDNode *CN =
1052           dyn_cast<ConstantSDNode>(Op1.getOperand(0).getOperand(1).Val)) {
1053         Amount = Op1.getOperand(0).getOpcode() == ISD::SHL ?
1054           CN->getValue() : 32 - CN->getValue();
1055         Tmp3 = SelectExpr(Op1.getOperand(0).getOperand(0));
1056       }
1057     } else if (Op0.getOperand(0).getOpcode() == ISD::SHL ||
1058                Op0.getOperand(0).getOpcode() == ISD::SRL) {
1059       if (ConstantSDNode *CN =
1060           dyn_cast<ConstantSDNode>(Op0.getOperand(0).getOperand(1).Val)) {
1061         std::swap(Op0, Op1);
1062         std::swap(TgtMask, InsMask);
1063         Amount = Op1.getOperand(0).getOpcode() == ISD::SHL ?
1064           CN->getValue() : 32 - CN->getValue();
1065         Tmp3 = SelectExpr(Op1.getOperand(0).getOperand(0));
1066       }
1067     }
1068   }
1069
1070   // Verify that the Target mask and Insert mask together form a full word mask
1071   // and that the Insert mask is a run of set bits (which implies both are runs
1072   // of set bits).  Given that, Select the arguments and generate the rlwimi
1073   // instruction.
1074   unsigned MB, ME;
1075   if (((TgtMask & InsMask) == 0) && IsRunOfOnes(InsMask, MB, ME)) {
1076     unsigned Tmp1, Tmp2;
1077     bool fullMask = (TgtMask ^ InsMask) == 0xFFFFFFFF;
1078     // Check for rotlwi / rotrwi here, a special case of bitfield insert
1079     // where both bitfield halves are sourced from the same value.
1080     if (IsRotate && fullMask &&
1081         OR.getOperand(0).getOperand(0) == OR.getOperand(1).getOperand(0)) {
1082       Tmp1 = SelectExpr(OR.getOperand(0).getOperand(0));
1083       BuildMI(BB, PPC::RLWINM, 4, Result).addReg(Tmp1).addImm(Amount)
1084         .addImm(0).addImm(31);
1085       return true;
1086     }
1087     if (Op0Opc == ISD::AND && fullMask)
1088       Tmp1 = SelectExpr(Op0.getOperand(0));
1089     else
1090       Tmp1 = SelectExpr(Op0);
1091     Tmp2 = Tmp3 ? Tmp3 : SelectExpr(Op1.getOperand(0));
1092     BuildMI(BB, PPC::RLWIMI, 5, Result).addReg(Tmp1).addReg(Tmp2)
1093       .addImm(Amount).addImm(MB).addImm(ME);
1094     return true;
1095   }
1096   return false;
1097 }
1098
1099 /// FoldIfWideZeroExtend - 32 bit PowerPC implicit masks shift amounts to the
1100 /// low six bits.  If the shift amount is an ISD::AND node with a mask that is
1101 /// wider than the implicit mask, then we can get rid of the AND and let the
1102 /// shift do the mask.
1103 unsigned ISel::FoldIfWideZeroExtend(SDOperand N) {
1104   unsigned C;
1105   if (N.getOpcode() == ISD::AND &&
1106       5 == getImmediateForOpcode(N.getOperand(1), ISD::AND, C) && // isMask
1107       31 == (C & 0xFFFF) && // ME
1108       26 >= (C >> 16))      // MB
1109     return SelectExpr(N.getOperand(0));
1110   else
1111     return SelectExpr(N);
1112 }
1113
1114 unsigned ISel::SelectCC(SDOperand CC, unsigned& Opc, bool &Inv, unsigned& Idx) {
1115   unsigned Result, Tmp1, Tmp2;
1116   bool AlreadySelected = false;
1117   static const unsigned CompareOpcodes[] =
1118     { PPC::FCMPU, PPC::FCMPU, PPC::CMPW, PPC::CMPLW };
1119
1120   // Allocate a condition register for this expression
1121   Result = RegMap->createVirtualRegister(PPC32::CRRCRegisterClass);
1122
1123   // If the first operand to the select is a SETCC node, then we can fold it
1124   // into the branch that selects which value to return.
1125   if (SetCCSDNode* SetCC = dyn_cast<SetCCSDNode>(CC.Val)) {
1126     bool U;
1127     Opc = getBCCForSetCC(SetCC->getCondition(), U);
1128     Idx = getCRIdxForSetCC(SetCC->getCondition(), Inv);
1129
1130     // Pass the optional argument U to getImmediateForOpcode for SETCC,
1131     // so that it knows whether the SETCC immediate range is signed or not.
1132     if (1 == getImmediateForOpcode(SetCC->getOperand(1), ISD::SETCC,
1133                                    Tmp2, U)) {
1134       // For comparisons against zero, we can implicity set CR0 if a recording
1135       // variant (e.g. 'or.' instead of 'or') of the instruction that defines
1136       // operand zero of the SetCC node is available.
1137       if (0 == Tmp2 &&
1138           NodeHasRecordingVariant(SetCC->getOperand(0).getOpcode()) &&
1139           SetCC->getOperand(0).Val->hasOneUse()) {
1140         RecordSuccess = false;
1141         Tmp1 = SelectExpr(SetCC->getOperand(0), true);
1142         if (RecordSuccess) {
1143           ++Recorded;
1144           BuildMI(BB, PPC::MCRF, 1, Result).addReg(PPC::CR0);
1145           return Result;
1146         }
1147         AlreadySelected = true;
1148       }
1149       // If we could not implicitly set CR0, then emit a compare immediate
1150       // instead.
1151       if (!AlreadySelected) Tmp1 = SelectExpr(SetCC->getOperand(0));
1152       if (U)
1153         BuildMI(BB, PPC::CMPLWI, 2, Result).addReg(Tmp1).addImm(Tmp2);
1154       else
1155         BuildMI(BB, PPC::CMPWI, 2, Result).addReg(Tmp1).addSImm(Tmp2);
1156     } else {
1157       bool IsInteger = MVT::isInteger(SetCC->getOperand(0).getValueType());
1158       unsigned CompareOpc = CompareOpcodes[2 * IsInteger + U];
1159       Tmp1 = SelectExpr(SetCC->getOperand(0));
1160       Tmp2 = SelectExpr(SetCC->getOperand(1));
1161       BuildMI(BB, CompareOpc, 2, Result).addReg(Tmp1).addReg(Tmp2);
1162     }
1163   } else {
1164     // If this isn't a SetCC, then select the value and compare it against zero,
1165     // treating it as if it were a boolean.
1166     Opc = PPC::BNE;
1167     Idx = getCRIdxForSetCC(ISD::SETNE, Inv);
1168     Tmp1 = SelectExpr(CC);
1169     BuildMI(BB, PPC::CMPLWI, 2, Result).addReg(Tmp1).addImm(0);
1170   }
1171   return Result;
1172 }
1173
1174 unsigned ISel::SelectCCExpr(SDOperand N, unsigned& Opc, bool &Inv,
1175                             unsigned &Idx) {
1176   bool Inv0, Inv1;
1177   unsigned Idx0, Idx1, CROpc, Opc1, Tmp1, Tmp2;
1178
1179   // Allocate a condition register for this expression
1180   unsigned Result = RegMap->createVirtualRegister(PPC32::CRRCRegisterClass);
1181
1182   // Check for the operations we support:
1183   switch(N.getOpcode()) {
1184   default:
1185     Opc = PPC::BNE;
1186     Idx = getCRIdxForSetCC(ISD::SETNE, Inv);
1187     Tmp1 = SelectExpr(N);
1188     BuildMI(BB, PPC::CMPLWI, 2, Result).addReg(Tmp1).addImm(0);
1189     break;
1190   case ISD::OR:
1191   case ISD::AND:
1192     ++MultiBranch;
1193     Tmp1 = SelectCCExpr(N.getOperand(0), Opc, Inv0, Idx0);
1194     Tmp2 = SelectCCExpr(N.getOperand(1), Opc1, Inv1, Idx1);
1195     CROpc = getCROpForSetCC(N.getOpcode(), Inv0, Inv1);
1196     if (Inv0 && !Inv1) {
1197       std::swap(Tmp1, Tmp2);
1198       std::swap(Idx0, Idx1);
1199       Opc = Opc1;
1200     }
1201     if (Inv0 && Inv1) Opc = PPC32InstrInfo::invertPPCBranchOpcode(Opc);
1202     BuildMI(BB, CROpc, 5, Result).addImm(Idx0).addReg(Tmp1).addImm(Idx0)
1203       .addReg(Tmp2).addImm(Idx1);
1204     Inv = false;
1205     Idx = Idx0;
1206     break;
1207   case ISD::SETCC:
1208     Tmp1 = SelectCC(N, Opc, Inv, Idx);
1209     Result = Tmp1;
1210     break;
1211   }
1212   return Result;
1213 }
1214
1215 /// Check to see if the load is a constant offset from a base register
1216 bool ISel::SelectAddr(SDOperand N, unsigned& Reg, int& offset)
1217 {
1218   unsigned imm = 0, opcode = N.getOpcode();
1219   if (N.getOpcode() == ISD::ADD) {
1220     Reg = SelectExpr(N.getOperand(0));
1221     if (1 == getImmediateForOpcode(N.getOperand(1), opcode, imm)) {
1222       offset = imm;
1223       return false;
1224     }
1225     offset = SelectExpr(N.getOperand(1));
1226     return true;
1227   }
1228   Reg = SelectExpr(N);
1229   offset = 0;
1230   return false;
1231 }
1232
1233 void ISel::SelectBranchCC(SDOperand N)
1234 {
1235   MachineBasicBlock *Dest =
1236     cast<BasicBlockSDNode>(N.getOperand(2))->getBasicBlock();
1237
1238   bool Inv;
1239   unsigned Opc, CCReg, Idx;
1240   Select(N.getOperand(0));  //chain
1241   CCReg = SelectCC(N.getOperand(1), Opc, Inv, Idx);
1242
1243   // Iterate to the next basic block
1244   ilist<MachineBasicBlock>::iterator It = BB;
1245   ++It;
1246
1247   // If this is a two way branch, then grab the fallthrough basic block argument
1248   // and build a PowerPC branch pseudo-op, suitable for long branch conversion
1249   // if necessary by the branch selection pass.  Otherwise, emit a standard
1250   // conditional branch.
1251   if (N.getOpcode() == ISD::BRCONDTWOWAY) {
1252     MachineBasicBlock *Fallthrough =
1253       cast<BasicBlockSDNode>(N.getOperand(3))->getBasicBlock();
1254     if (Dest != It) {
1255       BuildMI(BB, PPC::COND_BRANCH, 4).addReg(CCReg).addImm(Opc)
1256         .addMBB(Dest).addMBB(Fallthrough);
1257       if (Fallthrough != It)
1258         BuildMI(BB, PPC::B, 1).addMBB(Fallthrough);
1259     } else {
1260       if (Fallthrough != It) {
1261         Opc = PPC32InstrInfo::invertPPCBranchOpcode(Opc);
1262         BuildMI(BB, PPC::COND_BRANCH, 4).addReg(CCReg).addImm(Opc)
1263           .addMBB(Fallthrough).addMBB(Dest);
1264       }
1265     }
1266   } else {
1267     // If the fallthrough path is off the end of the function, which would be
1268     // undefined behavior, set it to be the same as the current block because
1269     // we have nothing better to set it to, and leaving it alone will cause the
1270     // PowerPC Branch Selection pass to crash.
1271     if (It == BB->getParent()->end()) It = Dest;
1272     BuildMI(BB, PPC::COND_BRANCH, 4).addReg(CCReg).addImm(Opc)
1273       .addMBB(Dest).addMBB(It);
1274   }
1275   return;
1276 }
1277
1278 unsigned ISel::SelectExpr(SDOperand N, bool Recording) {
1279   unsigned Result;
1280   unsigned Tmp1, Tmp2, Tmp3;
1281   unsigned Opc = 0;
1282   unsigned opcode = N.getOpcode();
1283
1284   SDNode *Node = N.Val;
1285   MVT::ValueType DestType = N.getValueType();
1286
1287   if (Node->getOpcode() == ISD::CopyFromReg &&
1288       MRegisterInfo::isVirtualRegister(cast<RegSDNode>(Node)->getReg()))
1289     // Just use the specified register as our input.
1290     return cast<RegSDNode>(Node)->getReg();
1291
1292   unsigned &Reg = ExprMap[N];
1293   if (Reg) return Reg;
1294
1295   switch (N.getOpcode()) {
1296   default:
1297     Reg = Result = (N.getValueType() != MVT::Other) ?
1298                             MakeReg(N.getValueType()) : 1;
1299     break;
1300   case ISD::TAILCALL:
1301   case ISD::CALL:
1302     // If this is a call instruction, make sure to prepare ALL of the result
1303     // values as well as the chain.
1304     if (Node->getNumValues() == 1)
1305       Reg = Result = 1;  // Void call, just a chain.
1306     else {
1307       Result = MakeReg(Node->getValueType(0));
1308       ExprMap[N.getValue(0)] = Result;
1309       for (unsigned i = 1, e = N.Val->getNumValues()-1; i != e; ++i)
1310         ExprMap[N.getValue(i)] = MakeReg(Node->getValueType(i));
1311       ExprMap[SDOperand(Node, Node->getNumValues()-1)] = 1;
1312     }
1313     break;
1314   case ISD::ADD_PARTS:
1315   case ISD::SUB_PARTS:
1316   case ISD::SHL_PARTS:
1317   case ISD::SRL_PARTS:
1318   case ISD::SRA_PARTS:
1319     Result = MakeReg(Node->getValueType(0));
1320     ExprMap[N.getValue(0)] = Result;
1321     for (unsigned i = 1, e = N.Val->getNumValues(); i != e; ++i)
1322       ExprMap[N.getValue(i)] = MakeReg(Node->getValueType(i));
1323     break;
1324   }
1325
1326   switch (opcode) {
1327   default:
1328     Node->dump();
1329     assert(0 && "Node not handled!\n");
1330   case ISD::UNDEF:
1331     BuildMI(BB, PPC::IMPLICIT_DEF, 0, Result);
1332     return Result;
1333   case ISD::DYNAMIC_STACKALLOC:
1334     // Generate both result values.  FIXME: Need a better commment here?
1335     if (Result != 1)
1336       ExprMap[N.getValue(1)] = 1;
1337     else
1338       Result = ExprMap[N.getValue(0)] = MakeReg(N.getValue(0).getValueType());
1339
1340     // FIXME: We are currently ignoring the requested alignment for handling
1341     // greater than the stack alignment.  This will need to be revisited at some
1342     // point.  Align = N.getOperand(2);
1343     if (!isa<ConstantSDNode>(N.getOperand(2)) ||
1344         cast<ConstantSDNode>(N.getOperand(2))->getValue() != 0) {
1345       std::cerr << "Cannot allocate stack object with greater alignment than"
1346                 << " the stack alignment yet!";
1347       abort();
1348     }
1349     Select(N.getOperand(0));
1350     Tmp1 = SelectExpr(N.getOperand(1));
1351     // Subtract size from stack pointer, thereby allocating some space.
1352     BuildMI(BB, PPC::SUBF, 2, PPC::R1).addReg(Tmp1).addReg(PPC::R1);
1353     // Put a pointer to the space into the result register by copying the SP
1354     BuildMI(BB, PPC::OR, 2, Result).addReg(PPC::R1).addReg(PPC::R1);
1355     return Result;
1356
1357   case ISD::ConstantPool:
1358     Tmp1 = cast<ConstantPoolSDNode>(N)->getIndex();
1359     Tmp2 = MakeReg(MVT::i32);
1360     if (PICEnabled)
1361       BuildMI(BB, PPC::ADDIS, 2, Tmp2).addReg(getGlobalBaseReg())
1362         .addConstantPoolIndex(Tmp1);
1363     else
1364       BuildMI(BB, PPC::LIS, 1, Tmp2).addConstantPoolIndex(Tmp1);
1365     BuildMI(BB, PPC::LA, 2, Result).addReg(Tmp2).addConstantPoolIndex(Tmp1);
1366     return Result;
1367
1368   case ISD::FrameIndex:
1369     Tmp1 = cast<FrameIndexSDNode>(N)->getIndex();
1370     addFrameReference(BuildMI(BB, PPC::ADDI, 2, Result), (int)Tmp1, 0, false);
1371     return Result;
1372
1373   case ISD::GlobalAddress: {
1374     GlobalValue *GV = cast<GlobalAddressSDNode>(N)->getGlobal();
1375     Tmp1 = MakeReg(MVT::i32);
1376     if (PICEnabled)
1377       BuildMI(BB, PPC::ADDIS, 2, Tmp1).addReg(getGlobalBaseReg())
1378         .addGlobalAddress(GV);
1379     else
1380       BuildMI(BB, PPC::LIS, 2, Tmp1).addGlobalAddress(GV);
1381     if (GV->hasWeakLinkage() || GV->isExternal()) {
1382       BuildMI(BB, PPC::LWZ, 2, Result).addGlobalAddress(GV).addReg(Tmp1);
1383     } else {
1384       BuildMI(BB, PPC::LA, 2, Result).addReg(Tmp1).addGlobalAddress(GV);
1385     }
1386     return Result;
1387   }
1388
1389   case ISD::LOAD:
1390   case ISD::EXTLOAD:
1391   case ISD::ZEXTLOAD:
1392   case ISD::SEXTLOAD: {
1393     MVT::ValueType TypeBeingLoaded = (ISD::LOAD == opcode) ?
1394       Node->getValueType(0) : cast<VTSDNode>(Node->getOperand(3))->getVT();
1395     bool sext = (ISD::SEXTLOAD == opcode);
1396
1397     // Make sure we generate both values.
1398     if (Result != 1)
1399       ExprMap[N.getValue(1)] = 1;   // Generate the token
1400     else
1401       Result = ExprMap[N.getValue(0)] = MakeReg(N.getValue(0).getValueType());
1402
1403     SDOperand Chain   = N.getOperand(0);
1404     SDOperand Address = N.getOperand(1);
1405     Select(Chain);
1406
1407     switch (TypeBeingLoaded) {
1408     default: Node->dump(); assert(0 && "Cannot load this type!");
1409     case MVT::i1:  Opc = PPC::LBZ; break;
1410     case MVT::i8:  Opc = PPC::LBZ; break;
1411     case MVT::i16: Opc = sext ? PPC::LHA : PPC::LHZ; break;
1412     case MVT::i32: Opc = PPC::LWZ; break;
1413     case MVT::f32: Opc = PPC::LFS; break;
1414     case MVT::f64: Opc = PPC::LFD; break;
1415     }
1416
1417     if (ConstantPoolSDNode *CP = dyn_cast<ConstantPoolSDNode>(Address)) {
1418       Tmp1 = MakeReg(MVT::i32);
1419       int CPI = CP->getIndex();
1420       if (PICEnabled)
1421         BuildMI(BB, PPC::ADDIS, 2, Tmp1).addReg(getGlobalBaseReg())
1422           .addConstantPoolIndex(CPI);
1423       else
1424         BuildMI(BB, PPC::LIS, 1, Tmp1).addConstantPoolIndex(CPI);
1425       BuildMI(BB, Opc, 2, Result).addConstantPoolIndex(CPI).addReg(Tmp1);
1426     } else if (Address.getOpcode() == ISD::FrameIndex) {
1427       Tmp1 = cast<FrameIndexSDNode>(Address)->getIndex();
1428       addFrameReference(BuildMI(BB, Opc, 2, Result), (int)Tmp1);
1429     } else if(GlobalAddressSDNode *GN = dyn_cast<GlobalAddressSDNode>(Address)){
1430       GlobalValue *GV = GN->getGlobal();
1431       Tmp1 = MakeReg(MVT::i32);
1432       if (PICEnabled)
1433         BuildMI(BB, PPC::ADDIS, 2, Tmp1).addReg(getGlobalBaseReg())
1434           .addGlobalAddress(GV);
1435       else
1436         BuildMI(BB, PPC::LIS, 2, Tmp1).addGlobalAddress(GV);
1437       if (GV->hasWeakLinkage() || GV->isExternal()) {
1438         Tmp2 = MakeReg(MVT::i32);
1439         BuildMI(BB, PPC::LWZ, 2, Tmp2).addGlobalAddress(GV).addReg(Tmp1);
1440         BuildMI(BB, Opc, 2, Result).addSImm(0).addReg(Tmp2);
1441       } else {
1442         BuildMI(BB, Opc, 2, Result).addGlobalAddress(GV).addReg(Tmp1);
1443       }
1444     } else {
1445       int offset;
1446       bool idx = SelectAddr(Address, Tmp1, offset);
1447       if (idx) {
1448         Opc = IndexedOpForOp(Opc);
1449         BuildMI(BB, Opc, 2, Result).addReg(Tmp1).addReg(offset);
1450       } else {
1451         BuildMI(BB, Opc, 2, Result).addSImm(offset).addReg(Tmp1);
1452       }
1453     }
1454     return Result;
1455   }
1456
1457   case ISD::TAILCALL:
1458   case ISD::CALL: {
1459     unsigned GPR_idx = 0, FPR_idx = 0;
1460     static const unsigned GPR[] = {
1461       PPC::R3, PPC::R4, PPC::R5, PPC::R6,
1462       PPC::R7, PPC::R8, PPC::R9, PPC::R10,
1463     };
1464     static const unsigned FPR[] = {
1465       PPC::F1, PPC::F2, PPC::F3, PPC::F4, PPC::F5, PPC::F6, PPC::F7,
1466       PPC::F8, PPC::F9, PPC::F10, PPC::F11, PPC::F12, PPC::F13
1467     };
1468
1469     // Lower the chain for this call.
1470     Select(N.getOperand(0));
1471     ExprMap[N.getValue(Node->getNumValues()-1)] = 1;
1472
1473     MachineInstr *CallMI;
1474     // Emit the correct call instruction based on the type of symbol called.
1475     if (GlobalAddressSDNode *GASD =
1476         dyn_cast<GlobalAddressSDNode>(N.getOperand(1))) {
1477       CallMI = BuildMI(PPC::CALLpcrel, 1).addGlobalAddress(GASD->getGlobal(),
1478                                                            true);
1479     } else if (ExternalSymbolSDNode *ESSDN =
1480                dyn_cast<ExternalSymbolSDNode>(N.getOperand(1))) {
1481       CallMI = BuildMI(PPC::CALLpcrel, 1).addExternalSymbol(ESSDN->getSymbol(),
1482                                                             true);
1483     } else {
1484       Tmp1 = SelectExpr(N.getOperand(1));
1485       BuildMI(BB, PPC::OR, 2, PPC::R12).addReg(Tmp1).addReg(Tmp1);
1486       BuildMI(BB, PPC::MTCTR, 1).addReg(PPC::R12);
1487       CallMI = BuildMI(PPC::CALLindirect, 3).addImm(20).addImm(0)
1488         .addReg(PPC::R12);
1489     }
1490
1491     // Load the register args to virtual regs
1492     std::vector<unsigned> ArgVR;
1493     for(int i = 2, e = Node->getNumOperands(); i < e; ++i)
1494       ArgVR.push_back(SelectExpr(N.getOperand(i)));
1495
1496     // Copy the virtual registers into the appropriate argument register
1497     for(int i = 0, e = ArgVR.size(); i < e; ++i) {
1498       switch(N.getOperand(i+2).getValueType()) {
1499       default: Node->dump(); assert(0 && "Unknown value type for call");
1500       case MVT::i1:
1501       case MVT::i8:
1502       case MVT::i16:
1503       case MVT::i32:
1504         assert(GPR_idx < 8 && "Too many int args");
1505         if (N.getOperand(i+2).getOpcode() != ISD::UNDEF) {
1506           BuildMI(BB, PPC::OR,2,GPR[GPR_idx]).addReg(ArgVR[i]).addReg(ArgVR[i]);
1507           CallMI->addRegOperand(GPR[GPR_idx], MachineOperand::Use);
1508         }
1509         ++GPR_idx;
1510         break;
1511       case MVT::f64:
1512       case MVT::f32:
1513         assert(FPR_idx < 13 && "Too many fp args");
1514         BuildMI(BB, PPC::FMR, 1, FPR[FPR_idx]).addReg(ArgVR[i]);
1515         CallMI->addRegOperand(FPR[FPR_idx], MachineOperand::Use);
1516         ++FPR_idx;
1517         break;
1518       }
1519     }
1520
1521     // Put the call instruction in the correct place in the MachineBasicBlock
1522     BB->push_back(CallMI);
1523
1524     switch (Node->getValueType(0)) {
1525     default: assert(0 && "Unknown value type for call result!");
1526     case MVT::Other: return 1;
1527     case MVT::i1:
1528     case MVT::i8:
1529     case MVT::i16:
1530     case MVT::i32:
1531       if (Node->getValueType(1) == MVT::i32) {
1532         BuildMI(BB, PPC::OR, 2, Result+1).addReg(PPC::R3).addReg(PPC::R3);
1533         BuildMI(BB, PPC::OR, 2, Result).addReg(PPC::R4).addReg(PPC::R4);
1534       } else {
1535         BuildMI(BB, PPC::OR, 2, Result).addReg(PPC::R3).addReg(PPC::R3);
1536       }
1537       break;
1538     case MVT::f32:
1539     case MVT::f64:
1540       BuildMI(BB, PPC::FMR, 1, Result).addReg(PPC::F1);
1541       break;
1542     }
1543     return Result+N.ResNo;
1544   }
1545
1546   case ISD::SIGN_EXTEND:
1547   case ISD::SIGN_EXTEND_INREG:
1548     Tmp1 = SelectExpr(N.getOperand(0));
1549     switch(cast<VTSDNode>(Node->getOperand(1))->getVT()) {
1550     default: Node->dump(); assert(0 && "Unhandled SIGN_EXTEND type"); break;
1551     case MVT::i16:
1552       BuildMI(BB, PPC::EXTSH, 1, Result).addReg(Tmp1);
1553       break;
1554     case MVT::i8:
1555       BuildMI(BB, PPC::EXTSB, 1, Result).addReg(Tmp1);
1556       break;
1557     case MVT::i1:
1558       BuildMI(BB, PPC::SUBFIC, 2, Result).addReg(Tmp1).addSImm(0);
1559       break;
1560     }
1561     return Result;
1562
1563   case ISD::CopyFromReg:
1564     DestType = N.getValue(0).getValueType();
1565     if (Result == 1)
1566       Result = ExprMap[N.getValue(0)] = MakeReg(DestType);
1567     Tmp1 = dyn_cast<RegSDNode>(Node)->getReg();
1568     if (MVT::isInteger(DestType))
1569       BuildMI(BB, PPC::OR, 2, Result).addReg(Tmp1).addReg(Tmp1);
1570     else
1571       BuildMI(BB, PPC::FMR, 1, Result).addReg(Tmp1);
1572     return Result;
1573
1574   case ISD::SHL:
1575     Tmp1 = SelectExpr(N.getOperand(0));
1576     if (ConstantSDNode *CN = dyn_cast<ConstantSDNode>(N.getOperand(1))) {
1577       Tmp2 = CN->getValue() & 0x1F;
1578       BuildMI(BB, PPC::RLWINM, 4, Result).addReg(Tmp1).addImm(Tmp2).addImm(0)
1579         .addImm(31-Tmp2);
1580     } else {
1581       Tmp2 = FoldIfWideZeroExtend(N.getOperand(1));
1582       BuildMI(BB, PPC::SLW, 2, Result).addReg(Tmp1).addReg(Tmp2);
1583     }
1584     return Result;
1585
1586   case ISD::SRL:
1587     Tmp1 = SelectExpr(N.getOperand(0));
1588     if (ConstantSDNode *CN = dyn_cast<ConstantSDNode>(N.getOperand(1))) {
1589       Tmp2 = CN->getValue() & 0x1F;
1590       BuildMI(BB, PPC::RLWINM, 4, Result).addReg(Tmp1).addImm(32-Tmp2)
1591         .addImm(Tmp2).addImm(31);
1592     } else {
1593       Tmp2 = FoldIfWideZeroExtend(N.getOperand(1));
1594       BuildMI(BB, PPC::SRW, 2, Result).addReg(Tmp1).addReg(Tmp2);
1595     }
1596     return Result;
1597
1598   case ISD::SRA:
1599     Tmp1 = SelectExpr(N.getOperand(0));
1600     if (ConstantSDNode *CN = dyn_cast<ConstantSDNode>(N.getOperand(1))) {
1601       Tmp2 = CN->getValue() & 0x1F;
1602       BuildMI(BB, PPC::SRAWI, 2, Result).addReg(Tmp1).addImm(Tmp2);
1603     } else {
1604       Tmp2 = FoldIfWideZeroExtend(N.getOperand(1));
1605       BuildMI(BB, PPC::SRAW, 2, Result).addReg(Tmp1).addReg(Tmp2);
1606     }
1607     return Result;
1608
1609   case ISD::CTLZ:
1610     Tmp1 = SelectExpr(N.getOperand(0));
1611     BuildMI(BB, PPC::CNTLZW, 1, Result).addReg(Tmp1);
1612     return Result;
1613
1614   case ISD::ADD:
1615     if (!MVT::isInteger(DestType)) {
1616       if (!NoExcessFPPrecision && N.getOperand(0).getOpcode() == ISD::MUL &&
1617           N.getOperand(0).Val->hasOneUse()) {
1618         ++FusedFP; // Statistic
1619         Tmp1 = SelectExpr(N.getOperand(0).getOperand(0));
1620         Tmp2 = SelectExpr(N.getOperand(0).getOperand(1));
1621         Tmp3 = SelectExpr(N.getOperand(1));
1622         Opc = DestType == MVT::f64 ? PPC::FMADD : PPC::FMADDS;
1623         BuildMI(BB, Opc, 3, Result).addReg(Tmp1).addReg(Tmp2).addReg(Tmp3);
1624         return Result;
1625       }
1626       if (!NoExcessFPPrecision && N.getOperand(1).getOpcode() == ISD::MUL &&
1627           N.getOperand(1).Val->hasOneUse()) {
1628         ++FusedFP; // Statistic
1629         Tmp1 = SelectExpr(N.getOperand(1).getOperand(0));
1630         Tmp2 = SelectExpr(N.getOperand(1).getOperand(1));
1631         Tmp3 = SelectExpr(N.getOperand(0));
1632         Opc = DestType == MVT::f64 ? PPC::FMADD : PPC::FMADDS;
1633         BuildMI(BB, Opc, 3, Result).addReg(Tmp1).addReg(Tmp2).addReg(Tmp3);
1634         return Result;
1635       }
1636       Opc = DestType == MVT::f64 ? PPC::FADD : PPC::FADDS;
1637       Tmp1 = SelectExpr(N.getOperand(0));
1638       Tmp2 = SelectExpr(N.getOperand(1));
1639       BuildMI(BB, Opc, 2, Result).addReg(Tmp1).addReg(Tmp2);
1640       return Result;
1641     }
1642     Tmp1 = SelectExpr(N.getOperand(0));
1643     switch(getImmediateForOpcode(N.getOperand(1), opcode, Tmp2)) {
1644       default: assert(0 && "unhandled result code");
1645       case 0: // No immediate
1646         Tmp2 = SelectExpr(N.getOperand(1));
1647         BuildMI(BB, PPC::ADD, 2, Result).addReg(Tmp1).addReg(Tmp2);
1648         break;
1649       case 1: // Low immediate
1650         BuildMI(BB, PPC::ADDI, 2, Result).addReg(Tmp1).addSImm(Tmp2);
1651         break;
1652       case 2: // Shifted immediate
1653         BuildMI(BB, PPC::ADDIS, 2, Result).addReg(Tmp1).addSImm(Tmp2);
1654         break;
1655     }
1656     return Result;
1657
1658   case ISD::AND:
1659     switch(getImmediateForOpcode(N.getOperand(1), opcode, Tmp2)) {
1660       default: assert(0 && "unhandled result code");
1661       case 0: // No immediate
1662         // Check for andc: and, (xor a, -1), b
1663         if (N.getOperand(0).getOpcode() == ISD::XOR &&
1664           N.getOperand(0).getOperand(1).getOpcode() == ISD::Constant &&
1665         cast<ConstantSDNode>(N.getOperand(0).getOperand(1))->isAllOnesValue()) {
1666           Tmp1 = SelectExpr(N.getOperand(0).getOperand(0));
1667           Tmp2 = SelectExpr(N.getOperand(1));
1668           BuildMI(BB, PPC::ANDC, 2, Result).addReg(Tmp2).addReg(Tmp1);
1669           return Result;
1670         }
1671         // It wasn't and-with-complement, emit a regular and
1672         Tmp1 = SelectExpr(N.getOperand(0));
1673         Tmp2 = SelectExpr(N.getOperand(1));
1674         Opc = Recording ? PPC::ANDo : PPC::AND;
1675         BuildMI(BB, Opc, 2, Result).addReg(Tmp1).addReg(Tmp2);
1676         break;
1677       case 1: // Low immediate
1678         Tmp1 = SelectExpr(N.getOperand(0));
1679         BuildMI(BB, PPC::ANDIo, 2, Result).addReg(Tmp1).addImm(Tmp2);
1680         break;
1681       case 2: // Shifted immediate
1682         Tmp1 = SelectExpr(N.getOperand(0));
1683         BuildMI(BB, PPC::ANDISo, 2, Result).addReg(Tmp1).addImm(Tmp2);
1684         break;
1685       case 5: // Bitfield mask
1686         Opc = Recording ? PPC::RLWINMo : PPC::RLWINM;
1687         Tmp3 = Tmp2 >> 16;  // MB
1688         Tmp2 &= 0xFFFF;     // ME
1689
1690         // FIXME: Catch SHL-AND in addition to SRL-AND in this block.
1691         if (N.getOperand(0).getOpcode() == ISD::SRL)
1692           if (ConstantSDNode *SA =
1693               dyn_cast<ConstantSDNode>(N.getOperand(0).getOperand(1))) {
1694
1695             // We can fold the RLWINM and the SRL together if the mask is
1696             // clearing the top bits which are rotated around.
1697             unsigned RotAmt = 32-(SA->getValue() & 31);
1698             if (Tmp2 <= RotAmt) {
1699               Tmp1 = SelectExpr(N.getOperand(0).getOperand(0));
1700               BuildMI(BB, Opc, 4, Result).addReg(Tmp1).addImm(RotAmt)
1701                 .addImm(Tmp3).addImm(Tmp2);
1702               break;
1703             }
1704           }
1705
1706         Tmp1 = SelectExpr(N.getOperand(0));
1707         BuildMI(BB, Opc, 4, Result).addReg(Tmp1).addImm(0)
1708           .addImm(Tmp3).addImm(Tmp2);
1709         break;
1710     }
1711     RecordSuccess = true;
1712     return Result;
1713
1714   case ISD::OR:
1715     if (SelectBitfieldInsert(N, Result))
1716       return Result;
1717     Tmp1 = SelectExpr(N.getOperand(0));
1718     switch(getImmediateForOpcode(N.getOperand(1), opcode, Tmp2)) {
1719       default: assert(0 && "unhandled result code");
1720       case 0: // No immediate
1721         Tmp2 = SelectExpr(N.getOperand(1));
1722         Opc = Recording ? PPC::ORo : PPC::OR;
1723         RecordSuccess = true;
1724         BuildMI(BB, Opc, 2, Result).addReg(Tmp1).addReg(Tmp2);
1725         break;
1726       case 1: // Low immediate
1727         BuildMI(BB, PPC::ORI, 2, Result).addReg(Tmp1).addImm(Tmp2);
1728         break;
1729       case 2: // Shifted immediate
1730         BuildMI(BB, PPC::ORIS, 2, Result).addReg(Tmp1).addImm(Tmp2);
1731         break;
1732     }
1733     return Result;
1734
1735   case ISD::XOR: {
1736     // Check for EQV: xor, (xor a, -1), b
1737     if (N.getOperand(0).getOpcode() == ISD::XOR &&
1738         N.getOperand(0).getOperand(1).getOpcode() == ISD::Constant &&
1739         cast<ConstantSDNode>(N.getOperand(0).getOperand(1))->isAllOnesValue()) {
1740       Tmp1 = SelectExpr(N.getOperand(0).getOperand(0));
1741       Tmp2 = SelectExpr(N.getOperand(1));
1742       BuildMI(BB, PPC::EQV, 2, Result).addReg(Tmp1).addReg(Tmp2);
1743       return Result;
1744     }
1745     // Check for NOT, NOR, EQV, and NAND: xor (copy, or, xor, and), -1
1746     if (N.getOperand(1).getOpcode() == ISD::Constant &&
1747         cast<ConstantSDNode>(N.getOperand(1))->isAllOnesValue()) {
1748       switch(N.getOperand(0).getOpcode()) {
1749       case ISD::OR:
1750         Tmp1 = SelectExpr(N.getOperand(0).getOperand(0));
1751         Tmp2 = SelectExpr(N.getOperand(0).getOperand(1));
1752         BuildMI(BB, PPC::NOR, 2, Result).addReg(Tmp1).addReg(Tmp2);
1753         break;
1754       case ISD::AND:
1755         Tmp1 = SelectExpr(N.getOperand(0).getOperand(0));
1756         Tmp2 = SelectExpr(N.getOperand(0).getOperand(1));
1757         BuildMI(BB, PPC::NAND, 2, Result).addReg(Tmp1).addReg(Tmp2);
1758         break;
1759       case ISD::XOR:
1760         Tmp1 = SelectExpr(N.getOperand(0).getOperand(0));
1761         Tmp2 = SelectExpr(N.getOperand(0).getOperand(1));
1762         BuildMI(BB, PPC::EQV, 2, Result).addReg(Tmp1).addReg(Tmp2);
1763         break;
1764       default:
1765         Tmp1 = SelectExpr(N.getOperand(0));
1766         BuildMI(BB, PPC::NOR, 2, Result).addReg(Tmp1).addReg(Tmp1);
1767         break;
1768       }
1769       return Result;
1770     }
1771     Tmp1 = SelectExpr(N.getOperand(0));
1772     switch(getImmediateForOpcode(N.getOperand(1), opcode, Tmp2)) {
1773       default: assert(0 && "unhandled result code");
1774       case 0: // No immediate
1775         Tmp2 = SelectExpr(N.getOperand(1));
1776         BuildMI(BB, PPC::XOR, 2, Result).addReg(Tmp1).addReg(Tmp2);
1777         break;
1778       case 1: // Low immediate
1779         BuildMI(BB, PPC::XORI, 2, Result).addReg(Tmp1).addImm(Tmp2);
1780         break;
1781       case 2: // Shifted immediate
1782         BuildMI(BB, PPC::XORIS, 2, Result).addReg(Tmp1).addImm(Tmp2);
1783         break;
1784     }
1785     return Result;
1786   }
1787
1788   case ISD::SUB:
1789     if (!MVT::isInteger(DestType)) {
1790       if (!NoExcessFPPrecision && N.getOperand(0).getOpcode() == ISD::MUL &&
1791           N.getOperand(0).Val->hasOneUse()) {
1792         ++FusedFP; // Statistic
1793         Tmp1 = SelectExpr(N.getOperand(0).getOperand(0));
1794         Tmp2 = SelectExpr(N.getOperand(0).getOperand(1));
1795         Tmp3 = SelectExpr(N.getOperand(1));
1796         Opc = DestType == MVT::f64 ? PPC::FMSUB : PPC::FMSUBS;
1797         BuildMI(BB, Opc, 3, Result).addReg(Tmp1).addReg(Tmp2).addReg(Tmp3);
1798         return Result;
1799       }
1800       if (!NoExcessFPPrecision && N.getOperand(1).getOpcode() == ISD::MUL &&
1801           N.getOperand(1).Val->hasOneUse()) {
1802         ++FusedFP; // Statistic
1803         Tmp1 = SelectExpr(N.getOperand(1).getOperand(0));
1804         Tmp2 = SelectExpr(N.getOperand(1).getOperand(1));
1805         Tmp3 = SelectExpr(N.getOperand(0));
1806         Opc = DestType == MVT::f64 ? PPC::FNMSUB : PPC::FNMSUBS;
1807         BuildMI(BB, Opc, 3, Result).addReg(Tmp1).addReg(Tmp2).addReg(Tmp3);
1808         return Result;
1809       }
1810       Opc = DestType == MVT::f64 ? PPC::FSUB : PPC::FSUBS;
1811       Tmp1 = SelectExpr(N.getOperand(0));
1812       Tmp2 = SelectExpr(N.getOperand(1));
1813       BuildMI(BB, Opc, 2, Result).addReg(Tmp1).addReg(Tmp2);
1814       return Result;
1815     }
1816     if (1 == getImmediateForOpcode(N.getOperand(0), opcode, Tmp1, true)) {
1817       Tmp2 = SelectExpr(N.getOperand(1));
1818       BuildMI(BB, PPC::SUBFIC, 2, Result).addReg(Tmp2).addSImm(Tmp1);
1819     } else if (1 == getImmediateForOpcode(N.getOperand(1), opcode, Tmp2)) {
1820       Tmp1 = SelectExpr(N.getOperand(0));
1821       BuildMI(BB, PPC::ADDI, 2, Result).addReg(Tmp1).addSImm(Tmp2);
1822     } else {
1823       Tmp1 = SelectExpr(N.getOperand(0));
1824       Tmp2 = SelectExpr(N.getOperand(1));
1825       BuildMI(BB, PPC::SUBF, 2, Result).addReg(Tmp2).addReg(Tmp1);
1826     }
1827     return Result;
1828
1829   case ISD::MUL:
1830     Tmp1 = SelectExpr(N.getOperand(0));
1831     if (1 == getImmediateForOpcode(N.getOperand(1), opcode, Tmp2))
1832       BuildMI(BB, PPC::MULLI, 2, Result).addReg(Tmp1).addSImm(Tmp2);
1833     else {
1834       Tmp2 = SelectExpr(N.getOperand(1));
1835       switch (DestType) {
1836       default: assert(0 && "Unknown type to ISD::MUL"); break;
1837       case MVT::i32: Opc = PPC::MULLW; break;
1838       case MVT::f32: Opc = PPC::FMULS; break;
1839       case MVT::f64: Opc = PPC::FMUL; break;
1840       }
1841       BuildMI(BB, Opc, 2, Result).addReg(Tmp1).addReg(Tmp2);
1842     }
1843     return Result;
1844
1845   case ISD::MULHS:
1846   case ISD::MULHU:
1847     Tmp1 = SelectExpr(N.getOperand(0));
1848     Tmp2 = SelectExpr(N.getOperand(1));
1849     Opc = (ISD::MULHU == opcode) ? PPC::MULHWU : PPC::MULHW;
1850     BuildMI(BB, Opc, 2, Result).addReg(Tmp1).addReg(Tmp2);
1851     return Result;
1852
1853   case ISD::SDIV:
1854   case ISD::UDIV:
1855     switch (getImmediateForOpcode(N.getOperand(1), opcode, Tmp3)) {
1856     default: break;
1857     // If this is an sdiv by a power of two, we can use an srawi/addze pair.
1858     case 3:
1859       Tmp1 = MakeReg(MVT::i32);
1860       Tmp2 = SelectExpr(N.getOperand(0));
1861       if ((int)Tmp3 < 0) {
1862         unsigned Tmp4 = MakeReg(MVT::i32);
1863         BuildMI(BB, PPC::SRAWI, 2, Tmp1).addReg(Tmp2).addImm(-Tmp3);
1864         BuildMI(BB, PPC::ADDZE, 1, Tmp4).addReg(Tmp1);
1865         BuildMI(BB, PPC::NEG, 1, Result).addReg(Tmp4);
1866       } else {
1867         BuildMI(BB, PPC::SRAWI, 2, Tmp1).addReg(Tmp2).addImm(Tmp3);
1868         BuildMI(BB, PPC::ADDZE, 1, Result).addReg(Tmp1);
1869       }
1870       return Result;
1871     // If this is a divide by constant, we can emit code using some magic
1872     // constants to implement it as a multiply instead.
1873     case 4:
1874       ExprMap.erase(N);
1875       if (opcode == ISD::SDIV)
1876         return SelectExpr(BuildSDIVSequence(N));
1877       else
1878         return SelectExpr(BuildUDIVSequence(N));
1879     }
1880     Tmp1 = SelectExpr(N.getOperand(0));
1881     Tmp2 = SelectExpr(N.getOperand(1));
1882     switch (DestType) {
1883     default: assert(0 && "Unknown type to ISD::SDIV"); break;
1884     case MVT::i32: Opc = (ISD::UDIV == opcode) ? PPC::DIVWU : PPC::DIVW; break;
1885     case MVT::f32: Opc = PPC::FDIVS; break;
1886     case MVT::f64: Opc = PPC::FDIV; break;
1887     }
1888     BuildMI(BB, Opc, 2, Result).addReg(Tmp1).addReg(Tmp2);
1889     return Result;
1890
1891   case ISD::ADD_PARTS:
1892   case ISD::SUB_PARTS: {
1893     assert(N.getNumOperands() == 4 && N.getValueType() == MVT::i32 &&
1894            "Not an i64 add/sub!");
1895     // Emit all of the operands.
1896     std::vector<unsigned> InVals;
1897     for (unsigned i = 0, e = N.getNumOperands(); i != e; ++i)
1898       InVals.push_back(SelectExpr(N.getOperand(i)));
1899     if (N.getOpcode() == ISD::ADD_PARTS) {
1900       BuildMI(BB, PPC::ADDC, 2, Result).addReg(InVals[0]).addReg(InVals[2]);
1901       BuildMI(BB, PPC::ADDE, 2, Result+1).addReg(InVals[1]).addReg(InVals[3]);
1902     } else {
1903       BuildMI(BB, PPC::SUBFC, 2, Result).addReg(InVals[2]).addReg(InVals[0]);
1904       BuildMI(BB, PPC::SUBFE, 2, Result+1).addReg(InVals[3]).addReg(InVals[1]);
1905     }
1906     return Result+N.ResNo;
1907   }
1908
1909   case ISD::SHL_PARTS:
1910   case ISD::SRA_PARTS:
1911   case ISD::SRL_PARTS: {
1912     assert(N.getNumOperands() == 3 && N.getValueType() == MVT::i32 &&
1913            "Not an i64 shift!");
1914     unsigned ShiftOpLo = SelectExpr(N.getOperand(0));
1915     unsigned ShiftOpHi = SelectExpr(N.getOperand(1));
1916     unsigned SHReg = FoldIfWideZeroExtend(N.getOperand(2));
1917     Tmp1 = MakeReg(MVT::i32);
1918     Tmp2 = MakeReg(MVT::i32);
1919     Tmp3 = MakeReg(MVT::i32);
1920     unsigned Tmp4 = MakeReg(MVT::i32);
1921     unsigned Tmp5 = MakeReg(MVT::i32);
1922     unsigned Tmp6 = MakeReg(MVT::i32);
1923     BuildMI(BB, PPC::SUBFIC, 2, Tmp1).addReg(SHReg).addSImm(32);
1924     if (ISD::SHL_PARTS == opcode) {
1925       BuildMI(BB, PPC::SLW, 2, Tmp2).addReg(ShiftOpHi).addReg(SHReg);
1926       BuildMI(BB, PPC::SRW, 2, Tmp3).addReg(ShiftOpLo).addReg(Tmp1);
1927       BuildMI(BB, PPC::OR, 2, Tmp4).addReg(Tmp2).addReg(Tmp3);
1928       BuildMI(BB, PPC::ADDI, 2, Tmp5).addReg(SHReg).addSImm(-32);
1929       BuildMI(BB, PPC::SLW, 2, Tmp6).addReg(ShiftOpLo).addReg(Tmp5);
1930       BuildMI(BB, PPC::OR, 2, Result+1).addReg(Tmp4).addReg(Tmp6);
1931       BuildMI(BB, PPC::SLW, 2, Result).addReg(ShiftOpLo).addReg(SHReg);
1932     } else if (ISD::SRL_PARTS == opcode) {
1933       BuildMI(BB, PPC::SRW, 2, Tmp2).addReg(ShiftOpLo).addReg(SHReg);
1934       BuildMI(BB, PPC::SLW, 2, Tmp3).addReg(ShiftOpHi).addReg(Tmp1);
1935       BuildMI(BB, PPC::OR, 2, Tmp4).addReg(Tmp2).addReg(Tmp3);
1936       BuildMI(BB, PPC::ADDI, 2, Tmp5).addReg(SHReg).addSImm(-32);
1937       BuildMI(BB, PPC::SRW, 2, Tmp6).addReg(ShiftOpHi).addReg(Tmp5);
1938       BuildMI(BB, PPC::OR, 2, Result).addReg(Tmp4).addReg(Tmp6);
1939       BuildMI(BB, PPC::SRW, 2, Result+1).addReg(ShiftOpHi).addReg(SHReg);
1940     } else {
1941       MachineBasicBlock *TmpMBB = new MachineBasicBlock(BB->getBasicBlock());
1942       MachineBasicBlock *PhiMBB = new MachineBasicBlock(BB->getBasicBlock());
1943       MachineBasicBlock *OldMBB = BB;
1944       MachineFunction *F = BB->getParent();
1945       ilist<MachineBasicBlock>::iterator It = BB; ++It;
1946       F->getBasicBlockList().insert(It, TmpMBB);
1947       F->getBasicBlockList().insert(It, PhiMBB);
1948       BB->addSuccessor(TmpMBB);
1949       BB->addSuccessor(PhiMBB);
1950       BuildMI(BB, PPC::SRW, 2, Tmp2).addReg(ShiftOpLo).addReg(SHReg);
1951       BuildMI(BB, PPC::SLW, 2, Tmp3).addReg(ShiftOpHi).addReg(Tmp1);
1952       BuildMI(BB, PPC::OR, 2, Tmp4).addReg(Tmp2).addReg(Tmp3);
1953       BuildMI(BB, PPC::ADDICo, 2, Tmp5).addReg(SHReg).addSImm(-32);
1954       BuildMI(BB, PPC::SRAW, 2, Tmp6).addReg(ShiftOpHi).addReg(Tmp5);
1955       BuildMI(BB, PPC::SRAW, 2, Result+1).addReg(ShiftOpHi).addReg(SHReg);
1956       BuildMI(BB, PPC::BLE, 2).addReg(PPC::CR0).addMBB(PhiMBB);
1957       // Select correct least significant half if the shift amount > 32
1958       BB = TmpMBB;
1959       unsigned Tmp7 = MakeReg(MVT::i32);
1960       BuildMI(BB, PPC::OR, 2, Tmp7).addReg(Tmp6).addReg(Tmp6);
1961       TmpMBB->addSuccessor(PhiMBB);
1962       BB = PhiMBB;
1963       BuildMI(BB, PPC::PHI, 4, Result).addReg(Tmp4).addMBB(OldMBB)
1964         .addReg(Tmp7).addMBB(TmpMBB);
1965     }
1966     return Result+N.ResNo;
1967   }
1968
1969   case ISD::FP_TO_UINT:
1970   case ISD::FP_TO_SINT: {
1971     bool U = (ISD::FP_TO_UINT == opcode);
1972     Tmp1 = SelectExpr(N.getOperand(0));
1973     if (!U) {
1974       Tmp2 = MakeReg(MVT::f64);
1975       BuildMI(BB, PPC::FCTIWZ, 1, Tmp2).addReg(Tmp1);
1976       int FrameIdx = BB->getParent()->getFrameInfo()->CreateStackObject(8, 8);
1977       addFrameReference(BuildMI(BB, PPC::STFD, 3).addReg(Tmp2), FrameIdx);
1978       addFrameReference(BuildMI(BB, PPC::LWZ, 2, Result), FrameIdx, 4);
1979       return Result;
1980     } else {
1981       unsigned Zero = getConstDouble(0.0);
1982       unsigned MaxInt = getConstDouble((1LL << 32) - 1);
1983       unsigned Border = getConstDouble(1LL << 31);
1984       unsigned UseZero = MakeReg(MVT::f64);
1985       unsigned UseMaxInt = MakeReg(MVT::f64);
1986       unsigned UseChoice = MakeReg(MVT::f64);
1987       unsigned TmpReg = MakeReg(MVT::f64);
1988       unsigned TmpReg2 = MakeReg(MVT::f64);
1989       unsigned ConvReg = MakeReg(MVT::f64);
1990       unsigned IntTmp = MakeReg(MVT::i32);
1991       unsigned XorReg = MakeReg(MVT::i32);
1992       MachineFunction *F = BB->getParent();
1993       int FrameIdx = F->getFrameInfo()->CreateStackObject(8, 8);
1994       // Update machine-CFG edges
1995       MachineBasicBlock *XorMBB = new MachineBasicBlock(BB->getBasicBlock());
1996       MachineBasicBlock *PhiMBB = new MachineBasicBlock(BB->getBasicBlock());
1997       MachineBasicBlock *OldMBB = BB;
1998       ilist<MachineBasicBlock>::iterator It = BB; ++It;
1999       F->getBasicBlockList().insert(It, XorMBB);
2000       F->getBasicBlockList().insert(It, PhiMBB);
2001       BB->addSuccessor(XorMBB);
2002       BB->addSuccessor(PhiMBB);
2003       // Convert from floating point to unsigned 32-bit value
2004       // Use 0 if incoming value is < 0.0
2005       BuildMI(BB, PPC::FSEL, 3, UseZero).addReg(Tmp1).addReg(Tmp1).addReg(Zero);
2006       // Use 2**32 - 1 if incoming value is >= 2**32
2007       BuildMI(BB, PPC::FSUB, 2, UseMaxInt).addReg(MaxInt).addReg(Tmp1);
2008       BuildMI(BB, PPC::FSEL, 3, UseChoice).addReg(UseMaxInt).addReg(UseZero)
2009         .addReg(MaxInt);
2010       // Subtract 2**31
2011       BuildMI(BB, PPC::FSUB, 2, TmpReg).addReg(UseChoice).addReg(Border);
2012       // Use difference if >= 2**31
2013       BuildMI(BB, PPC::FCMPU, 2, PPC::CR0).addReg(UseChoice).addReg(Border);
2014       BuildMI(BB, PPC::FSEL, 3, TmpReg2).addReg(TmpReg).addReg(TmpReg)
2015         .addReg(UseChoice);
2016       // Convert to integer
2017       BuildMI(BB, PPC::FCTIWZ, 1, ConvReg).addReg(TmpReg2);
2018       addFrameReference(BuildMI(BB, PPC::STFD, 3).addReg(ConvReg), FrameIdx);
2019       addFrameReference(BuildMI(BB, PPC::LWZ, 2, IntTmp), FrameIdx, 4);
2020       BuildMI(BB, PPC::BLT, 2).addReg(PPC::CR0).addMBB(PhiMBB);
2021       BuildMI(BB, PPC::B, 1).addMBB(XorMBB);
2022
2023       // XorMBB:
2024       //   add 2**31 if input was >= 2**31
2025       BB = XorMBB;
2026       BuildMI(BB, PPC::XORIS, 2, XorReg).addReg(IntTmp).addImm(0x8000);
2027       XorMBB->addSuccessor(PhiMBB);
2028
2029       // PhiMBB:
2030       //   DestReg = phi [ IntTmp, OldMBB ], [ XorReg, XorMBB ]
2031       BB = PhiMBB;
2032       BuildMI(BB, PPC::PHI, 4, Result).addReg(IntTmp).addMBB(OldMBB)
2033         .addReg(XorReg).addMBB(XorMBB);
2034       return Result;
2035     }
2036     assert(0 && "Should never get here");
2037     return 0;
2038   }
2039
2040   case ISD::SETCC:
2041     if (SetCCSDNode *SetCC = dyn_cast<SetCCSDNode>(Node)) {
2042       if (ConstantSDNode *CN =
2043           dyn_cast<ConstantSDNode>(SetCC->getOperand(1).Val)) {
2044         // We can codegen setcc op, imm very efficiently compared to a brcond.
2045         // Check for those cases here.
2046         // setcc op, 0
2047         if (CN->getValue() == 0) {
2048           Tmp1 = SelectExpr(SetCC->getOperand(0));
2049           switch (SetCC->getCondition()) {
2050           default: SetCC->dump(); assert(0 && "Unhandled SetCC condition"); abort();
2051           case ISD::SETEQ:
2052             Tmp2 = MakeReg(MVT::i32);
2053             BuildMI(BB, PPC::CNTLZW, 1, Tmp2).addReg(Tmp1);
2054             BuildMI(BB, PPC::RLWINM, 4, Result).addReg(Tmp2).addImm(27)
2055               .addImm(5).addImm(31);
2056             break;
2057           case ISD::SETNE:
2058             Tmp2 = MakeReg(MVT::i32);
2059             BuildMI(BB, PPC::ADDIC, 2, Tmp2).addReg(Tmp1).addSImm(-1);
2060             BuildMI(BB, PPC::SUBFE, 2, Result).addReg(Tmp2).addReg(Tmp1);
2061             break;
2062           case ISD::SETLT:
2063             BuildMI(BB, PPC::RLWINM, 4, Result).addReg(Tmp1).addImm(1)
2064               .addImm(31).addImm(31);
2065             break;
2066           case ISD::SETGT:
2067             Tmp2 = MakeReg(MVT::i32);
2068             Tmp3 = MakeReg(MVT::i32);
2069             BuildMI(BB, PPC::NEG, 2, Tmp2).addReg(Tmp1);
2070             BuildMI(BB, PPC::ANDC, 2, Tmp3).addReg(Tmp2).addReg(Tmp1);
2071             BuildMI(BB, PPC::RLWINM, 4, Result).addReg(Tmp3).addImm(1)
2072               .addImm(31).addImm(31);
2073             break;
2074           }
2075           return Result;
2076         }
2077         // setcc op, -1
2078         if (CN->isAllOnesValue()) {
2079           Tmp1 = SelectExpr(SetCC->getOperand(0));
2080           switch (SetCC->getCondition()) {
2081           default: assert(0 && "Unhandled SetCC condition"); abort();
2082           case ISD::SETEQ:
2083             Tmp2 = MakeReg(MVT::i32);
2084             Tmp3 = MakeReg(MVT::i32);
2085             BuildMI(BB, PPC::ADDIC, 2, Tmp2).addReg(Tmp1).addSImm(1);
2086             BuildMI(BB, PPC::LI, 1, Tmp3).addSImm(0);
2087             BuildMI(BB, PPC::ADDZE, 1, Result).addReg(Tmp3);
2088             break;
2089           case ISD::SETNE:
2090             Tmp2 = MakeReg(MVT::i32);
2091             Tmp3 = MakeReg(MVT::i32);
2092             BuildMI(BB, PPC::NOR, 2, Tmp2).addReg(Tmp1).addReg(Tmp1);
2093             BuildMI(BB, PPC::ADDIC, 2, Tmp3).addReg(Tmp2).addSImm(-1);
2094             BuildMI(BB, PPC::SUBFE, 2, Result).addReg(Tmp3).addReg(Tmp2);
2095             break;
2096           case ISD::SETLT:
2097             Tmp2 = MakeReg(MVT::i32);
2098             Tmp3 = MakeReg(MVT::i32);
2099             BuildMI(BB, PPC::ADDI, 2, Tmp2).addReg(Tmp1).addSImm(1);
2100             BuildMI(BB, PPC::AND, 2, Tmp3).addReg(Tmp2).addReg(Tmp1);
2101             BuildMI(BB, PPC::RLWINM, 4, Result).addReg(Tmp3).addImm(1)
2102               .addImm(31).addImm(31);
2103             break;
2104           case ISD::SETGT:
2105             Tmp2 = MakeReg(MVT::i32);
2106             BuildMI(BB, PPC::RLWINM, 4, Tmp2).addReg(Tmp1).addImm(1)
2107               .addImm(31).addImm(31);
2108             BuildMI(BB, PPC::XORI, 2, Result).addReg(Tmp2).addImm(1);
2109             break;
2110           }
2111           return Result;
2112         }
2113       }
2114
2115       bool Inv;
2116       unsigned CCReg = SelectCC(N, Opc, Inv, Tmp2);
2117       MoveCRtoGPR(CCReg, Inv, Tmp2, Result);
2118       return Result;
2119     }
2120     assert(0 && "Is this legal?");
2121     return 0;
2122
2123   case ISD::SELECT: {
2124     SetCCSDNode* SetCC = dyn_cast<SetCCSDNode>(N.getOperand(0).Val);
2125     if (SetCC && N.getOperand(0).getOpcode() == ISD::SETCC &&
2126         !MVT::isInteger(SetCC->getOperand(0).getValueType()) &&
2127         !MVT::isInteger(N.getOperand(1).getValueType()) &&
2128         !MVT::isInteger(N.getOperand(2).getValueType()) &&
2129         SetCC->getCondition() != ISD::SETEQ &&
2130         SetCC->getCondition() != ISD::SETNE) {
2131       MVT::ValueType VT = SetCC->getOperand(0).getValueType();
2132       unsigned TV = SelectExpr(N.getOperand(1)); // Use if TRUE
2133       unsigned FV = SelectExpr(N.getOperand(2)); // Use if FALSE
2134
2135       ConstantFPSDNode *CN = dyn_cast<ConstantFPSDNode>(SetCC->getOperand(1));
2136       if (CN && (CN->isExactlyValue(-0.0) || CN->isExactlyValue(0.0))) {
2137         switch(SetCC->getCondition()) {
2138         default: assert(0 && "Invalid FSEL condition"); abort();
2139         case ISD::SETULT:
2140         case ISD::SETLT:
2141           std::swap(TV, FV);  // fsel is natively setge, swap operands for setlt
2142         case ISD::SETUGE:
2143         case ISD::SETGE:
2144           Tmp1 = SelectExpr(SetCC->getOperand(0));   // Val to compare against
2145           BuildMI(BB, PPC::FSEL, 3, Result).addReg(Tmp1).addReg(TV).addReg(FV);
2146           return Result;
2147         case ISD::SETUGT:
2148         case ISD::SETGT:
2149           std::swap(TV, FV);  // fsel is natively setge, swap operands for setlt
2150         case ISD::SETULE:
2151         case ISD::SETLE: {
2152           if (SetCC->getOperand(0).getOpcode() == ISD::FNEG) {
2153             Tmp2 = SelectExpr(SetCC->getOperand(0).getOperand(0));
2154           } else {
2155             Tmp2 = MakeReg(VT);
2156             Tmp1 = SelectExpr(SetCC->getOperand(0));   // Val to compare against
2157             BuildMI(BB, PPC::FNEG, 1, Tmp2).addReg(Tmp1);
2158           }
2159           BuildMI(BB, PPC::FSEL, 3, Result).addReg(Tmp2).addReg(TV).addReg(FV);
2160           return Result;
2161         }
2162         }
2163       } else {
2164         Opc = (MVT::f64 == VT) ? PPC::FSUB : PPC::FSUBS;
2165         Tmp1 = SelectExpr(SetCC->getOperand(0));   // Val to compare against
2166         Tmp2 = SelectExpr(SetCC->getOperand(1));
2167         Tmp3 =  MakeReg(VT);
2168         switch(SetCC->getCondition()) {
2169         default: assert(0 && "Invalid FSEL condition"); abort();
2170         case ISD::SETULT:
2171         case ISD::SETLT:
2172           BuildMI(BB, Opc, 2, Tmp3).addReg(Tmp1).addReg(Tmp2);
2173           BuildMI(BB, PPC::FSEL, 3, Result).addReg(Tmp3).addReg(FV).addReg(TV);
2174           return Result;
2175         case ISD::SETUGE:
2176         case ISD::SETGE:
2177           BuildMI(BB, Opc, 2, Tmp3).addReg(Tmp1).addReg(Tmp2);
2178           BuildMI(BB, PPC::FSEL, 3, Result).addReg(Tmp3).addReg(TV).addReg(FV);
2179           return Result;
2180         case ISD::SETUGT:
2181         case ISD::SETGT:
2182           BuildMI(BB, Opc, 2, Tmp3).addReg(Tmp2).addReg(Tmp1);
2183           BuildMI(BB, PPC::FSEL, 3, Result).addReg(Tmp3).addReg(FV).addReg(TV);
2184           return Result;
2185         case ISD::SETULE:
2186         case ISD::SETLE:
2187           BuildMI(BB, Opc, 2, Tmp3).addReg(Tmp2).addReg(Tmp1);
2188           BuildMI(BB, PPC::FSEL, 3, Result).addReg(Tmp3).addReg(TV).addReg(FV);
2189           return Result;
2190         }
2191       }
2192       assert(0 && "Should never get here");
2193       return 0;
2194     }
2195
2196     bool Inv;
2197     unsigned TrueValue = SelectExpr(N.getOperand(1)); //Use if TRUE
2198     unsigned FalseValue = SelectExpr(N.getOperand(2)); //Use if FALSE
2199     unsigned CCReg = SelectCC(N.getOperand(0), Opc, Inv, Tmp3);
2200
2201     // Create an iterator with which to insert the MBB for copying the false
2202     // value and the MBB to hold the PHI instruction for this SetCC.
2203     MachineBasicBlock *thisMBB = BB;
2204     const BasicBlock *LLVM_BB = BB->getBasicBlock();
2205     ilist<MachineBasicBlock>::iterator It = BB;
2206     ++It;
2207
2208     //  thisMBB:
2209     //  ...
2210     //   TrueVal = ...
2211     //   cmpTY ccX, r1, r2
2212     //   bCC copy1MBB
2213     //   fallthrough --> copy0MBB
2214     MachineBasicBlock *copy0MBB = new MachineBasicBlock(LLVM_BB);
2215     MachineBasicBlock *sinkMBB = new MachineBasicBlock(LLVM_BB);
2216     BuildMI(BB, Opc, 2).addReg(CCReg).addMBB(sinkMBB);
2217     MachineFunction *F = BB->getParent();
2218     F->getBasicBlockList().insert(It, copy0MBB);
2219     F->getBasicBlockList().insert(It, sinkMBB);
2220     // Update machine-CFG edges
2221     BB->addSuccessor(copy0MBB);
2222     BB->addSuccessor(sinkMBB);
2223
2224     //  copy0MBB:
2225     //   %FalseValue = ...
2226     //   # fallthrough to sinkMBB
2227     BB = copy0MBB;
2228     // Update machine-CFG edges
2229     BB->addSuccessor(sinkMBB);
2230
2231     //  sinkMBB:
2232     //   %Result = phi [ %FalseValue, copy0MBB ], [ %TrueValue, thisMBB ]
2233     //  ...
2234     BB = sinkMBB;
2235     BuildMI(BB, PPC::PHI, 4, Result).addReg(FalseValue)
2236       .addMBB(copy0MBB).addReg(TrueValue).addMBB(thisMBB);
2237     return Result;
2238   }
2239
2240   case ISD::Constant:
2241     switch (N.getValueType()) {
2242     default: assert(0 && "Cannot use constants of this type!");
2243     case MVT::i1:
2244       BuildMI(BB, PPC::LI, 1, Result)
2245         .addSImm(!cast<ConstantSDNode>(N)->isNullValue());
2246       break;
2247     case MVT::i32:
2248       {
2249         int v = (int)cast<ConstantSDNode>(N)->getSignExtended();
2250         if (v < 32768 && v >= -32768) {
2251           BuildMI(BB, PPC::LI, 1, Result).addSImm(v);
2252         } else {
2253           Tmp1 = MakeReg(MVT::i32);
2254           BuildMI(BB, PPC::LIS, 1, Tmp1).addSImm(v >> 16);
2255           BuildMI(BB, PPC::ORI, 2, Result).addReg(Tmp1).addImm(v & 0xFFFF);
2256         }
2257       }
2258     }
2259     return Result;
2260
2261   case ISD::ConstantFP: {
2262     ConstantFPSDNode *CN = cast<ConstantFPSDNode>(N);
2263     Result = getConstDouble(CN->getValue(), Result);
2264     return Result;
2265   }
2266
2267   case ISD::FNEG:
2268     if (!NoExcessFPPrecision &&
2269         ISD::ADD == N.getOperand(0).getOpcode() &&
2270         N.getOperand(0).Val->hasOneUse() &&
2271         ISD::MUL == N.getOperand(0).getOperand(0).getOpcode() &&
2272         N.getOperand(0).getOperand(0).Val->hasOneUse()) {
2273       ++FusedFP; // Statistic
2274       Tmp1 = SelectExpr(N.getOperand(0).getOperand(0).getOperand(0));
2275       Tmp2 = SelectExpr(N.getOperand(0).getOperand(0).getOperand(1));
2276       Tmp3 = SelectExpr(N.getOperand(0).getOperand(1));
2277       Opc = DestType == MVT::f64 ? PPC::FNMADD : PPC::FNMADDS;
2278       BuildMI(BB, Opc, 3, Result).addReg(Tmp1).addReg(Tmp2).addReg(Tmp3);
2279     } else if (!NoExcessFPPrecision &&
2280         ISD::ADD == N.getOperand(0).getOpcode() &&
2281         N.getOperand(0).Val->hasOneUse() &&
2282         ISD::MUL == N.getOperand(0).getOperand(1).getOpcode() &&
2283         N.getOperand(0).getOperand(1).Val->hasOneUse()) {
2284       ++FusedFP; // Statistic
2285       Tmp1 = SelectExpr(N.getOperand(0).getOperand(1).getOperand(0));
2286       Tmp2 = SelectExpr(N.getOperand(0).getOperand(1).getOperand(1));
2287       Tmp3 = SelectExpr(N.getOperand(0).getOperand(0));
2288       Opc = DestType == MVT::f64 ? PPC::FNMADD : PPC::FNMADDS;
2289       BuildMI(BB, Opc, 3, Result).addReg(Tmp1).addReg(Tmp2).addReg(Tmp3);
2290     } else if (ISD::FABS == N.getOperand(0).getOpcode()) {
2291       Tmp1 = SelectExpr(N.getOperand(0).getOperand(0));
2292       BuildMI(BB, PPC::FNABS, 1, Result).addReg(Tmp1);
2293     } else {
2294       Tmp1 = SelectExpr(N.getOperand(0));
2295       BuildMI(BB, PPC::FNEG, 1, Result).addReg(Tmp1);
2296     }
2297     return Result;
2298
2299   case ISD::FABS:
2300     Tmp1 = SelectExpr(N.getOperand(0));
2301     BuildMI(BB, PPC::FABS, 1, Result).addReg(Tmp1);
2302     return Result;
2303
2304   case ISD::FSQRT:
2305     Tmp1 = SelectExpr(N.getOperand(0));
2306     Opc = DestType == MVT::f64 ? PPC::FSQRT : PPC::FSQRTS;
2307     BuildMI(BB, Opc, 1, Result).addReg(Tmp1);
2308     return Result;
2309
2310   case ISD::FP_ROUND:
2311     assert (DestType == MVT::f32 &&
2312             N.getOperand(0).getValueType() == MVT::f64 &&
2313             "only f64 to f32 conversion supported here");
2314     Tmp1 = SelectExpr(N.getOperand(0));
2315     BuildMI(BB, PPC::FRSP, 1, Result).addReg(Tmp1);
2316     return Result;
2317
2318   case ISD::FP_EXTEND:
2319     assert (DestType == MVT::f64 &&
2320             N.getOperand(0).getValueType() == MVT::f32 &&
2321             "only f32 to f64 conversion supported here");
2322     Tmp1 = SelectExpr(N.getOperand(0));
2323     BuildMI(BB, PPC::FMR, 1, Result).addReg(Tmp1);
2324     return Result;
2325
2326   case ISD::UINT_TO_FP:
2327   case ISD::SINT_TO_FP: {
2328     assert (N.getOperand(0).getValueType() == MVT::i32
2329             && "int to float must operate on i32");
2330     bool IsUnsigned = (ISD::UINT_TO_FP == opcode);
2331     Tmp1 = SelectExpr(N.getOperand(0));  // Get the operand register
2332     Tmp2 = MakeReg(MVT::f64); // temp reg to load the integer value into
2333     Tmp3 = MakeReg(MVT::i32); // temp reg to hold the conversion constant
2334
2335     int FrameIdx = BB->getParent()->getFrameInfo()->CreateStackObject(8, 8);
2336     MachineConstantPool *CP = BB->getParent()->getConstantPool();
2337
2338     if (IsUnsigned) {
2339       unsigned ConstF = getConstDouble(0x1.000000p52);
2340       // Store the hi & low halves of the fp value, currently in int regs
2341       BuildMI(BB, PPC::LIS, 1, Tmp3).addSImm(0x4330);
2342       addFrameReference(BuildMI(BB, PPC::STW, 3).addReg(Tmp3), FrameIdx);
2343       addFrameReference(BuildMI(BB, PPC::STW, 3).addReg(Tmp1), FrameIdx, 4);
2344       addFrameReference(BuildMI(BB, PPC::LFD, 2, Tmp2), FrameIdx);
2345       // Generate the return value with a subtract
2346       BuildMI(BB, PPC::FSUB, 2, Result).addReg(Tmp2).addReg(ConstF);
2347     } else {
2348       unsigned ConstF = getConstDouble(0x1.000008p52);
2349       unsigned TmpL = MakeReg(MVT::i32);
2350       // Store the hi & low halves of the fp value, currently in int regs
2351       BuildMI(BB, PPC::LIS, 1, Tmp3).addSImm(0x4330);
2352       addFrameReference(BuildMI(BB, PPC::STW, 3).addReg(Tmp3), FrameIdx);
2353       BuildMI(BB, PPC::XORIS, 2, TmpL).addReg(Tmp1).addImm(0x8000);
2354       addFrameReference(BuildMI(BB, PPC::STW, 3).addReg(TmpL), FrameIdx, 4);
2355       addFrameReference(BuildMI(BB, PPC::LFD, 2, Tmp2), FrameIdx);
2356       // Generate the return value with a subtract
2357       BuildMI(BB, PPC::FSUB, 2, Result).addReg(Tmp2).addReg(ConstF);
2358     }
2359     return Result;
2360   }
2361   }
2362   return 0;
2363 }
2364
2365 void ISel::Select(SDOperand N) {
2366   unsigned Tmp1, Tmp2, Tmp3, Opc;
2367   unsigned opcode = N.getOpcode();
2368
2369   if (!ExprMap.insert(std::make_pair(N, 1)).second)
2370     return;  // Already selected.
2371
2372   SDNode *Node = N.Val;
2373
2374   switch (Node->getOpcode()) {
2375   default:
2376     Node->dump(); std::cerr << "\n";
2377     assert(0 && "Node not handled yet!");
2378   case ISD::EntryToken: return;  // Noop
2379   case ISD::TokenFactor:
2380     for (unsigned i = 0, e = Node->getNumOperands(); i != e; ++i)
2381       Select(Node->getOperand(i));
2382     return;
2383   case ISD::CALLSEQ_START:
2384   case ISD::CALLSEQ_END:
2385     Select(N.getOperand(0));
2386     Tmp1 = cast<ConstantSDNode>(N.getOperand(1))->getValue();
2387     Opc = N.getOpcode() == ISD::CALLSEQ_START ? PPC::ADJCALLSTACKDOWN :
2388       PPC::ADJCALLSTACKUP;
2389     BuildMI(BB, Opc, 1).addImm(Tmp1);
2390     return;
2391   case ISD::BR: {
2392     MachineBasicBlock *Dest =
2393       cast<BasicBlockSDNode>(N.getOperand(1))->getBasicBlock();
2394     Select(N.getOperand(0));
2395     BuildMI(BB, PPC::B, 1).addMBB(Dest);
2396     return;
2397   }
2398   case ISD::BRCOND:
2399   case ISD::BRCONDTWOWAY:
2400     SelectBranchCC(N);
2401     return;
2402   case ISD::CopyToReg:
2403     Select(N.getOperand(0));
2404     Tmp1 = SelectExpr(N.getOperand(1));
2405     Tmp2 = cast<RegSDNode>(N)->getReg();
2406
2407     if (Tmp1 != Tmp2) {
2408       if (N.getOperand(1).getValueType() == MVT::f64 ||
2409           N.getOperand(1).getValueType() == MVT::f32)
2410         BuildMI(BB, PPC::FMR, 1, Tmp2).addReg(Tmp1);
2411       else
2412         BuildMI(BB, PPC::OR, 2, Tmp2).addReg(Tmp1).addReg(Tmp1);
2413     }
2414     return;
2415   case ISD::ImplicitDef:
2416     Select(N.getOperand(0));
2417     BuildMI(BB, PPC::IMPLICIT_DEF, 0, cast<RegSDNode>(N)->getReg());
2418     return;
2419   case ISD::RET:
2420     switch (N.getNumOperands()) {
2421     default:
2422       assert(0 && "Unknown return instruction!");
2423     case 3:
2424       assert(N.getOperand(1).getValueType() == MVT::i32 &&
2425              N.getOperand(2).getValueType() == MVT::i32 &&
2426              "Unknown two-register value!");
2427       Select(N.getOperand(0));
2428       Tmp1 = SelectExpr(N.getOperand(1));
2429       Tmp2 = SelectExpr(N.getOperand(2));
2430       BuildMI(BB, PPC::OR, 2, PPC::R3).addReg(Tmp2).addReg(Tmp2);
2431       BuildMI(BB, PPC::OR, 2, PPC::R4).addReg(Tmp1).addReg(Tmp1);
2432       break;
2433     case 2:
2434       Select(N.getOperand(0));
2435       Tmp1 = SelectExpr(N.getOperand(1));
2436       switch (N.getOperand(1).getValueType()) {
2437         default:
2438           assert(0 && "Unknown return type!");
2439         case MVT::f64:
2440         case MVT::f32:
2441           BuildMI(BB, PPC::FMR, 1, PPC::F1).addReg(Tmp1);
2442           break;
2443         case MVT::i32:
2444           BuildMI(BB, PPC::OR, 2, PPC::R3).addReg(Tmp1).addReg(Tmp1);
2445           break;
2446       }
2447     case 1:
2448       Select(N.getOperand(0));
2449       break;
2450     }
2451     BuildMI(BB, PPC::BLR, 0); // Just emit a 'ret' instruction
2452     return;
2453   case ISD::TRUNCSTORE:
2454   case ISD::STORE: {
2455     SDOperand Chain   = N.getOperand(0);
2456     SDOperand Value   = N.getOperand(1);
2457     SDOperand Address = N.getOperand(2);
2458     Select(Chain);
2459
2460     Tmp1 = SelectExpr(Value); //value
2461
2462     if (opcode == ISD::STORE) {
2463       switch(Value.getValueType()) {
2464       default: assert(0 && "unknown Type in store");
2465       case MVT::i32: Opc = PPC::STW; break;
2466       case MVT::f64: Opc = PPC::STFD; break;
2467       case MVT::f32: Opc = PPC::STFS; break;
2468       }
2469     } else { //ISD::TRUNCSTORE
2470       switch(cast<VTSDNode>(Node->getOperand(4))->getVT()) {
2471       default: assert(0 && "unknown Type in store");
2472       case MVT::i1:
2473       case MVT::i8: Opc  = PPC::STB; break;
2474       case MVT::i16: Opc = PPC::STH; break;
2475       }
2476     }
2477
2478     if(Address.getOpcode() == ISD::FrameIndex) {
2479       Tmp2 = cast<FrameIndexSDNode>(Address)->getIndex();
2480       addFrameReference(BuildMI(BB, Opc, 3).addReg(Tmp1), (int)Tmp2);
2481     } else if(GlobalAddressSDNode *GN = dyn_cast<GlobalAddressSDNode>(Address)){
2482       GlobalValue *GV = GN->getGlobal();
2483       Tmp2 = MakeReg(MVT::i32);
2484       if (PICEnabled)
2485         BuildMI(BB, PPC::ADDIS, 2, Tmp2).addReg(getGlobalBaseReg())
2486           .addGlobalAddress(GV);
2487       else
2488         BuildMI(BB, PPC::LIS, 2, Tmp2).addGlobalAddress(GV);
2489       if (GV->hasWeakLinkage() || GV->isExternal()) {
2490         Tmp3 = MakeReg(MVT::i32);
2491         BuildMI(BB, PPC::LWZ, 2, Tmp3).addGlobalAddress(GV).addReg(Tmp2);
2492         BuildMI(BB, Opc, 3).addReg(Tmp1).addSImm(0).addReg(Tmp3);
2493       } else {
2494         BuildMI(BB, Opc, 3).addReg(Tmp1).addGlobalAddress(GV).addReg(Tmp2);
2495       }
2496     } else {
2497       int offset;
2498       bool idx = SelectAddr(Address, Tmp2, offset);
2499       if (idx) {
2500         Opc = IndexedOpForOp(Opc);
2501         BuildMI(BB, Opc, 3).addReg(Tmp1).addReg(Tmp2).addReg(offset);
2502       } else {
2503         BuildMI(BB, Opc, 3).addReg(Tmp1).addImm(offset).addReg(Tmp2);
2504       }
2505     }
2506     return;
2507   }
2508   case ISD::EXTLOAD:
2509   case ISD::SEXTLOAD:
2510   case ISD::ZEXTLOAD:
2511   case ISD::LOAD:
2512   case ISD::CopyFromReg:
2513   case ISD::TAILCALL:
2514   case ISD::CALL:
2515   case ISD::DYNAMIC_STACKALLOC:
2516     ExprMap.erase(N);
2517     SelectExpr(N);
2518     return;
2519   }
2520   assert(0 && "Should not be reached!");
2521 }
2522
2523
2524 /// createPPC32PatternInstructionSelector - This pass converts an LLVM function
2525 /// into a machine code representation using pattern matching and a machine
2526 /// description file.
2527 ///
2528 FunctionPass *llvm::createPPC32ISelPattern(TargetMachine &TM) {
2529   return new ISel(TM);
2530 }
2531