okay, one more
[oota-llvm.git] / lib / Target / SparcV8 / SparcV8InstrInfo.td
index 3c9b8d433587d672699427bef6596ecc10408c5c..61bbfbdbabf728a54de8f433d464403b51c57e48 100644 (file)
 
 include "SparcV8InstrFormats.td"
 
+//===----------------------------------------------------------------------===//
+// Feature predicates.
+//===----------------------------------------------------------------------===//
+
+// HasV9 - This predicate is true when the target processor supports V9
+// instructions.  Note that the machine may be running in 32-bit mode.
+def HasV9   : Predicate<"Subtarget.isV9()">;
+
+// HasNoV9 - This predicate is true when the target doesn't have V9
+// instructions.  Use of this is just a hack for the isel not having proper
+// costs for V8 instructions that are more expensive than their V9 ones.
+def HasNoV9 : Predicate<"!Subtarget.isV9()">;
+
+// HasVIS - This is true when the target processor has VIS extensions.
+def HasVIS : Predicate<"Subtarget.isVIS()">;
+
+// UseDeprecatedInsts - This predicate is true when the target processor is a
+// V8, or when it is V9 but the V8 deprecated instructions are efficient enough
+// to use when appropriate.  In either of these cases, the instruction selector
+// will pick deprecated instructions.
+def UseDeprecatedInsts : Predicate<"Subtarget.useDeprecatedV8Instructions()">;
+
 //===----------------------------------------------------------------------===//
 // Instruction Pattern Stuff
 //===----------------------------------------------------------------------===//
 
+def simm11  : PatLeaf<(imm), [{
+  // simm11 predicate - True if the imm fits in a 11-bit sign extended field.
+  return (((int)N->getValue() << (32-11)) >> (32-11)) == (int)N->getValue();
+}]>;
+
 def simm13  : PatLeaf<(imm), [{
   // simm13 predicate - True if the imm fits in a 13-bit sign extended field.
   return (((int)N->getValue() << (32-13)) >> (32-13)) == (int)N->getValue();
@@ -59,27 +86,33 @@ def MEMri : Operand<i32> {
 def brtarget : Operand<OtherVT>;
 def calltarget : Operand<i32>;
 
-def SDTV8cmpicc : 
-SDTypeProfile<1, 2, [SDTCisVT<0, FlagVT>, SDTCisInt<1>, SDTCisSameAs<1, 2>]>;
+// Operand for printing out a condition code.
+let PrintMethod = "printV8CCOperand" in
+  def V8CC : Operand<i32>;
+
 def SDTV8cmpfcc : 
 SDTypeProfile<1, 2, [SDTCisVT<0, FlagVT>, SDTCisFP<1>, SDTCisSameAs<1, 2>]>;
 def SDTV8brcc : 
-SDTypeProfile<0, 3, [SDTCisVT<0, OtherVT>, SDTCisVT<1, OtherVT>,
+SDTypeProfile<0, 3, [SDTCisVT<0, OtherVT>, SDTCisVT<1, i32>,
                      SDTCisVT<2, FlagVT>]>;
 def SDTV8selectcc :
 SDTypeProfile<1, 4, [SDTCisSameAs<0, 1>, SDTCisSameAs<1, 2>, 
                      SDTCisVT<3, i32>, SDTCisVT<4, FlagVT>]>;
+def SDTV8FTOI :
+SDTypeProfile<1, 1, [SDTCisVT<0, f32>, SDTCisFP<1>]>;
+def SDTV8ITOF :
+SDTypeProfile<1, 1, [SDTCisFP<0>, SDTCisVT<1, f32>]>;
 
-def V8cmpicc : SDNode<"V8ISD::CMPICC", SDTV8cmpicc>;
-def V8cmpfcc : SDNode<"V8ISD::CMPFCC", SDTV8cmpfcc>;
+def V8cmpicc : SDNode<"V8ISD::CMPICC", SDTIntBinOp, [SDNPOutFlag]>;
+def V8cmpfcc : SDNode<"V8ISD::CMPFCC", SDTV8cmpfcc, [SDNPOutFlag]>;
 def V8bricc : SDNode<"V8ISD::BRICC", SDTV8brcc, [SDNPHasChain]>;
 def V8brfcc : SDNode<"V8ISD::BRFCC", SDTV8brcc, [SDNPHasChain]>;
 
 def V8hi    : SDNode<"V8ISD::Hi", SDTIntUnaryOp>;
 def V8lo    : SDNode<"V8ISD::Lo", SDTIntUnaryOp>;
 
-def V8ftoi  : SDNode<"V8ISD::FTOI", SDTFPUnaryOp>;
-def V8itof  : SDNode<"V8ISD::ITOF", SDTFPUnaryOp>;
+def V8ftoi  : SDNode<"V8ISD::FTOI", SDTV8FTOI>;
+def V8itof  : SDNode<"V8ISD::ITOF", SDTV8ITOF>;
 
 def V8selecticc : SDNode<"V8ISD::SELECT_ICC", SDTV8selectcc>;
 def V8selectfcc : SDNode<"V8ISD::SELECT_FCC", SDTV8selectcc>;
@@ -89,12 +122,52 @@ def SDT_V8CallSeq : SDTypeProfile<0, 1, [ SDTCisVT<0, i32> ]>;
 def callseq_start : SDNode<"ISD::CALLSEQ_START", SDT_V8CallSeq, [SDNPHasChain]>;
 def callseq_end   : SDNode<"ISD::CALLSEQ_END",   SDT_V8CallSeq, [SDNPHasChain]>;
 
-def SDT_V8Call    : SDTypeProfile<1, 2, [SDTCisVT<0, FlagVT>, SDTCisVT<1, i32>,
-                                         SDTCisVT<2, FlagVT>]>;
-def call          : SDNode<"ISD::CALL", SDT_V8Call, [SDNPHasChain]>;
+def SDT_V8Call    : SDTypeProfile<0, 1, [SDTCisVT<0, i32>]>;
+def call          : SDNode<"V8ISD::CALL", SDT_V8Call,
+                          [SDNPHasChain, SDNPOptInFlag, SDNPOutFlag]>;
+
+def SDT_V8RetFlag : SDTypeProfile<0, 0, []>;
+def retflag       : SDNode<"V8ISD::RET_FLAG", SDT_V8RetFlag,
+                          [SDNPHasChain, SDNPOptInFlag]>;
+
+//===----------------------------------------------------------------------===//
+// SPARC Flag Conditions
+//===----------------------------------------------------------------------===//
+
+// Note that these values must be kept in sync with the V8CC::CondCode enum
+// values.
+class ICC_VAL<int N> : PatLeaf<(i32 N)>;
+def ICC_NE  : ICC_VAL< 9>;  // Not Equal
+def ICC_E   : ICC_VAL< 1>;  // Equal
+def ICC_G   : ICC_VAL<10>;  // Greater
+def ICC_LE  : ICC_VAL< 2>;  // Less or Equal
+def ICC_GE  : ICC_VAL<11>;  // Greater or Equal
+def ICC_L   : ICC_VAL< 3>;  // Less
+def ICC_GU  : ICC_VAL<12>;  // Greater Unsigned
+def ICC_LEU : ICC_VAL< 4>;  // Less or Equal Unsigned
+def ICC_CC  : ICC_VAL<13>;  // Carry Clear/Great or Equal Unsigned
+def ICC_CS  : ICC_VAL< 5>;  // Carry Set/Less Unsigned
+def ICC_POS : ICC_VAL<14>;  // Positive
+def ICC_NEG : ICC_VAL< 6>;  // Negative
+def ICC_VC  : ICC_VAL<15>;  // Overflow Clear
+def ICC_VS  : ICC_VAL< 7>;  // Overflow Set
+
+class FCC_VAL<int N> : PatLeaf<(i32 N)>;
+def FCC_U   : FCC_VAL<23>;  // Unordered
+def FCC_G   : FCC_VAL<22>;  // Greater
+def FCC_UG  : FCC_VAL<21>;  // Unordered or Greater
+def FCC_L   : FCC_VAL<20>;  // Less
+def FCC_UL  : FCC_VAL<19>;  // Unordered or Less
+def FCC_LG  : FCC_VAL<18>;  // Less or Greater
+def FCC_NE  : FCC_VAL<17>;  // Not Equal
+def FCC_E   : FCC_VAL<25>;  // Equal
+def FCC_UE  : FCC_VAL<24>;  // Unordered or Equal
+def FCC_GE  : FCC_VAL<25>;  // Greater or Equal
+def FCC_UGE : FCC_VAL<26>;  // Unordered or Greater or Equal
+def FCC_LE  : FCC_VAL<27>;  // Less or Equal
+def FCC_ULE : FCC_VAL<28>;  // Unordered or Less or Equal
+def FCC_O   : FCC_VAL<29>;  // Ordered
 
-def SDT_V8RetFlag : SDTypeProfile<0, 1, [ SDTCisVT<0, FlagVT>]>;
-def retflag       : SDNode<"V8ISD::RET_FLAG", SDT_V8RetFlag, [SDNPHasChain]>;
 
 //===----------------------------------------------------------------------===//
 // Instructions
@@ -104,7 +177,6 @@ def retflag       : SDNode<"V8ISD::RET_FLAG", SDT_V8RetFlag, [SDNPHasChain]>;
 class Pseudo<dag ops, string asmstr, list<dag> pattern>
    : InstV8<ops, asmstr, pattern>;
 
-def PHI : Pseudo<(ops variable_ops), "PHI", []>;
 def ADJCALLSTACKDOWN : Pseudo<(ops i32imm:$amt),
                                "!ADJCALLSTACKDOWN $amt",
                                [(callseq_start imm:$amt)]>;
@@ -118,13 +190,25 @@ def IMPLICIT_DEF_FP  : Pseudo<(ops FPRegs:$dst), "!IMPLICIT_DEF $dst",
                               [(set FPRegs:$dst, (undef))]>;
 def IMPLICIT_DEF_DFP : Pseudo<(ops DFPRegs:$dst), "!IMPLICIT_DEF $dst",
                               [(set DFPRegs:$dst, (undef))]>;
-def FpMOVD : Pseudo<(ops DFPRegs:$dst, DFPRegs:$src),
-                    "!FpMOVD", []>;      // pseudo 64-bit double move
+                              
+// FpMOVD/FpNEGD/FpABSD - These are lowered to single-precision ops by the 
+// fpmover pass.
+let Predicates = [HasNoV9] in {  // Only emit these in V8 mode.
+  def FpMOVD : Pseudo<(ops DFPRegs:$dst, DFPRegs:$src),
+                      "!FpMOVD $src, $dst", []>;
+  def FpNEGD : Pseudo<(ops DFPRegs:$dst, DFPRegs:$src),
+                      "!FpNEGD $src, $dst",
+                      [(set DFPRegs:$dst, (fneg DFPRegs:$src))]>;
+  def FpABSD : Pseudo<(ops DFPRegs:$dst, DFPRegs:$src),
+                      "!FpABSD $src, $dst",
+                      [(set DFPRegs:$dst, (fabs DFPRegs:$src))]>;
+}
 
 // SELECT_CC_* - Used to implement the SELECT_CC DAG operation.  Expanded by the
 // scheduler into a branch sequence.  This has to handle all permutations of
 // selection between i32/f32/f64 on ICC and FCC.
-let usesCustomDAGSchedInserter = 1 in {  // Expanded by the scheduler.
+let usesCustomDAGSchedInserter = 1,    // Expanded by the scheduler.
+    Predicates = [HasNoV9] in {        // V9 has conditional moves
   def SELECT_CC_Int_ICC
    : Pseudo<(ops IntRegs:$dst, IntRegs:$T, IntRegs:$F, i32imm:$Cond),
             "; SELECT_CC_Int_ICC PSEUDO!",
@@ -157,12 +241,12 @@ let usesCustomDAGSchedInserter = 1 in {  // Expanded by the scheduler.
                                              imm:$Cond, FCC))]>;
 }
 
+
 // Section A.3 - Synthetic Instructions, p. 85
 // special cases of JMPL:
-let isReturn = 1, isTerminator = 1, hasDelaySlot = 1 in {
+let isReturn = 1, isTerminator = 1, hasDelaySlot = 1, noResults = 1 in {
   let rd = O7.Num, rs1 = G0.Num, simm13 = 8 in
-    def RETL: F3_2<2, 0b111000, (ops),
-                   "retl", [(ret)]>;
+    def RETL: F3_2<2, 0b111000, (ops), "retl", [(retflag)]>;
 }
 
 // Section B.1 - Load Integer Instructions, p. 90
@@ -322,7 +406,7 @@ def XORri   : F3_2<2, 0b000011,
 def XNORrr  : F3_1<2, 0b000111,
                    (ops IntRegs:$dst, IntRegs:$b, IntRegs:$c),
                    "xnor $b, $c, $dst",
-                   [(set IntRegs:$dst, (xor IntRegs:$b, (not IntRegs:$c)))]>;
+                   [(set IntRegs:$dst, (not (xor IntRegs:$b, IntRegs:$c)))]>;
 def XNORri  : F3_2<2, 0b000111,
                    (ops IntRegs:$dst, IntRegs:$b, i32imm:$c),
                    "xnor $b, $c, $dst", []>;
@@ -392,10 +476,12 @@ def SUBXri  : F3_2<2, 0b001100,
                    "subx $b, $c, $dst", []>;
 def SUBCCrr : F3_1<2, 0b010100, 
                    (ops IntRegs:$dst, IntRegs:$b, IntRegs:$c),
-                   "subcc $b, $c, $dst", []>;
+                   "subcc $b, $c, $dst",
+                   [(set IntRegs:$dst, (V8cmpicc IntRegs:$b, IntRegs:$c))]>;
 def SUBCCri : F3_2<2, 0b010100,
                    (ops IntRegs:$dst, IntRegs:$b, i32imm:$c),
-                   "subcc $b, $c, $dst", []>;
+                   "subcc $b, $c, $dst",
+                   [(set IntRegs:$dst, (V8cmpicc IntRegs:$b, simm13:$c))]>;
 def SUBXCCrr: F3_1<2, 0b011100, 
                    (ops IntRegs:$dst, IntRegs:$b, IntRegs:$c),
                    "subxcc $b, $c, $dst", []>;
@@ -452,42 +538,19 @@ class BranchV8<bits<4> cc, dag ops, string asmstr, list<dag> pattern>
   let isBranch = 1;
   let isTerminator = 1;
   let hasDelaySlot = 1;
+  let noResults = 1;
 }
 
 let isBarrier = 1 in
   def BA   : BranchV8<0b1000, (ops brtarget:$dst),
                       "ba $dst",
                       [(br bb:$dst)]>;
-def BNE  : BranchV8<0b1001, (ops brtarget:$dst),
-                    "bne $dst",
-                    [(V8bricc bb:$dst, SETNE, ICC)]>;
-def BE   : BranchV8<0b0001, (ops brtarget:$dst),
-                    "be $dst",
-                    [(V8bricc bb:$dst, SETEQ, ICC)]>;
-def BG   : BranchV8<0b1010, (ops brtarget:$dst),
-                    "bg $dst",
-                    [(V8bricc bb:$dst, SETGT, ICC)]>;
-def BLE  : BranchV8<0b0010, (ops brtarget:$dst),
-                    "ble $dst",
-                    [(V8bricc bb:$dst, SETLE, ICC)]>;
-def BGE  : BranchV8<0b1011, (ops brtarget:$dst),
-                    "bge $dst",
-                    [(V8bricc bb:$dst, SETGE, ICC)]>;
-def BL   : BranchV8<0b0011, (ops brtarget:$dst),
-                    "bl $dst",
-                    [(V8bricc bb:$dst, SETLT, ICC)]>;
-def BGU  : BranchV8<0b1100, (ops brtarget:$dst),
-                    "bgu $dst",
-                    [(V8bricc bb:$dst, SETUGT, ICC)]>;
-def BLEU : BranchV8<0b0100, (ops brtarget:$dst),
-                    "bleu $dst",
-                    [(V8bricc bb:$dst, SETULE, ICC)]>;
-def BCC  : BranchV8<0b1101, (ops brtarget:$dst),
-                    "bcc $dst",
-                    [(V8bricc bb:$dst, SETUGE, ICC)]>;
-def BCS  : BranchV8<0b0101, (ops brtarget:$dst),
-                    "bcs $dst",
-                    [(V8bricc bb:$dst, SETULT, ICC)]>;
+                      
+// FIXME: the encoding for the JIT should look at the condition field.
+def BCOND : BranchV8<0, (ops brtarget:$dst, V8CC:$cc),
+                     "b$cc $dst",
+                     [(V8bricc bb:$dst, imm:$cc, ICC)]>;
+
 
 // Section B.22 - Branch on Floating-point Condition Codes Instructions, p. 121
 
@@ -497,82 +560,43 @@ class FPBranchV8<bits<4> cc, dag ops, string asmstr, list<dag> pattern>
   let isBranch = 1;
   let isTerminator = 1;
   let hasDelaySlot = 1;
+  let noResults = 1;
 }
 
-def FBU  : FPBranchV8<0b0111, (ops brtarget:$dst),
-                      "fbu $dst",
-                      [(V8brfcc bb:$dst, SETUO, FCC)]>;
-def FBG  : FPBranchV8<0b0110, (ops brtarget:$dst),
-                      "fbg $dst",
-                      [(V8brfcc bb:$dst, SETGT, FCC)]>;
-def FBUG : FPBranchV8<0b0101, (ops brtarget:$dst),
-                      "fbug $dst",
-                      [(V8brfcc bb:$dst, SETUGT, FCC)]>;
-def FBL  : FPBranchV8<0b0100, (ops brtarget:$dst),
-                      "fbl $dst",
-                      [(V8brfcc bb:$dst, SETLT, FCC)]>;
-def FBUL : FPBranchV8<0b0011, (ops brtarget:$dst),
-                      "fbul $dst",
-                      [(V8brfcc bb:$dst, SETULT, FCC)]>;
-def FBLG : FPBranchV8<0b0010, (ops brtarget:$dst),
-                      "fblg $dst",
-                      [(V8brfcc bb:$dst, SETONE, FCC)]>;
-def FBNE : FPBranchV8<0b0001, (ops brtarget:$dst),
-                      "fbne $dst",
-                      [(V8brfcc bb:$dst, SETNE, FCC)]>;
-def FBE  : FPBranchV8<0b1001, (ops brtarget:$dst),
-                      "fbe $dst",
-                      [(V8brfcc bb:$dst, SETEQ, FCC)]>;
-def FBUE : FPBranchV8<0b1010, (ops brtarget:$dst),
-                      "fbue $dst",
-                      [(V8brfcc bb:$dst, SETUEQ, FCC)]>;
-def FBGE : FPBranchV8<0b1011, (ops brtarget:$dst),
-                      "fbge $dst",
-                      [(V8brfcc bb:$dst, SETGE, FCC)]>;
-def FBUGE: FPBranchV8<0b1100, (ops brtarget:$dst),
-                      "fbuge $dst",
-                      [(V8brfcc bb:$dst, SETUGE, FCC)]>;
-def FBLE : FPBranchV8<0b1101, (ops brtarget:$dst),
-                      "fble $dst",
-                      [(V8brfcc bb:$dst, SETLE, FCC)]>;
-def FBULE: FPBranchV8<0b1110, (ops brtarget:$dst),
-                      "fbule $dst",
-                      [(V8brfcc bb:$dst, SETULE, FCC)]>;
-def FBO  : FPBranchV8<0b1111, (ops brtarget:$dst),
-                      "fbo $dst",
-                      [(V8brfcc bb:$dst, SETO, FCC)]>;
-
+// FIXME: the encoding for the JIT should look at the condition field.
+def FBCOND  : FPBranchV8<0, (ops brtarget:$dst, V8CC:$cc),
+                      "fb$cc $dst",
+                      [(V8brfcc bb:$dst, imm:$cc, FCC)]>;
 
 
 // Section B.24 - Call and Link Instruction, p. 125
 // This is the only Format 1 instruction
-let Uses = [O0, O1, O2, O3, O4, O5], hasDelaySlot = 1, isCall = 1,
+let Uses = [O0, O1, O2, O3, O4, O5],
+    hasDelaySlot = 1, isCall = 1, noResults = 1,
     Defs = [O0, O1, O2, O3, O4, O5, O7, G1, G2, G3, G4, G5, G6, G7,
     D0, D1, D2, D3, D4, D5, D6, D7, D8, D9, D10, D11, D12, D13, D14, D15] in { 
-  // pc-relative call:
   def CALL : InstV8<(ops calltarget:$dst),
-                    "call $dst",
-                  [(set ICC/*bogus*/, (call tglobaladdr:$dst, ICC/*bogus*/))]> {
+                    "call $dst", []> {
     bits<30> disp;
     let op = 1;
     let Inst{29-0} = disp;
   }
-
+  
   // indirect calls
   def JMPLrr : F3_1<2, 0b111000,
                     (ops MEMrr:$ptr),
-                    "jmpl $ptr",
-                    [(set ICC/*bogus*/, (call  ADDRrr:$ptr, ICC/*bogus*/))]>;
+                    "call $ptr",
+                    [(call  ADDRrr:$ptr)]>;
   def JMPLri : F3_2<2, 0b111000,
                     (ops MEMri:$ptr),
-                    "jmpl $ptr",
-                    [(set ICC/*bogus*/, (call  ADDRri:$ptr, ICC/*bogus*/))]>;
+                    "call $ptr",
+                    [(call  ADDRri:$ptr)]>;
 }
 
 // Section B.28 - Read State Register Instructions
 def RDY : F3_1<2, 0b101000,
                (ops IntRegs:$dst),
-               "rdy $dst", []>;
+               "rd %y, $dst", []>;
 
 // Section B.29 - Write State Register Instructions
 def WRYrr : F3_1<2, 0b110000,
@@ -588,9 +612,9 @@ def FITOS : F3_3<2, 0b110100, 0b011000100,
                  "fitos $src, $dst",
                  [(set FPRegs:$dst, (V8itof FPRegs:$src))]>;
 def FITOD : F3_3<2, 0b110100, 0b011001000, 
-                 (ops DFPRegs:$dst, DFPRegs:$src),
+                 (ops DFPRegs:$dst, FPRegs:$src),
                  "fitod $src, $dst",
-                 [(set DFPRegs:$dst, (V8itof DFPRegs:$src))]>;
+                 [(set DFPRegs:$dst, (V8itof FPRegs:$src))]>;
 
 // Convert Floating-point to Integer Instructions, p. 142
 def FSTOI : F3_3<2, 0b110100, 0b011010001,
@@ -598,9 +622,9 @@ def FSTOI : F3_3<2, 0b110100, 0b011010001,
                  "fstoi $src, $dst",
                  [(set FPRegs:$dst, (V8ftoi FPRegs:$src))]>;
 def FDTOI : F3_3<2, 0b110100, 0b011010010,
-                 (ops DFPRegs:$dst, DFPRegs:$src),
+                 (ops FPRegs:$dst, DFPRegs:$src),
                  "fdtoi $src, $dst",
-                 [(set DFPRegs:$dst, (V8ftoi DFPRegs:$src))]>;
+                 [(set FPRegs:$dst, (V8ftoi DFPRegs:$src))]>;
 
 // Convert between Floating-point Formats Instructions, p. 143
 def FSTOD : F3_3<2, 0b110100, 0b011001001, 
@@ -624,7 +648,6 @@ def FABSS : F3_3<2, 0b110100, 0b000001001,
                  (ops FPRegs:$dst, FPRegs:$src),
                  "fabss $src, $dst",
                  [(set FPRegs:$dst, (fabs FPRegs:$src))]>;
-// FIXME: ADD FNEGD/FABSD pseudo instructions.
 
 
 // Floating-point Square Root Instructions, p.145
@@ -694,6 +717,83 @@ def FCMPD  : F3_3<2, 0b110101, 0b001010010,
                   "fcmpd $src1, $src2\n\tnop",
                   [(set FCC, (V8cmpfcc DFPRegs:$src1, DFPRegs:$src2))]>;
 
+
+//===----------------------------------------------------------------------===//
+// V9 Instructions
+//===----------------------------------------------------------------------===//
+
+// V9 Conditional Moves.
+let Predicates = [HasV9], isTwoAddress = 1 in {
+  // Move Integer Register on Condition (MOVcc) p. 194 of the V9 manual.
+  // FIXME: Add instruction encodings for the JIT some day.
+  def MOVICCrr
+    : Pseudo<(ops IntRegs:$dst, IntRegs:$T, IntRegs:$F, V8CC:$cc),
+             "mov$cc %icc, $F, $dst",
+             [(set IntRegs:$dst,
+                         (V8selecticc IntRegs:$F, IntRegs:$T, imm:$cc, ICC))]>;
+  def MOVICCri
+    : Pseudo<(ops IntRegs:$dst, IntRegs:$T, i32imm:$F, V8CC:$cc),
+             "mov$cc %icc, $F, $dst",
+             [(set IntRegs:$dst,
+                          (V8selecticc simm11:$F, IntRegs:$T, imm:$cc, ICC))]>;
+
+  def MOVFCCrr
+    : Pseudo<(ops IntRegs:$dst, IntRegs:$T, IntRegs:$F, V8CC:$cc),
+             "movf$cc %fcc, $F, $dst",
+             [(set IntRegs:$dst,
+                         (V8selectfcc IntRegs:$F, IntRegs:$T, imm:$cc, FCC))]>;
+  def MOVFCCri
+    : Pseudo<(ops IntRegs:$dst, IntRegs:$T, i32imm:$F, V8CC:$cc),
+             "movf$cc %fcc, $F, $dst",
+             [(set IntRegs:$dst,
+                          (V8selectfcc simm11:$F, IntRegs:$T, imm:$cc, FCC))]>;
+
+  def FMOVS_ICC
+    : Pseudo<(ops FPRegs:$dst, FPRegs:$T, FPRegs:$F, V8CC:$cc),
+             "fmovs$cc %icc, $F, $dst",
+             [(set FPRegs:$dst,
+                         (V8selecticc FPRegs:$F, FPRegs:$T, imm:$cc, ICC))]>;
+  def FMOVD_ICC
+    : Pseudo<(ops DFPRegs:$dst, DFPRegs:$T, DFPRegs:$F, V8CC:$cc),
+             "fmovd$cc %icc, $F, $dst",
+             [(set DFPRegs:$dst,
+                         (V8selecticc DFPRegs:$F, DFPRegs:$T, imm:$cc, ICC))]>;
+  def FMOVS_FCC
+    : Pseudo<(ops FPRegs:$dst, FPRegs:$T, FPRegs:$F, V8CC:$cc),
+             "fmovs$cc %fcc, $F, $dst",
+             [(set FPRegs:$dst,
+                         (V8selectfcc FPRegs:$F, FPRegs:$T, imm:$cc, FCC))]>;
+  def FMOVD_FCC
+    : Pseudo<(ops DFPRegs:$dst, DFPRegs:$T, DFPRegs:$F, V8CC:$cc),
+             "fmovd$cc %fcc, $F, $dst",
+             [(set DFPRegs:$dst,
+                         (V8selectfcc DFPRegs:$F, DFPRegs:$T, imm:$cc, FCC))]>;
+
+}
+
+// Floating-Point Move Instructions, p. 164 of the V9 manual.
+let Predicates = [HasV9] in {
+  def FMOVD : F3_3<2, 0b110100, 0b000000010,
+                   (ops DFPRegs:$dst, DFPRegs:$src),
+                   "fmovd $src, $dst", []>;
+  def FNEGD : F3_3<2, 0b110100, 0b000000110, 
+                   (ops DFPRegs:$dst, DFPRegs:$src),
+                   "fnegd $src, $dst",
+                   [(set DFPRegs:$dst, (fneg DFPRegs:$src))]>;
+  def FABSD : F3_3<2, 0b110100, 0b000001010, 
+                   (ops DFPRegs:$dst, DFPRegs:$src),
+                   "fabsd $src, $dst",
+                   [(set DFPRegs:$dst, (fabs DFPRegs:$src))]>;
+}
+
+// POPCrr - This does a ctpop of a 64-bit register.  As such, we have to clear
+// the top 32-bits before using it.  To do this clearing, we use a SLLri X,0.
+def POPCrr : F3_1<2, 0b101110, 
+                  (ops IntRegs:$dst, IntRegs:$src),
+                  "popc $src, $dst", []>, Requires<[HasV9]>;
+def : Pat<(ctpop IntRegs:$src),
+          (POPCrr (SLLri IntRegs:$src, 0))>;
+
 //===----------------------------------------------------------------------===//
 // Non-Instruction Patterns
 //===----------------------------------------------------------------------===//
@@ -711,8 +811,20 @@ def : Pat<(V8lo tglobaladdr:$in), (ORri G0, tglobaladdr:$in)>;
 def : Pat<(V8hi tconstpool:$in), (SETHIi tconstpool:$in)>;
 def : Pat<(V8lo tconstpool:$in), (ORri G0, tconstpool:$in)>;
 
-// Return of a value, which has an input flag.
-def : Pat<(retflag ICC/*HACK*/), (RETL)>;
+// Add reg, lo.  This is used when taking the addr of a global/constpool entry.
+def : Pat<(add IntRegs:$r, (V8lo tglobaladdr:$in)),
+          (ADDri IntRegs:$r, tglobaladdr:$in)>;
+def : Pat<(add IntRegs:$r, (V8lo tconstpool:$in)),
+          (ADDri IntRegs:$r, tconstpool:$in)>;
+
+
+// Calls: 
+def : Pat<(call tglobaladdr:$dst),
+          (CALL tglobaladdr:$dst)>;
+def : Pat<(call externalsym:$dst),
+          (CALL externalsym:$dst)>;
+
+def : Pat<(ret), (RETL)>;
 
 // Map integer extload's to zextloads.
 def : Pat<(i32 (extload ADDRrr:$src, i1)), (LDUBrr ADDRrr:$src)>;
@@ -722,8 +834,12 @@ def : Pat<(i32 (extload ADDRri:$src, i8)), (LDUBri ADDRri:$src)>;
 def : Pat<(i32 (extload ADDRrr:$src, i16)), (LDUHrr ADDRrr:$src)>;
 def : Pat<(i32 (extload ADDRri:$src, i16)), (LDUHri ADDRri:$src)>;
 
+// zextload bool -> zextload byte
+def : Pat<(i32 (zextload ADDRrr:$src, i1)), (LDUBrr ADDRrr:$src)>;
+def : Pat<(i32 (zextload ADDRri:$src, i1)), (LDUBri ADDRri:$src)>;
+
 // truncstore bool -> truncstore byte.
 def : Pat<(truncstore IntRegs:$src, ADDRrr:$addr, i1), 
-          (STBrr IntRegs:$src, ADDRrr:$addr)>;
+          (STBrr ADDRrr:$addr, IntRegs:$src)>;
 def : Pat<(truncstore IntRegs:$src, ADDRri:$addr, i1), 
-          (STBri IntRegs:$src, ADDRri:$addr)>;
+          (STBri ADDRri:$addr, IntRegs:$src)>;