lib/Target/CellSPU/SPUInstrInfo.td

   1 //==- SPUInstrInfo.td - Describe the Cell SPU Instructions -*- tablegen -*-==//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 // Cell SPU Instructions:
  10 //===----------------------------------------------------------------------===//
  11
  12 //===----------------------------------------------------------------------===//
  13 // TODO Items (not urgent today, but would be nice, low priority)
  14 //
  15 // ANDBI, ORBI: SPU constructs a 4-byte constant for these instructions by
  16 // concatenating the byte argument b as "bbbb". Could recognize this bit pattern
  17 // in 16-bit and 32-bit constants and reduce instruction count.
  18 //===----------------------------------------------------------------------===//
  19
  20 //===----------------------------------------------------------------------===//
  21 // Pseudo instructions:
  22 //===----------------------------------------------------------------------===//
  23
  24 let hasCtrlDep = 1, Defs = [R1], Uses = [R1] in {
  25   def ADJCALLSTACKDOWN : Pseudo<(outs), (ins u16imm_i32:$amt),
  26                                 "${:comment} ADJCALLSTACKDOWN",
  27                                 [(callseq_start timm:$amt)]>;
  28   def ADJCALLSTACKUP   : Pseudo<(outs), (ins u16imm_i32:$amt),
  29                                 "${:comment} ADJCALLSTACKUP",
  30                                 [(callseq_end timm:$amt)]>;
  31 }
  32
  33 //===----------------------------------------------------------------------===//
  34 // Loads:
  35 // NB: The ordering is actually important, since the instruction selection
  36 // will try each of the instructions in sequence, i.e., the D-form first with
  37 // the 10-bit displacement, then the A-form with the 16 bit displacement, and
  38 // finally the X-form with the register-register.
  39 //===----------------------------------------------------------------------===//
  40
  41 let canFoldAsLoad = 1 in {
  42   class LoadDFormVec<ValueType vectype>
  43     : RI10Form<0b00101100, (outs VECREG:$rT), (ins dformaddr:$src),
  44                "lqd\t$rT, $src",
  45                LoadStore,
  46                [(set (vectype VECREG:$rT), (load dform_addr:$src))]>
  47   { }
  48
  49   class LoadDForm<RegisterClass rclass>
  50     : RI10Form<0b00101100, (outs rclass:$rT), (ins dformaddr:$src),
  51                "lqd\t$rT, $src",
  52                LoadStore,
  53                [(set rclass:$rT, (load dform_addr:$src))]>
  54   { }
  55
  56   multiclass LoadDForms
  57   {
  58     def v16i8: LoadDFormVec<v16i8>;
  59     def v8i16: LoadDFormVec<v8i16>;
  60     def v4i32: LoadDFormVec<v4i32>;
  61     def v2i64: LoadDFormVec<v2i64>;
  62     def v4f32: LoadDFormVec<v4f32>;
  63     def v2f64: LoadDFormVec<v2f64>;
  64
  65     def r128:  LoadDForm<GPRC>;
  66     def r64:   LoadDForm<R64C>;
  67     def r32:   LoadDForm<R32C>;
  68     def f32:   LoadDForm<R32FP>;
  69     def f64:   LoadDForm<R64FP>;
  70     def r16:   LoadDForm<R16C>;
  71     def r8:    LoadDForm<R8C>;
  72   }
  73
  74   class LoadAFormVec<ValueType vectype>
  75     : RI16Form<0b100001100, (outs VECREG:$rT), (ins addr256k:$src),
  76                "lqa\t$rT, $src",
  77                LoadStore,
  78                [(set (vectype VECREG:$rT), (load aform_addr:$src))]>
  79   { }
  80
  81   class LoadAForm<RegisterClass rclass>
  82     : RI16Form<0b100001100, (outs rclass:$rT), (ins addr256k:$src),
  83                "lqa\t$rT, $src",
  84                LoadStore,
  85                [(set rclass:$rT, (load aform_addr:$src))]>
  86   { }
  87
  88   multiclass LoadAForms
  89   {
  90     def v16i8: LoadAFormVec<v16i8>;
  91     def v8i16: LoadAFormVec<v8i16>;
  92     def v4i32: LoadAFormVec<v4i32>;
  93     def v2i64: LoadAFormVec<v2i64>;
  94     def v4f32: LoadAFormVec<v4f32>;
  95     def v2f64: LoadAFormVec<v2f64>;
  96
  97     def r128:  LoadAForm<GPRC>;
  98     def r64:   LoadAForm<R64C>;
  99     def r32:   LoadAForm<R32C>;
 100     def f32:   LoadAForm<R32FP>;
 101     def f64:   LoadAForm<R64FP>;
 102     def r16:   LoadAForm<R16C>;
 103     def r8:    LoadAForm<R8C>;
 104   }
 105
 106   class LoadXFormVec<ValueType vectype>
 107     : RRForm<0b00100011100, (outs VECREG:$rT), (ins memrr:$src),
 108              "lqx\t$rT, $src",
 109              LoadStore,
 110              [(set (vectype VECREG:$rT), (load xform_addr:$src))]>
 111   { }
 112
 113   class LoadXForm<RegisterClass rclass>
 114     : RRForm<0b00100011100, (outs rclass:$rT), (ins memrr:$src),
 115              "lqx\t$rT, $src",
 116              LoadStore,
 117              [(set rclass:$rT, (load xform_addr:$src))]>
 118   { }
 119
 120   multiclass LoadXForms
 121   {
 122     def v16i8: LoadXFormVec<v16i8>;
 123     def v8i16: LoadXFormVec<v8i16>;
 124     def v4i32: LoadXFormVec<v4i32>;
 125     def v2i64: LoadXFormVec<v2i64>;
 126     def v4f32: LoadXFormVec<v4f32>;
 127     def v2f64: LoadXFormVec<v2f64>;
 128
 129     def r128:  LoadXForm<GPRC>;
 130     def r64:   LoadXForm<R64C>;
 131     def r32:   LoadXForm<R32C>;
 132     def f32:   LoadXForm<R32FP>;
 133     def f64:   LoadXForm<R64FP>;
 134     def r16:   LoadXForm<R16C>;
 135     def r8:    LoadXForm<R8C>;
 136   }
 137
 138   defm LQA : LoadAForms;
 139   defm LQD : LoadDForms;
 140   defm LQX : LoadXForms;
 141
 142 /* Load quadword, PC relative: Not much use at this point in time.
 143    Might be of use later for relocatable code. It's effectively the
 144    same as LQA, but uses PC-relative addressing.
 145   def LQR : RI16Form<0b111001100, (outs VECREG:$rT), (ins s16imm:$disp),
 146                      "lqr\t$rT, $disp", LoadStore,
 147                      [(set VECREG:$rT, (load iaddr:$disp))]>;
 148  */
 149 }
 150
 151 //===----------------------------------------------------------------------===//
 152 // Stores:
 153 //===----------------------------------------------------------------------===//
 154 class StoreDFormVec<ValueType vectype>
 155   : RI10Form<0b00100100, (outs), (ins VECREG:$rT, dformaddr:$src),
 156              "stqd\t$rT, $src",
 157              LoadStore,
 158              [(store (vectype VECREG:$rT), dform_addr:$src)]>
 159 { }
 160
 161 class StoreDForm<RegisterClass rclass>
 162   : RI10Form<0b00100100, (outs), (ins rclass:$rT, dformaddr:$src),
 163              "stqd\t$rT, $src",
 164              LoadStore,
 165              [(store rclass:$rT, dform_addr:$src)]>
 166 { }
 167
 168 multiclass StoreDForms
 169 {
 170   def v16i8: StoreDFormVec<v16i8>;
 171   def v8i16: StoreDFormVec<v8i16>;
 172   def v4i32: StoreDFormVec<v4i32>;
 173   def v2i64: StoreDFormVec<v2i64>;
 174   def v4f32: StoreDFormVec<v4f32>;
 175   def v2f64: StoreDFormVec<v2f64>;
 176
 177   def r128:  StoreDForm<GPRC>;
 178   def r64:   StoreDForm<R64C>;
 179   def r32:   StoreDForm<R32C>;
 180   def f32:   StoreDForm<R32FP>;
 181   def f64:   StoreDForm<R64FP>;
 182   def r16:   StoreDForm<R16C>;
 183   def r8:    StoreDForm<R8C>;
 184 }
 185
 186 class StoreAFormVec<ValueType vectype>
 187   : RI16Form<0b0010010, (outs), (ins VECREG:$rT, addr256k:$src),
 188              "stqa\t$rT, $src",
 189              LoadStore,
 190              [(store (vectype VECREG:$rT), aform_addr:$src)]>;
 191
 192 class StoreAForm<RegisterClass rclass>
 193   : RI16Form<0b001001, (outs), (ins rclass:$rT, addr256k:$src),
 194              "stqa\t$rT, $src",
 195              LoadStore,
 196              [(store rclass:$rT, aform_addr:$src)]>;
 197
 198 multiclass StoreAForms
 199 {
 200   def v16i8: StoreAFormVec<v16i8>;
 201   def v8i16: StoreAFormVec<v8i16>;
 202   def v4i32: StoreAFormVec<v4i32>;
 203   def v2i64: StoreAFormVec<v2i64>;
 204   def v4f32: StoreAFormVec<v4f32>;
 205   def v2f64: StoreAFormVec<v2f64>;
 206
 207   def r128:  StoreAForm<GPRC>;
 208   def r64:   StoreAForm<R64C>;
 209   def r32:   StoreAForm<R32C>;
 210   def f32:   StoreAForm<R32FP>;
 211   def f64:   StoreAForm<R64FP>;
 212   def r16:   StoreAForm<R16C>;
 213   def r8:    StoreAForm<R8C>;
 214 }
 215
 216 class StoreXFormVec<ValueType vectype>
 217   : RRForm<0b00100100, (outs), (ins VECREG:$rT, memrr:$src),
 218            "stqx\t$rT, $src",
 219            LoadStore,
 220            [(store (vectype VECREG:$rT), xform_addr:$src)]>
 221 { }
 222
 223 class StoreXForm<RegisterClass rclass>
 224   : RRForm<0b00100100, (outs), (ins rclass:$rT, memrr:$src),
 225            "stqx\t$rT, $src",
 226            LoadStore,
 227            [(store rclass:$rT, xform_addr:$src)]>
 228 { }
 229
 230 multiclass StoreXForms
 231 {
 232   def v16i8: StoreXFormVec<v16i8>;
 233   def v8i16: StoreXFormVec<v8i16>;
 234   def v4i32: StoreXFormVec<v4i32>;
 235   def v2i64: StoreXFormVec<v2i64>;
 236   def v4f32: StoreXFormVec<v4f32>;
 237   def v2f64: StoreXFormVec<v2f64>;
 238
 239   def r128:  StoreXForm<GPRC>;
 240   def r64:   StoreXForm<R64C>;
 241   def r32:   StoreXForm<R32C>;
 242   def f32:   StoreXForm<R32FP>;
 243   def f64:   StoreXForm<R64FP>;
 244   def r16:   StoreXForm<R16C>;
 245   def r8:    StoreXForm<R8C>;
 246 }
 247
 248 defm STQD : StoreDForms;
 249 defm STQA : StoreAForms;
 250 defm STQX : StoreXForms;
 251
 252 /* Store quadword, PC relative: Not much use at this point in time. Might
 253    be useful for relocatable code.
 254 def STQR : RI16Form<0b111000100, (outs), (ins VECREG:$rT, s16imm:$disp),
 255                    "stqr\t$rT, $disp", LoadStore,
 256                    [(store VECREG:$rT, iaddr:$disp)]>;
 257 */
 258
 259 //===----------------------------------------------------------------------===//
 260 // Generate Controls for Insertion:
 261 //===----------------------------------------------------------------------===//
 262
 263 def CBD: RI7Form<0b10101111100, (outs VECREG:$rT), (ins shufaddr:$src),
 264     "cbd\t$rT, $src", ShuffleOp,
 265     [(set (v16i8 VECREG:$rT), (SPUshufmask dform2_addr:$src))]>;
 266
 267 def CBX: RRForm<0b00101011100, (outs VECREG:$rT), (ins memrr:$src),
 268     "cbx\t$rT, $src", ShuffleOp,
 269     [(set (v16i8 VECREG:$rT), (SPUshufmask xform_addr:$src))]>;
 270
 271 def CHD: RI7Form<0b10101111100, (outs VECREG:$rT), (ins shufaddr:$src),
 272     "chd\t$rT, $src", ShuffleOp,
 273     [(set (v8i16 VECREG:$rT), (SPUshufmask dform2_addr:$src))]>;
 274
 275 def CHX: RRForm<0b10101011100, (outs VECREG:$rT), (ins memrr:$src),
 276     "chx\t$rT, $src", ShuffleOp,
 277     [(set (v8i16 VECREG:$rT), (SPUshufmask xform_addr:$src))]>;
 278
 279 def CWD: RI7Form<0b01101111100, (outs VECREG:$rT), (ins shufaddr:$src),
 280     "cwd\t$rT, $src", ShuffleOp,
 281     [(set (v4i32 VECREG:$rT), (SPUshufmask dform2_addr:$src))]>;
 282
 283 def CWX: RRForm<0b01101011100, (outs VECREG:$rT), (ins memrr:$src),
 284     "cwx\t$rT, $src", ShuffleOp,
 285     [(set (v4i32 VECREG:$rT), (SPUshufmask xform_addr:$src))]>;
 286
 287 def CWDf32: RI7Form<0b01101111100, (outs VECREG:$rT), (ins shufaddr:$src),
 288     "cwd\t$rT, $src", ShuffleOp,
 289     [(set (v4f32 VECREG:$rT), (SPUshufmask dform2_addr:$src))]>;
 290
 291 def CWXf32: RRForm<0b01101011100, (outs VECREG:$rT), (ins memrr:$src),
 292     "cwx\t$rT, $src", ShuffleOp,
 293     [(set (v4f32 VECREG:$rT), (SPUshufmask xform_addr:$src))]>;
 294
 295 def CDD: RI7Form<0b11101111100, (outs VECREG:$rT), (ins shufaddr:$src),
 296     "cdd\t$rT, $src", ShuffleOp,
 297     [(set (v2i64 VECREG:$rT), (SPUshufmask dform2_addr:$src))]>;
 298
 299 def CDX: RRForm<0b11101011100, (outs VECREG:$rT), (ins memrr:$src),
 300     "cdx\t$rT, $src", ShuffleOp,
 301     [(set (v2i64 VECREG:$rT), (SPUshufmask xform_addr:$src))]>;
 302
 303 def CDDf64: RI7Form<0b11101111100, (outs VECREG:$rT), (ins shufaddr:$src),
 304     "cdd\t$rT, $src", ShuffleOp,
 305     [(set (v2f64 VECREG:$rT), (SPUshufmask dform2_addr:$src))]>;
 306
 307 def CDXf64: RRForm<0b11101011100, (outs VECREG:$rT), (ins memrr:$src),
 308     "cdx\t$rT, $src", ShuffleOp,
 309     [(set (v2f64 VECREG:$rT), (SPUshufmask xform_addr:$src))]>;
 310
 311 //===----------------------------------------------------------------------===//
 312 // Constant formation:
 313 //===----------------------------------------------------------------------===//
 314
 315 def ILHv8i16:
 316   RI16Form<0b110000010, (outs VECREG:$rT), (ins s16imm:$val),
 317     "ilh\t$rT, $val", ImmLoad,
 318     [(set (v8i16 VECREG:$rT), (v8i16 v8i16SExt16Imm:$val))]>;
 319
 320 def ILHr16:
 321   RI16Form<0b110000010, (outs R16C:$rT), (ins s16imm:$val),
 322     "ilh\t$rT, $val", ImmLoad,
 323     [(set R16C:$rT, immSExt16:$val)]>;
 324
 325 // Cell SPU doesn't have a native 8-bit immediate load, but ILH works ("with
 326 // the right constant")
 327 def ILHr8:
 328   RI16Form<0b110000010, (outs R8C:$rT), (ins s16imm_i8:$val),
 329     "ilh\t$rT, $val", ImmLoad,
 330     [(set R8C:$rT, immSExt8:$val)]>;
 331
 332 // IL does sign extension!
 333
 334 class ILInst<dag OOL, dag IOL, list<dag> pattern>:
 335   RI16Form<0b100000010, OOL, IOL, "il\t$rT, $val",
 336            ImmLoad, pattern>;
 337
 338 class ILVecInst<ValueType vectype, Operand immtype, PatLeaf xform>:
 339   ILInst<(outs VECREG:$rT), (ins immtype:$val),
 340          [(set (vectype VECREG:$rT), (vectype xform:$val))]>;
 341
 342 class ILRegInst<RegisterClass rclass, Operand immtype, PatLeaf xform>:
 343   ILInst<(outs rclass:$rT), (ins immtype:$val),
 344          [(set rclass:$rT, xform:$val)]>;
 345
 346 multiclass ImmediateLoad
 347 {
 348   def v2i64: ILVecInst<v2i64, s16imm_i64, v2i64SExt16Imm>;
 349   def v4i32: ILVecInst<v4i32, s16imm_i32, v4i32SExt16Imm>;
 350
 351   // TODO: Need v2f64, v4f32
 352
 353   def r64: ILRegInst<R64C, s16imm_i64, immSExt16>;
 354   def r32: ILRegInst<R32C, s16imm_i32, immSExt16>;
 355   def f32: ILRegInst<R32FP, s16imm_f32, fpimmSExt16>;
 356   def f64: ILRegInst<R64FP, s16imm_f64, fpimmSExt16>;
 357 }
 358
 359 defm IL : ImmediateLoad;
 360
 361 class ILHUInst<dag OOL, dag IOL, list<dag> pattern>:
 362   RI16Form<0b010000010, OOL, IOL, "ilhu\t$rT, $val",
 363            ImmLoad, pattern>;
 364
 365 class ILHUVecInst<ValueType vectype, Operand immtype, PatLeaf xform>:
 366   ILHUInst<(outs VECREG:$rT), (ins immtype:$val),
 367            [(set (vectype VECREG:$rT), (vectype xform:$val))]>;
 368
 369 class ILHURegInst<RegisterClass rclass, Operand immtype, PatLeaf xform>:
 370   ILHUInst<(outs rclass:$rT), (ins immtype:$val),
 371            [(set rclass:$rT, xform:$val)]>;
 372
 373 multiclass ImmLoadHalfwordUpper
 374 {
 375   def v2i64: ILHUVecInst<v2i64, u16imm_i64, immILHUvec_i64>;
 376   def v4i32: ILHUVecInst<v4i32, u16imm_i32, immILHUvec>;
 377
 378   def r64: ILHURegInst<R64C, u16imm_i64, hi16>;
 379   def r32: ILHURegInst<R32C, u16imm_i32, hi16>;
 380
 381   // Loads the high portion of an address
 382   def hi: ILHURegInst<R32C, symbolHi, hi16>;
 383
 384   // Used in custom lowering constant SFP loads:
 385   def f32: ILHURegInst<R32FP, f16imm, hi16_f32>;
 386 }
 387
 388 defm ILHU : ImmLoadHalfwordUpper;
 389
 390 // Immediate load address (can also be used to load 18-bit unsigned constants,
 391 // see the zext 16->32 pattern)
 392
 393 class ILAInst<dag OOL, dag IOL, list<dag> pattern>:
 394   RI18Form<0b1000010, OOL, IOL, "ila\t$rT, $val",
 395            LoadNOP, pattern>;
 396
 397 class ILAVecInst<ValueType vectype, Operand immtype, PatLeaf xform>:
 398   ILAInst<(outs VECREG:$rT), (ins immtype:$val),
 399           [(set (vectype VECREG:$rT), (vectype xform:$val))]>;
 400
 401 class ILARegInst<RegisterClass rclass, Operand immtype, PatLeaf xform>:
 402   ILAInst<(outs rclass:$rT), (ins immtype:$val),
 403           [(set rclass:$rT, xform:$val)]>;
 404
 405 multiclass ImmLoadAddress
 406 {
 407   def v2i64: ILAVecInst<v2i64, u18imm, v2i64Uns18Imm>;
 408   def v4i32: ILAVecInst<v4i32, u18imm, v4i32Uns18Imm>;
 409
 410   def r64: ILARegInst<R64C, u18imm_i64, imm18>;
 411   def r32: ILARegInst<R32C, u18imm, imm18>;
 412   def f32: ILARegInst<R32FP, f18imm, fpimm18>;
 413   def f64: ILARegInst<R64FP, f18imm_f64, fpimm18>;
 414
 415   def hi: ILARegInst<R32C, symbolHi, imm18>;
 416   def lo: ILARegInst<R32C, symbolLo, imm18>;
 417
 418   def lsa: ILAInst<(outs R32C:$rT), (ins symbolLSA:$val),
 419                    [/* no pattern */]>;
 420 }
 421
 422 defm ILA : ImmLoadAddress;
 423
 424 // Immediate OR, Halfword Lower: The "other" part of loading large constants
 425 // into 32-bit registers. See the anonymous pattern Pat<(i32 imm:$imm), ...>
 426 // Note that these are really two operand instructions, but they're encoded
 427 // as three operands with the first two arguments tied-to each other.
 428
 429 class IOHLInst<dag OOL, dag IOL, list<dag> pattern>:
 430   RI16Form<0b100000110, OOL, IOL, "iohl\t$rT, $val",
 431            ImmLoad, pattern>,
 432   RegConstraint<"$rS = $rT">,
 433   NoEncode<"$rS">;
 434
 435 class IOHLVecInst<ValueType vectype, Operand immtype /* , PatLeaf xform */>:
 436   IOHLInst<(outs VECREG:$rT), (ins VECREG:$rS, immtype:$val),
 437            [/* no pattern */]>;
 438
 439 class IOHLRegInst<RegisterClass rclass, Operand immtype /* , PatLeaf xform */>:
 440   IOHLInst<(outs rclass:$rT), (ins rclass:$rS, immtype:$val),
 441            [/* no pattern */]>;
 442
 443 multiclass ImmOrHalfwordLower
 444 {
 445   def v2i64: IOHLVecInst<v2i64, u16imm_i64>;
 446   def v4i32: IOHLVecInst<v4i32, u16imm_i32>;
 447
 448   def r32: IOHLRegInst<R32C, i32imm>;
 449   def f32: IOHLRegInst<R32FP, f32imm>;
 450
 451   def lo: IOHLRegInst<R32C, symbolLo>;
 452 }
 453
 454 defm IOHL: ImmOrHalfwordLower;
 455
 456 // Form select mask for bytes using immediate, used in conjunction with the
 457 // SELB instruction:
 458
 459 class FSMBIVec<ValueType vectype>:
 460   RI16Form<0b101001100, (outs VECREG:$rT), (ins u16imm:$val),
 461           "fsmbi\t$rT, $val",
 462           SelectOp,
 463           [(set (vectype VECREG:$rT), (SPUselmask (i16 immU16:$val)))]>;
 464
 465 multiclass FormSelectMaskBytesImm
 466 {
 467   def v16i8: FSMBIVec<v16i8>;
 468   def v8i16: FSMBIVec<v8i16>;
 469   def v4i32: FSMBIVec<v4i32>;
 470   def v2i64: FSMBIVec<v2i64>;
 471 }
 472
 473 defm FSMBI : FormSelectMaskBytesImm;
 474
 475 // fsmb: Form select mask for bytes. N.B. Input operand, $rA, is 16-bits
 476 class FSMBInst<dag OOL, dag IOL, list<dag> pattern>:
 477     RRForm_1<0b01101101100, OOL, IOL, "fsmb\t$rT, $rA", SelectOp,
 478              pattern>;
 479
 480 class FSMBRegInst<RegisterClass rclass, ValueType vectype>:
 481     FSMBInst<(outs VECREG:$rT), (ins rclass:$rA),
 482              [(set (vectype VECREG:$rT), (SPUselmask rclass:$rA))]>;
 483
 484 class FSMBVecInst<ValueType vectype>:
 485     FSMBInst<(outs VECREG:$rT), (ins VECREG:$rA),
 486              [(set (vectype VECREG:$rT),
 487                    (SPUselmask (vectype VECREG:$rA)))]>;
 488
 489 multiclass FormSelectMaskBits {
 490   def v16i8_r16: FSMBRegInst<R16C, v16i8>;
 491   def v16i8:     FSMBVecInst<v16i8>;
 492 }
 493
 494 defm FSMB: FormSelectMaskBits;
 495
 496 // fsmh: Form select mask for halfwords. N.B., Input operand, $rA, is
 497 // only 8-bits wide (even though it's input as 16-bits here)
 498
 499 class FSMHInst<dag OOL, dag IOL, list<dag> pattern>:
 500     RRForm_1<0b10101101100, OOL, IOL, "fsmh\t$rT, $rA", SelectOp,
 501              pattern>;
 502
 503 class FSMHRegInst<RegisterClass rclass, ValueType vectype>:
 504     FSMHInst<(outs VECREG:$rT), (ins rclass:$rA),
 505              [(set (vectype VECREG:$rT), (SPUselmask rclass:$rA))]>;
 506
 507 class FSMHVecInst<ValueType vectype>:
 508     FSMHInst<(outs VECREG:$rT), (ins VECREG:$rA),
 509              [(set (vectype VECREG:$rT),
 510                    (SPUselmask (vectype VECREG:$rA)))]>;
 511
 512 multiclass FormSelectMaskHalfword {
 513   def v8i16_r16: FSMHRegInst<R16C, v8i16>;
 514   def v8i16:     FSMHVecInst<v8i16>;
 515 }
 516
 517 defm FSMH: FormSelectMaskHalfword;
 518
 519 // fsm: Form select mask for words. Like the other fsm* instructions,
 520 // only the lower 4 bits of $rA are significant.
 521
 522 class FSMInst<dag OOL, dag IOL, list<dag> pattern>:
 523     RRForm_1<0b00101101100, OOL, IOL, "fsm\t$rT, $rA", SelectOp,
 524              pattern>;
 525
 526 class FSMRegInst<ValueType vectype, RegisterClass rclass>:
 527     FSMInst<(outs VECREG:$rT), (ins rclass:$rA),
 528             [(set (vectype VECREG:$rT), (SPUselmask rclass:$rA))]>;
 529
 530 class FSMVecInst<ValueType vectype>:
 531     FSMInst<(outs VECREG:$rT), (ins VECREG:$rA),
 532             [(set (vectype VECREG:$rT), (SPUselmask (vectype VECREG:$rA)))]>;
 533
 534 multiclass FormSelectMaskWord {
 535   def v4i32: FSMVecInst<v4i32>;
 536
 537   def r32 :  FSMRegInst<v4i32, R32C>;
 538   def r16 :  FSMRegInst<v4i32, R16C>;
 539 }
 540
 541 defm FSM : FormSelectMaskWord;
 542
 543 // Special case when used for i64 math operations
 544 multiclass FormSelectMaskWord64 {
 545   def r32 : FSMRegInst<v2i64, R32C>;
 546   def r16 : FSMRegInst<v2i64, R16C>;
 547 }
 548
 549 defm FSM64 : FormSelectMaskWord64;
 550
 551 //===----------------------------------------------------------------------===//
 552 // Integer and Logical Operations:
 553 //===----------------------------------------------------------------------===//
 554
 555 def AHv8i16:
 556   RRForm<0b00010011000, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
 557     "ah\t$rT, $rA, $rB", IntegerOp,
 558     [(set (v8i16 VECREG:$rT), (int_spu_si_ah VECREG:$rA, VECREG:$rB))]>;
 559
 560 def : Pat<(add (v8i16 VECREG:$rA), (v8i16 VECREG:$rB)),
 561           (AHv8i16 VECREG:$rA, VECREG:$rB)>;
 562
 563 def AHr16:
 564   RRForm<0b00010011000, (outs R16C:$rT), (ins R16C:$rA, R16C:$rB),
 565     "ah\t$rT, $rA, $rB", IntegerOp,
 566     [(set R16C:$rT, (add R16C:$rA, R16C:$rB))]>;
 567
 568 def AHIvec:
 569     RI10Form<0b10111000, (outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
 570       "ahi\t$rT, $rA, $val", IntegerOp,
 571       [(set (v8i16 VECREG:$rT), (add (v8i16 VECREG:$rA),
 572                                      v8i16SExt10Imm:$val))]>;
 573
 574 def AHIr16:
 575   RI10Form<0b10111000, (outs R16C:$rT), (ins R16C:$rA, s10imm:$val),
 576     "ahi\t$rT, $rA, $val", IntegerOp,
 577     [(set R16C:$rT, (add R16C:$rA, i16ImmSExt10:$val))]>;
 578
 579 // v4i32, i32 add instruction:
 580
 581 class AInst<dag OOL, dag IOL, list<dag> pattern>:
 582   RRForm<0b00000011000, OOL, IOL,
 583          "a\t$rT, $rA, $rB", IntegerOp,
 584          pattern>;
 585
 586 class AVecInst<ValueType vectype>:
 587   AInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
 588         [(set (vectype VECREG:$rT), (add (vectype VECREG:$rA),
 589                                          (vectype VECREG:$rB)))]>;
 590
 591 class ARegInst<RegisterClass rclass>:
 592   AInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
 593         [(set rclass:$rT, (add rclass:$rA, rclass:$rB))]>;
 594
 595 multiclass AddInstruction {
 596   def v4i32: AVecInst<v4i32>;
 597   def v16i8: AVecInst<v16i8>;
 598   def r32:   ARegInst<R32C>;
 599 }
 600
 601 defm A : AddInstruction;
 602
 603 class AIInst<dag OOL, dag IOL, list<dag> pattern>:
 604     RI10Form<0b00111000, OOL, IOL,
 605              "ai\t$rT, $rA, $val", IntegerOp,
 606              pattern>;
 607
 608 class AIVecInst<ValueType vectype, PatLeaf immpred>:
 609     AIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
 610             [(set (vectype VECREG:$rT), (add (vectype VECREG:$rA), immpred:$val))]>;
 611
 612 class AIFPVecInst<ValueType vectype, PatLeaf immpred>:
 613     AIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
 614             [/* no pattern */]>;
 615
 616 class AIRegInst<RegisterClass rclass, PatLeaf immpred>:
 617     AIInst<(outs rclass:$rT), (ins rclass:$rA, s10imm_i32:$val),
 618            [(set rclass:$rT, (add rclass:$rA, immpred:$val))]>;
 619
 620 // This is used to add epsilons to floating point numbers in the f32 fdiv code:
 621 class AIFPInst<RegisterClass rclass, PatLeaf immpred>:
 622     AIInst<(outs rclass:$rT), (ins rclass:$rA, s10imm_i32:$val),
 623            [/* no pattern */]>;
 624
 625 multiclass AddImmediate {
 626   def v4i32: AIVecInst<v4i32, v4i32SExt10Imm>;
 627
 628   def r32: AIRegInst<R32C, i32ImmSExt10>;
 629
 630   def v4f32: AIFPVecInst<v4f32, v4i32SExt10Imm>;
 631   def f32: AIFPInst<R32FP, i32ImmSExt10>;
 632 }
 633
 634 defm AI : AddImmediate;
 635
 636 def SFHvec:
 637     RRForm<0b00010010000, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
 638       "sfh\t$rT, $rA, $rB", IntegerOp,
 639       [(set (v8i16 VECREG:$rT), (sub (v8i16 VECREG:$rA),
 640                                      (v8i16 VECREG:$rB)))]>;
 641
 642 def SFHr16:
 643     RRForm<0b00010010000, (outs R16C:$rT), (ins R16C:$rA, R16C:$rB),
 644       "sfh\t$rT, $rA, $rB", IntegerOp,
 645       [(set R16C:$rT, (sub R16C:$rB, R16C:$rA))]>;
 646
 647 def SFHIvec:
 648     RI10Form<0b10110000, (outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
 649       "sfhi\t$rT, $rA, $val", IntegerOp,
 650       [(set (v8i16 VECREG:$rT), (sub v8i16SExt10Imm:$val,
 651                                      (v8i16 VECREG:$rA)))]>;
 652
 653 def SFHIr16 : RI10Form<0b10110000, (outs R16C:$rT), (ins R16C:$rA, s10imm:$val),
 654   "sfhi\t$rT, $rA, $val", IntegerOp,
 655   [(set R16C:$rT, (sub i16ImmSExt10:$val, R16C:$rA))]>;
 656
 657 def SFvec : RRForm<0b00000010000, (outs VECREG:$rT),
 658                                   (ins VECREG:$rA, VECREG:$rB),
 659   "sf\t$rT, $rA, $rB", IntegerOp,
 660   [(set (v4i32 VECREG:$rT), (sub (v4i32 VECREG:$rB), (v4i32 VECREG:$rA)))]>;
 661
 662
 663 def SFr32 : RRForm<0b00000010000, (outs R32C:$rT), (ins R32C:$rA, R32C:$rB),
 664   "sf\t$rT, $rA, $rB", IntegerOp,
 665   [(set R32C:$rT, (sub R32C:$rB, R32C:$rA))]>;
 666
 667 def SFIvec:
 668     RI10Form<0b00110000, (outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
 669       "sfi\t$rT, $rA, $val", IntegerOp,
 670       [(set (v4i32 VECREG:$rT), (sub v4i32SExt10Imm:$val,
 671                                      (v4i32 VECREG:$rA)))]>;
 672
 673 def SFIr32 : RI10Form<0b00110000, (outs R32C:$rT),
 674                                   (ins R32C:$rA, s10imm_i32:$val),
 675   "sfi\t$rT, $rA, $val", IntegerOp,
 676   [(set R32C:$rT, (sub i32ImmSExt10:$val, R32C:$rA))]>;
 677
 678 // ADDX: only available in vector form, doesn't match a pattern.
 679 class ADDXInst<dag OOL, dag IOL, list<dag> pattern>:
 680     RRForm<0b00000010110, OOL, IOL,
 681       "addx\t$rT, $rA, $rB",
 682       IntegerOp, pattern>;
 683
 684 class ADDXVecInst<ValueType vectype>:
 685     ADDXInst<(outs VECREG:$rT),
 686              (ins VECREG:$rA, VECREG:$rB, VECREG:$rCarry),
 687              [/* no pattern */]>,
 688     RegConstraint<"$rCarry = $rT">,
 689     NoEncode<"$rCarry">;
 690
 691 class ADDXRegInst<RegisterClass rclass>:
 692     ADDXInst<(outs rclass:$rT),
 693              (ins rclass:$rA, rclass:$rB, rclass:$rCarry),
 694              [/* no pattern */]>,
 695     RegConstraint<"$rCarry = $rT">,
 696     NoEncode<"$rCarry">;
 697
 698 multiclass AddExtended {
 699   def v2i64 : ADDXVecInst<v2i64>;
 700   def v4i32 : ADDXVecInst<v4i32>;
 701   def r64 : ADDXRegInst<R64C>;
 702   def r32 : ADDXRegInst<R32C>;
 703 }
 704
 705 defm ADDX : AddExtended;
 706
 707 // CG: Generate carry for add
 708 class CGInst<dag OOL, dag IOL, list<dag> pattern>:
 709     RRForm<0b01000011000, OOL, IOL,
 710       "cg\t$rT, $rA, $rB",
 711       IntegerOp, pattern>;
 712
 713 class CGVecInst<ValueType vectype>:
 714     CGInst<(outs VECREG:$rT),
 715            (ins VECREG:$rA, VECREG:$rB),
 716            [/* no pattern */]>;
 717
 718 class CGRegInst<RegisterClass rclass>:
 719     CGInst<(outs rclass:$rT),
 720            (ins rclass:$rA, rclass:$rB),
 721            [/* no pattern */]>;
 722
 723 multiclass CarryGenerate {
 724   def v2i64 : CGVecInst<v2i64>;
 725   def v4i32 : CGVecInst<v4i32>;
 726   def r64 : CGRegInst<R64C>;
 727   def r32 : CGRegInst<R32C>;
 728 }
 729
 730 defm CG : CarryGenerate;
 731
 732 // SFX: Subract from, extended. This is used in conjunction with BG to subtract
 733 // with carry (borrow, in this case)
 734 class SFXInst<dag OOL, dag IOL, list<dag> pattern>:
 735     RRForm<0b10000010110, OOL, IOL,
 736       "sfx\t$rT, $rA, $rB",
 737       IntegerOp, pattern>;
 738
 739 class SFXVecInst<ValueType vectype>:
 740     SFXInst<(outs VECREG:$rT),
 741             (ins VECREG:$rA, VECREG:$rB, VECREG:$rCarry),
 742              [/* no pattern */]>,
 743     RegConstraint<"$rCarry = $rT">,
 744     NoEncode<"$rCarry">;
 745
 746 class SFXRegInst<RegisterClass rclass>:
 747     SFXInst<(outs rclass:$rT),
 748             (ins rclass:$rA, rclass:$rB, rclass:$rCarry),
 749              [/* no pattern */]>,
 750     RegConstraint<"$rCarry = $rT">,
 751     NoEncode<"$rCarry">;
 752
 753 multiclass SubtractExtended {
 754   def v2i64 : SFXVecInst<v2i64>;
 755   def v4i32 : SFXVecInst<v4i32>;
 756   def r64 : SFXRegInst<R64C>;
 757   def r32 : SFXRegInst<R32C>;
 758 }
 759
 760 defm SFX : SubtractExtended;
 761
 762 // BG: only available in vector form, doesn't match a pattern.
 763 class BGInst<dag OOL, dag IOL, list<dag> pattern>:
 764     RRForm<0b01000010000, OOL, IOL,
 765       "bg\t$rT, $rA, $rB",
 766       IntegerOp, pattern>;
 767
 768 class BGVecInst<ValueType vectype>:
 769     BGInst<(outs VECREG:$rT),
 770            (ins VECREG:$rA, VECREG:$rB),
 771            [/* no pattern */]>;
 772
 773 class BGRegInst<RegisterClass rclass>:
 774     BGInst<(outs rclass:$rT),
 775            (ins rclass:$rA, rclass:$rB),
 776            [/* no pattern */]>;
 777
 778 multiclass BorrowGenerate {
 779   def v4i32 : BGVecInst<v4i32>;
 780   def v2i64 : BGVecInst<v2i64>;
 781   def r64 : BGRegInst<R64C>;
 782   def r32 : BGRegInst<R32C>;
 783 }
 784
 785 defm BG : BorrowGenerate;
 786
 787 // BGX: Borrow generate, extended.
 788 def BGXvec:
 789     RRForm<0b11000010110, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB,
 790                                 VECREG:$rCarry),
 791       "bgx\t$rT, $rA, $rB", IntegerOp,
 792       []>,
 793     RegConstraint<"$rCarry = $rT">,
 794     NoEncode<"$rCarry">;
 795
 796 // Halfword multiply variants:
 797 // N.B: These can be used to build up larger quantities (16x16 -> 32)
 798
 799 def MPYv8i16:
 800   RRForm<0b00100011110, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
 801     "mpy\t$rT, $rA, $rB", IntegerMulDiv,
 802     [/* no pattern */]>;
 803
 804 def MPYr16:
 805   RRForm<0b00100011110, (outs R16C:$rT), (ins R16C:$rA, R16C:$rB),
 806     "mpy\t$rT, $rA, $rB", IntegerMulDiv,
 807     [(set R16C:$rT, (mul R16C:$rA, R16C:$rB))]>;
 808
 809 // Unsigned 16-bit multiply:
 810
 811 class MPYUInst<dag OOL, dag IOL, list<dag> pattern>:
 812     RRForm<0b00110011110, OOL, IOL,
 813       "mpyu\t$rT, $rA, $rB", IntegerMulDiv,
 814       pattern>;
 815
 816 def MPYUv4i32:
 817   MPYUInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
 818            [/* no pattern */]>;
 819
 820 def MPYUr16:
 821   MPYUInst<(outs R32C:$rT), (ins R16C:$rA, R16C:$rB),
 822            [(set R32C:$rT, (mul (zext R16C:$rA), (zext R16C:$rB)))]>;
 823
 824 def MPYUr32:
 825   MPYUInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB),
 826            [/* no pattern */]>;
 827
 828 // mpyi: multiply 16 x s10imm -> 32 result.
 829
 830 class MPYIInst<dag OOL, dag IOL, list<dag> pattern>:
 831   RI10Form<0b00101110, OOL, IOL,
 832     "mpyi\t$rT, $rA, $val", IntegerMulDiv,
 833     pattern>;
 834
 835 def MPYIvec:
 836   MPYIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
 837            [(set (v8i16 VECREG:$rT),
 838                  (mul (v8i16 VECREG:$rA), v8i16SExt10Imm:$val))]>;
 839
 840 def MPYIr16:
 841   MPYIInst<(outs R16C:$rT), (ins R16C:$rA, s10imm:$val),
 842            [(set R16C:$rT, (mul R16C:$rA, i16ImmSExt10:$val))]>;
 843
 844 // mpyui: same issues as other multiplies, plus, this doesn't match a
 845 // pattern... but may be used during target DAG selection or lowering
 846
 847 class MPYUIInst<dag OOL, dag IOL, list<dag> pattern>:
 848   RI10Form<0b10101110, OOL, IOL,
 849            "mpyui\t$rT, $rA, $val", IntegerMulDiv,
 850            pattern>;
 851
 852 def MPYUIvec:
 853   MPYUIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
 854             []>;
 855
 856 def MPYUIr16:
 857   MPYUIInst<(outs R16C:$rT), (ins R16C:$rA, s10imm:$val),
 858             []>;
 859
 860 // mpya: 16 x 16 + 16 -> 32 bit result
 861 class MPYAInst<dag OOL, dag IOL, list<dag> pattern>:
 862   RRRForm<0b0011, OOL, IOL,
 863           "mpya\t$rT, $rA, $rB, $rC", IntegerMulDiv,
 864           pattern>;
 865
 866 def MPYAv4i32:
 867   MPYAInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
 868            [(set (v4i32 VECREG:$rT),
 869                  (add (v4i32 (bitconvert (mul (v8i16 VECREG:$rA),
 870                                               (v8i16 VECREG:$rB)))),
 871                       (v4i32 VECREG:$rC)))]>;
 872
 873 def MPYAr32:
 874   MPYAInst<(outs R32C:$rT), (ins R16C:$rA, R16C:$rB, R32C:$rC),
 875            [(set R32C:$rT, (add (sext (mul R16C:$rA, R16C:$rB)),
 876                                 R32C:$rC))]>;
 877
 878 def MPYAr32_sext:
 879   MPYAInst<(outs R32C:$rT), (ins R16C:$rA, R16C:$rB, R32C:$rC),
 880            [(set R32C:$rT, (add (mul (sext R16C:$rA), (sext R16C:$rB)),
 881                                 R32C:$rC))]>;
 882
 883 def MPYAr32_sextinreg:
 884   MPYAInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB, R32C:$rC),
 885            [(set R32C:$rT, (add (mul (sext_inreg R32C:$rA, i16),
 886                                      (sext_inreg R32C:$rB, i16)),
 887                                 R32C:$rC))]>;
 888
 889 // mpyh: multiply high, used to synthesize 32-bit multiplies
 890 class MPYHInst<dag OOL, dag IOL, list<dag> pattern>:
 891   RRForm<0b10100011110, OOL, IOL,
 892          "mpyh\t$rT, $rA, $rB", IntegerMulDiv,
 893          pattern>;
 894
 895 def MPYHv4i32:
 896     MPYHInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
 897              [/* no pattern */]>;
 898
 899 def MPYHr32:
 900     MPYHInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB),
 901              [/* no pattern */]>;
 902
 903 // mpys: multiply high and shift right (returns the top half of
 904 // a 16-bit multiply, sign extended to 32 bits.)
 905
 906 class MPYSInst<dag OOL, dag IOL>:
 907     RRForm<0b11100011110, OOL, IOL,
 908       "mpys\t$rT, $rA, $rB", IntegerMulDiv,
 909       [/* no pattern */]>;
 910
 911 def MPYSv4i32:
 912     MPYSInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB)>;
 913
 914 def MPYSr16:
 915     MPYSInst<(outs R32C:$rT), (ins R16C:$rA, R16C:$rB)>;
 916
 917 // mpyhh: multiply high-high (returns the 32-bit result from multiplying
 918 // the top 16 bits of the $rA, $rB)
 919
 920 class MPYHHInst<dag OOL, dag IOL>:
 921   RRForm<0b01100011110, OOL, IOL,
 922         "mpyhh\t$rT, $rA, $rB", IntegerMulDiv,
 923         [/* no pattern */]>;
 924
 925 def MPYHHv8i16:
 926     MPYHHInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB)>;
 927
 928 def MPYHHr32:
 929     MPYHHInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB)>;
 930
 931 // mpyhha: Multiply high-high, add to $rT:
 932
 933 class MPYHHAInst<dag OOL, dag IOL>:
 934     RRForm<0b01100010110, OOL, IOL,
 935       "mpyhha\t$rT, $rA, $rB", IntegerMulDiv,
 936       [/* no pattern */]>;
 937
 938 def MPYHHAvec:
 939     MPYHHAInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB)>;
 940
 941 def MPYHHAr32:
 942     MPYHHAInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB)>;
 943
 944 // mpyhhu: Multiply high-high, unsigned, e.g.:
 945 //
 946 // +-------+-------+   +-------+-------+   +---------+
 947 // |  a0   .  a1   | x |  b0   .  b1   | = | a0 x b0 |
 948 // +-------+-------+   +-------+-------+   +---------+
 949 //
 950 // where a0, b0 are the upper 16 bits of the 32-bit word
 951
 952 class MPYHHUInst<dag OOL, dag IOL>:
 953     RRForm<0b01110011110, OOL, IOL,
 954       "mpyhhu\t$rT, $rA, $rB", IntegerMulDiv,
 955       [/* no pattern */]>;
 956
 957 def MPYHHUv4i32:
 958     MPYHHUInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB)>;
 959
 960 def MPYHHUr32:
 961     MPYHHUInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB)>;
 962
 963 // mpyhhau: Multiply high-high, unsigned
 964
 965 class MPYHHAUInst<dag OOL, dag IOL>:
 966     RRForm<0b01110010110, OOL, IOL,
 967       "mpyhhau\t$rT, $rA, $rB", IntegerMulDiv,
 968       [/* no pattern */]>;
 969
 970 def MPYHHAUvec:
 971     MPYHHAUInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB)>;
 972
 973 def MPYHHAUr32:
 974     MPYHHAUInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB)>;
 975
 976 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
 977 // clz: Count leading zeroes
 978 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
 979 class CLZInst<dag OOL, dag IOL, list<dag> pattern>:
 980     RRForm_1<0b10100101010, OOL, IOL, "clz\t$rT, $rA",
 981              IntegerOp, pattern>;
 982
 983 class CLZRegInst<RegisterClass rclass>:
 984     CLZInst<(outs rclass:$rT), (ins rclass:$rA),
 985             [(set rclass:$rT, (ctlz rclass:$rA))]>;
 986
 987 class CLZVecInst<ValueType vectype>:
 988     CLZInst<(outs VECREG:$rT), (ins VECREG:$rA),
 989             [(set (vectype VECREG:$rT), (ctlz (vectype VECREG:$rA)))]>;
 990
 991 multiclass CountLeadingZeroes {
 992   def v4i32 : CLZVecInst<v4i32>;
 993   def r32   : CLZRegInst<R32C>;
 994 }
 995
 996 defm CLZ : CountLeadingZeroes;
 997
 998 // cntb: Count ones in bytes (aka "population count")
 999 //
1000 // NOTE: This instruction is really a vector instruction, but the custom
1001 // lowering code uses it in unorthodox ways to support CTPOP for other
1002 // data types!
1003
1004 def CNTBv16i8:
1005     RRForm_1<0b00101101010, (outs VECREG:$rT), (ins VECREG:$rA),
1006       "cntb\t$rT, $rA", IntegerOp,
1007       [(set (v16i8 VECREG:$rT), (SPUcntb (v16i8 VECREG:$rA)))]>;
1008
1009 def CNTBv8i16 :
1010     RRForm_1<0b00101101010, (outs VECREG:$rT), (ins VECREG:$rA),
1011       "cntb\t$rT, $rA", IntegerOp,
1012       [(set (v8i16 VECREG:$rT), (SPUcntb (v8i16 VECREG:$rA)))]>;
1013
1014 def CNTBv4i32 :
1015     RRForm_1<0b00101101010, (outs VECREG:$rT), (ins VECREG:$rA),
1016       "cntb\t$rT, $rA", IntegerOp,
1017       [(set (v4i32 VECREG:$rT), (SPUcntb (v4i32 VECREG:$rA)))]>;
1018
1019 // gbb: Gather the low order bits from each byte in $rA into a single 16-bit
1020 // quantity stored into $rT's slot 0, upper 16 bits are zeroed, as are
1021 // slots 1-3.
1022 //
1023 // Note: This instruction "pairs" with the fsmb instruction for all of the
1024 // various types defined here.
1025 //
1026 // Note 2: The "VecInst" and "RegInst" forms refer to the result being either
1027 // a vector or register.
1028
1029 class GBBInst<dag OOL, dag IOL, list<dag> pattern>:
1030   RRForm_1<0b01001101100, OOL, IOL, "gbb\t$rT, $rA", GatherOp, pattern>;
1031
1032 class GBBRegInst<RegisterClass rclass, ValueType vectype>:
1033   GBBInst<(outs rclass:$rT), (ins VECREG:$rA),
1034           [/* no pattern */]>;
1035
1036 class GBBVecInst<ValueType vectype>:
1037   GBBInst<(outs VECREG:$rT), (ins VECREG:$rA),
1038           [/* no pattern */]>;
1039
1040 multiclass GatherBitsFromBytes {
1041   def v16i8_r32: GBBRegInst<R32C, v16i8>;
1042   def v16i8_r16: GBBRegInst<R16C, v16i8>;
1043   def v16i8:     GBBVecInst<v16i8>;
1044 }
1045
1046 defm GBB: GatherBitsFromBytes;
1047
1048 // gbh: Gather all low order bits from each halfword in $rA into a single
1049 // 8-bit quantity stored in $rT's slot 0, with the upper bits of $rT set to 0
1050 // and slots 1-3 also set to 0.
1051 //
1052 // See notes for GBBInst, above.
1053
1054 class GBHInst<dag OOL, dag IOL, list<dag> pattern>:
1055     RRForm_1<0b10001101100, OOL, IOL, "gbh\t$rT, $rA", GatherOp,
1056              pattern>;
1057
1058 class GBHRegInst<RegisterClass rclass, ValueType vectype>:
1059     GBHInst<(outs rclass:$rT), (ins VECREG:$rA),
1060             [/* no pattern */]>;
1061
1062 class GBHVecInst<ValueType vectype>:
1063     GBHInst<(outs VECREG:$rT), (ins VECREG:$rA),
1064             [/* no pattern */]>;
1065
1066 multiclass GatherBitsHalfword {
1067   def v8i16_r32: GBHRegInst<R32C, v8i16>;
1068   def v8i16_r16: GBHRegInst<R16C, v8i16>;
1069   def v8i16:     GBHVecInst<v8i16>;
1070 }
1071
1072 defm GBH: GatherBitsHalfword;
1073
1074 // gb: Gather all low order bits from each word in $rA into a single
1075 // 4-bit quantity stored in $rT's slot 0, upper bits in $rT set to 0,
1076 // as well as slots 1-3.
1077 //
1078 // See notes for gbb, above.
1079
1080 class GBInst<dag OOL, dag IOL, list<dag> pattern>:
1081     RRForm_1<0b00001101100, OOL, IOL, "gb\t$rT, $rA", GatherOp,
1082              pattern>;
1083
1084 class GBRegInst<RegisterClass rclass, ValueType vectype>:
1085     GBInst<(outs rclass:$rT), (ins VECREG:$rA),
1086            [/* no pattern */]>;
1087
1088 class GBVecInst<ValueType vectype>:
1089     GBInst<(outs VECREG:$rT), (ins VECREG:$rA),
1090            [/* no pattern */]>;
1091
1092 multiclass GatherBitsWord {
1093   def v4i32_r32: GBRegInst<R32C, v4i32>;
1094   def v4i32_r16: GBRegInst<R16C, v4i32>;
1095   def v4i32:     GBVecInst<v4i32>;
1096 }
1097
1098 defm GB: GatherBitsWord;
1099
1100 // avgb: average bytes
1101 def AVGB:
1102     RRForm<0b11001011000, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1103       "avgb\t$rT, $rA, $rB", ByteOp,
1104       []>;
1105
1106 // absdb: absolute difference of bytes
1107 def ABSDB:
1108     RRForm<0b11001010000, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1109       "absdb\t$rT, $rA, $rB", ByteOp,
1110       []>;
1111
1112 // sumb: sum bytes into halfwords
1113 def SUMB:
1114     RRForm<0b11001010010, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1115       "sumb\t$rT, $rA, $rB", ByteOp,
1116       []>;
1117
1118 // Sign extension operations:
1119 class XSBHInst<dag OOL, dag IOL, list<dag> pattern>:
1120     RRForm_1<0b01101101010, OOL, IOL,
1121       "xsbh\t$rDst, $rSrc",
1122       IntegerOp, pattern>;
1123
1124 class XSBHInRegInst<RegisterClass rclass, list<dag> pattern>:
1125     XSBHInst<(outs rclass:$rDst), (ins rclass:$rSrc),
1126              pattern>;
1127
1128 multiclass ExtendByteHalfword {
1129   def v16i8:     XSBHInst<(outs VECREG:$rDst), (ins VECREG:$rSrc),
1130                           [
1131                   /*(set (v8i16 VECREG:$rDst), (sext (v8i16 VECREG:$rSrc)))*/]>;
1132   def r8:        XSBHInst<(outs R16C:$rDst), (ins R8C:$rSrc),
1133                           [(set R16C:$rDst, (sext R8C:$rSrc))]>;
1134   def r16:       XSBHInRegInst<R16C,
1135                                [(set R16C:$rDst, (sext_inreg R16C:$rSrc, i8))]>;
1136
1137   // 32-bit form for XSBH: used to sign extend 8-bit quantities to 16-bit
1138   // quantities to 32-bit quantities via a 32-bit register (see the sext 8->32
1139   // pattern below). Intentionally doesn't match a pattern because we want the
1140   // sext 8->32 pattern to do the work for us, namely because we need the extra
1141   // XSHWr32.
1142   def r32:   XSBHInRegInst<R32C, [/* no pattern */]>;
1143
1144   // Same as the 32-bit version, but for i64
1145   def r64:   XSBHInRegInst<R64C, [/* no pattern */]>;
1146 }
1147
1148 defm XSBH : ExtendByteHalfword;
1149
1150 // Sign extend halfwords to words:
1151
1152 class XSHWInst<dag OOL, dag IOL, list<dag> pattern>:
1153     RRForm_1<0b01101101010, OOL, IOL, "xshw\t$rDest, $rSrc",
1154             IntegerOp, pattern>;
1155
1156 class XSHWVecInst<ValueType in_vectype, ValueType out_vectype>:
1157     XSHWInst<(outs VECREG:$rDest), (ins VECREG:$rSrc),
1158              [(set (out_vectype VECREG:$rDest),
1159                    (sext (in_vectype VECREG:$rSrc)))]>;
1160
1161 class XSHWInRegInst<RegisterClass rclass, list<dag> pattern>:
1162     XSHWInst<(outs rclass:$rDest), (ins rclass:$rSrc),
1163              pattern>;
1164
1165 class XSHWRegInst<RegisterClass rclass>:
1166     XSHWInst<(outs rclass:$rDest), (ins R16C:$rSrc),
1167              [(set rclass:$rDest, (sext R16C:$rSrc))]>;
1168
1169 multiclass ExtendHalfwordWord {
1170   def v4i32: XSHWVecInst<v4i32, v8i16>;
1171
1172   def r16:   XSHWRegInst<R32C>;
1173
1174   def r32:   XSHWInRegInst<R32C,
1175                           [(set R32C:$rDest, (sext_inreg R32C:$rSrc, i16))]>;
1176   def r64:   XSHWInRegInst<R64C, [/* no pattern */]>;
1177 }
1178
1179 defm XSHW : ExtendHalfwordWord;
1180
1181 // Sign-extend words to doublewords (32->64 bits)
1182
1183 class XSWDInst<dag OOL, dag IOL, list<dag> pattern>:
1184     RRForm_1<0b01100101010, OOL, IOL, "xswd\t$rDst, $rSrc",
1185               IntegerOp, pattern>;
1186
1187 class XSWDVecInst<ValueType in_vectype, ValueType out_vectype>:
1188     XSWDInst<(outs VECREG:$rDst), (ins VECREG:$rSrc),
1189              [/*(set (out_vectype VECREG:$rDst),
1190                    (sext (out_vectype VECREG:$rSrc)))*/]>;
1191
1192 class XSWDRegInst<RegisterClass in_rclass, RegisterClass out_rclass>:
1193     XSWDInst<(outs out_rclass:$rDst), (ins in_rclass:$rSrc),
1194              [(set out_rclass:$rDst, (sext in_rclass:$rSrc))]>;
1195
1196 multiclass ExtendWordToDoubleWord {
1197   def v2i64: XSWDVecInst<v4i32, v2i64>;
1198   def r64:   XSWDRegInst<R32C, R64C>;
1199
1200   def r64_inreg: XSWDInst<(outs R64C:$rDst), (ins R64C:$rSrc),
1201                           [(set R64C:$rDst, (sext_inreg R64C:$rSrc, i32))]>;
1202 }
1203
1204 defm XSWD : ExtendWordToDoubleWord;
1205
1206 // AND operations
1207
1208 class ANDInst<dag OOL, dag IOL, list<dag> pattern> :
1209     RRForm<0b10000011000, OOL, IOL, "and\t$rT, $rA, $rB",
1210            IntegerOp, pattern>;
1211
1212 class ANDVecInst<ValueType vectype>:
1213     ANDInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1214              [(set (vectype VECREG:$rT), (and (vectype VECREG:$rA),
1215                                               (vectype VECREG:$rB)))]>;
1216
1217 class ANDRegInst<RegisterClass rclass>:
1218     ANDInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
1219              [(set rclass:$rT, (and rclass:$rA, rclass:$rB))]>;
1220
1221 multiclass BitwiseAnd
1222 {
1223   def v16i8: ANDVecInst<v16i8>;
1224   def v8i16: ANDVecInst<v8i16>;
1225   def v4i32: ANDVecInst<v4i32>;
1226   def v2i64: ANDVecInst<v2i64>;
1227
1228   def r128:  ANDRegInst<GPRC>;
1229   def r64:   ANDRegInst<R64C>;
1230   def r32:   ANDRegInst<R32C>;
1231   def r16:   ANDRegInst<R16C>;
1232   def r8:    ANDRegInst<R8C>;
1233
1234   //===---------------------------------------------
1235   // Special instructions to perform the fabs instruction
1236   def fabs32: ANDInst<(outs R32FP:$rT), (ins R32FP:$rA, R32C:$rB),
1237                       [/* Intentionally does not match a pattern */]>;
1238
1239   def fabs64: ANDInst<(outs R64FP:$rT), (ins R64FP:$rA, R64C:$rB),
1240                       [/* Intentionally does not match a pattern */]>;
1241
1242   def fabsvec: ANDInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1243                        [/* Intentionally does not match a pattern */]>;
1244
1245   //===---------------------------------------------
1246
1247   // Hacked form of AND to zero-extend 16-bit quantities to 32-bit
1248   // quantities -- see 16->32 zext pattern.
1249   //
1250   // This pattern is somewhat artificial, since it might match some
1251   // compiler generated pattern but it is unlikely to do so.
1252
1253   def i16i32: ANDInst<(outs R32C:$rT), (ins R16C:$rA, R32C:$rB),
1254                       [(set R32C:$rT, (and (zext R16C:$rA), R32C:$rB))]>;
1255 }
1256
1257 defm AND : BitwiseAnd;
1258
1259
1260 def vnot_cell_conv : PatFrag<(ops node:$in),
1261                              (xor node:$in, (bitconvert (v4i32 immAllOnesV)))>;
1262
1263 // N.B.: vnot_cell_conv is one of those special target selection pattern
1264 // fragments,
1265 // in which we expect there to be a bit_convert on the constant. Bear in mind
1266 // that llvm translates "not <reg>" to "xor <reg>, -1" (or in this case, a
1267 // constant -1 vector.)
1268
1269 class ANDCInst<dag OOL, dag IOL, list<dag> pattern>:
1270     RRForm<0b10000011010, OOL, IOL, "andc\t$rT, $rA, $rB",
1271            IntegerOp, pattern>;
1272
1273 class ANDCVecInst<ValueType vectype, PatFrag vnot_frag = vnot>:
1274     ANDCInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1275              [(set (vectype VECREG:$rT),
1276                    (and (vectype VECREG:$rA),
1277                         (vnot_frag (vectype VECREG:$rB))))]>;
1278
1279 class ANDCRegInst<RegisterClass rclass>:
1280     ANDCInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
1281              [(set rclass:$rT, (and rclass:$rA, (not rclass:$rB)))]>;
1282
1283 multiclass AndComplement
1284 {
1285   def v16i8: ANDCVecInst<v16i8>;
1286   def v8i16: ANDCVecInst<v8i16>;
1287   def v4i32: ANDCVecInst<v4i32>;
1288   def v2i64: ANDCVecInst<v2i64>;
1289
1290   def r128: ANDCRegInst<GPRC>;
1291   def r64:  ANDCRegInst<R64C>;
1292   def r32:  ANDCRegInst<R32C>;
1293   def r16:  ANDCRegInst<R16C>;
1294   def r8:   ANDCRegInst<R8C>;
1295
1296   // Sometimes, the xor pattern has a bitcast constant:
1297   def v16i8_conv: ANDCVecInst<v16i8, vnot_cell_conv>;
1298 }
1299
1300 defm ANDC : AndComplement;
1301
1302 class ANDBIInst<dag OOL, dag IOL, list<dag> pattern>:
1303     RI10Form<0b01101000, OOL, IOL, "andbi\t$rT, $rA, $val",
1304              ByteOp, pattern>;
1305
1306 multiclass AndByteImm
1307 {
1308   def v16i8: ANDBIInst<(outs VECREG:$rT), (ins VECREG:$rA, u10imm:$val),
1309                        [(set (v16i8 VECREG:$rT),
1310                              (and (v16i8 VECREG:$rA),
1311                                   (v16i8 v16i8U8Imm:$val)))]>;
1312
1313   def r8: ANDBIInst<(outs R8C:$rT), (ins R8C:$rA, u10imm_i8:$val),
1314                     [(set R8C:$rT, (and R8C:$rA, immU8:$val))]>;
1315 }
1316
1317 defm ANDBI : AndByteImm;
1318
1319 class ANDHIInst<dag OOL, dag IOL, list<dag> pattern> :
1320     RI10Form<0b10101000, OOL, IOL, "andhi\t$rT, $rA, $val",
1321              ByteOp, pattern>;
1322
1323 multiclass AndHalfwordImm
1324 {
1325   def v8i16: ANDHIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
1326                        [(set (v8i16 VECREG:$rT),
1327                              (and (v8i16 VECREG:$rA), v8i16SExt10Imm:$val))]>;
1328
1329   def r16: ANDHIInst<(outs R16C:$rT), (ins R16C:$rA, u10imm:$val),
1330                      [(set R16C:$rT, (and R16C:$rA, i16ImmUns10:$val))]>;
1331
1332   // Zero-extend i8 to i16:
1333   def i8i16: ANDHIInst<(outs R16C:$rT), (ins R8C:$rA, u10imm:$val),
1334                       [(set R16C:$rT, (and (zext R8C:$rA), i16ImmUns10:$val))]>;
1335 }
1336
1337 defm ANDHI : AndHalfwordImm;
1338
1339 class ANDIInst<dag OOL, dag IOL, list<dag> pattern> :
1340     RI10Form<0b00101000, OOL, IOL, "andi\t$rT, $rA, $val",
1341              IntegerOp, pattern>;
1342
1343 multiclass AndWordImm
1344 {
1345   def v4i32: ANDIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
1346                       [(set (v4i32 VECREG:$rT),
1347                             (and (v4i32 VECREG:$rA), v4i32SExt10Imm:$val))]>;
1348
1349   def r32: ANDIInst<(outs R32C:$rT), (ins R32C:$rA, s10imm_i32:$val),
1350                     [(set R32C:$rT, (and R32C:$rA, i32ImmSExt10:$val))]>;
1351
1352   // Hacked form of ANDI to zero-extend i8 quantities to i32. See the zext 8->32
1353   // pattern below.
1354   def i8i32: ANDIInst<(outs R32C:$rT), (ins R8C:$rA, s10imm_i32:$val),
1355                       [(set R32C:$rT,
1356                             (and (zext R8C:$rA), i32ImmSExt10:$val))]>;
1357
1358   // Hacked form of ANDI to zero-extend i16 quantities to i32. See the
1359   // zext 16->32 pattern below.
1360   //
1361   // Note that this pattern is somewhat artificial, since it might match
1362   // something the compiler generates but is unlikely to occur in practice.
1363   def i16i32: ANDIInst<(outs R32C:$rT), (ins R16C:$rA, s10imm_i32:$val),
1364                        [(set R32C:$rT,
1365                              (and (zext R16C:$rA), i32ImmSExt10:$val))]>;
1366 }
1367
1368 defm ANDI : AndWordImm;
1369
1370 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
1371 // Bitwise OR group:
1372 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
1373
1374 // Bitwise "or" (N.B.: These are also register-register copy instructions...)
1375 class ORInst<dag OOL, dag IOL, list<dag> pattern>:
1376     RRForm<0b10000010000, OOL, IOL, "or\t$rT, $rA, $rB",
1377            IntegerOp, pattern>;
1378
1379 class ORVecInst<ValueType vectype>:
1380     ORInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1381            [(set (vectype VECREG:$rT), (or (vectype VECREG:$rA),
1382                                            (vectype VECREG:$rB)))]>;
1383
1384 class ORRegInst<RegisterClass rclass>:
1385     ORInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
1386            [(set rclass:$rT, (or rclass:$rA, rclass:$rB))]>;
1387
1388 // ORCvtForm: OR conversion form
1389 //
1390 // This is used to "convert" the preferred slot to its vector equivalent, as
1391 // well as convert a vector back to its preferred slot.
1392 //
1393 // These are effectively no-ops, but need to exist for proper type conversion
1394 // and type coercion.
1395
1396 class ORCvtForm<dag OOL, dag IOL, list<dag> pattern = [/* no pattern */]>
1397           : SPUInstr<OOL, IOL, "or\t$rT, $rA, $rA", IntegerOp> {
1398   bits<7> RA;
1399   bits<7> RT;
1400
1401   let Pattern = pattern;
1402
1403   let Inst{0-10} = 0b10000010000;
1404   let Inst{11-17} = RA;
1405   let Inst{18-24} = RA;
1406   let Inst{25-31} = RT;
1407 }
1408
1409 class ORPromoteScalar<RegisterClass rclass>:
1410     ORCvtForm<(outs VECREG:$rT), (ins rclass:$rA)>;
1411
1412 class ORExtractElt<RegisterClass rclass>:
1413     ORCvtForm<(outs rclass:$rT), (ins VECREG:$rA)>;
1414
1415 /* class ORCvtRegGPRC<RegisterClass rclass>:
1416     ORCvtForm<(outs GPRC:$rT), (ins rclass:$rA)>; */
1417
1418 /* class ORCvtGPRCReg<RegisterClass rclass>:
1419     ORCvtForm<(outs rclass:$rT), (ins GPRC:$rA)>; */
1420
1421 class ORCvtFormR32Reg<RegisterClass rclass, list<dag> pattern = [ ]>:
1422     ORCvtForm<(outs rclass:$rT), (ins R32C:$rA), pattern>;
1423
1424 class ORCvtFormRegR32<RegisterClass rclass, list<dag> pattern = [ ]>:
1425     ORCvtForm<(outs R32C:$rT), (ins rclass:$rA), pattern>;
1426
1427 class ORCvtFormR64Reg<RegisterClass rclass, list<dag> pattern = [ ]>:
1428     ORCvtForm<(outs rclass:$rT), (ins R64C:$rA), pattern>;
1429
1430 class ORCvtFormRegR64<RegisterClass rclass, list<dag> pattern = [ ]>:
1431     ORCvtForm<(outs R64C:$rT), (ins rclass:$rA), pattern>;
1432
1433 class ORCvtGPRCVec:
1434     ORCvtForm<(outs VECREG:$rT), (ins GPRC:$rA)>;
1435
1436 class ORCvtVecGPRC:
1437     ORCvtForm<(outs GPRC:$rT), (ins VECREG:$rA)>;
1438
1439 class ORCvtVecVec:
1440     ORCvtForm<(outs VECREG:$rT), (ins VECREG:$rA)>;
1441
1442 multiclass BitwiseOr
1443 {
1444   def v16i8: ORVecInst<v16i8>;
1445   def v8i16: ORVecInst<v8i16>;
1446   def v4i32: ORVecInst<v4i32>;
1447   def v2i64: ORVecInst<v2i64>;
1448
1449   def v4f32: ORInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1450                     [(set (v4f32 VECREG:$rT),
1451                           (v4f32 (bitconvert (or (v4i32 VECREG:$rA),
1452                                                  (v4i32 VECREG:$rB)))))]>;
1453
1454   def v2f64: ORInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1455                     [(set (v2f64 VECREG:$rT),
1456                           (v2f64 (bitconvert (or (v2i64 VECREG:$rA),
1457                                                  (v2i64 VECREG:$rB)))))]>;
1458
1459   def r128: ORRegInst<GPRC>;
1460   def r64:  ORRegInst<R64C>;
1461   def r32:  ORRegInst<R32C>;
1462   def r16:  ORRegInst<R16C>;
1463   def r8:   ORRegInst<R8C>;
1464
1465   // OR instructions used to copy f32 and f64 registers.
1466   def f32: ORInst<(outs R32FP:$rT), (ins R32FP:$rA, R32FP:$rB),
1467                   [/* no pattern */]>;
1468
1469   def f64: ORInst<(outs R64FP:$rT), (ins R64FP:$rA, R64FP:$rB),
1470                   [/* no pattern */]>;
1471
1472   // scalar->vector promotion, prefslot2vec:
1473   def v16i8_i8:  ORPromoteScalar<R8C>;
1474   def v8i16_i16: ORPromoteScalar<R16C>;
1475   def v4i32_i32: ORPromoteScalar<R32C>;
1476   def v2i64_i64: ORPromoteScalar<R64C>;
1477   def v4f32_f32: ORPromoteScalar<R32FP>;
1478   def v2f64_f64: ORPromoteScalar<R64FP>;
1479
1480   // vector->scalar demotion, vec2prefslot:
1481   def i8_v16i8:  ORExtractElt<R8C>;
1482   def i16_v8i16: ORExtractElt<R16C>;
1483   def i32_v4i32: ORExtractElt<R32C>;
1484   def i64_v2i64: ORExtractElt<R64C>;
1485   def f32_v4f32: ORExtractElt<R32FP>;
1486   def f64_v2f64: ORExtractElt<R64FP>;
1487
1488   // Conversion from vector to GPRC
1489   def i128_vec:  ORCvtVecGPRC;
1490
1491   // Conversion from GPRC to vector
1492   def vec_i128:  ORCvtGPRCVec;
1493
1494 /*
1495   // Conversion from register to GPRC
1496   def i128_r64:  ORCvtRegGPRC<R64C>;
1497   def i128_f64:  ORCvtRegGPRC<R64FP>;
1498   def i128_r32:  ORCvtRegGPRC<R32C>;
1499   def i128_f32:  ORCvtRegGPRC<R32FP>;
1500   def i128_r16:  ORCvtRegGPRC<R16C>;
1501   def i128_r8:   ORCvtRegGPRC<R8C>;
1502
1503   // Conversion from GPRC to register
1504   def r64_i128:  ORCvtGPRCReg<R64C>;
1505   def f64_i128:  ORCvtGPRCReg<R64FP>;
1506   def r32_i128:  ORCvtGPRCReg<R32C>;
1507   def f32_i128:  ORCvtGPRCReg<R32FP>;
1508   def r16_i128:  ORCvtGPRCReg<R16C>;
1509   def r8_i128:   ORCvtGPRCReg<R8C>;
1510 */
1511 /*
1512   // Conversion from register to R32C:
1513   def r32_r16:   ORCvtFormRegR32<R16C>;
1514   def r32_r8:    ORCvtFormRegR32<R8C>;
1515
1516   // Conversion from R32C to register
1517   def r32_r16:   ORCvtFormR32Reg<R16C>;
1518   def r32_r8:    ORCvtFormR32Reg<R8C>;
1519 */
1520
1521   // Conversion from R64C to register:
1522   def r32_r64:   ORCvtFormR64Reg<R32C>;
1523   // def r16_r64:   ORCvtFormR64Reg<R16C>;
1524   // def r8_r64:    ORCvtFormR64Reg<R8C>;
1525
1526   // Conversion to R64C from register:
1527   def r64_r32:   ORCvtFormRegR64<R32C>;
1528   // def r64_r16:   ORCvtFormRegR64<R16C>;
1529   // def r64_r8:    ORCvtFormRegR64<R8C>;
1530
1531   // bitconvert patterns:
1532   def r32_f32:   ORCvtFormR32Reg<R32FP,
1533                                  [(set R32FP:$rT, (bitconvert R32C:$rA))]>;
1534   def f32_r32:   ORCvtFormRegR32<R32FP,
1535                                  [(set R32C:$rT, (bitconvert R32FP:$rA))]>;
1536
1537   def r64_f64:   ORCvtFormR64Reg<R64FP,
1538                                  [(set R64FP:$rT, (bitconvert R64C:$rA))]>;
1539   def f64_r64:   ORCvtFormRegR64<R64FP,
1540                                  [(set R64C:$rT, (bitconvert R64FP:$rA))]>;
1541 }
1542
1543 defm OR : BitwiseOr;
1544
1545 // scalar->vector promotion patterns (preferred slot to vector):
1546 def : Pat<(v16i8 (SPUprefslot2vec R8C:$rA)),
1547           (ORv16i8_i8 R8C:$rA)>;
1548
1549 def : Pat<(v8i16 (SPUprefslot2vec R16C:$rA)),
1550           (ORv8i16_i16 R16C:$rA)>;
1551
1552 def : Pat<(v4i32 (SPUprefslot2vec R32C:$rA)),
1553           (ORv4i32_i32 R32C:$rA)>;
1554
1555 def : Pat<(v2i64 (SPUprefslot2vec R64C:$rA)),
1556           (ORv2i64_i64 R64C:$rA)>;
1557
1558 def : Pat<(v4f32 (SPUprefslot2vec R32FP:$rA)),
1559           (ORv4f32_f32 R32FP:$rA)>;
1560
1561 def : Pat<(v2f64 (SPUprefslot2vec R64FP:$rA)),
1562           (ORv2f64_f64 R64FP:$rA)>;
1563
1564 // ORi*_v*: Used to extract vector element 0 (the preferred slot), otherwise
1565 // known as converting the vector back to its preferred slot
1566
1567 def : Pat<(SPUvec2prefslot (v16i8 VECREG:$rA)),
1568           (ORi8_v16i8 VECREG:$rA)>;
1569
1570 def : Pat<(SPUvec2prefslot (v8i16 VECREG:$rA)),
1571           (ORi16_v8i16 VECREG:$rA)>;
1572
1573 def : Pat<(SPUvec2prefslot (v4i32 VECREG:$rA)),
1574           (ORi32_v4i32 VECREG:$rA)>;
1575
1576 def : Pat<(SPUvec2prefslot (v2i64 VECREG:$rA)),
1577           (ORi64_v2i64 VECREG:$rA)>;
1578
1579 def : Pat<(SPUvec2prefslot (v4f32 VECREG:$rA)),
1580           (ORf32_v4f32 VECREG:$rA)>;
1581
1582 def : Pat<(SPUvec2prefslot (v2f64 VECREG:$rA)),
1583           (ORf64_v2f64 VECREG:$rA)>;
1584
1585 // Load Register: This is an assembler alias for a bitwise OR of a register
1586 // against itself. It's here because it brings some clarity to assembly
1587 // language output.
1588
1589 let hasCtrlDep = 1 in {
1590     class LRInst<dag OOL, dag IOL>
1591               : SPUInstr<OOL, IOL, "lr\t$rT, $rA", IntegerOp> {
1592       bits<7> RA;
1593       bits<7> RT;
1594
1595       let Pattern = [/*no pattern*/];
1596
1597       let Inst{0-10} = 0b10000010000;   /* It's an OR operation */
1598       let Inst{11-17} = RA;
1599       let Inst{18-24} = RA;
1600       let Inst{25-31} = RT;
1601     }
1602
1603     class LRVecInst<ValueType vectype>:
1604         LRInst<(outs VECREG:$rT), (ins VECREG:$rA)>;
1605
1606     class LRRegInst<RegisterClass rclass>:
1607         LRInst<(outs rclass:$rT), (ins rclass:$rA)>;
1608
1609     multiclass LoadRegister {
1610       def v2i64: LRVecInst<v2i64>;
1611       def v2f64: LRVecInst<v2f64>;
1612       def v4i32: LRVecInst<v4i32>;
1613       def v4f32: LRVecInst<v4f32>;
1614       def v8i16: LRVecInst<v8i16>;
1615       def v16i8: LRVecInst<v16i8>;
1616
1617       def r128:  LRRegInst<GPRC>;
1618       def r64:   LRRegInst<R64C>;
1619       def f64:   LRRegInst<R64FP>;
1620       def r32:   LRRegInst<R32C>;
1621       def f32:   LRRegInst<R32FP>;
1622       def r16:   LRRegInst<R16C>;
1623       def r8:    LRRegInst<R8C>;
1624     }
1625
1626     defm LR: LoadRegister;
1627 }
1628
1629 // ORC: Bitwise "or" with complement (c = a | ~b)
1630
1631 class ORCInst<dag OOL, dag IOL, list<dag> pattern>:
1632     RRForm<0b10010010000, OOL, IOL, "orc\t$rT, $rA, $rB",
1633            IntegerOp, pattern>;
1634
1635 class ORCVecInst<ValueType vectype>:
1636     ORCInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1637             [(set (vectype VECREG:$rT), (or (vectype VECREG:$rA),
1638                                             (vnot (vectype VECREG:$rB))))]>;
1639
1640 class ORCRegInst<RegisterClass rclass>:
1641   ORCInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
1642           [(set rclass:$rT, (or rclass:$rA, (not rclass:$rB)))]>;
1643
1644 multiclass BitwiseOrComplement
1645 {
1646   def v16i8: ORCVecInst<v16i8>;
1647   def v8i16: ORCVecInst<v8i16>;
1648   def v4i32: ORCVecInst<v4i32>;
1649   def v2i64: ORCVecInst<v2i64>;
1650
1651   def r128:  ORCRegInst<GPRC>;
1652   def r64:   ORCRegInst<R64C>;
1653   def r32:   ORCRegInst<R32C>;
1654   def r16:   ORCRegInst<R16C>;
1655   def r8:    ORCRegInst<R8C>;
1656 }
1657
1658 defm ORC : BitwiseOrComplement;
1659
1660 // OR byte immediate
1661 class ORBIInst<dag OOL, dag IOL, list<dag> pattern>:
1662     RI10Form<0b01100000, OOL, IOL, "orbi\t$rT, $rA, $val",
1663              IntegerOp, pattern>;
1664
1665 class ORBIVecInst<ValueType vectype, PatLeaf immpred>:
1666     ORBIInst<(outs VECREG:$rT), (ins VECREG:$rA, u10imm:$val),
1667              [(set (v16i8 VECREG:$rT), (or (vectype VECREG:$rA),
1668                                            (vectype immpred:$val)))]>;
1669
1670 multiclass BitwiseOrByteImm
1671 {
1672   def v16i8: ORBIVecInst<v16i8, v16i8U8Imm>;
1673
1674   def r8: ORBIInst<(outs R8C:$rT), (ins R8C:$rA, u10imm_i8:$val),
1675                    [(set R8C:$rT, (or R8C:$rA, immU8:$val))]>;
1676 }
1677
1678 defm ORBI : BitwiseOrByteImm;
1679
1680 // OR halfword immediate
1681 class ORHIInst<dag OOL, dag IOL, list<dag> pattern>:
1682     RI10Form<0b10100000, OOL, IOL, "orhi\t$rT, $rA, $val",
1683              IntegerOp, pattern>;
1684
1685 class ORHIVecInst<ValueType vectype, PatLeaf immpred>:
1686     ORHIInst<(outs VECREG:$rT), (ins VECREG:$rA, u10imm:$val),
1687               [(set (vectype VECREG:$rT), (or (vectype VECREG:$rA),
1688                                               immpred:$val))]>;
1689
1690 multiclass BitwiseOrHalfwordImm
1691 {
1692   def v8i16: ORHIVecInst<v8i16, v8i16Uns10Imm>;
1693
1694   def r16: ORHIInst<(outs R16C:$rT), (ins R16C:$rA, u10imm:$val),
1695                     [(set R16C:$rT, (or R16C:$rA, i16ImmUns10:$val))]>;
1696
1697   // Specialized ORHI form used to promote 8-bit registers to 16-bit
1698   def i8i16: ORHIInst<(outs R16C:$rT), (ins R8C:$rA, s10imm:$val),
1699                       [(set R16C:$rT, (or (anyext R8C:$rA),
1700                                           i16ImmSExt10:$val))]>;
1701 }
1702
1703 defm ORHI : BitwiseOrHalfwordImm;
1704
1705 class ORIInst<dag OOL, dag IOL, list<dag> pattern>:
1706     RI10Form<0b00100000, OOL, IOL, "ori\t$rT, $rA, $val",
1707              IntegerOp, pattern>;
1708
1709 class ORIVecInst<ValueType vectype, PatLeaf immpred>:
1710     ORIInst<(outs VECREG:$rT), (ins VECREG:$rA, u10imm:$val),
1711             [(set (vectype VECREG:$rT), (or (vectype VECREG:$rA),
1712                                             immpred:$val))]>;
1713
1714 // Bitwise "or" with immediate
1715 multiclass BitwiseOrImm
1716 {
1717   def v4i32: ORIVecInst<v4i32, v4i32Uns10Imm>;
1718
1719   def r32: ORIInst<(outs R32C:$rT), (ins R32C:$rA, u10imm_i32:$val),
1720                    [(set R32C:$rT, (or R32C:$rA, i32ImmUns10:$val))]>;
1721
1722   // i16i32: hacked version of the ori instruction to extend 16-bit quantities
1723   // to 32-bit quantities. used exclusively to match "anyext" conversions (vide
1724   // infra "anyext 16->32" pattern.)
1725   def i16i32: ORIInst<(outs R32C:$rT), (ins R16C:$rA, s10imm_i32:$val),
1726                       [(set R32C:$rT, (or (anyext R16C:$rA),
1727                                           i32ImmSExt10:$val))]>;
1728
1729   // i8i32: Hacked version of the ORI instruction to extend 16-bit quantities
1730   // to 32-bit quantities. Used exclusively to match "anyext" conversions (vide
1731   // infra "anyext 16->32" pattern.)
1732   def i8i32: ORIInst<(outs R32C:$rT), (ins R8C:$rA, s10imm_i32:$val),
1733                      [(set R32C:$rT, (or (anyext R8C:$rA),
1734                                          i32ImmSExt10:$val))]>;
1735 }
1736
1737 defm ORI : BitwiseOrImm;
1738
1739 // ORX: "or" across the vector: or's $rA's word slots leaving the result in
1740 // $rT[0], slots 1-3 are zeroed.
1741 //
1742 // FIXME: Needs to match an intrinsic pattern.
1743 def ORXv4i32:
1744     RRForm<0b10010010000, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1745       "orx\t$rT, $rA, $rB", IntegerOp,
1746       []>;
1747
1748 // XOR:
1749
1750 class XORInst<dag OOL, dag IOL, list<dag> pattern> :
1751     RRForm<0b10010010000, OOL, IOL, "xor\t$rT, $rA, $rB",
1752            IntegerOp, pattern>;
1753
1754 class XORVecInst<ValueType vectype>:
1755     XORInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1756              [(set (vectype VECREG:$rT), (xor (vectype VECREG:$rA),
1757                                               (vectype VECREG:$rB)))]>;
1758
1759 class XORRegInst<RegisterClass rclass>:
1760     XORInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
1761              [(set rclass:$rT, (xor rclass:$rA, rclass:$rB))]>;
1762
1763 multiclass BitwiseExclusiveOr
1764 {
1765   def v16i8: XORVecInst<v16i8>;
1766   def v8i16: XORVecInst<v8i16>;
1767   def v4i32: XORVecInst<v4i32>;
1768   def v2i64: XORVecInst<v2i64>;
1769
1770   def r128:  XORRegInst<GPRC>;
1771   def r64:   XORRegInst<R64C>;
1772   def r32:   XORRegInst<R32C>;
1773   def r16:   XORRegInst<R16C>;
1774   def r8:    XORRegInst<R8C>;
1775
1776   // XOR instructions used to negate f32 and f64 quantities.
1777
1778   def fneg32: XORInst<(outs R32FP:$rT), (ins R32FP:$rA, R32C:$rB),
1779                      [/* no pattern */]>;
1780
1781   def fneg64: XORInst<(outs R64FP:$rT), (ins R64FP:$rA, R64C:$rB),
1782                      [/* no pattern */]>;
1783
1784   def fnegvec: XORInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1785                       [/* no pattern, see fneg{32,64} */]>;
1786 }
1787
1788 defm XOR : BitwiseExclusiveOr;
1789
1790 //==----------------------------------------------------------
1791
1792 class XORBIInst<dag OOL, dag IOL, list<dag> pattern>:
1793     RI10Form<0b01100000, OOL, IOL, "xorbi\t$rT, $rA, $val",
1794              IntegerOp, pattern>;
1795
1796 multiclass XorByteImm
1797 {
1798   def v16i8:
1799     XORBIInst<(outs VECREG:$rT), (ins VECREG:$rA, u10imm:$val),
1800               [(set (v16i8 VECREG:$rT), (xor (v16i8 VECREG:$rA), v16i8U8Imm:$val))]>;
1801
1802   def r8:
1803     XORBIInst<(outs R8C:$rT), (ins R8C:$rA, u10imm_i8:$val),
1804               [(set R8C:$rT, (xor R8C:$rA, immU8:$val))]>;
1805 }
1806
1807 defm XORBI : XorByteImm;
1808
1809 def XORHIv8i16:
1810     RI10Form<0b10100000, (outs VECREG:$rT), (ins VECREG:$rA, u10imm:$val),
1811       "xorhi\t$rT, $rA, $val", IntegerOp,
1812       [(set (v8i16 VECREG:$rT), (xor (v8i16 VECREG:$rA),
1813                                       v8i16SExt10Imm:$val))]>;
1814
1815 def XORHIr16:
1816     RI10Form<0b10100000, (outs R16C:$rT), (ins R16C:$rA, s10imm:$val),
1817       "xorhi\t$rT, $rA, $val", IntegerOp,
1818       [(set R16C:$rT, (xor R16C:$rA, i16ImmSExt10:$val))]>;
1819
1820 def XORIv4i32:
1821     RI10Form<0b00100000, (outs VECREG:$rT), (ins VECREG:$rA, s10imm_i32:$val),
1822       "xori\t$rT, $rA, $val", IntegerOp,
1823       [(set (v4i32 VECREG:$rT), (xor (v4i32 VECREG:$rA),
1824                                      v4i32SExt10Imm:$val))]>;
1825
1826 def XORIr32:
1827     RI10Form<0b00100000, (outs R32C:$rT), (ins R32C:$rA, s10imm_i32:$val),
1828       "xori\t$rT, $rA, $val", IntegerOp,
1829       [(set R32C:$rT, (xor R32C:$rA, i32ImmSExt10:$val))]>;
1830
1831 // NAND:
1832
1833 class NANDInst<dag OOL, dag IOL, list<dag> pattern>:
1834     RRForm<0b10010011000, OOL, IOL, "nand\t$rT, $rA, $rB",
1835            IntegerOp, pattern>;
1836
1837 class NANDVecInst<ValueType vectype>:
1838     NANDInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1839              [(set (vectype VECREG:$rT), (vnot (and (vectype VECREG:$rA),
1840                                                     (vectype VECREG:$rB))))]>;
1841 class NANDRegInst<RegisterClass rclass>:
1842     NANDInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
1843              [(set rclass:$rT, (not (and rclass:$rA, rclass:$rB)))]>;
1844
1845 multiclass BitwiseNand
1846 {
1847   def v16i8: NANDVecInst<v16i8>;
1848   def v8i16: NANDVecInst<v8i16>;
1849   def v4i32: NANDVecInst<v4i32>;
1850   def v2i64: NANDVecInst<v2i64>;
1851
1852   def r128:  NANDRegInst<GPRC>;
1853   def r64:   NANDRegInst<R64C>;
1854   def r32:   NANDRegInst<R32C>;
1855   def r16:   NANDRegInst<R16C>;
1856   def r8:    NANDRegInst<R8C>;
1857 }
1858
1859 defm NAND : BitwiseNand;
1860
1861 // NOR:
1862
1863 class NORInst<dag OOL, dag IOL, list<dag> pattern>:
1864     RRForm<0b10010010000, OOL, IOL, "nor\t$rT, $rA, $rB",
1865            IntegerOp, pattern>;
1866
1867 class NORVecInst<ValueType vectype>:
1868     NORInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1869             [(set (vectype VECREG:$rT), (vnot (or (vectype VECREG:$rA),
1870                                                   (vectype VECREG:$rB))))]>;
1871 class NORRegInst<RegisterClass rclass>:
1872     NORInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
1873             [(set rclass:$rT, (not (or rclass:$rA, rclass:$rB)))]>;
1874
1875 multiclass BitwiseNor
1876 {
1877   def v16i8: NORVecInst<v16i8>;
1878   def v8i16: NORVecInst<v8i16>;
1879   def v4i32: NORVecInst<v4i32>;
1880   def v2i64: NORVecInst<v2i64>;
1881
1882   def r128:  NORRegInst<GPRC>;
1883   def r64:   NORRegInst<R64C>;
1884   def r32:   NORRegInst<R32C>;
1885   def r16:   NORRegInst<R16C>;
1886   def r8:    NORRegInst<R8C>;
1887 }
1888
1889 defm NOR : BitwiseNor;
1890
1891 // Select bits:
1892 class SELBInst<dag OOL, dag IOL, list<dag> pattern>:
1893     RRRForm<0b1000, OOL, IOL, "selb\t$rT, $rA, $rB, $rC",
1894             IntegerOp, pattern>;
1895
1896 class SELBVecInst<ValueType vectype, PatFrag vnot_frag = vnot>:
1897   SELBInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
1898            [(set (vectype VECREG:$rT),
1899                  (or (and (vectype VECREG:$rC), (vectype VECREG:$rB)),
1900                      (and (vnot_frag (vectype VECREG:$rC)),
1901                           (vectype VECREG:$rA))))]>;
1902
1903 class SELBVecVCondInst<ValueType vectype>:
1904   SELBInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
1905            [(set (vectype VECREG:$rT),
1906                  (select (vectype VECREG:$rC),
1907                          (vectype VECREG:$rB),
1908                          (vectype VECREG:$rA)))]>;
1909
1910 class SELBVecCondInst<ValueType vectype>:
1911   SELBInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, R32C:$rC),
1912            [(set (vectype VECREG:$rT),
1913                  (select R32C:$rC,
1914                          (vectype VECREG:$rB),
1915                          (vectype VECREG:$rA)))]>;
1916
1917 class SELBRegInst<RegisterClass rclass>:
1918   SELBInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB, rclass:$rC),
1919            [(set rclass:$rT,
1920                  (or (and rclass:$rB, rclass:$rC),
1921                      (and rclass:$rA, (not rclass:$rC))))]>;
1922
1923 class SELBRegCondInst<RegisterClass rcond, RegisterClass rclass>:
1924   SELBInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB, rcond:$rC),
1925            [(set rclass:$rT,
1926                  (select rcond:$rC, rclass:$rB, rclass:$rA))]>;
1927
1928 multiclass SelectBits
1929 {
1930   def v16i8: SELBVecInst<v16i8>;
1931   def v8i16: SELBVecInst<v8i16>;
1932   def v4i32: SELBVecInst<v4i32>;
1933   def v2i64: SELBVecInst<v2i64, vnot_cell_conv>;
1934
1935   def r128:  SELBRegInst<GPRC>;
1936   def r64:   SELBRegInst<R64C>;
1937   def r32:   SELBRegInst<R32C>;
1938   def r16:   SELBRegInst<R16C>;
1939   def r8:    SELBRegInst<R8C>;
1940
1941   def v16i8_cond: SELBVecCondInst<v16i8>;
1942   def v8i16_cond: SELBVecCondInst<v8i16>;
1943   def v4i32_cond: SELBVecCondInst<v4i32>;
1944   def v2i64_cond: SELBVecCondInst<v2i64>;
1945
1946   def v16i8_vcond: SELBVecCondInst<v16i8>;
1947   def v8i16_vcond: SELBVecCondInst<v8i16>;
1948   def v4i32_vcond: SELBVecCondInst<v4i32>;
1949   def v2i64_vcond: SELBVecCondInst<v2i64>;
1950
1951   def v4f32_cond:
1952         SELBInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
1953                  [(set (v4f32 VECREG:$rT),
1954                        (select (v4i32 VECREG:$rC),
1955                                (v4f32 VECREG:$rB),
1956                                (v4f32 VECREG:$rA)))]>;
1957
1958   // SELBr64_cond is defined in SPU64InstrInfo.td
1959   def r32_cond:   SELBRegCondInst<R32C, R32C>;
1960   def f32_cond:   SELBRegCondInst<R32C, R32FP>;
1961   def r16_cond:   SELBRegCondInst<R16C, R16C>;
1962   def r8_cond:    SELBRegCondInst<R8C,  R8C>;
1963 }
1964
1965 defm SELB : SelectBits;
1966
1967 class SPUselbPatVec<ValueType vectype, SPUInstr inst>:
1968    Pat<(SPUselb (vectype VECREG:$rA), (vectype VECREG:$rB), (vectype VECREG:$rC)),
1969        (inst VECREG:$rA, VECREG:$rB, VECREG:$rC)>;
1970
1971 def : SPUselbPatVec<v16i8, SELBv16i8>;
1972 def : SPUselbPatVec<v8i16, SELBv8i16>;
1973 def : SPUselbPatVec<v4i32, SELBv4i32>;
1974 def : SPUselbPatVec<v2i64, SELBv2i64>;
1975
1976 class SPUselbPatReg<RegisterClass rclass, SPUInstr inst>:
1977    Pat<(SPUselb rclass:$rA, rclass:$rB, rclass:$rC),
1978        (inst rclass:$rA, rclass:$rB, rclass:$rC)>;
1979
1980 def : SPUselbPatReg<R8C,   SELBr8>;
1981 def : SPUselbPatReg<R16C,  SELBr16>;
1982 def : SPUselbPatReg<R32C,  SELBr32>;
1983 def : SPUselbPatReg<R64C,  SELBr64>;
1984
1985 // EQV: Equivalence (1 for each same bit, otherwise 0)
1986 //
1987 // Note: There are a lot of ways to match this bit operator and these patterns
1988 // attempt to be as exhaustive as possible.
1989
1990 class EQVInst<dag OOL, dag IOL, list<dag> pattern>:
1991     RRForm<0b10010010000, OOL, IOL, "eqv\t$rT, $rA, $rB",
1992            IntegerOp, pattern>;
1993
1994 class EQVVecInst<ValueType vectype>:
1995     EQVInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
1996             [(set (vectype VECREG:$rT),
1997                   (or (and (vectype VECREG:$rA), (vectype VECREG:$rB)),
1998                       (and (vnot (vectype VECREG:$rA)),
1999                            (vnot (vectype VECREG:$rB)))))]>;
2000
2001 class EQVRegInst<RegisterClass rclass>:
2002     EQVInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
2003             [(set rclass:$rT, (or (and rclass:$rA, rclass:$rB),
2004                                   (and (not rclass:$rA), (not rclass:$rB))))]>;
2005
2006 class EQVVecPattern1<ValueType vectype>:
2007   EQVInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
2008           [(set (vectype VECREG:$rT),
2009                 (xor (vectype VECREG:$rA), (vnot (vectype VECREG:$rB))))]>;
2010
2011 class EQVRegPattern1<RegisterClass rclass>:
2012   EQVInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
2013           [(set rclass:$rT, (xor rclass:$rA, (not rclass:$rB)))]>;
2014
2015 class EQVVecPattern2<ValueType vectype>:
2016   EQVInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
2017           [(set (vectype VECREG:$rT),
2018                 (or (and (vectype VECREG:$rA), (vectype VECREG:$rB)),
2019                     (vnot (or (vectype VECREG:$rA), (vectype VECREG:$rB)))))]>;
2020
2021 class EQVRegPattern2<RegisterClass rclass>:
2022   EQVInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
2023           [(set rclass:$rT,
2024                 (or (and rclass:$rA, rclass:$rB),
2025                     (not (or rclass:$rA, rclass:$rB))))]>;
2026
2027 class EQVVecPattern3<ValueType vectype>:
2028   EQVInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
2029           [(set (vectype VECREG:$rT),
2030                 (not (xor (vectype VECREG:$rA), (vectype VECREG:$rB))))]>;
2031
2032 class EQVRegPattern3<RegisterClass rclass>:
2033   EQVInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
2034           [(set rclass:$rT, (not (xor rclass:$rA, rclass:$rB)))]>;
2035
2036 multiclass BitEquivalence
2037 {
2038   def v16i8: EQVVecInst<v16i8>;
2039   def v8i16: EQVVecInst<v8i16>;
2040   def v4i32: EQVVecInst<v4i32>;
2041   def v2i64: EQVVecInst<v2i64>;
2042
2043   def v16i8_1: EQVVecPattern1<v16i8>;
2044   def v8i16_1: EQVVecPattern1<v8i16>;
2045   def v4i32_1: EQVVecPattern1<v4i32>;
2046   def v2i64_1: EQVVecPattern1<v2i64>;
2047
2048   def v16i8_2: EQVVecPattern2<v16i8>;
2049   def v8i16_2: EQVVecPattern2<v8i16>;
2050   def v4i32_2: EQVVecPattern2<v4i32>;
2051   def v2i64_2: EQVVecPattern2<v2i64>;
2052
2053   def v16i8_3: EQVVecPattern3<v16i8>;
2054   def v8i16_3: EQVVecPattern3<v8i16>;
2055   def v4i32_3: EQVVecPattern3<v4i32>;
2056   def v2i64_3: EQVVecPattern3<v2i64>;
2057
2058   def r128:  EQVRegInst<GPRC>;
2059   def r64:   EQVRegInst<R64C>;
2060   def r32:   EQVRegInst<R32C>;
2061   def r16:   EQVRegInst<R16C>;
2062   def r8:    EQVRegInst<R8C>;
2063
2064   def r128_1: EQVRegPattern1<GPRC>;
2065   def r64_1:  EQVRegPattern1<R64C>;
2066   def r32_1:  EQVRegPattern1<R32C>;
2067   def r16_1:  EQVRegPattern1<R16C>;
2068   def r8_1:   EQVRegPattern1<R8C>;
2069
2070   def r128_2: EQVRegPattern2<GPRC>;
2071   def r64_2:  EQVRegPattern2<R64C>;
2072   def r32_2:  EQVRegPattern2<R32C>;
2073   def r16_2:  EQVRegPattern2<R16C>;
2074   def r8_2:   EQVRegPattern2<R8C>;
2075
2076   def r128_3: EQVRegPattern3<GPRC>;
2077   def r64_3:  EQVRegPattern3<R64C>;
2078   def r32_3:  EQVRegPattern3<R32C>;
2079   def r16_3:  EQVRegPattern3<R16C>;
2080   def r8_3:   EQVRegPattern3<R8C>;
2081 }
2082
2083 defm EQV: BitEquivalence;
2084
2085 //===----------------------------------------------------------------------===//
2086 // Vector shuffle...
2087 //===----------------------------------------------------------------------===//
2088 // SPUshuffle is generated in LowerVECTOR_SHUFFLE and gets replaced with SHUFB.
2089 // See the SPUshuffle SDNode operand above, which sets up the DAG pattern
2090 // matcher to emit something when the LowerVECTOR_SHUFFLE generates a node with
2091 // the SPUISD::SHUFB opcode.
2092 //===----------------------------------------------------------------------===//
2093
2094 class SHUFBInst<dag OOL, dag IOL, list<dag> pattern>:
2095     RRRForm<0b1000, OOL, IOL, "shufb\t$rT, $rA, $rB, $rC",
2096             IntegerOp, pattern>;
2097
2098 class SHUFBVecInst<ValueType resultvec, ValueType maskvec>:
2099     SHUFBInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
2100               [(set (resultvec VECREG:$rT),
2101                     (SPUshuffle (resultvec VECREG:$rA),
2102                                 (resultvec VECREG:$rB),
2103                                 (maskvec VECREG:$rC)))]>;
2104
2105 class SHUFBGPRCInst:
2106     SHUFBInst<(outs VECREG:$rT), (ins GPRC:$rA, GPRC:$rB, VECREG:$rC),
2107               [/* no pattern */]>;
2108
2109 multiclass ShuffleBytes
2110 {
2111   def v16i8     : SHUFBVecInst<v16i8, v16i8>;
2112   def v16i8_m32 : SHUFBVecInst<v16i8, v4i32>;
2113   def v8i16     : SHUFBVecInst<v8i16, v16i8>;
2114   def v8i16_m32 : SHUFBVecInst<v8i16, v4i32>;
2115   def v4i32     : SHUFBVecInst<v4i32, v16i8>;
2116   def v4i32_m32 : SHUFBVecInst<v4i32, v4i32>;
2117   def v2i64     : SHUFBVecInst<v2i64, v16i8>;
2118   def v2i64_m32 : SHUFBVecInst<v2i64, v4i32>;
2119
2120   def v4f32     : SHUFBVecInst<v4f32, v16i8>;
2121   def v4f32_m32 : SHUFBVecInst<v4f32, v4i32>;
2122
2123   def v2f64     : SHUFBVecInst<v2f64, v16i8>;
2124   def v2f64_m32 : SHUFBVecInst<v2f64, v4i32>;
2125
2126   def gprc      : SHUFBGPRCInst;
2127 }
2128
2129 defm SHUFB : ShuffleBytes;
2130
2131 //===----------------------------------------------------------------------===//
2132 // Shift and rotate group:
2133 //===----------------------------------------------------------------------===//
2134
2135 class SHLHInst<dag OOL, dag IOL, list<dag> pattern>:
2136     RRForm<0b11111010000, OOL, IOL, "shlh\t$rT, $rA, $rB",
2137            RotateShift, pattern>;
2138
2139 class SHLHVecInst<ValueType vectype>:
2140     SHLHInst<(outs VECREG:$rT), (ins VECREG:$rA, R16C:$rB),
2141              [(set (vectype VECREG:$rT),
2142                    (SPUvec_shl (vectype VECREG:$rA), R16C:$rB))]>;
2143
2144 multiclass ShiftLeftHalfword
2145 {
2146   def v8i16: SHLHVecInst<v8i16>;
2147   def r16:   SHLHInst<(outs R16C:$rT), (ins R16C:$rA, R16C:$rB),
2148                       [(set R16C:$rT, (shl R16C:$rA, R16C:$rB))]>;
2149   def r16_r32: SHLHInst<(outs R16C:$rT), (ins R16C:$rA, R32C:$rB),
2150                         [(set R16C:$rT, (shl R16C:$rA, R32C:$rB))]>;
2151 }
2152
2153 defm SHLH : ShiftLeftHalfword;
2154
2155 //===----------------------------------------------------------------------===//
2156
2157 class SHLHIInst<dag OOL, dag IOL, list<dag> pattern>:
2158     RI7Form<0b11111010000, OOL, IOL, "shlhi\t$rT, $rA, $val",
2159             RotateShift, pattern>;
2160
2161 class SHLHIVecInst<ValueType vectype>:
2162     SHLHIInst<(outs VECREG:$rT), (ins VECREG:$rA, u7imm:$val),
2163               [(set (vectype VECREG:$rT),
2164                     (SPUvec_shl (vectype VECREG:$rA), (i16 uimm7:$val)))]>;
2165
2166 multiclass ShiftLeftHalfwordImm
2167 {
2168   def v8i16: SHLHIVecInst<v8i16>;
2169   def r16: SHLHIInst<(outs R16C:$rT), (ins R16C:$rA, u7imm:$val),
2170                      [(set R16C:$rT, (shl R16C:$rA, (i16 uimm7:$val)))]>;
2171 }
2172
2173 defm SHLHI : ShiftLeftHalfwordImm;
2174
2175 def : Pat<(SPUvec_shl (v8i16 VECREG:$rA), (i32 uimm7:$val)),
2176           (SHLHIv8i16 VECREG:$rA, (TO_IMM16 uimm7:$val))>;
2177
2178 def : Pat<(shl R16C:$rA, (i32 uimm7:$val)),
2179           (SHLHIr16 R16C:$rA, (TO_IMM16 uimm7:$val))>;
2180
2181 //===----------------------------------------------------------------------===//
2182
2183 class SHLInst<dag OOL, dag IOL, list<dag> pattern>:
2184     RRForm<0b11111010000, OOL, IOL, "shl\t$rT, $rA, $rB",
2185            RotateShift, pattern>;
2186
2187 multiclass ShiftLeftWord
2188 {
2189   def v4i32:
2190       SHLInst<(outs VECREG:$rT), (ins VECREG:$rA, R16C:$rB),
2191               [(set (v4i32 VECREG:$rT),
2192                     (SPUvec_shl (v4i32 VECREG:$rA), R16C:$rB))]>;
2193   def r32:
2194       SHLInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB),
2195               [(set R32C:$rT, (shl R32C:$rA, R32C:$rB))]>;
2196 }
2197
2198 defm SHL: ShiftLeftWord;
2199
2200 //===----------------------------------------------------------------------===//
2201
2202 class SHLIInst<dag OOL, dag IOL, list<dag> pattern>:
2203     RI7Form<0b11111010000, OOL, IOL, "shli\t$rT, $rA, $val",
2204             RotateShift, pattern>;
2205
2206 multiclass ShiftLeftWordImm
2207 {
2208   def v4i32:
2209     SHLIInst<(outs VECREG:$rT), (ins VECREG:$rA, u7imm_i32:$val),
2210              [(set (v4i32 VECREG:$rT),
2211                    (SPUvec_shl (v4i32 VECREG:$rA), (i32 uimm7:$val)))]>;
2212
2213   def r32:
2214     SHLIInst<(outs R32C:$rT), (ins R32C:$rA, u7imm_i32:$val),
2215              [(set R32C:$rT, (shl R32C:$rA, (i32 uimm7:$val)))]>;
2216 }
2217
2218 defm SHLI : ShiftLeftWordImm;
2219
2220 //===----------------------------------------------------------------------===//
2221 // SHLQBI vec form: Note that this will shift the entire vector (the 128-bit
2222 // register) to the left. Vector form is here to ensure type correctness.
2223 //
2224 // The shift count is in the lowest 3 bits (29-31) of $rB, so only a bit shift
2225 // of 7 bits is actually possible.
2226 //
2227 // Note also that SHLQBI/SHLQBII are used in conjunction with SHLQBY/SHLQBYI
2228 // to shift i64 and i128. SHLQBI is the residual left over after shifting by
2229 // bytes with SHLQBY.
2230
2231 class SHLQBIInst<dag OOL, dag IOL, list<dag> pattern>:
2232     RRForm<0b11011011100, OOL, IOL, "shlqbi\t$rT, $rA, $rB",
2233            RotateShift, pattern>;
2234
2235 class SHLQBIVecInst<ValueType vectype>:
2236     SHLQBIInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2237                [(set (vectype VECREG:$rT),
2238                      (SPUshlquad_l_bits (vectype VECREG:$rA), R32C:$rB))]>;
2239
2240 class SHLQBIRegInst<RegisterClass rclass>:
2241     SHLQBIInst<(outs rclass:$rT), (ins rclass:$rA, R32C:$rB),
2242                [/* no pattern */]>;
2243
2244 multiclass ShiftLeftQuadByBits
2245 {
2246   def v16i8: SHLQBIVecInst<v16i8>;
2247   def v8i16: SHLQBIVecInst<v8i16>;
2248   def v4i32: SHLQBIVecInst<v4i32>;
2249   def v4f32: SHLQBIVecInst<v4f32>;
2250   def v2i64: SHLQBIVecInst<v2i64>;
2251   def v2f64: SHLQBIVecInst<v2f64>;
2252
2253   def r128:  SHLQBIRegInst<GPRC>;
2254 }
2255
2256 defm SHLQBI : ShiftLeftQuadByBits;
2257
2258 // See note above on SHLQBI. In this case, the predicate actually does then
2259 // enforcement, whereas with SHLQBI, we have to "take it on faith."
2260 class SHLQBIIInst<dag OOL, dag IOL, list<dag> pattern>:
2261     RI7Form<0b11011111100, OOL, IOL, "shlqbii\t$rT, $rA, $val",
2262             RotateShift, pattern>;
2263
2264 class SHLQBIIVecInst<ValueType vectype>:
2265     SHLQBIIInst<(outs VECREG:$rT), (ins VECREG:$rA, u7imm_i32:$val),
2266                 [(set (vectype VECREG:$rT),
2267                       (SPUshlquad_l_bits (vectype VECREG:$rA), (i32 bitshift:$val)))]>;
2268
2269 multiclass ShiftLeftQuadByBitsImm
2270 {
2271   def v16i8 : SHLQBIIVecInst<v16i8>;
2272   def v8i16 : SHLQBIIVecInst<v8i16>;
2273   def v4i32 : SHLQBIIVecInst<v4i32>;
2274   def v4f32 : SHLQBIIVecInst<v4f32>;
2275   def v2i64 : SHLQBIIVecInst<v2i64>;
2276   def v2f64 : SHLQBIIVecInst<v2f64>;
2277 }
2278
2279 defm SHLQBII : ShiftLeftQuadByBitsImm;
2280
2281 // SHLQBY, SHLQBYI vector forms: Shift the entire vector to the left by bytes,
2282 // not by bits. See notes above on SHLQBI.
2283
2284 class SHLQBYInst<dag OOL, dag IOL, list<dag> pattern>:
2285     RI7Form<0b11111011100, OOL, IOL, "shlqby\t$rT, $rA, $rB",
2286             RotateShift, pattern>;
2287
2288 class SHLQBYVecInst<ValueType vectype>:
2289     SHLQBYInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2290                [(set (vectype VECREG:$rT),
2291                      (SPUshlquad_l_bytes (vectype VECREG:$rA), R32C:$rB))]>;
2292
2293 multiclass ShiftLeftQuadBytes
2294 {
2295   def v16i8: SHLQBYVecInst<v16i8>;
2296   def v8i16: SHLQBYVecInst<v8i16>;
2297   def v4i32: SHLQBYVecInst<v4i32>;
2298   def v4f32: SHLQBYVecInst<v4f32>;
2299   def v2i64: SHLQBYVecInst<v2i64>;
2300   def v2f64: SHLQBYVecInst<v2f64>;
2301   def r128: SHLQBYInst<(outs GPRC:$rT), (ins GPRC:$rA, R32C:$rB),
2302                        [(set GPRC:$rT, (SPUshlquad_l_bytes GPRC:$rA, R32C:$rB))]>;
2303 }
2304
2305 defm SHLQBY: ShiftLeftQuadBytes;
2306
2307 class SHLQBYIInst<dag OOL, dag IOL, list<dag> pattern>:
2308     RI7Form<0b11111111100, OOL, IOL, "shlqbyi\t$rT, $rA, $val",
2309             RotateShift, pattern>;
2310
2311 class SHLQBYIVecInst<ValueType vectype>:
2312     SHLQBYIInst<(outs VECREG:$rT), (ins VECREG:$rA, u7imm_i32:$val),
2313                 [(set (vectype VECREG:$rT),
2314                       (SPUshlquad_l_bytes (vectype VECREG:$rA), (i32 uimm7:$val)))]>;
2315
2316 multiclass ShiftLeftQuadBytesImm
2317 {
2318   def v16i8: SHLQBYIVecInst<v16i8>;
2319   def v8i16: SHLQBYIVecInst<v8i16>;
2320   def v4i32: SHLQBYIVecInst<v4i32>;
2321   def v4f32: SHLQBYIVecInst<v4f32>;
2322   def v2i64: SHLQBYIVecInst<v2i64>;
2323   def v2f64: SHLQBYIVecInst<v2f64>;
2324   def r128:  SHLQBYIInst<(outs GPRC:$rT), (ins GPRC:$rA, u7imm_i32:$val),
2325                          [(set GPRC:$rT,
2326                                (SPUshlquad_l_bytes GPRC:$rA, (i32 uimm7:$val)))]>;
2327 }
2328
2329 defm SHLQBYI : ShiftLeftQuadBytesImm;
2330
2331 class SHLQBYBIInst<dag OOL, dag IOL, list<dag> pattern>:
2332     RRForm<0b00111001111, OOL, IOL, "shlqbybi\t$rT, $rA, $rB",
2333            RotateShift, pattern>;
2334
2335 class SHLQBYBIVecInst<ValueType vectype>:
2336     SHLQBYBIInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2337                 [/* no pattern */]>;
2338
2339 class SHLQBYBIRegInst<RegisterClass rclass>:
2340     SHLQBYBIInst<(outs rclass:$rT), (ins rclass:$rA, R32C:$rB),
2341                  [/* no pattern */]>;
2342
2343 multiclass ShiftLeftQuadBytesBitCount
2344 {
2345   def v16i8: SHLQBYBIVecInst<v16i8>;
2346   def v8i16: SHLQBYBIVecInst<v8i16>;
2347   def v4i32: SHLQBYBIVecInst<v4i32>;
2348   def v4f32: SHLQBYBIVecInst<v4f32>;
2349   def v2i64: SHLQBYBIVecInst<v2i64>;
2350   def v2f64: SHLQBYBIVecInst<v2f64>;
2351
2352   def r128:  SHLQBYBIRegInst<GPRC>;
2353 }
2354
2355 defm SHLQBYBI : ShiftLeftQuadBytesBitCount;
2356
2357 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2358 // Rotate halfword:
2359 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2360 class ROTHInst<dag OOL, dag IOL, list<dag> pattern>:
2361     RRForm<0b00111010000, OOL, IOL, "roth\t$rT, $rA, $rB",
2362            RotateShift, pattern>;
2363
2364 class ROTHVecInst<ValueType vectype>:
2365     ROTHInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
2366              [(set (vectype VECREG:$rT),
2367                    (SPUvec_rotl VECREG:$rA, (v8i16 VECREG:$rB)))]>;
2368
2369 class ROTHRegInst<RegisterClass rclass>:
2370     ROTHInst<(outs rclass:$rT), (ins rclass:$rA, rclass:$rB),
2371              [(set rclass:$rT, (rotl rclass:$rA, rclass:$rB))]>;
2372
2373 multiclass RotateLeftHalfword
2374 {
2375   def v8i16: ROTHVecInst<v8i16>;
2376   def r16: ROTHRegInst<R16C>;
2377 }
2378
2379 defm ROTH: RotateLeftHalfword;
2380
2381 def ROTHr16_r32: ROTHInst<(outs R16C:$rT), (ins R16C:$rA, R32C:$rB),
2382                           [(set R16C:$rT, (rotl R16C:$rA, R32C:$rB))]>;
2383
2384 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2385 // Rotate halfword, immediate:
2386 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2387 class ROTHIInst<dag OOL, dag IOL, list<dag> pattern>:
2388     RI7Form<0b00111110000, OOL, IOL, "rothi\t$rT, $rA, $val",
2389             RotateShift, pattern>;
2390
2391 class ROTHIVecInst<ValueType vectype>:
2392     ROTHIInst<(outs VECREG:$rT), (ins VECREG:$rA, u7imm:$val),
2393               [(set (vectype VECREG:$rT),
2394                     (SPUvec_rotl VECREG:$rA, (i16 uimm7:$val)))]>;
2395
2396 multiclass RotateLeftHalfwordImm
2397 {
2398   def v8i16: ROTHIVecInst<v8i16>;
2399   def r16: ROTHIInst<(outs R16C:$rT), (ins R16C:$rA, u7imm:$val),
2400                      [(set R16C:$rT, (rotl R16C:$rA, (i16 uimm7:$val)))]>;
2401   def r16_r32: ROTHIInst<(outs R16C:$rT), (ins R16C:$rA, u7imm_i32:$val),
2402                          [(set R16C:$rT, (rotl R16C:$rA, (i32 uimm7:$val)))]>;
2403 }
2404
2405 defm ROTHI: RotateLeftHalfwordImm;
2406
2407 def : Pat<(SPUvec_rotl (v8i16 VECREG:$rA), (i32 uimm7:$val)),
2408           (ROTHIv8i16 VECREG:$rA, (TO_IMM16 imm:$val))>;
2409
2410 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2411 // Rotate word:
2412 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2413
2414 class ROTInst<dag OOL, dag IOL, list<dag> pattern>:
2415     RRForm<0b00011010000, OOL, IOL, "rot\t$rT, $rA, $rB",
2416            RotateShift, pattern>;
2417
2418 class ROTVecInst<ValueType vectype>:
2419     ROTInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2420             [(set (vectype VECREG:$rT),
2421                   (SPUvec_rotl (vectype VECREG:$rA), R32C:$rB))]>;
2422
2423 class ROTRegInst<RegisterClass rclass>:
2424     ROTInst<(outs rclass:$rT), (ins rclass:$rA, R32C:$rB),
2425             [(set rclass:$rT,
2426                   (rotl rclass:$rA, R32C:$rB))]>;
2427
2428 multiclass RotateLeftWord
2429 {
2430   def v4i32: ROTVecInst<v4i32>;
2431   def r32:   ROTRegInst<R32C>;
2432 }
2433
2434 defm ROT: RotateLeftWord;
2435
2436 // The rotate amount is in the same bits whether we've got an 8-bit, 16-bit or
2437 // 32-bit register
2438 def ROTr32_r16_anyext:
2439     ROTInst<(outs R32C:$rT), (ins R32C:$rA, R16C:$rB),
2440             [(set R32C:$rT, (rotl R32C:$rA, (i32 (anyext R16C:$rB))))]>;
2441
2442 def : Pat<(rotl R32C:$rA, (i32 (zext R16C:$rB))),
2443           (ROTr32_r16_anyext R32C:$rA, R16C:$rB)>;
2444
2445 def : Pat<(rotl R32C:$rA, (i32 (sext R16C:$rB))),
2446           (ROTr32_r16_anyext R32C:$rA, R16C:$rB)>;
2447
2448 def ROTr32_r8_anyext:
2449     ROTInst<(outs R32C:$rT), (ins R32C:$rA, R8C:$rB),
2450             [(set R32C:$rT, (rotl R32C:$rA, (i32 (anyext R8C:$rB))))]>;
2451
2452 def : Pat<(rotl R32C:$rA, (i32 (zext R8C:$rB))),
2453           (ROTr32_r8_anyext R32C:$rA, R8C:$rB)>;
2454
2455 def : Pat<(rotl R32C:$rA, (i32 (sext R8C:$rB))),
2456           (ROTr32_r8_anyext R32C:$rA, R8C:$rB)>;
2457
2458 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2459 // Rotate word, immediate
2460 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2461
2462 class ROTIInst<dag OOL, dag IOL, list<dag> pattern>:
2463     RI7Form<0b00011110000, OOL, IOL, "roti\t$rT, $rA, $val",
2464             RotateShift, pattern>;
2465
2466 class ROTIVecInst<ValueType vectype, Operand optype, ValueType inttype, PatLeaf pred>:
2467     ROTIInst<(outs VECREG:$rT), (ins VECREG:$rA, optype:$val),
2468              [(set (vectype VECREG:$rT),
2469                    (SPUvec_rotl (vectype VECREG:$rA), (inttype pred:$val)))]>;
2470
2471 class ROTIRegInst<RegisterClass rclass, Operand optype, ValueType inttype, PatLeaf pred>:
2472     ROTIInst<(outs rclass:$rT), (ins rclass:$rA, optype:$val),
2473              [(set rclass:$rT, (rotl rclass:$rA, (inttype pred:$val)))]>;
2474
2475 multiclass RotateLeftWordImm
2476 {
2477   def v4i32: ROTIVecInst<v4i32, u7imm_i32, i32, uimm7>;
2478   def v4i32_i16: ROTIVecInst<v4i32, u7imm, i16, uimm7>;
2479   def v4i32_i8:  ROTIVecInst<v4i32, u7imm_i8, i8, uimm7>;
2480
2481   def r32:       ROTIRegInst<R32C, u7imm_i32, i32, uimm7>;
2482   def r32_i16:   ROTIRegInst<R32C, u7imm, i16, uimm7>;
2483   def r32_i8:    ROTIRegInst<R32C, u7imm_i8, i8, uimm7>;
2484 }
2485
2486 defm ROTI : RotateLeftWordImm;
2487
2488 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2489 // Rotate quad by byte (count)
2490 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2491
2492 class ROTQBYInst<dag OOL, dag IOL, list<dag> pattern>:
2493     RRForm<0b00111011100, OOL, IOL, "rotqby\t$rT, $rA, $rB",
2494            RotateShift, pattern>;
2495
2496 class ROTQBYVecInst<ValueType vectype>:
2497     ROTQBYInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2498                [(set (vectype VECREG:$rT),
2499                      (SPUrotbytes_left (vectype VECREG:$rA), R32C:$rB))]>;
2500
2501 multiclass RotateQuadLeftByBytes
2502 {
2503   def v16i8: ROTQBYVecInst<v16i8>;
2504   def v8i16: ROTQBYVecInst<v8i16>;
2505   def v4i32: ROTQBYVecInst<v4i32>;
2506   def v4f32: ROTQBYVecInst<v4f32>;
2507   def v2i64: ROTQBYVecInst<v2i64>;
2508   def v2f64: ROTQBYVecInst<v2f64>;
2509 }
2510
2511 defm ROTQBY: RotateQuadLeftByBytes;
2512
2513 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2514 // Rotate quad by byte (count), immediate
2515 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2516
2517 class ROTQBYIInst<dag OOL, dag IOL, list<dag> pattern>:
2518     RI7Form<0b00111111100, OOL, IOL, "rotqbyi\t$rT, $rA, $val",
2519             RotateShift, pattern>;
2520
2521 class ROTQBYIVecInst<ValueType vectype>:
2522     ROTQBYIInst<(outs VECREG:$rT), (ins VECREG:$rA, u7imm:$val),
2523                 [(set (vectype VECREG:$rT),
2524                       (SPUrotbytes_left (vectype VECREG:$rA), (i16 uimm7:$val)))]>;
2525
2526 multiclass RotateQuadByBytesImm
2527 {
2528   def v16i8: ROTQBYIVecInst<v16i8>;
2529   def v8i16: ROTQBYIVecInst<v8i16>;
2530   def v4i32: ROTQBYIVecInst<v4i32>;
2531   def v4f32: ROTQBYIVecInst<v4f32>;
2532   def v2i64: ROTQBYIVecInst<v2i64>;
2533   def vfi64: ROTQBYIVecInst<v2f64>;
2534 }
2535
2536 defm ROTQBYI: RotateQuadByBytesImm;
2537
2538 // See ROTQBY note above.
2539 class ROTQBYBIInst<dag OOL, dag IOL, list<dag> pattern>:
2540     RI7Form<0b00110011100, OOL, IOL,
2541       "rotqbybi\t$rT, $rA, $shift",
2542       RotateShift, pattern>;
2543
2544 class ROTQBYBIVecInst<ValueType vectype, RegisterClass rclass>:
2545     ROTQBYBIInst<(outs VECREG:$rT), (ins VECREG:$rA, rclass:$shift),
2546       [(set (vectype VECREG:$rT),
2547             (SPUrotbytes_left_bits (vectype VECREG:$rA), rclass:$shift))]>;
2548
2549 multiclass RotateQuadByBytesByBitshift {
2550   def v16i8_r32: ROTQBYBIVecInst<v16i8, R32C>;
2551   def v8i16_r32: ROTQBYBIVecInst<v8i16, R32C>;
2552   def v4i32_r32: ROTQBYBIVecInst<v4i32, R32C>;
2553   def v2i64_r32: ROTQBYBIVecInst<v2i64, R32C>;
2554 }
2555
2556 defm ROTQBYBI : RotateQuadByBytesByBitshift;
2557
2558 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2559 // See ROTQBY note above.
2560 //
2561 // Assume that the user of this instruction knows to shift the rotate count
2562 // into bit 29
2563 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2564
2565 class ROTQBIInst<dag OOL, dag IOL, list<dag> pattern>:
2566     RRForm<0b00011011100, OOL, IOL, "rotqbi\t$rT, $rA, $rB",
2567            RotateShift, pattern>;
2568
2569 class ROTQBIVecInst<ValueType vectype>:
2570     ROTQBIInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2571                [/* no pattern yet */]>;
2572
2573 class ROTQBIRegInst<RegisterClass rclass>:
2574     ROTQBIInst<(outs rclass:$rT), (ins rclass:$rA, R32C:$rB),
2575                [/* no pattern yet */]>;
2576
2577 multiclass RotateQuadByBitCount
2578 {
2579   def v16i8: ROTQBIVecInst<v16i8>;
2580   def v8i16: ROTQBIVecInst<v8i16>;
2581   def v4i32: ROTQBIVecInst<v4i32>;
2582   def v2i64: ROTQBIVecInst<v2i64>;
2583
2584   def r128:  ROTQBIRegInst<GPRC>;
2585   def r64:   ROTQBIRegInst<R64C>;
2586 }
2587
2588 defm ROTQBI: RotateQuadByBitCount;
2589
2590 class ROTQBIIInst<dag OOL, dag IOL, list<dag> pattern>:
2591     RI7Form<0b00011111100, OOL, IOL, "rotqbii\t$rT, $rA, $val",
2592             RotateShift, pattern>;
2593
2594 class ROTQBIIVecInst<ValueType vectype, Operand optype, ValueType inttype,
2595                      PatLeaf pred>:
2596     ROTQBIIInst<(outs VECREG:$rT), (ins VECREG:$rA, optype:$val),
2597                 [/* no pattern yet */]>;
2598
2599 class ROTQBIIRegInst<RegisterClass rclass, Operand optype, ValueType inttype,
2600                      PatLeaf pred>:
2601     ROTQBIIInst<(outs rclass:$rT), (ins rclass:$rA, optype:$val),
2602                 [/* no pattern yet */]>;
2603
2604 multiclass RotateQuadByBitCountImm
2605 {
2606   def v16i8: ROTQBIIVecInst<v16i8, u7imm_i32, i32, uimm7>;
2607   def v8i16: ROTQBIIVecInst<v8i16, u7imm_i32, i32, uimm7>;
2608   def v4i32: ROTQBIIVecInst<v4i32, u7imm_i32, i32, uimm7>;
2609   def v2i64: ROTQBIIVecInst<v2i64, u7imm_i32, i32, uimm7>;
2610
2611   def r128:  ROTQBIIRegInst<GPRC, u7imm_i32, i32, uimm7>;
2612   def r64:   ROTQBIIRegInst<R64C, u7imm_i32, i32, uimm7>;
2613 }
2614
2615 defm ROTQBII : RotateQuadByBitCountImm;
2616
2617 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2618 // ROTHM v8i16 form:
2619 // NOTE(1): No vector rotate is generated by the C/C++ frontend (today),
2620 //          so this only matches a synthetically generated/lowered code
2621 //          fragment.
2622 // NOTE(2): $rB must be negated before the right rotate!
2623 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2624
2625 class ROTHMInst<dag OOL, dag IOL, list<dag> pattern>:
2626     RRForm<0b10111010000, OOL, IOL, "rothm\t$rT, $rA, $rB",
2627            RotateShift, pattern>;
2628
2629 def ROTHMv8i16:
2630     ROTHMInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2631               [/* see patterns below - $rB must be negated */]>;
2632
2633 def : Pat<(SPUvec_srl (v8i16 VECREG:$rA), R32C:$rB),
2634           (ROTHMv8i16 VECREG:$rA, (SFIr32 R32C:$rB, 0))>;
2635
2636 def : Pat<(SPUvec_srl (v8i16 VECREG:$rA), R16C:$rB),
2637           (ROTHMv8i16 VECREG:$rA,
2638                       (SFIr32 (XSHWr16 R16C:$rB), 0))>;
2639
2640 def : Pat<(SPUvec_srl (v8i16 VECREG:$rA), R8C:$rB),
2641           (ROTHMv8i16 VECREG:$rA,
2642                       (SFIr32 (XSHWr16 (XSBHr8 R8C:$rB) ), 0))>;
2643
2644 // ROTHM r16 form: Rotate 16-bit quantity to right, zero fill at the left
2645 // Note: This instruction doesn't match a pattern because rB must be negated
2646 // for the instruction to work. Thus, the pattern below the instruction!
2647
2648 def ROTHMr16:
2649     ROTHMInst<(outs R16C:$rT), (ins R16C:$rA, R32C:$rB),
2650               [/* see patterns below - $rB must be negated! */]>;
2651
2652 def : Pat<(srl R16C:$rA, R32C:$rB),
2653           (ROTHMr16 R16C:$rA, (SFIr32 R32C:$rB, 0))>;
2654
2655 def : Pat<(srl R16C:$rA, R16C:$rB),
2656           (ROTHMr16 R16C:$rA,
2657                     (SFIr32 (XSHWr16 R16C:$rB), 0))>;
2658
2659 def : Pat<(srl R16C:$rA, R8C:$rB),
2660           (ROTHMr16 R16C:$rA,
2661                     (SFIr32 (XSHWr16 (XSBHr8 R8C:$rB) ), 0))>;
2662
2663 // ROTHMI v8i16 form: See the comment for ROTHM v8i16. The difference here is
2664 // that the immediate can be complemented, so that the user doesn't have to
2665 // worry about it.
2666
2667 class ROTHMIInst<dag OOL, dag IOL, list<dag> pattern>:
2668     RI7Form<0b10111110000, OOL, IOL, "rothmi\t$rT, $rA, $val",
2669             RotateShift, pattern>;
2670
2671 def ROTHMIv8i16:
2672     ROTHMIInst<(outs VECREG:$rT), (ins VECREG:$rA, rothNeg7imm:$val),
2673                [/* no pattern */]>;
2674
2675 def : Pat<(SPUvec_srl (v8i16 VECREG:$rA), (i32 imm:$val)),
2676           (ROTHMIv8i16 VECREG:$rA, imm:$val)>;
2677
2678 def: Pat<(SPUvec_srl (v8i16 VECREG:$rA), (i16 imm:$val)),
2679          (ROTHMIv8i16 VECREG:$rA, (TO_IMM32 imm:$val))>;
2680
2681 def: Pat<(SPUvec_srl (v8i16 VECREG:$rA), (i8 imm:$val)),
2682          (ROTHMIv8i16 VECREG:$rA, (TO_IMM32 imm:$val))>;
2683
2684 def ROTHMIr16:
2685     ROTHMIInst<(outs R16C:$rT), (ins R16C:$rA, rothNeg7imm:$val),
2686                [/* no pattern */]>;
2687
2688 def: Pat<(srl R16C:$rA, (i32 uimm7:$val)),
2689          (ROTHMIr16 R16C:$rA, uimm7:$val)>;
2690
2691 def: Pat<(srl R16C:$rA, (i16 uimm7:$val)),
2692          (ROTHMIr16 R16C:$rA, (TO_IMM32 uimm7:$val))>;
2693
2694 def: Pat<(srl R16C:$rA, (i8 uimm7:$val)),
2695          (ROTHMIr16 R16C:$rA, (TO_IMM32 uimm7:$val))>;
2696
2697 // ROTM v4i32 form: See the ROTHM v8i16 comments.
2698 class ROTMInst<dag OOL, dag IOL, list<dag> pattern>:
2699     RRForm<0b10011010000, OOL, IOL, "rotm\t$rT, $rA, $rB",
2700            RotateShift, pattern>;
2701
2702 def ROTMv4i32:
2703     ROTMInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2704              [/* see patterns below - $rB must be negated */]>;
2705
2706 def : Pat<(SPUvec_srl (v4i32 VECREG:$rA), R32C:$rB),
2707           (ROTMv4i32 VECREG:$rA, (SFIr32 R32C:$rB, 0))>;
2708
2709 def : Pat<(SPUvec_srl (v4i32 VECREG:$rA), R16C:$rB),
2710           (ROTMv4i32 VECREG:$rA,
2711                      (SFIr32 (XSHWr16 R16C:$rB), 0))>;
2712
2713 def : Pat<(SPUvec_srl (v4i32 VECREG:$rA), R8C:$rB),
2714           (ROTMv4i32 VECREG:$rA,
2715                      (SFIr32 (XSHWr16 (XSBHr8 R8C:$rB)), 0))>;
2716
2717 def ROTMr32:
2718     ROTMInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB),
2719              [/* see patterns below - $rB must be negated */]>;
2720
2721 def : Pat<(srl R32C:$rA, R32C:$rB),
2722           (ROTMr32 R32C:$rA, (SFIr32 R32C:$rB, 0))>;
2723
2724 def : Pat<(srl R32C:$rA, R16C:$rB),
2725           (ROTMr32 R32C:$rA,
2726                    (SFIr32 (XSHWr16 R16C:$rB), 0))>;
2727
2728 def : Pat<(srl R32C:$rA, R8C:$rB),
2729           (ROTMr32 R32C:$rA,
2730                    (SFIr32 (XSHWr16 (XSBHr8 R8C:$rB)), 0))>;
2731
2732 // ROTMI v4i32 form: See the comment for ROTHM v8i16.
2733 def ROTMIv4i32:
2734     RI7Form<0b10011110000, (outs VECREG:$rT), (ins VECREG:$rA, rotNeg7imm:$val),
2735       "rotmi\t$rT, $rA, $val", RotateShift,
2736       [(set (v4i32 VECREG:$rT),
2737             (SPUvec_srl VECREG:$rA, (i32 uimm7:$val)))]>;
2738
2739 def : Pat<(SPUvec_srl (v4i32 VECREG:$rA), (i16 uimm7:$val)),
2740           (ROTMIv4i32 VECREG:$rA, (TO_IMM32 uimm7:$val))>;
2741
2742 def : Pat<(SPUvec_srl (v4i32 VECREG:$rA), (i8 uimm7:$val)),
2743           (ROTMIv4i32 VECREG:$rA, (TO_IMM32 uimm7:$val))>;
2744
2745 // ROTMI r32 form: know how to complement the immediate value.
2746 def ROTMIr32:
2747     RI7Form<0b10011110000, (outs R32C:$rT), (ins R32C:$rA, rotNeg7imm:$val),
2748       "rotmi\t$rT, $rA, $val", RotateShift,
2749       [(set R32C:$rT, (srl R32C:$rA, (i32 uimm7:$val)))]>;
2750
2751 def : Pat<(srl R32C:$rA, (i16 imm:$val)),
2752           (ROTMIr32 R32C:$rA, (TO_IMM32 uimm7:$val))>;
2753
2754 def : Pat<(srl R32C:$rA, (i8 imm:$val)),
2755           (ROTMIr32 R32C:$rA, (TO_IMM32 uimm7:$val))>;
2756
2757 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2758 // ROTQMBY: This is a vector form merely so that when used in an
2759 // instruction pattern, type checking will succeed. This instruction assumes
2760 // that the user knew to negate $rB.
2761 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2762
2763 class ROTQMBYInst<dag OOL, dag IOL, list<dag> pattern>:
2764     RRForm<0b10111011100, OOL, IOL, "rotqmby\t$rT, $rA, $rB",
2765            RotateShift, pattern>;
2766
2767 class ROTQMBYVecInst<ValueType vectype>:
2768     ROTQMBYInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2769                 [/* no pattern, $rB must be negated */]>;
2770
2771 class ROTQMBYRegInst<RegisterClass rclass>:
2772     ROTQMBYInst<(outs rclass:$rT), (ins rclass:$rA, R32C:$rB),
2773                 [/* no pattern */]>;
2774
2775 multiclass RotateQuadBytes
2776 {
2777   def v16i8: ROTQMBYVecInst<v16i8>;
2778   def v8i16: ROTQMBYVecInst<v8i16>;
2779   def v4i32: ROTQMBYVecInst<v4i32>;
2780   def v2i64: ROTQMBYVecInst<v2i64>;
2781
2782   def r128: ROTQMBYRegInst<GPRC>;
2783   def r64:  ROTQMBYRegInst<R64C>;
2784 }
2785
2786 defm ROTQMBY : RotateQuadBytes;
2787
2788 class ROTQMBYIInst<dag OOL, dag IOL, list<dag> pattern>:
2789     RI7Form<0b10111111100, OOL, IOL, "rotqmbyi\t$rT, $rA, $val",
2790             RotateShift, pattern>;
2791
2792 class ROTQMBYIVecInst<ValueType vectype>:
2793     ROTQMBYIInst<(outs VECREG:$rT), (ins VECREG:$rA, rotNeg7imm:$val),
2794                  [/* no pattern */]>;
2795
2796 class ROTQMBYIRegInst<RegisterClass rclass, Operand optype, ValueType inttype,
2797                       PatLeaf pred>:
2798     ROTQMBYIInst<(outs rclass:$rT), (ins rclass:$rA, optype:$val),
2799                  [/* no pattern */]>;
2800
2801 // 128-bit zero extension form:
2802 class ROTQMBYIZExtInst<RegisterClass rclass, Operand optype, PatLeaf pred>:
2803     ROTQMBYIInst<(outs GPRC:$rT), (ins rclass:$rA, optype:$val),
2804                  [/* no pattern */]>;
2805
2806 multiclass RotateQuadBytesImm
2807 {
2808   def v16i8: ROTQMBYIVecInst<v16i8>;
2809   def v8i16: ROTQMBYIVecInst<v8i16>;
2810   def v4i32: ROTQMBYIVecInst<v4i32>;
2811   def v2i64: ROTQMBYIVecInst<v2i64>;
2812
2813   def r128:  ROTQMBYIRegInst<GPRC, rotNeg7imm, i32, uimm7>;
2814   def r64:   ROTQMBYIRegInst<R64C, rotNeg7imm, i32, uimm7>;
2815
2816   def r128_zext_r8:  ROTQMBYIZExtInst<R8C, rotNeg7imm, uimm7>;
2817   def r128_zext_r16: ROTQMBYIZExtInst<R16C, rotNeg7imm, uimm7>;
2818   def r128_zext_r32: ROTQMBYIZExtInst<R32C, rotNeg7imm, uimm7>;
2819   def r128_zext_r64: ROTQMBYIZExtInst<R64C, rotNeg7imm, uimm7>;
2820 }
2821
2822 defm ROTQMBYI : RotateQuadBytesImm;
2823
2824 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2825 // Rotate right and mask by bit count
2826 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2827
2828 class ROTQMBYBIInst<dag OOL, dag IOL, list<dag> pattern>:
2829     RRForm<0b10110011100, OOL, IOL, "rotqmbybi\t$rT, $rA, $rB",
2830            RotateShift, pattern>;
2831
2832 class ROTQMBYBIVecInst<ValueType vectype>:
2833     ROTQMBYBIInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2834                   [/* no pattern, */]>;
2835
2836 multiclass RotateMaskQuadByBitCount
2837 {
2838   def v16i8: ROTQMBYBIVecInst<v16i8>;
2839   def v8i16: ROTQMBYBIVecInst<v8i16>;
2840   def v4i32: ROTQMBYBIVecInst<v4i32>;
2841   def v2i64: ROTQMBYBIVecInst<v2i64>;
2842 }
2843
2844 defm ROTQMBYBI: RotateMaskQuadByBitCount;
2845
2846 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2847 // Rotate quad and mask by bits
2848 // Note that the rotate amount has to be negated
2849 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2850
2851 class ROTQMBIInst<dag OOL, dag IOL, list<dag> pattern>:
2852     RRForm<0b10011011100, OOL, IOL, "rotqmbi\t$rT, $rA, $rB",
2853            RotateShift, pattern>;
2854
2855 class ROTQMBIVecInst<ValueType vectype>:
2856     ROTQMBIInst<(outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2857                 [/* no pattern */]>;
2858
2859 class ROTQMBIRegInst<RegisterClass rclass>:
2860     ROTQMBIInst<(outs rclass:$rT), (ins rclass:$rA, R32C:$rB),
2861                 [/* no pattern */]>;
2862
2863 multiclass RotateMaskQuadByBits
2864 {
2865   def v16i8: ROTQMBIVecInst<v16i8>;
2866   def v8i16: ROTQMBIVecInst<v8i16>;
2867   def v4i32: ROTQMBIVecInst<v4i32>;
2868   def v2i64: ROTQMBIVecInst<v2i64>;
2869
2870   def r128:  ROTQMBIRegInst<GPRC>;
2871   def r64:   ROTQMBIRegInst<R64C>;
2872 }
2873
2874 defm ROTQMBI: RotateMaskQuadByBits;
2875
2876 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2877 // Rotate quad and mask by bits, immediate
2878 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2879
2880 class ROTQMBIIInst<dag OOL, dag IOL, list<dag> pattern>:
2881     RI7Form<0b10011111100, OOL, IOL, "rotqmbii\t$rT, $rA, $val",
2882             RotateShift, pattern>;
2883
2884 class ROTQMBIIVecInst<ValueType vectype>:
2885    ROTQMBIIInst<(outs VECREG:$rT), (ins VECREG:$rA, rotNeg7imm:$val),
2886                  [/* no pattern */]>;
2887
2888 class ROTQMBIIRegInst<RegisterClass rclass>:
2889    ROTQMBIIInst<(outs rclass:$rT), (ins rclass:$rA, rotNeg7imm:$val),
2890                  [/* no pattern */]>;
2891
2892 multiclass RotateMaskQuadByBitsImm
2893 {
2894   def v16i8: ROTQMBIIVecInst<v16i8>;
2895   def v8i16: ROTQMBIIVecInst<v8i16>;
2896   def v4i32: ROTQMBIIVecInst<v4i32>;
2897   def v2i64: ROTQMBIIVecInst<v2i64>;
2898
2899   def r128:  ROTQMBIIRegInst<GPRC>;
2900   def r64:   ROTQMBIIRegInst<R64C>;
2901 }
2902
2903 defm ROTQMBII: RotateMaskQuadByBitsImm;
2904
2905 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2906 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
2907
2908 def ROTMAHv8i16:
2909     RRForm<0b01111010000, (outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2910       "rotmah\t$rT, $rA, $rB", RotateShift,
2911       [/* see patterns below - $rB must be negated */]>;
2912
2913 def : Pat<(SPUvec_sra (v8i16 VECREG:$rA), R32C:$rB),
2914           (ROTMAHv8i16 VECREG:$rA, (SFIr32 R32C:$rB, 0))>;
2915
2916 def : Pat<(SPUvec_sra (v8i16 VECREG:$rA), R16C:$rB),
2917           (ROTMAHv8i16 VECREG:$rA,
2918                        (SFIr32 (XSHWr16 R16C:$rB), 0))>;
2919
2920 def : Pat<(SPUvec_sra (v8i16 VECREG:$rA), R8C:$rB),
2921           (ROTMAHv8i16 VECREG:$rA,
2922                        (SFIr32 (XSHWr16 (XSBHr8 R8C:$rB)), 0))>;
2923
2924 def ROTMAHr16:
2925     RRForm<0b01111010000, (outs R16C:$rT), (ins R16C:$rA, R32C:$rB),
2926       "rotmah\t$rT, $rA, $rB", RotateShift,
2927       [/* see patterns below - $rB must be negated */]>;
2928
2929 def : Pat<(sra R16C:$rA, R32C:$rB),
2930           (ROTMAHr16 R16C:$rA, (SFIr32 R32C:$rB, 0))>;
2931
2932 def : Pat<(sra R16C:$rA, R16C:$rB),
2933           (ROTMAHr16 R16C:$rA,
2934                      (SFIr32 (XSHWr16 R16C:$rB), 0))>;
2935
2936 def : Pat<(sra R16C:$rA, R8C:$rB),
2937           (ROTMAHr16 R16C:$rA,
2938                      (SFIr32 (XSHWr16 (XSBHr8 R8C:$rB)), 0))>;
2939
2940 def ROTMAHIv8i16:
2941     RRForm<0b01111110000, (outs VECREG:$rT), (ins VECREG:$rA, rothNeg7imm:$val),
2942       "rotmahi\t$rT, $rA, $val", RotateShift,
2943       [(set (v8i16 VECREG:$rT),
2944             (SPUvec_sra (v8i16 VECREG:$rA), (i32 uimm7:$val)))]>;
2945
2946 def : Pat<(SPUvec_sra (v8i16 VECREG:$rA), (i16 uimm7:$val)),
2947           (ROTMAHIv8i16 (v8i16 VECREG:$rA), (TO_IMM32 uimm7:$val))>;
2948
2949 def : Pat<(SPUvec_sra (v8i16 VECREG:$rA), (i8 uimm7:$val)),
2950           (ROTMAHIv8i16 (v8i16 VECREG:$rA), (TO_IMM32 uimm7:$val))>;
2951
2952 def ROTMAHIr16:
2953     RRForm<0b01111110000, (outs R16C:$rT), (ins R16C:$rA, rothNeg7imm_i16:$val),
2954       "rotmahi\t$rT, $rA, $val", RotateShift,
2955       [(set R16C:$rT, (sra R16C:$rA, (i16 uimm7:$val)))]>;
2956
2957 def : Pat<(sra R16C:$rA, (i32 imm:$val)),
2958           (ROTMAHIr16 R16C:$rA, (TO_IMM32 uimm7:$val))>;
2959
2960 def : Pat<(sra R16C:$rA, (i8 imm:$val)),
2961           (ROTMAHIr16 R16C:$rA, (TO_IMM32 uimm7:$val))>;
2962
2963 def ROTMAv4i32:
2964     RRForm<0b01011010000, (outs VECREG:$rT), (ins VECREG:$rA, R32C:$rB),
2965       "rotma\t$rT, $rA, $rB", RotateShift,
2966       [/* see patterns below - $rB must be negated */]>;
2967
2968 def : Pat<(SPUvec_sra (v4i32 VECREG:$rA), R32C:$rB),
2969           (ROTMAv4i32 VECREG:$rA, (SFIr32 R32C:$rB, 0))>;
2970
2971 def : Pat<(SPUvec_sra (v4i32 VECREG:$rA), R16C:$rB),
2972           (ROTMAv4i32 VECREG:$rA,
2973                       (SFIr32 (XSHWr16 R16C:$rB), 0))>;
2974
2975 def : Pat<(SPUvec_sra (v4i32 VECREG:$rA), R8C:$rB),
2976           (ROTMAv4i32 VECREG:$rA,
2977                       (SFIr32 (XSHWr16 (XSBHr8 R8C:$rB)), 0))>;
2978
2979 def ROTMAr32:
2980     RRForm<0b01011010000, (outs R32C:$rT), (ins R32C:$rA, R32C:$rB),
2981       "rotma\t$rT, $rA, $rB", RotateShift,
2982       [/* see patterns below - $rB must be negated */]>;
2983
2984 def : Pat<(sra R32C:$rA, R32C:$rB),
2985           (ROTMAr32 R32C:$rA, (SFIr32 R32C:$rB, 0))>;
2986
2987 def : Pat<(sra R32C:$rA, R16C:$rB),
2988           (ROTMAr32 R32C:$rA,
2989                     (SFIr32 (XSHWr16 R16C:$rB), 0))>;
2990
2991 def : Pat<(sra R32C:$rA, R8C:$rB),
2992           (ROTMAr32 R32C:$rA,
2993                     (SFIr32 (XSHWr16 (XSBHr8 R8C:$rB)), 0))>;
2994
2995 class ROTMAIInst<dag OOL, dag IOL, list<dag> pattern>:
2996     RRForm<0b01011110000, OOL, IOL,
2997       "rotmai\t$rT, $rA, $val",
2998       RotateShift, pattern>;
2999
3000 class ROTMAIVecInst<ValueType vectype, Operand intop, ValueType inttype>:
3001     ROTMAIInst<(outs VECREG:$rT), (ins VECREG:$rA, intop:$val),
3002       [(set (vectype VECREG:$rT),
3003             (SPUvec_sra VECREG:$rA, (inttype uimm7:$val)))]>;
3004
3005 class ROTMAIRegInst<RegisterClass rclass, Operand intop, ValueType inttype>:
3006     ROTMAIInst<(outs rclass:$rT), (ins rclass:$rA, intop:$val),
3007       [(set rclass:$rT, (sra rclass:$rA, (inttype uimm7:$val)))]>;
3008
3009 multiclass RotateMaskAlgebraicImm {
3010   def v2i64_i32 : ROTMAIVecInst<v2i64, rotNeg7imm, i32>;
3011   def v4i32_i32 : ROTMAIVecInst<v4i32, rotNeg7imm, i32>;
3012   def r64_i32 : ROTMAIRegInst<R64C, rotNeg7imm, i32>;
3013   def r32_i32 : ROTMAIRegInst<R32C, rotNeg7imm, i32>;
3014 }
3015
3016 defm ROTMAI : RotateMaskAlgebraicImm;
3017
3018 //===----------------------------------------------------------------------===//
3019 // Branch and conditionals:
3020 //===----------------------------------------------------------------------===//
3021
3022 let isTerminator = 1, isBarrier = 1 in {
3023   // Halt If Equal (r32 preferred slot only, no vector form)
3024   def HEQr32:
3025     RRForm_3<0b00011011110, (outs), (ins R32C:$rA, R32C:$rB),
3026       "heq\t$rA, $rB", BranchResolv,
3027       [/* no pattern to match */]>;
3028
3029   def HEQIr32 :
3030     RI10Form_2<0b11111110, (outs), (ins R32C:$rA, s10imm:$val),
3031       "heqi\t$rA, $val", BranchResolv,
3032       [/* no pattern to match */]>;
3033
3034   // HGT/HGTI: These instructions use signed arithmetic for the comparison,
3035   // contrasting with HLGT/HLGTI, which use unsigned comparison:
3036   def HGTr32:
3037     RRForm_3<0b00011010010, (outs), (ins R32C:$rA, R32C:$rB),
3038       "hgt\t$rA, $rB", BranchResolv,
3039       [/* no pattern to match */]>;
3040
3041   def HGTIr32:
3042     RI10Form_2<0b11110010, (outs), (ins R32C:$rA, s10imm:$val),
3043       "hgti\t$rA, $val", BranchResolv,
3044       [/* no pattern to match */]>;
3045
3046   def HLGTr32:
3047     RRForm_3<0b00011011010, (outs), (ins R32C:$rA, R32C:$rB),
3048       "hlgt\t$rA, $rB", BranchResolv,
3049       [/* no pattern to match */]>;
3050
3051   def HLGTIr32:
3052     RI10Form_2<0b11111010, (outs), (ins R32C:$rA, s10imm:$val),
3053       "hlgti\t$rA, $val", BranchResolv,
3054       [/* no pattern to match */]>;
3055 }
3056
3057 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
3058 // Comparison operators for i8, i16 and i32:
3059 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
3060
3061 class CEQBInst<dag OOL, dag IOL, list<dag> pattern> :
3062   RRForm<0b00001011110, OOL, IOL, "ceqb\t$rT, $rA, $rB",
3063          ByteOp, pattern>;
3064
3065 multiclass CmpEqualByte
3066 {
3067   def v16i8 :
3068     CEQBInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3069       [(set (v16i8 VECREG:$rT), (seteq (v8i16 VECREG:$rA),
3070                                        (v8i16 VECREG:$rB)))]>;
3071
3072   def r8 :
3073     CEQBInst<(outs R8C:$rT), (ins R8C:$rA, R8C:$rB),
3074              [(set R8C:$rT, (seteq R8C:$rA, R8C:$rB))]>;
3075 }
3076
3077 class CEQBIInst<dag OOL, dag IOL, list<dag> pattern> :
3078   RI10Form<0b01111110, OOL, IOL, "ceqbi\t$rT, $rA, $val",
3079            ByteOp, pattern>;
3080
3081 multiclass CmpEqualByteImm
3082 {
3083   def v16i8 :
3084     CEQBIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm_i8:$val),
3085               [(set (v16i8 VECREG:$rT), (seteq (v16i8 VECREG:$rA),
3086                                                v16i8SExt8Imm:$val))]>;
3087   def r8:
3088     CEQBIInst<(outs R8C:$rT), (ins R8C:$rA, s10imm_i8:$val),
3089              [(set R8C:$rT, (seteq R8C:$rA, immSExt8:$val))]>;
3090 }
3091
3092 class CEQHInst<dag OOL, dag IOL, list<dag> pattern> :
3093   RRForm<0b00010011110, OOL, IOL, "ceqh\t$rT, $rA, $rB",
3094          ByteOp, pattern>;
3095
3096 multiclass CmpEqualHalfword
3097 {
3098   def v8i16 : CEQHInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3099                        [(set (v8i16 VECREG:$rT), (seteq (v8i16 VECREG:$rA),
3100                                                         (v8i16 VECREG:$rB)))]>;
3101
3102   def r16 : CEQHInst<(outs R16C:$rT), (ins R16C:$rA, R16C:$rB),
3103                      [(set R16C:$rT, (seteq R16C:$rA, R16C:$rB))]>;
3104 }
3105
3106 class CEQHIInst<dag OOL, dag IOL, list<dag> pattern> :
3107   RI10Form<0b10111110, OOL, IOL, "ceqhi\t$rT, $rA, $val",
3108            ByteOp, pattern>;
3109
3110 multiclass CmpEqualHalfwordImm
3111 {
3112   def v8i16 : CEQHIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
3113                         [(set (v8i16 VECREG:$rT),
3114                               (seteq (v8i16 VECREG:$rA),
3115                                      (v8i16 v8i16SExt10Imm:$val)))]>;
3116   def r16 : CEQHIInst<(outs R16C:$rT), (ins R16C:$rA, s10imm:$val),
3117                       [(set R16C:$rT, (seteq R16C:$rA, i16ImmSExt10:$val))]>;
3118 }
3119
3120 class CEQInst<dag OOL, dag IOL, list<dag> pattern> :
3121   RRForm<0b00000011110, OOL, IOL, "ceq\t$rT, $rA, $rB",
3122          ByteOp, pattern>;
3123
3124 multiclass CmpEqualWord
3125 {
3126   def v4i32 : CEQInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3127                       [(set (v4i32 VECREG:$rT),
3128                             (seteq (v4i32 VECREG:$rA), (v4i32 VECREG:$rB)))]>;
3129
3130   def r32 : CEQInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB),
3131                     [(set R32C:$rT, (seteq R32C:$rA, R32C:$rB))]>;
3132 }
3133
3134 class CEQIInst<dag OOL, dag IOL, list<dag> pattern> :
3135   RI10Form<0b00111110, OOL, IOL, "ceqi\t$rT, $rA, $val",
3136            ByteOp, pattern>;
3137
3138 multiclass CmpEqualWordImm
3139 {
3140   def v4i32 : CEQIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
3141                        [(set (v4i32 VECREG:$rT),
3142                              (seteq (v4i32 VECREG:$rA),
3143                                     (v4i32 v4i32SExt16Imm:$val)))]>;
3144
3145   def r32: CEQIInst<(outs R32C:$rT), (ins R32C:$rA, s10imm_i32:$val),
3146                     [(set R32C:$rT, (seteq R32C:$rA, i32ImmSExt10:$val))]>;
3147 }
3148
3149 class CGTBInst<dag OOL, dag IOL, list<dag> pattern> :
3150   RRForm<0b00001010010, OOL, IOL, "cgtb\t$rT, $rA, $rB",
3151          ByteOp, pattern>;
3152
3153 multiclass CmpGtrByte
3154 {
3155   def v16i8 :
3156     CGTBInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3157       [(set (v16i8 VECREG:$rT), (setgt (v8i16 VECREG:$rA),
3158                                        (v8i16 VECREG:$rB)))]>;
3159
3160   def r8 :
3161     CGTBInst<(outs R8C:$rT), (ins R8C:$rA, R8C:$rB),
3162              [(set R8C:$rT, (setgt R8C:$rA, R8C:$rB))]>;
3163 }
3164
3165 class CGTBIInst<dag OOL, dag IOL, list<dag> pattern> :
3166   RI10Form<0b01110010, OOL, IOL, "cgtbi\t$rT, $rA, $val",
3167            ByteOp, pattern>;
3168
3169 multiclass CmpGtrByteImm
3170 {
3171   def v16i8 :
3172     CGTBIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm_i8:$val),
3173               [(set (v16i8 VECREG:$rT), (setgt (v16i8 VECREG:$rA),
3174                                                v16i8SExt8Imm:$val))]>;
3175   def r8:
3176     CGTBIInst<(outs R8C:$rT), (ins R8C:$rA, s10imm_i8:$val),
3177               [(set R8C:$rT, (setgt R8C:$rA, immSExt8:$val))]>;
3178 }
3179
3180 class CGTHInst<dag OOL, dag IOL, list<dag> pattern> :
3181   RRForm<0b00010010010, OOL, IOL, "cgth\t$rT, $rA, $rB",
3182          ByteOp, pattern>;
3183
3184 multiclass CmpGtrHalfword
3185 {
3186   def v8i16 : CGTHInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3187                        [(set (v8i16 VECREG:$rT), (setgt (v8i16 VECREG:$rA),
3188                                                         (v8i16 VECREG:$rB)))]>;
3189
3190   def r16 : CGTHInst<(outs R16C:$rT), (ins R16C:$rA, R16C:$rB),
3191                      [(set R16C:$rT, (setgt R16C:$rA, R16C:$rB))]>;
3192 }
3193
3194 class CGTHIInst<dag OOL, dag IOL, list<dag> pattern> :
3195   RI10Form<0b10110010, OOL, IOL, "cgthi\t$rT, $rA, $val",
3196            ByteOp, pattern>;
3197
3198 multiclass CmpGtrHalfwordImm
3199 {
3200   def v8i16 : CGTHIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
3201                         [(set (v8i16 VECREG:$rT),
3202                               (setgt (v8i16 VECREG:$rA),
3203                                      (v8i16 v8i16SExt10Imm:$val)))]>;
3204   def r16 : CGTHIInst<(outs R16C:$rT), (ins R16C:$rA, s10imm:$val),
3205                       [(set R16C:$rT, (setgt R16C:$rA, i16ImmSExt10:$val))]>;
3206 }
3207
3208 class CGTInst<dag OOL, dag IOL, list<dag> pattern> :
3209   RRForm<0b00000010010, OOL, IOL, "cgt\t$rT, $rA, $rB",
3210          ByteOp, pattern>;
3211
3212 multiclass CmpGtrWord
3213 {
3214   def v4i32 : CGTInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3215                       [(set (v4i32 VECREG:$rT),
3216                             (setgt (v4i32 VECREG:$rA), (v4i32 VECREG:$rB)))]>;
3217
3218   def r32 : CGTInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB),
3219                     [(set R32C:$rT, (setgt R32C:$rA, R32C:$rB))]>;
3220 }
3221
3222 class CGTIInst<dag OOL, dag IOL, list<dag> pattern> :
3223   RI10Form<0b00110010, OOL, IOL, "cgti\t$rT, $rA, $val",
3224            ByteOp, pattern>;
3225
3226 multiclass CmpGtrWordImm
3227 {
3228   def v4i32 : CGTIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
3229                        [(set (v4i32 VECREG:$rT),
3230                              (setgt (v4i32 VECREG:$rA),
3231                                     (v4i32 v4i32SExt16Imm:$val)))]>;
3232
3233   def r32: CGTIInst<(outs R32C:$rT), (ins R32C:$rA, s10imm_i32:$val),
3234                     [(set R32C:$rT, (setgt R32C:$rA, i32ImmSExt10:$val))]>;
3235
3236   // CGTIv4f32, CGTIf32: These are used in the f32 fdiv instruction sequence:
3237   def v4f32: CGTIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
3238                        [(set (v4i32 VECREG:$rT),
3239                              (setgt (v4i32 (bitconvert (v4f32 VECREG:$rA))),
3240                                     (v4i32 v4i32SExt16Imm:$val)))]>;
3241
3242   def f32:   CGTIInst<(outs R32C:$rT), (ins R32FP:$rA, s10imm_i32:$val),
3243                       [/* no pattern */]>;
3244 }
3245
3246 class CLGTBInst<dag OOL, dag IOL, list<dag> pattern> :
3247   RRForm<0b00001011010, OOL, IOL, "clgtb\t$rT, $rA, $rB",
3248          ByteOp, pattern>;
3249
3250 multiclass CmpLGtrByte
3251 {
3252   def v16i8 :
3253     CLGTBInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3254       [(set (v16i8 VECREG:$rT), (setugt (v8i16 VECREG:$rA),
3255                                        (v8i16 VECREG:$rB)))]>;
3256
3257   def r8 :
3258     CLGTBInst<(outs R8C:$rT), (ins R8C:$rA, R8C:$rB),
3259              [(set R8C:$rT, (setugt R8C:$rA, R8C:$rB))]>;
3260 }
3261
3262 class CLGTBIInst<dag OOL, dag IOL, list<dag> pattern> :
3263   RI10Form<0b01111010, OOL, IOL, "clgtbi\t$rT, $rA, $val",
3264            ByteOp, pattern>;
3265
3266 multiclass CmpLGtrByteImm
3267 {
3268   def v16i8 :
3269     CLGTBIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm_i8:$val),
3270               [(set (v16i8 VECREG:$rT), (setugt (v16i8 VECREG:$rA),
3271                                                v16i8SExt8Imm:$val))]>;
3272   def r8:
3273     CLGTBIInst<(outs R8C:$rT), (ins R8C:$rA, s10imm_i8:$val),
3274              [(set R8C:$rT, (setugt R8C:$rA, immSExt8:$val))]>;
3275 }
3276
3277 class CLGTHInst<dag OOL, dag IOL, list<dag> pattern> :
3278   RRForm<0b00010011010, OOL, IOL, "clgth\t$rT, $rA, $rB",
3279          ByteOp, pattern>;
3280
3281 multiclass CmpLGtrHalfword
3282 {
3283   def v8i16 : CLGTHInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3284                        [(set (v8i16 VECREG:$rT), (setugt (v8i16 VECREG:$rA),
3285                                                         (v8i16 VECREG:$rB)))]>;
3286
3287   def r16 : CLGTHInst<(outs R16C:$rT), (ins R16C:$rA, R16C:$rB),
3288                      [(set R16C:$rT, (setugt R16C:$rA, R16C:$rB))]>;
3289 }
3290
3291 class CLGTHIInst<dag OOL, dag IOL, list<dag> pattern> :
3292   RI10Form<0b10111010, OOL, IOL, "clgthi\t$rT, $rA, $val",
3293            ByteOp, pattern>;
3294
3295 multiclass CmpLGtrHalfwordImm
3296 {
3297   def v8i16 : CLGTHIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
3298                          [(set (v8i16 VECREG:$rT),
3299                                (setugt (v8i16 VECREG:$rA),
3300                                        (v8i16 v8i16SExt10Imm:$val)))]>;
3301   def r16 : CLGTHIInst<(outs R16C:$rT), (ins R16C:$rA, s10imm:$val),
3302                        [(set R16C:$rT, (setugt R16C:$rA, i16ImmSExt10:$val))]>;
3303 }
3304
3305 class CLGTInst<dag OOL, dag IOL, list<dag> pattern> :
3306   RRForm<0b00000011010, OOL, IOL, "clgt\t$rT, $rA, $rB",
3307          ByteOp, pattern>;
3308
3309 multiclass CmpLGtrWord
3310 {
3311   def v4i32 : CLGTInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3312                       [(set (v4i32 VECREG:$rT),
3313                             (setugt (v4i32 VECREG:$rA), (v4i32 VECREG:$rB)))]>;
3314
3315   def r32 : CLGTInst<(outs R32C:$rT), (ins R32C:$rA, R32C:$rB),
3316                      [(set R32C:$rT, (setugt R32C:$rA, R32C:$rB))]>;
3317 }
3318
3319 class CLGTIInst<dag OOL, dag IOL, list<dag> pattern> :
3320   RI10Form<0b00111010, OOL, IOL, "clgti\t$rT, $rA, $val",
3321            ByteOp, pattern>;
3322
3323 multiclass CmpLGtrWordImm
3324 {
3325   def v4i32 : CLGTIInst<(outs VECREG:$rT), (ins VECREG:$rA, s10imm:$val),
3326                        [(set (v4i32 VECREG:$rT),
3327                              (setugt (v4i32 VECREG:$rA),
3328                                     (v4i32 v4i32SExt16Imm:$val)))]>;
3329
3330   def r32: CLGTIInst<(outs R32C:$rT), (ins R32C:$rA, s10imm_i32:$val),
3331                      [(set R32C:$rT, (setugt R32C:$rA, i32ImmSExt10:$val))]>;
3332 }
3333
3334 defm CEQB   : CmpEqualByte;
3335 defm CEQBI  : CmpEqualByteImm;
3336 defm CEQH   : CmpEqualHalfword;
3337 defm CEQHI  : CmpEqualHalfwordImm;
3338 defm CEQ    : CmpEqualWord;
3339 defm CEQI   : CmpEqualWordImm;
3340 defm CGTB   : CmpGtrByte;
3341 defm CGTBI  : CmpGtrByteImm;
3342 defm CGTH   : CmpGtrHalfword;
3343 defm CGTHI  : CmpGtrHalfwordImm;
3344 defm CGT    : CmpGtrWord;
3345 defm CGTI   : CmpGtrWordImm;
3346 defm CLGTB  : CmpLGtrByte;
3347 defm CLGTBI : CmpLGtrByteImm;
3348 defm CLGTH  : CmpLGtrHalfword;
3349 defm CLGTHI : CmpLGtrHalfwordImm;
3350 defm CLGT   : CmpLGtrWord;
3351 defm CLGTI  : CmpLGtrWordImm;
3352
3353 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
3354 // For SETCC primitives not supported above (setlt, setle, setge, etc.)
3355 // define a pattern to generate the right code, as a binary operator
3356 // (in a manner of speaking.)
3357 //
3358 // Notes:
3359 // 1. This only matches the setcc set of conditionals. Special pattern
3360 //    matching is used for select conditionals.
3361 //
3362 // 2. The "DAG" versions of these classes is almost exclusively used for
3363 //    i64 comparisons. See the tblgen fundamentals documentation for what
3364 //    ".ResultInstrs[0]" means; see TargetSelectionDAG.td and the Pattern
3365 //    class for where ResultInstrs originates.
3366 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
3367
3368 class SETCCNegCondReg<PatFrag cond, RegisterClass rclass, ValueType inttype,
3369                       SPUInstr xorinst, SPUInstr cmpare>:
3370   Pat<(cond rclass:$rA, rclass:$rB),
3371       (xorinst (cmpare rclass:$rA, rclass:$rB), (inttype -1))>;
3372
3373 class SETCCNegCondImm<PatFrag cond, RegisterClass rclass, ValueType inttype,
3374                       PatLeaf immpred, SPUInstr xorinst, SPUInstr cmpare>:
3375   Pat<(cond rclass:$rA, (inttype immpred:$imm)),
3376       (xorinst (cmpare rclass:$rA, (inttype immpred:$imm)), (inttype -1))>;
3377
3378 def : SETCCNegCondReg<setne, R8C, i8, XORBIr8,  CEQBr8>;
3379 def : SETCCNegCondImm<setne, R8C, i8, immSExt8, XORBIr8, CEQBIr8>;
3380
3381 def : SETCCNegCondReg<setne, R16C, i16, XORHIr16,     CEQHr16>;
3382 def : SETCCNegCondImm<setne, R16C, i16, i16ImmSExt10, XORHIr16, CEQHIr16>;
3383
3384 def : SETCCNegCondReg<setne, R32C, i32, XORIr32, CEQr32>;
3385 def : SETCCNegCondImm<setne, R32C, i32, i32ImmSExt10, XORIr32, CEQIr32>;
3386
3387 class SETCCBinOpReg<PatFrag cond, RegisterClass rclass,
3388                     SPUInstr binop, SPUInstr cmpOp1, SPUInstr cmpOp2>:
3389     Pat<(cond rclass:$rA, rclass:$rB),
3390         (binop (cmpOp1 rclass:$rA, rclass:$rB),
3391                (cmpOp2 rclass:$rA, rclass:$rB))>;
3392
3393 class SETCCBinOpImm<PatFrag cond, RegisterClass rclass, PatLeaf immpred,
3394                     ValueType immtype,
3395                     SPUInstr binop, SPUInstr cmpOp1, SPUInstr cmpOp2>:
3396     Pat<(cond rclass:$rA, (immtype immpred:$imm)),
3397         (binop (cmpOp1 rclass:$rA, (immtype immpred:$imm)),
3398                (cmpOp2 rclass:$rA, (immtype immpred:$imm)))>;
3399
3400 def : SETCCBinOpReg<setge, R8C, ORr8, CGTBr8, CEQBr8>;
3401 def : SETCCBinOpImm<setge, R8C, immSExt8, i8, ORr8, CGTBIr8, CEQBIr8>;
3402 def : SETCCBinOpReg<setlt, R8C, NORr8, CGTBr8, CEQBr8>;
3403 def : SETCCBinOpImm<setlt, R8C, immSExt8, i8, NORr8, CGTBIr8, CEQBIr8>;
3404 def : Pat<(setle R8C:$rA, R8C:$rB),
3405           (XORBIr8 (CGTBr8 R8C:$rA, R8C:$rB), 0xff)>;
3406 def :  Pat<(setle R8C:$rA, immU8:$imm),
3407            (XORBIr8 (CGTBIr8 R8C:$rA, immU8:$imm), 0xff)>;
3408
3409 def : SETCCBinOpReg<setge, R16C, ORr16, CGTHr16, CEQHr16>;
3410 def : SETCCBinOpImm<setge, R16C, i16ImmSExt10, i16,
3411                     ORr16, CGTHIr16, CEQHIr16>;
3412 def : SETCCBinOpReg<setlt, R16C, NORr16, CGTHr16, CEQHr16>;
3413 def : SETCCBinOpImm<setlt, R16C, i16ImmSExt10, i16, NORr16, CGTHIr16, CEQHIr16>;
3414 def : Pat<(setle R16C:$rA, R16C:$rB),
3415           (XORHIr16 (CGTHr16 R16C:$rA, R16C:$rB), 0xffff)>;
3416 def : Pat<(setle R16C:$rA, i16ImmSExt10:$imm),
3417           (XORHIr16 (CGTHIr16 R16C:$rA, i16ImmSExt10:$imm), 0xffff)>;
3418
3419 def : SETCCBinOpReg<setge, R32C, ORr32, CGTr32, CEQr32>;
3420 def : SETCCBinOpImm<setge, R32C, i32ImmSExt10, i32,
3421                     ORr32, CGTIr32, CEQIr32>;
3422 def : SETCCBinOpReg<setlt, R32C, NORr32, CGTr32, CEQr32>;
3423 def : SETCCBinOpImm<setlt, R32C, i32ImmSExt10, i32, NORr32, CGTIr32, CEQIr32>;
3424 def : Pat<(setle R32C:$rA, R32C:$rB),
3425           (XORIr32 (CGTr32 R32C:$rA, R32C:$rB), 0xffffffff)>;
3426 def : Pat<(setle R32C:$rA, i32ImmSExt10:$imm),
3427           (XORIr32 (CGTIr32 R32C:$rA, i32ImmSExt10:$imm), 0xffffffff)>;
3428
3429 def : SETCCBinOpReg<setuge, R8C, ORr8, CLGTBr8, CEQBr8>;
3430 def : SETCCBinOpImm<setuge, R8C, immSExt8, i8, ORr8, CLGTBIr8, CEQBIr8>;
3431 def : SETCCBinOpReg<setult, R8C, NORr8, CLGTBr8, CEQBr8>;
3432 def : SETCCBinOpImm<setult, R8C, immSExt8, i8, NORr8, CLGTBIr8, CEQBIr8>;
3433 def : Pat<(setule R8C:$rA, R8C:$rB),
3434           (XORBIr8 (CLGTBr8 R8C:$rA, R8C:$rB), 0xff)>;
3435 def :  Pat<(setule R8C:$rA, immU8:$imm),
3436            (XORBIr8 (CLGTBIr8 R8C:$rA, immU8:$imm), 0xff)>;
3437
3438 def : SETCCBinOpReg<setuge, R16C, ORr16, CLGTHr16, CEQHr16>;
3439 def : SETCCBinOpImm<setuge, R16C, i16ImmSExt10, i16,
3440                     ORr16, CLGTHIr16, CEQHIr16>;
3441 def : SETCCBinOpReg<setult, R16C, NORr16, CLGTHr16, CEQHr16>;
3442 def : SETCCBinOpImm<setult, R16C, i16ImmSExt10, i16, NORr16,
3443                     CLGTHIr16, CEQHIr16>;
3444 def : Pat<(setule R16C:$rA, R16C:$rB),
3445           (XORHIr16 (CLGTHr16 R16C:$rA, R16C:$rB), 0xffff)>;
3446 def :  Pat<(setule R16C:$rA, i16ImmSExt10:$imm),
3447            (XORHIr16 (CLGTHIr16 R16C:$rA, i16ImmSExt10:$imm), 0xffff)>;
3448
3449 def : SETCCBinOpReg<setuge, R32C, ORr32, CLGTr32, CEQr32>;
3450 def : SETCCBinOpImm<setuge, R32C, i32ImmSExt10, i32,
3451                     ORr32, CLGTIr32, CEQIr32>;
3452 def : SETCCBinOpReg<setult, R32C, NORr32, CLGTr32, CEQr32>;
3453 def : SETCCBinOpImm<setult, R32C, i32ImmSExt10, i32, NORr32, CLGTIr32, CEQIr32>;
3454 def : Pat<(setule R32C:$rA, R32C:$rB),
3455           (XORIr32 (CLGTr32 R32C:$rA, R32C:$rB), 0xffffffff)>;
3456 def : Pat<(setule R32C:$rA, i32ImmSExt10:$imm),
3457           (XORIr32 (CLGTIr32 R32C:$rA, i32ImmSExt10:$imm), 0xffffffff)>;
3458
3459 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
3460 // select conditional patterns:
3461 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
3462
3463 class SELECTNegCondReg<PatFrag cond, RegisterClass rclass, ValueType inttype,
3464                        SPUInstr selinstr, SPUInstr cmpare>:
3465   Pat<(select (inttype (cond rclass:$rA, rclass:$rB)),
3466               rclass:$rTrue, rclass:$rFalse),
3467       (selinstr rclass:$rTrue, rclass:$rFalse,
3468                 (cmpare rclass:$rA, rclass:$rB))>;
3469
3470 class SELECTNegCondImm<PatFrag cond, RegisterClass rclass, ValueType inttype,
3471                        PatLeaf immpred, SPUInstr selinstr, SPUInstr cmpare>:
3472   Pat<(select (inttype (cond rclass:$rA, immpred:$imm)),
3473               rclass:$rTrue, rclass:$rFalse),
3474       (selinstr rclass:$rTrue, rclass:$rFalse,
3475                 (cmpare rclass:$rA, immpred:$imm))>;
3476
3477 def : SELECTNegCondReg<setne, R8C, i8, SELBr8, CEQBr8>;
3478 def : SELECTNegCondImm<setne, R8C, i8, immSExt8, SELBr8, CEQBIr8>;
3479 def : SELECTNegCondReg<setle, R8C, i8, SELBr8, CGTBr8>;
3480 def : SELECTNegCondImm<setle, R8C, i8, immSExt8, SELBr8, CGTBr8>;
3481 def : SELECTNegCondReg<setule, R8C, i8, SELBr8, CLGTBr8>;
3482 def : SELECTNegCondImm<setule, R8C, i8, immU8, SELBr8, CLGTBIr8>;
3483
3484 def : SELECTNegCondReg<setne, R16C, i16, SELBr16, CEQHr16>;
3485 def : SELECTNegCondImm<setne, R16C, i16, i16ImmSExt10, SELBr16, CEQHIr16>;
3486 def : SELECTNegCondReg<setle, R16C, i16, SELBr16, CGTHr16>;
3487 def : SELECTNegCondImm<setle, R16C, i16, i16ImmSExt10, SELBr16, CGTHIr16>;
3488 def : SELECTNegCondReg<setule, R16C, i16, SELBr16, CLGTHr16>;
3489 def : SELECTNegCondImm<setule, R16C, i16, i16ImmSExt10, SELBr16, CLGTHIr16>;
3490
3491 def : SELECTNegCondReg<setne, R32C, i32, SELBr32, CEQr32>;
3492 def : SELECTNegCondImm<setne, R32C, i32, i32ImmSExt10, SELBr32, CEQIr32>;
3493 def : SELECTNegCondReg<setle, R32C, i32, SELBr32, CGTr32>;
3494 def : SELECTNegCondImm<setle, R32C, i32, i32ImmSExt10, SELBr32, CGTIr32>;
3495 def : SELECTNegCondReg<setule, R32C, i32, SELBr32, CLGTr32>;
3496 def : SELECTNegCondImm<setule, R32C, i32, i32ImmSExt10, SELBr32, CLGTIr32>;
3497
3498 class SELECTBinOpReg<PatFrag cond, RegisterClass rclass, ValueType inttype,
3499                      SPUInstr selinstr, SPUInstr binop, SPUInstr cmpOp1,
3500                      SPUInstr cmpOp2>:
3501   Pat<(select (inttype (cond rclass:$rA, rclass:$rB)),
3502               rclass:$rTrue, rclass:$rFalse),
3503       (selinstr rclass:$rFalse, rclass:$rTrue,
3504                 (binop (cmpOp1 rclass:$rA, rclass:$rB),
3505                        (cmpOp2 rclass:$rA, rclass:$rB)))>;
3506
3507 class SELECTBinOpImm<PatFrag cond, RegisterClass rclass, PatLeaf immpred,
3508                      ValueType inttype,
3509                      SPUInstr selinstr, SPUInstr binop, SPUInstr cmpOp1,
3510                      SPUInstr cmpOp2>:
3511     Pat<(select (inttype (cond rclass:$rA, (inttype immpred:$imm))),
3512                 rclass:$rTrue, rclass:$rFalse),
3513         (selinstr rclass:$rFalse, rclass:$rTrue,
3514                   (binop (cmpOp1 rclass:$rA, (inttype immpred:$imm)),
3515                          (cmpOp2 rclass:$rA, (inttype immpred:$imm))))>;
3516
3517 def : SELECTBinOpReg<setge, R8C, i8, SELBr8, ORr8, CGTBr8, CEQBr8>;
3518 def : SELECTBinOpImm<setge, R8C, immSExt8, i8,
3519                      SELBr8, ORr8, CGTBIr8, CEQBIr8>;
3520
3521 def : SELECTBinOpReg<setge, R16C, i16, SELBr16, ORr16, CGTHr16, CEQHr16>;
3522 def : SELECTBinOpImm<setge, R16C, i16ImmSExt10, i16,
3523                      SELBr16, ORr16, CGTHIr16, CEQHIr16>;
3524
3525 def : SELECTBinOpReg<setge, R32C, i32, SELBr32, ORr32, CGTr32, CEQr32>;
3526 def : SELECTBinOpImm<setge, R32C, i32ImmSExt10, i32,
3527                      SELBr32, ORr32, CGTIr32, CEQIr32>;
3528
3529 def : SELECTBinOpReg<setuge, R8C, i8, SELBr8, ORr8, CLGTBr8, CEQBr8>;
3530 def : SELECTBinOpImm<setuge, R8C, immSExt8, i8,
3531                      SELBr8, ORr8, CLGTBIr8, CEQBIr8>;
3532
3533 def : SELECTBinOpReg<setuge, R16C, i16, SELBr16, ORr16, CLGTHr16, CEQHr16>;
3534 def : SELECTBinOpImm<setuge, R16C, i16ImmUns10, i16,
3535                      SELBr16, ORr16, CLGTHIr16, CEQHIr16>;
3536
3537 def : SELECTBinOpReg<setuge, R32C, i32, SELBr32, ORr32, CLGTr32, CEQr32>;
3538 def : SELECTBinOpImm<setuge, R32C, i32ImmUns10, i32,
3539                      SELBr32, ORr32, CLGTIr32, CEQIr32>;
3540
3541 //-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~-~
3542
3543 let isCall = 1,
3544   // All calls clobber the non-callee-saved registers:
3545   Defs = [R0, R1, R2, R3, R4, R5, R6, R7, R8, R9,
3546           R10,R11,R12,R13,R14,R15,R16,R17,R18,R19,
3547           R20,R21,R22,R23,R24,R25,R26,R27,R28,R29,
3548           R30,R31,R32,R33,R34,R35,R36,R37,R38,R39,
3549           R40,R41,R42,R43,R44,R45,R46,R47,R48,R49,
3550           R50,R51,R52,R53,R54,R55,R56,R57,R58,R59,
3551           R60,R61,R62,R63,R64,R65,R66,R67,R68,R69,
3552           R70,R71,R72,R73,R74,R75,R76,R77,R78,R79],
3553   // All of these instructions use $lr (aka $0)
3554   Uses = [R0]  in {
3555   // Branch relative and set link: Used if we actually know that the target
3556   // is within [-32768, 32767] bytes of the target
3557   def BRSL:
3558     BranchSetLink<0b011001100, (outs), (ins relcalltarget:$func, variable_ops),
3559       "brsl\t$$lr, $func",
3560       [(SPUcall (SPUpcrel tglobaladdr:$func, 0))]>;
3561
3562   // Branch absolute and set link: Used if we actually know that the target
3563   // is an absolute address
3564   def BRASL:
3565     BranchSetLink<0b011001100, (outs), (ins calltarget:$func, variable_ops),
3566       "brasl\t$$lr, $func",
3567       [(SPUcall (SPUaform tglobaladdr:$func, 0))]>;
3568
3569   // Branch indirect and set link if external data. These instructions are not
3570   // actually generated, matched by an intrinsic:
3571   def BISLED_00: BISLEDForm<0b11, "bisled\t$$lr, $func", [/* empty pattern */]>;
3572   def BISLED_E0: BISLEDForm<0b10, "bisled\t$$lr, $func", [/* empty pattern */]>;
3573   def BISLED_0D: BISLEDForm<0b01, "bisled\t$$lr, $func", [/* empty pattern */]>;
3574   def BISLED_ED: BISLEDForm<0b00, "bisled\t$$lr, $func", [/* empty pattern */]>;
3575
3576   // Branch indirect and set link. This is the "X-form" address version of a
3577   // function call
3578   def BISL:
3579     BIForm<0b10010101100, "bisl\t$$lr, $func", [(SPUcall R32C:$func)]>;
3580 }
3581
3582 // Support calls to external symbols:
3583 def : Pat<(SPUcall (SPUpcrel texternalsym:$func, 0)),
3584           (BRSL texternalsym:$func)>;
3585
3586 def : Pat<(SPUcall (SPUaform texternalsym:$func, 0)),
3587           (BRASL texternalsym:$func)>;
3588
3589 // Unconditional branches:
3590 let isBranch = 1, isTerminator = 1, hasCtrlDep = 1 in {
3591   let isBarrier = 1 in {
3592     def BR :
3593       UncondBranch<0b001001100, (outs), (ins brtarget:$dest),
3594         "br\t$dest",
3595         [(br bb:$dest)]>;
3596
3597     // Unconditional, absolute address branch
3598     def BRA:
3599       UncondBranch<0b001100000, (outs), (ins brtarget:$dest),
3600         "bra\t$dest",
3601         [/* no pattern */]>;
3602
3603     // Indirect branch
3604     def BI:
3605       BIForm<0b00010101100, "bi\t$func", [(brind R32C:$func)]>;
3606   }
3607
3608   // Conditional branches:
3609   class BRNZInst<dag IOL, list<dag> pattern>:
3610     RI16Form<0b010000100, (outs), IOL, "brnz\t$rCond,$dest",
3611              BranchResolv, pattern>;
3612
3613   class BRNZRegInst<RegisterClass rclass>:
3614     BRNZInst<(ins rclass:$rCond, brtarget:$dest),
3615              [(brcond rclass:$rCond, bb:$dest)]>;
3616
3617   class BRNZVecInst<ValueType vectype>:
3618     BRNZInst<(ins VECREG:$rCond, brtarget:$dest),
3619              [(brcond (vectype VECREG:$rCond), bb:$dest)]>;
3620
3621   multiclass BranchNotZero {
3622     def v4i32 : BRNZVecInst<v4i32>;
3623     def r32   : BRNZRegInst<R32C>;
3624   }
3625
3626   defm BRNZ : BranchNotZero;
3627
3628   class BRZInst<dag IOL, list<dag> pattern>:
3629     RI16Form<0b000000100, (outs), IOL, "brz\t$rT,$dest",
3630              BranchResolv, pattern>;
3631
3632   class BRZRegInst<RegisterClass rclass>:
3633     BRZInst<(ins rclass:$rT, brtarget:$dest), [/* no pattern */]>;
3634
3635   class BRZVecInst<ValueType vectype>:
3636     BRZInst<(ins VECREG:$rT, brtarget:$dest), [/* no pattern */]>;
3637
3638   multiclass BranchZero {
3639     def v4i32: BRZVecInst<v4i32>;
3640     def r32:   BRZRegInst<R32C>;
3641   }
3642
3643   defm BRZ: BranchZero;
3644
3645   // Note: LLVM doesn't do branch conditional, indirect. Otherwise these would
3646   // be useful:
3647   /*
3648   class BINZInst<dag IOL, list<dag> pattern>:
3649    BICondForm<0b10010100100, (outs), IOL, "binz\t$rA, $dest", pattern>;
3650
3651   class BINZRegInst<RegisterClass rclass>:
3652     BINZInst<(ins rclass:$rA, brtarget:$dest),
3653              [(brcond rclass:$rA, R32C:$dest)]>;
3654
3655   class BINZVecInst<ValueType vectype>:
3656     BINZInst<(ins VECREG:$rA, R32C:$dest),
3657              [(brcond (vectype VECREG:$rA), R32C:$dest)]>;
3658
3659   multiclass BranchNotZeroIndirect {
3660     def v4i32: BINZVecInst<v4i32>;
3661     def r32:   BINZRegInst<R32C>;
3662   }
3663
3664   defm BINZ: BranchNotZeroIndirect;
3665
3666   class BIZInst<dag IOL, list<dag> pattern>:
3667     BICondForm<0b00010100100, (outs), IOL, "biz\t$rA, $func", pattern>;
3668
3669   class BIZRegInst<RegisterClass rclass>:
3670     BIZInst<(ins rclass:$rA, R32C:$func), [/* no pattern */]>;
3671
3672   class BIZVecInst<ValueType vectype>:
3673     BIZInst<(ins VECREG:$rA, R32C:$func), [/* no pattern */]>;
3674
3675   multiclass BranchZeroIndirect {
3676     def v4i32: BIZVecInst<v4i32>;
3677     def r32:   BIZRegInst<R32C>;
3678   }
3679
3680   defm BIZ: BranchZeroIndirect;
3681   */
3682
3683   class BRHNZInst<dag IOL, list<dag> pattern>:
3684     RI16Form<0b011000100, (outs), IOL, "brhnz\t$rCond,$dest", BranchResolv,
3685              pattern>;
3686
3687   class BRHNZRegInst<RegisterClass rclass>:
3688     BRHNZInst<(ins rclass:$rCond, brtarget:$dest),
3689               [(brcond rclass:$rCond, bb:$dest)]>;
3690
3691   class BRHNZVecInst<ValueType vectype>:
3692     BRHNZInst<(ins VECREG:$rCond, brtarget:$dest), [/* no pattern */]>;
3693
3694   multiclass BranchNotZeroHalfword {
3695     def v8i16: BRHNZVecInst<v8i16>;
3696     def r16:   BRHNZRegInst<R16C>;
3697   }
3698
3699   defm BRHNZ: BranchNotZeroHalfword;
3700
3701   class BRHZInst<dag IOL, list<dag> pattern>:
3702     RI16Form<0b001000100, (outs), IOL, "brhz\t$rT,$dest", BranchResolv,
3703              pattern>;
3704
3705   class BRHZRegInst<RegisterClass rclass>:
3706     BRHZInst<(ins rclass:$rT, brtarget:$dest), [/* no pattern */]>;
3707
3708   class BRHZVecInst<ValueType vectype>:
3709     BRHZInst<(ins VECREG:$rT, brtarget:$dest), [/* no pattern */]>;
3710
3711   multiclass BranchZeroHalfword {
3712     def v8i16: BRHZVecInst<v8i16>;
3713     def r16:   BRHZRegInst<R16C>;
3714   }
3715
3716   defm BRHZ: BranchZeroHalfword;
3717 }
3718
3719 //===----------------------------------------------------------------------===//
3720 // setcc and brcond patterns:
3721 //===----------------------------------------------------------------------===//
3722
3723 def : Pat<(brcond (i16 (seteq R16C:$rA, 0)), bb:$dest),
3724           (BRHZr16 R16C:$rA, bb:$dest)>;
3725 def : Pat<(brcond (i16 (setne R16C:$rA, 0)), bb:$dest),
3726           (BRHNZr16 R16C:$rA, bb:$dest)>;
3727
3728 def : Pat<(brcond (i32 (seteq R32C:$rA, 0)), bb:$dest),
3729           (BRZr32 R32C:$rA, bb:$dest)>;
3730 def : Pat<(brcond (i32 (setne R32C:$rA, 0)), bb:$dest),
3731           (BRNZr32 R32C:$rA, bb:$dest)>;
3732
3733 multiclass BranchCondEQ<PatFrag cond, SPUInstr brinst16, SPUInstr brinst32>
3734 {
3735   def r16imm: Pat<(brcond (i16 (cond R16C:$rA, i16ImmSExt10:$val)), bb:$dest),
3736                   (brinst16 (CEQHIr16 R16C:$rA, i16ImmSExt10:$val), bb:$dest)>;
3737
3738   def r16 : Pat<(brcond (i16 (cond R16C:$rA, R16C:$rB)), bb:$dest),
3739                 (brinst16 (CEQHr16 R16C:$rA, R16:$rB), bb:$dest)>;
3740
3741   def r32imm : Pat<(brcond (i32 (cond R32C:$rA, i32ImmSExt10:$val)), bb:$dest),
3742                    (brinst32 (CEQIr32 R32C:$rA, i32ImmSExt10:$val), bb:$dest)>;
3743
3744   def r32 : Pat<(brcond (i32 (cond R32C:$rA, R32C:$rB)), bb:$dest),
3745                 (brinst32 (CEQr32 R32C:$rA, R32C:$rB), bb:$dest)>;
3746 }
3747
3748 defm BRCONDeq : BranchCondEQ<seteq, BRHNZr16, BRNZr32>;
3749 defm BRCONDne : BranchCondEQ<setne, BRHZr16, BRZr32>;
3750
3751 multiclass BranchCondLGT<PatFrag cond, SPUInstr brinst16, SPUInstr brinst32>
3752 {
3753   def r16imm : Pat<(brcond (i16 (cond R16C:$rA, i16ImmSExt10:$val)), bb:$dest),
3754                    (brinst16 (CLGTHIr16 R16C:$rA, i16ImmSExt10:$val), bb:$dest)>;
3755
3756   def r16 : Pat<(brcond (i16 (cond R16C:$rA, R16C:$rB)), bb:$dest),
3757                 (brinst16 (CLGTHr16 R16C:$rA, R16:$rB), bb:$dest)>;
3758
3759   def r32imm : Pat<(brcond (i32 (cond R32C:$rA, i32ImmSExt10:$val)), bb:$dest),
3760                    (brinst32 (CLGTIr32 R32C:$rA, i32ImmSExt10:$val), bb:$dest)>;
3761
3762   def r32 : Pat<(brcond (i32 (cond R32C:$rA, R32C:$rB)), bb:$dest),
3763                 (brinst32 (CLGTr32 R32C:$rA, R32C:$rB), bb:$dest)>;
3764 }
3765
3766 defm BRCONDugt : BranchCondLGT<setugt, BRHNZr16, BRNZr32>;
3767 defm BRCONDule : BranchCondLGT<setule, BRHZr16, BRZr32>;
3768
3769 multiclass BranchCondLGTEQ<PatFrag cond, SPUInstr orinst16, SPUInstr brinst16,
3770                            SPUInstr orinst32, SPUInstr brinst32>
3771 {
3772   def r16imm: Pat<(brcond (i16 (cond R16C:$rA, i16ImmSExt10:$val)), bb:$dest),
3773                   (brinst16 (orinst16 (CLGTHIr16 R16C:$rA, i16ImmSExt10:$val),
3774                                       (CEQHIr16 R16C:$rA, i16ImmSExt10:$val)),
3775                             bb:$dest)>;
3776
3777   def r16: Pat<(brcond (i16 (cond R16C:$rA, R16C:$rB)), bb:$dest),
3778                (brinst16 (orinst16 (CLGTHr16 R16C:$rA, R16:$rB),
3779                                    (CEQHr16 R16C:$rA, R16:$rB)),
3780                          bb:$dest)>;
3781
3782   def r32imm : Pat<(brcond (i32 (cond R32C:$rA, i32ImmSExt10:$val)), bb:$dest),
3783                    (brinst32 (orinst32 (CLGTIr32 R32C:$rA, i32ImmSExt10:$val),
3784                                        (CEQIr32 R32C:$rA, i32ImmSExt10:$val)),
3785                              bb:$dest)>;
3786
3787   def r32 : Pat<(brcond (i32 (cond R32C:$rA, R32C:$rB)), bb:$dest),
3788                 (brinst32 (orinst32 (CLGTr32 R32C:$rA, R32C:$rB),
3789                                     (CEQr32 R32C:$rA, R32C:$rB)),
3790                           bb:$dest)>;
3791 }
3792
3793 defm BRCONDuge : BranchCondLGTEQ<setuge, ORr16, BRHNZr16, ORr32, BRNZr32>;
3794 defm BRCONDult : BranchCondLGTEQ<setult, ORr16, BRHZr16, ORr32, BRZr32>;
3795
3796 multiclass BranchCondGT<PatFrag cond, SPUInstr brinst16, SPUInstr brinst32>
3797 {
3798   def r16imm : Pat<(brcond (i16 (cond R16C:$rA, i16ImmSExt10:$val)), bb:$dest),
3799                    (brinst16 (CGTHIr16 R16C:$rA, i16ImmSExt10:$val), bb:$dest)>;
3800
3801   def r16 : Pat<(brcond (i16 (cond R16C:$rA, R16C:$rB)), bb:$dest),
3802                 (brinst16 (CGTHr16 R16C:$rA, R16:$rB), bb:$dest)>;
3803
3804   def r32imm : Pat<(brcond (i32 (cond R32C:$rA, i32ImmSExt10:$val)), bb:$dest),
3805                    (brinst32 (CGTIr32 R32C:$rA, i32ImmSExt10:$val), bb:$dest)>;
3806
3807   def r32 : Pat<(brcond (i32 (cond R32C:$rA, R32C:$rB)), bb:$dest),
3808                 (brinst32 (CGTr32 R32C:$rA, R32C:$rB), bb:$dest)>;
3809 }
3810
3811 defm BRCONDgt : BranchCondGT<setgt, BRHNZr16, BRNZr32>;
3812 defm BRCONDle : BranchCondGT<setle, BRHZr16, BRZr32>;
3813
3814 multiclass BranchCondGTEQ<PatFrag cond, SPUInstr orinst16, SPUInstr brinst16,
3815                           SPUInstr orinst32, SPUInstr brinst32>
3816 {
3817   def r16imm: Pat<(brcond (i16 (cond R16C:$rA, i16ImmSExt10:$val)), bb:$dest),
3818                   (brinst16 (orinst16 (CGTHIr16 R16C:$rA, i16ImmSExt10:$val),
3819                                       (CEQHIr16 R16C:$rA, i16ImmSExt10:$val)),
3820                             bb:$dest)>;
3821
3822   def r16: Pat<(brcond (i16 (cond R16C:$rA, R16C:$rB)), bb:$dest),
3823                (brinst16 (orinst16 (CGTHr16 R16C:$rA, R16:$rB),
3824                                    (CEQHr16 R16C:$rA, R16:$rB)),
3825                          bb:$dest)>;
3826
3827   def r32imm : Pat<(brcond (i32 (cond R32C:$rA, i32ImmSExt10:$val)), bb:$dest),
3828                    (brinst32 (orinst32 (CGTIr32 R32C:$rA, i32ImmSExt10:$val),
3829                                        (CEQIr32 R32C:$rA, i32ImmSExt10:$val)),
3830                              bb:$dest)>;
3831
3832   def r32 : Pat<(brcond (i32 (cond R32C:$rA, R32C:$rB)), bb:$dest),
3833                 (brinst32 (orinst32 (CGTr32 R32C:$rA, R32C:$rB),
3834                                     (CEQr32 R32C:$rA, R32C:$rB)),
3835                           bb:$dest)>;
3836 }
3837
3838 defm BRCONDge : BranchCondGTEQ<setge, ORr16, BRHNZr16, ORr32, BRNZr32>;
3839 defm BRCONDlt : BranchCondGTEQ<setlt, ORr16, BRHZr16, ORr32, BRZr32>;
3840
3841 let isTerminator = 1, isBarrier = 1 in {
3842   let isReturn = 1 in {
3843     def RET:
3844         RETForm<"bi\t$$lr", [(retflag)]>;
3845   }
3846 }
3847
3848 //===----------------------------------------------------------------------===//
3849 // Single precision floating point instructions
3850 //===----------------------------------------------------------------------===//
3851
3852 class FAInst<dag OOL, dag IOL, list<dag> pattern>:
3853     RRForm<0b01011000100, OOL, IOL, "fa\t$rT, $rA, $rB",
3854            SPrecFP, pattern>;
3855
3856 class FAVecInst<ValueType vectype>:
3857     FAInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3858              [(set (vectype VECREG:$rT),
3859                    (fadd (vectype VECREG:$rA), (vectype VECREG:$rB)))]>;
3860
3861 multiclass SFPAdd
3862 {
3863   def v4f32: FAVecInst<v4f32>;
3864   def f32:   FAInst<(outs R32FP:$rT), (ins R32FP:$rA, R32FP:$rB),
3865                     [(set R32FP:$rT, (fadd R32FP:$rA, R32FP:$rB))]>;
3866 }
3867
3868 defm FA : SFPAdd;
3869
3870 class FSInst<dag OOL, dag IOL, list<dag> pattern>:
3871     RRForm<0b01011000100, OOL, IOL, "fs\t$rT, $rA, $rB",
3872            SPrecFP, pattern>;
3873
3874 class FSVecInst<ValueType vectype>:
3875     FSInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3876            [(set (vectype VECREG:$rT),
3877                  (fsub (vectype VECREG:$rA), (vectype VECREG:$rB)))]>;
3878
3879 multiclass SFPSub
3880 {
3881   def v4f32: FSVecInst<v4f32>;
3882   def f32:   FSInst<(outs R32FP:$rT), (ins R32FP:$rA, R32FP:$rB),
3883                     [(set R32FP:$rT, (fsub R32FP:$rA, R32FP:$rB))]>;
3884 }
3885
3886 defm FS : SFPSub;
3887
3888 class FMInst<dag OOL, dag IOL, list<dag> pattern>:
3889     RRForm<0b01100011010, OOL, IOL,
3890       "fm\t$rT, $rA, $rB", SPrecFP,
3891       pattern>;
3892
3893 class FMVecInst<ValueType type>:
3894     FMInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3895            [(set (type VECREG:$rT),
3896                  (fmul (type VECREG:$rA), (type VECREG:$rB)))]>;
3897
3898 multiclass SFPMul
3899 {
3900   def v4f32: FMVecInst<v4f32>;
3901   def f32:   FMInst<(outs R32FP:$rT), (ins R32FP:$rA, R32FP:$rB),
3902                      [(set R32FP:$rT, (fmul R32FP:$rA, R32FP:$rB))]>;
3903 }
3904
3905 defm FM : SFPMul;
3906
3907 // Floating point multiply and add
3908 // e.g. d = c + (a * b)
3909 def FMAv4f32:
3910     RRRForm<0b0111, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
3911       "fma\t$rT, $rA, $rB, $rC", SPrecFP,
3912       [(set (v4f32 VECREG:$rT),
3913             (fadd (v4f32 VECREG:$rC),
3914                   (fmul (v4f32 VECREG:$rA), (v4f32 VECREG:$rB))))]>;
3915
3916 def FMAf32:
3917     RRRForm<0b0111, (outs R32FP:$rT), (ins R32FP:$rA, R32FP:$rB, R32FP:$rC),
3918       "fma\t$rT, $rA, $rB, $rC", SPrecFP,
3919       [(set R32FP:$rT, (fadd R32FP:$rC, (fmul R32FP:$rA, R32FP:$rB)))]>;
3920
3921 // FP multiply and subtract
3922 // Subtracts value in rC from product
3923 // res = a * b - c
3924 def FMSv4f32 :
3925     RRRForm<0b0111, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
3926       "fms\t$rT, $rA, $rB, $rC", SPrecFP,
3927       [(set (v4f32 VECREG:$rT),
3928             (fsub (fmul (v4f32 VECREG:$rA), (v4f32 VECREG:$rB)),
3929                   (v4f32 VECREG:$rC)))]>;
3930
3931 def FMSf32 :
3932     RRRForm<0b0111, (outs R32FP:$rT), (ins R32FP:$rA, R32FP:$rB, R32FP:$rC),
3933       "fms\t$rT, $rA, $rB, $rC", SPrecFP,
3934       [(set R32FP:$rT,
3935             (fsub (fmul R32FP:$rA, R32FP:$rB), R32FP:$rC))]>;
3936
3937 // Floating Negative Mulitply and Subtract
3938 // Subtracts product from value in rC
3939 // res = fneg(fms a b c)
3940 //     = - (a * b - c)
3941 //     = c - a * b
3942 // NOTE: subtraction order
3943 // fsub a b = a - b
3944 // fs a b = b - a?
3945 def FNMSf32 :
3946     RRRForm<0b1101, (outs R32FP:$rT), (ins R32FP:$rA, R32FP:$rB, R32FP:$rC),
3947       "fnms\t$rT, $rA, $rB, $rC", SPrecFP,
3948       [(set R32FP:$rT, (fsub R32FP:$rC, (fmul R32FP:$rA, R32FP:$rB)))]>;
3949
3950 def FNMSv4f32 :
3951     RRRForm<0b1101, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
3952       "fnms\t$rT, $rA, $rB, $rC", SPrecFP,
3953       [(set (v4f32 VECREG:$rT),
3954             (fsub (v4f32 VECREG:$rC),
3955                   (fmul (v4f32 VECREG:$rA),
3956                         (v4f32 VECREG:$rB))))]>;
3957
3958
3959
3960
3961 // Floating point reciprocal estimate
3962
3963 class FRESTInst<dag OOL, dag IOL>:
3964   RRForm_1<0b00110111000, OOL, IOL,
3965            "frest\t$rT, $rA", SPrecFP,
3966            [/* no pattern */]>;
3967
3968 def FRESTv4f32 :
3969     FRESTInst<(outs VECREG:$rT), (ins VECREG:$rA)>;
3970
3971 def FRESTf32 :
3972     FRESTInst<(outs R32FP:$rT), (ins R32FP:$rA)>;
3973
3974 // Floating point interpolate (used in conjunction with reciprocal estimate)
3975 def FIv4f32 :
3976     RRForm<0b00101011110, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
3977       "fi\t$rT, $rA, $rB", SPrecFP,
3978       [/* no pattern */]>;
3979
3980 def FIf32 :
3981     RRForm<0b00101011110, (outs R32FP:$rT), (ins R32FP:$rA, R32FP:$rB),
3982       "fi\t$rT, $rA, $rB", SPrecFP,
3983       [/* no pattern */]>;
3984
3985 //--------------------------------------------------------------------------
3986 // Basic single precision floating point comparisons:
3987 //
3988 // Note: There is no support on SPU for single precision NaN. Consequently,
3989 // ordered and unordered comparisons are the same.
3990 //--------------------------------------------------------------------------
3991
3992 def FCEQf32 :
3993     RRForm<0b01000011110, (outs R32C:$rT), (ins R32FP:$rA, R32FP:$rB),
3994       "fceq\t$rT, $rA, $rB", SPrecFP,
3995       [(set R32C:$rT, (setueq R32FP:$rA, R32FP:$rB))]>;
3996
3997 def : Pat<(setoeq R32FP:$rA, R32FP:$rB),
3998           (FCEQf32 R32FP:$rA, R32FP:$rB)>;
3999
4000 def FCMEQf32 :
4001     RRForm<0b01010011110, (outs R32C:$rT), (ins R32FP:$rA, R32FP:$rB),
4002       "fcmeq\t$rT, $rA, $rB", SPrecFP,
4003       [(set R32C:$rT, (setueq (fabs R32FP:$rA), (fabs R32FP:$rB)))]>;
4004
4005 def : Pat<(setoeq (fabs R32FP:$rA), (fabs R32FP:$rB)),
4006           (FCMEQf32 R32FP:$rA, R32FP:$rB)>;
4007
4008 def FCGTf32 :
4009     RRForm<0b01000011010, (outs R32C:$rT), (ins R32FP:$rA, R32FP:$rB),
4010       "fcgt\t$rT, $rA, $rB", SPrecFP,
4011       [(set R32C:$rT, (setugt R32FP:$rA, R32FP:$rB))]>;
4012
4013 def : Pat<(setugt R32FP:$rA, R32FP:$rB),
4014           (FCGTf32 R32FP:$rA, R32FP:$rB)>;
4015
4016 def FCMGTf32 :
4017     RRForm<0b01010011010, (outs R32C:$rT), (ins R32FP:$rA, R32FP:$rB),
4018       "fcmgt\t$rT, $rA, $rB", SPrecFP,
4019       [(set R32C:$rT, (setugt (fabs R32FP:$rA), (fabs R32FP:$rB)))]>;
4020
4021 def : Pat<(setugt (fabs R32FP:$rA), (fabs R32FP:$rB)),
4022           (FCMGTf32 R32FP:$rA, R32FP:$rB)>;
4023
4024 //--------------------------------------------------------------------------
4025 // Single precision floating point comparisons and SETCC equivalents:
4026 //--------------------------------------------------------------------------
4027
4028 def : SETCCNegCondReg<setune, R32FP, i32, XORIr32, FCEQf32>;
4029 def : SETCCNegCondReg<setone, R32FP, i32, XORIr32, FCEQf32>;
4030
4031 def : SETCCBinOpReg<setuge, R32FP, ORr32, FCGTf32, FCEQf32>;
4032 def : SETCCBinOpReg<setoge, R32FP, ORr32, FCGTf32, FCEQf32>;
4033
4034 def : SETCCBinOpReg<setult, R32FP, NORr32, FCGTf32, FCEQf32>;
4035 def : SETCCBinOpReg<setolt, R32FP, NORr32, FCGTf32, FCEQf32>;
4036
4037 def : Pat<(setule R32FP:$rA, R32FP:$rB),
4038           (XORIr32 (FCGTf32 R32FP:$rA, R32FP:$rB), 0xffffffff)>;
4039 def : Pat<(setole R32FP:$rA, R32FP:$rB),
4040           (XORIr32 (FCGTf32 R32FP:$rA, R32FP:$rB), 0xffffffff)>;
4041
4042 // FP Status and Control Register Write
4043 // Why isn't rT a don't care in the ISA?
4044 // Should we create a special RRForm_3 for this guy and zero out the rT?
4045 def FSCRWf32 :
4046     RRForm_1<0b01011101110, (outs R32FP:$rT), (ins R32FP:$rA),
4047       "fscrwr\t$rA", SPrecFP,
4048       [/* This instruction requires an intrinsic. Note: rT is unused. */]>;
4049
4050 // FP Status and Control Register Read
4051 def FSCRRf32 :
4052     RRForm_2<0b01011101110, (outs R32FP:$rT), (ins),
4053       "fscrrd\t$rT", SPrecFP,
4054       [/* This instruction requires an intrinsic */]>;
4055
4056 // llvm instruction space
4057 // How do these map onto cell instructions?
4058 // fdiv rA rB
4059 //   frest rC rB        # c = 1/b (both lines)
4060 //   fi rC rB rC
4061 //   fm rD rA rC        # d = a * 1/b
4062 //   fnms rB rD rB rA # b = - (d * b - a) --should == 0 in a perfect world
4063 //   fma rB rB rC rD            # b = b * c + d
4064 //                              = -(d *b -a) * c + d
4065 //                              = a * c - c ( a *b *c - a)
4066
4067 // fcopysign (???)
4068
4069 // Library calls:
4070 // These llvm instructions will actually map to library calls.
4071 // All that's needed, then, is to check that the appropriate library is
4072 // imported and do a brsl to the proper function name.
4073 // frem # fmod(x, y): x - (x/y) * y
4074 // (Note: fmod(double, double), fmodf(float,float)
4075 // fsqrt?
4076 // fsin?
4077 // fcos?
4078 // Unimplemented SPU instruction space
4079 // floating reciprocal absolute square root estimate (frsqest)
4080
4081 // The following are probably just intrinsics
4082 // status and control register write
4083 // status and control register read
4084
4085 //--------------------------------------
4086 // Floating Point Conversions
4087 // Signed conversions:
4088 def CSiFv4f32:
4089     CVTIntFPForm<0b0101101110, (outs VECREG:$rT), (ins VECREG:$rA),
4090       "csflt\t$rT, $rA, 0", SPrecFP,
4091       [(set (v4f32 VECREG:$rT), (sint_to_fp (v4i32 VECREG:$rA)))]>;
4092
4093 // Convert signed integer to floating point
4094 def CSiFf32 :
4095     CVTIntFPForm<0b0101101110, (outs R32FP:$rT), (ins R32C:$rA),
4096       "csflt\t$rT, $rA, 0", SPrecFP,
4097       [(set R32FP:$rT, (sint_to_fp R32C:$rA))]>;
4098
4099 // Convert unsigned into to float
4100 def CUiFv4f32 :
4101     CVTIntFPForm<0b1101101110, (outs VECREG:$rT), (ins VECREG:$rA),
4102       "cuflt\t$rT, $rA, 0", SPrecFP,
4103       [(set (v4f32 VECREG:$rT), (uint_to_fp (v4i32 VECREG:$rA)))]>;
4104
4105 def CUiFf32 :
4106     CVTIntFPForm<0b1101101110, (outs R32FP:$rT), (ins R32C:$rA),
4107       "cuflt\t$rT, $rA, 0", SPrecFP,
4108       [(set R32FP:$rT, (uint_to_fp R32C:$rA))]>;
4109
4110 // Convert float to unsigned int
4111 // Assume that scale = 0
4112
4113 def CFUiv4f32 :
4114     CVTIntFPForm<0b1101101110, (outs VECREG:$rT), (ins VECREG:$rA),
4115       "cfltu\t$rT, $rA, 0", SPrecFP,
4116       [(set (v4i32 VECREG:$rT), (fp_to_uint (v4f32 VECREG:$rA)))]>;
4117
4118 def CFUif32 :
4119     CVTIntFPForm<0b1101101110, (outs R32C:$rT), (ins R32FP:$rA),
4120       "cfltu\t$rT, $rA, 0", SPrecFP,
4121       [(set R32C:$rT, (fp_to_uint R32FP:$rA))]>;
4122
4123 // Convert float to signed int
4124 // Assume that scale = 0
4125
4126 def CFSiv4f32 :
4127     CVTIntFPForm<0b1101101110, (outs VECREG:$rT), (ins VECREG:$rA),
4128       "cflts\t$rT, $rA, 0", SPrecFP,
4129       [(set (v4i32 VECREG:$rT), (fp_to_sint (v4f32 VECREG:$rA)))]>;
4130
4131 def CFSif32 :
4132     CVTIntFPForm<0b1101101110, (outs R32C:$rT), (ins R32FP:$rA),
4133       "cflts\t$rT, $rA, 0", SPrecFP,
4134       [(set R32C:$rT, (fp_to_sint R32FP:$rA))]>;
4135
4136 //===----------------------------------------------------------------------==//
4137 // Single<->Double precision conversions
4138 //===----------------------------------------------------------------------==//
4139
4140 // NOTE: We use "vec" name suffix here to avoid confusion (e.g. input is a
4141 // v4f32, output is v2f64--which goes in the name?)
4142
4143 // Floating point extend single to double
4144 // NOTE: Not sure if passing in v4f32 to FESDvec is correct since it
4145 // operates on two double-word slots (i.e. 1st and 3rd fp numbers
4146 // are ignored).
4147 def FESDvec :
4148     RRForm_1<0b00011101110, (outs VECREG:$rT), (ins VECREG:$rA),
4149       "fesd\t$rT, $rA", SPrecFP,
4150       [/*(set (v2f64 VECREG:$rT), (fextend (v4f32 VECREG:$rA)))*/]>;
4151
4152 def FESDf32 :
4153     RRForm_1<0b00011101110, (outs R64FP:$rT), (ins R32FP:$rA),
4154       "fesd\t$rT, $rA", SPrecFP,
4155       [(set R64FP:$rT, (fextend R32FP:$rA))]>;
4156
4157 // Floating point round double to single
4158 //def FRDSvec :
4159 //    RRForm_1<0b10011101110, (outs VECREG:$rT), (ins VECREG:$rA),
4160 //      "frds\t$rT, $rA,", SPrecFP,
4161 //      [(set (v4f32 R32FP:$rT), (fround (v2f64 R64FP:$rA)))]>;
4162
4163 def FRDSf64 :
4164     RRForm_1<0b10011101110, (outs R32FP:$rT), (ins R64FP:$rA),
4165       "frds\t$rT, $rA", SPrecFP,
4166       [(set R32FP:$rT, (fround R64FP:$rA))]>;
4167
4168 //ToDo include anyextend?
4169
4170 //===----------------------------------------------------------------------==//
4171 // Double precision floating point instructions
4172 //===----------------------------------------------------------------------==//
4173 def FAf64 :
4174     RRForm<0b00110011010, (outs R64FP:$rT), (ins R64FP:$rA, R64FP:$rB),
4175       "dfa\t$rT, $rA, $rB", DPrecFP,
4176       [(set R64FP:$rT, (fadd R64FP:$rA, R64FP:$rB))]>;
4177
4178 def FAv2f64 :
4179     RRForm<0b00110011010, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
4180       "dfa\t$rT, $rA, $rB", DPrecFP,
4181       [(set (v2f64 VECREG:$rT), (fadd (v2f64 VECREG:$rA), (v2f64 VECREG:$rB)))]>;
4182
4183 def FSf64 :
4184     RRForm<0b10100011010, (outs R64FP:$rT), (ins R64FP:$rA, R64FP:$rB),
4185       "dfs\t$rT, $rA, $rB", DPrecFP,
4186       [(set R64FP:$rT, (fsub R64FP:$rA, R64FP:$rB))]>;
4187
4188 def FSv2f64 :
4189     RRForm<0b10100011010, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
4190       "dfs\t$rT, $rA, $rB", DPrecFP,
4191       [(set (v2f64 VECREG:$rT),
4192             (fsub (v2f64 VECREG:$rA), (v2f64 VECREG:$rB)))]>;
4193
4194 def FMf64 :
4195     RRForm<0b01100011010, (outs R64FP:$rT), (ins R64FP:$rA, R64FP:$rB),
4196       "dfm\t$rT, $rA, $rB", DPrecFP,
4197       [(set R64FP:$rT, (fmul R64FP:$rA, R64FP:$rB))]>;
4198
4199 def FMv2f64:
4200     RRForm<0b00100011010, (outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB),
4201       "dfm\t$rT, $rA, $rB", DPrecFP,
4202       [(set (v2f64 VECREG:$rT),
4203             (fmul (v2f64 VECREG:$rA), (v2f64 VECREG:$rB)))]>;
4204
4205 def FMAf64:
4206     RRForm<0b00111010110, (outs R64FP:$rT),
4207                           (ins R64FP:$rA, R64FP:$rB, R64FP:$rC),
4208       "dfma\t$rT, $rA, $rB", DPrecFP,
4209       [(set R64FP:$rT, (fadd R64FP:$rC, (fmul R64FP:$rA, R64FP:$rB)))]>,
4210     RegConstraint<"$rC = $rT">,
4211     NoEncode<"$rC">;
4212
4213 def FMAv2f64:
4214     RRForm<0b00111010110, (outs VECREG:$rT),
4215                           (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
4216       "dfma\t$rT, $rA, $rB", DPrecFP,
4217       [(set (v2f64 VECREG:$rT),
4218             (fadd (v2f64 VECREG:$rC),
4219                   (fmul (v2f64 VECREG:$rA), (v2f64 VECREG:$rB))))]>,
4220     RegConstraint<"$rC = $rT">,
4221     NoEncode<"$rC">;
4222
4223 def FMSf64 :
4224     RRForm<0b10111010110, (outs R64FP:$rT),
4225                           (ins R64FP:$rA, R64FP:$rB, R64FP:$rC),
4226       "dfms\t$rT, $rA, $rB", DPrecFP,
4227       [(set R64FP:$rT, (fsub (fmul R64FP:$rA, R64FP:$rB), R64FP:$rC))]>,
4228     RegConstraint<"$rC = $rT">,
4229     NoEncode<"$rC">;
4230
4231 def FMSv2f64 :
4232     RRForm<0b10111010110, (outs VECREG:$rT),
4233                           (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
4234       "dfms\t$rT, $rA, $rB", DPrecFP,
4235       [(set (v2f64 VECREG:$rT),
4236             (fsub (fmul (v2f64 VECREG:$rA), (v2f64 VECREG:$rB)),
4237                   (v2f64 VECREG:$rC)))]>;
4238
4239 // DFNMS: - (a * b - c)
4240 // - (a * b) + c => c - (a * b)
4241
4242 class DFNMSInst<dag OOL, dag IOL, list<dag> pattern>:
4243     RRForm<0b01111010110, OOL, IOL, "dfnms\t$rT, $rA, $rB",
4244            DPrecFP, pattern>,
4245     RegConstraint<"$rC = $rT">,
4246     NoEncode<"$rC">;
4247
4248 class DFNMSVecInst<list<dag> pattern>:
4249     DFNMSInst<(outs VECREG:$rT), (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
4250               pattern>;
4251
4252 class DFNMSRegInst<list<dag> pattern>:
4253     DFNMSInst<(outs R64FP:$rT), (ins R64FP:$rA, R64FP:$rB, R64FP:$rC),
4254              pattern>;
4255
4256 multiclass DFMultiplySubtract
4257 {
4258   def v2f64 : DFNMSVecInst<[(set (v2f64 VECREG:$rT),
4259                                  (fsub (v2f64 VECREG:$rC),
4260                                        (fmul (v2f64 VECREG:$rA),
4261                                              (v2f64 VECREG:$rB))))]>;
4262
4263   def f64 : DFNMSRegInst<[(set R64FP:$rT,
4264                                (fsub R64FP:$rC,
4265                                      (fmul R64FP:$rA, R64FP:$rB)))]>;
4266 }
4267
4268 defm DFNMS : DFMultiplySubtract;
4269
4270 // - (a * b + c)
4271 // - (a * b) - c
4272 def FNMAf64 :
4273     RRForm<0b11111010110, (outs R64FP:$rT),
4274                           (ins R64FP:$rA, R64FP:$rB, R64FP:$rC),
4275       "dfnma\t$rT, $rA, $rB", DPrecFP,
4276       [(set R64FP:$rT, (fneg (fadd R64FP:$rC, (fmul R64FP:$rA, R64FP:$rB))))]>,
4277     RegConstraint<"$rC = $rT">,
4278     NoEncode<"$rC">;
4279
4280 def FNMAv2f64 :
4281     RRForm<0b11111010110, (outs VECREG:$rT),
4282                           (ins VECREG:$rA, VECREG:$rB, VECREG:$rC),
4283       "dfnma\t$rT, $rA, $rB", DPrecFP,
4284       [(set (v2f64 VECREG:$rT),
4285             (fneg (fadd (v2f64 VECREG:$rC),
4286                         (fmul (v2f64 VECREG:$rA),
4287                               (v2f64 VECREG:$rB)))))]>,
4288     RegConstraint<"$rC = $rT">,
4289     NoEncode<"$rC">;
4290
4291 //===----------------------------------------------------------------------==//
4292 // Floating point negation and absolute value
4293 //===----------------------------------------------------------------------==//
4294
4295 def : Pat<(fneg (v4f32 VECREG:$rA)),
4296           (XORfnegvec (v4f32 VECREG:$rA),
4297                       (v4f32 (ILHUv4i32 0x8000)))>;
4298
4299 def : Pat<(fneg R32FP:$rA),
4300           (XORfneg32 R32FP:$rA, (ILHUr32 0x8000))>;
4301
4302 // Floating point absolute value
4303 // Note: f64 fabs is custom-selected.
4304
4305 def : Pat<(fabs R32FP:$rA),
4306           (ANDfabs32 R32FP:$rA, (IOHLr32 (ILHUr32 0x7fff), 0xffff))>;
4307
4308 def : Pat<(fabs (v4f32 VECREG:$rA)),
4309           (ANDfabsvec (v4f32 VECREG:$rA),
4310                       (IOHLv4i32 (ILHUv4i32 0x7fff), 0xffff))>;
4311
4312 //===----------------------------------------------------------------------===//
4313 // Hint for branch instructions:
4314 //===----------------------------------------------------------------------===//
4315
4316 /* def HBR : SPUInstr<(outs), (ins), "hbr\t" */
4317
4318 //===----------------------------------------------------------------------===//
4319 // Execution, Load NOP (execute NOPs belong in even pipeline, load NOPs belong
4320 // in the odd pipeline)
4321 //===----------------------------------------------------------------------===//
4322
4323 def ENOP : SPUInstr<(outs), (ins), "enop", ExecNOP> {
4324   let Pattern = [];
4325
4326   let Inst{0-10} = 0b10000000010;
4327   let Inst{11-17} = 0;
4328   let Inst{18-24} = 0;
4329   let Inst{25-31} = 0;
4330 }
4331
4332 def LNOP : SPUInstr<(outs), (ins), "lnop", LoadNOP> {
4333   let Pattern = [];
4334
4335   let Inst{0-10} = 0b10000000000;
4336   let Inst{11-17} = 0;
4337   let Inst{18-24} = 0;
4338   let Inst{25-31} = 0;
4339 }
4340
4341 //===----------------------------------------------------------------------===//
4342 // Bit conversions (type conversions between vector/packed types)
4343 // NOTE: Promotions are handled using the XS* instructions.
4344 //===----------------------------------------------------------------------===//
4345 def : Pat<(v16i8 (bitconvert (v8i16 VECREG:$src))), (v16i8 VECREG:$src)>;
4346 def : Pat<(v16i8 (bitconvert (v4i32 VECREG:$src))), (v16i8 VECREG:$src)>;
4347 def : Pat<(v16i8 (bitconvert (v2i64 VECREG:$src))), (v16i8 VECREG:$src)>;
4348 def : Pat<(v16i8 (bitconvert (v4f32 VECREG:$src))), (v16i8 VECREG:$src)>;
4349 def : Pat<(v16i8 (bitconvert (v2f64 VECREG:$src))), (v16i8 VECREG:$src)>;
4350
4351 def : Pat<(v8i16 (bitconvert (v16i8 VECREG:$src))), (v8i16 VECREG:$src)>;
4352 def : Pat<(v8i16 (bitconvert (v4i32 VECREG:$src))), (v8i16 VECREG:$src)>;
4353 def : Pat<(v8i16 (bitconvert (v2i64 VECREG:$src))), (v8i16 VECREG:$src)>;
4354 def : Pat<(v8i16 (bitconvert (v4f32 VECREG:$src))), (v8i16 VECREG:$src)>;
4355 def : Pat<(v8i16 (bitconvert (v2f64 VECREG:$src))), (v8i16 VECREG:$src)>;
4356
4357 def : Pat<(v4i32 (bitconvert (v16i8 VECREG:$src))), (v4i32 VECREG:$src)>;
4358 def : Pat<(v4i32 (bitconvert (v8i16 VECREG:$src))), (v4i32 VECREG:$src)>;
4359 def : Pat<(v4i32 (bitconvert (v2i64 VECREG:$src))), (v4i32 VECREG:$src)>;
4360 def : Pat<(v4i32 (bitconvert (v4f32 VECREG:$src))), (v4i32 VECREG:$src)>;
4361 def : Pat<(v4i32 (bitconvert (v2f64 VECREG:$src))), (v4i32 VECREG:$src)>;
4362
4363 def : Pat<(v2i64 (bitconvert (v16i8 VECREG:$src))), (v2i64 VECREG:$src)>;
4364 def : Pat<(v2i64 (bitconvert (v8i16 VECREG:$src))), (v2i64 VECREG:$src)>;
4365 def : Pat<(v2i64 (bitconvert (v4i32 VECREG:$src))), (v2i64 VECREG:$src)>;
4366 def : Pat<(v2i64 (bitconvert (v4f32 VECREG:$src))), (v2i64 VECREG:$src)>;
4367 def : Pat<(v2i64 (bitconvert (v2f64 VECREG:$src))), (v2i64 VECREG:$src)>;
4368
4369 def : Pat<(v4f32 (bitconvert (v16i8 VECREG:$src))), (v4f32 VECREG:$src)>;
4370 def : Pat<(v4f32 (bitconvert (v8i16 VECREG:$src))), (v4f32 VECREG:$src)>;
4371 def : Pat<(v4f32 (bitconvert (v2i64 VECREG:$src))), (v4f32 VECREG:$src)>;
4372 def : Pat<(v4f32 (bitconvert (v4i32 VECREG:$src))), (v4f32 VECREG:$src)>;
4373 def : Pat<(v4f32 (bitconvert (v2f64 VECREG:$src))), (v4f32 VECREG:$src)>;
4374
4375 def : Pat<(v2f64 (bitconvert (v16i8 VECREG:$src))), (v2f64 VECREG:$src)>;
4376 def : Pat<(v2f64 (bitconvert (v8i16 VECREG:$src))), (v2f64 VECREG:$src)>;
4377 def : Pat<(v2f64 (bitconvert (v4i32 VECREG:$src))), (v2f64 VECREG:$src)>;
4378 def : Pat<(v2f64 (bitconvert (v2i64 VECREG:$src))), (v2f64 VECREG:$src)>;
4379 def : Pat<(v2f64 (bitconvert (v4f32 VECREG:$src))), (v2f64 VECREG:$src)>;
4380
4381 def : Pat<(i128 (bitconvert (v16i8 VECREG:$src))),
4382           (ORi128_vec VECREG:$src)>;
4383 def : Pat<(i128 (bitconvert (v8i16 VECREG:$src))),
4384           (ORi128_vec VECREG:$src)>;
4385 def : Pat<(i128 (bitconvert (v4i32 VECREG:$src))),
4386           (ORi128_vec VECREG:$src)>;
4387 def : Pat<(i128 (bitconvert (v2i64 VECREG:$src))),
4388           (ORi128_vec VECREG:$src)>;
4389 def : Pat<(i128 (bitconvert (v4f32 VECREG:$src))),
4390           (ORi128_vec VECREG:$src)>;
4391 def : Pat<(i128 (bitconvert (v2f64 VECREG:$src))),
4392           (ORi128_vec VECREG:$src)>;
4393
4394 def : Pat<(v16i8 (bitconvert (i128 GPRC:$src))),
4395           (v16i8 (ORvec_i128 GPRC:$src))>;
4396 def : Pat<(v8i16 (bitconvert (i128 GPRC:$src))),
4397           (v8i16 (ORvec_i128 GPRC:$src))>;
4398 def : Pat<(v4i32 (bitconvert (i128 GPRC:$src))),
4399           (v4i32 (ORvec_i128 GPRC:$src))>;
4400 def : Pat<(v2i64 (bitconvert (i128 GPRC:$src))),
4401           (v2i64 (ORvec_i128 GPRC:$src))>;
4402 def : Pat<(v4f32 (bitconvert (i128 GPRC:$src))),
4403           (v4f32 (ORvec_i128 GPRC:$src))>;
4404 def : Pat<(v2f64 (bitconvert (i128 GPRC:$src))),
4405           (v2f64 (ORvec_i128 GPRC:$src))>;
4406
4407 //===----------------------------------------------------------------------===//
4408 // Instruction patterns:
4409 //===----------------------------------------------------------------------===//
4410
4411 // General 32-bit constants:
4412 def : Pat<(i32 imm:$imm),
4413           (IOHLr32 (ILHUr32 (HI16 imm:$imm)), (LO16 imm:$imm))>;
4414
4415 // Single precision float constants:
4416 def : Pat<(f32 fpimm:$imm),
4417           (IOHLf32 (ILHUf32 (HI16_f32 fpimm:$imm)), (LO16_f32 fpimm:$imm))>;
4418
4419 // General constant 32-bit vectors
4420 def : Pat<(v4i32 v4i32Imm:$imm),
4421           (IOHLv4i32 (v4i32 (ILHUv4i32 (HI16_vec v4i32Imm:$imm))),
4422                      (LO16_vec v4i32Imm:$imm))>;
4423
4424 // 8-bit constants
4425 def : Pat<(i8 imm:$imm),
4426           (ILHr8 imm:$imm)>;
4427
4428 //===----------------------------------------------------------------------===//
4429 // Zero/Any/Sign extensions
4430 //===----------------------------------------------------------------------===//
4431
4432 // sext 8->32: Sign extend bytes to words
4433 def : Pat<(sext_inreg R32C:$rSrc, i8),
4434           (XSHWr32 (XSBHr32 R32C:$rSrc))>;
4435
4436 def : Pat<(i32 (sext R8C:$rSrc)),
4437           (XSHWr16 (XSBHr8 R8C:$rSrc))>;
4438
4439 // sext 8->64: Sign extend bytes to double word
4440 def : Pat<(sext_inreg R64C:$rSrc, i8),
4441           (XSWDr64_inreg (XSHWr64 (XSBHr64 R64C:$rSrc)))>;
4442
4443 def : Pat<(i64 (sext R8C:$rSrc)),
4444           (XSWDr64 (XSHWr16 (XSBHr8 R8C:$rSrc)))>;
4445
4446 // zext 8->16: Zero extend bytes to halfwords
4447 def : Pat<(i16 (zext R8C:$rSrc)),
4448           (ANDHIi8i16 R8C:$rSrc, 0xff)>;
4449
4450 // zext 8->32: Zero extend bytes to words
4451 def : Pat<(i32 (zext R8C:$rSrc)),
4452           (ANDIi8i32 R8C:$rSrc, 0xff)>;
4453
4454 // zext 8->64: Zero extend bytes to double words
4455 def : Pat<(i64 (zext R8C:$rSrc)),
4456           (ORi64_v2i64 (SELBv4i32 (ROTQMBYv4i32
4457                                     (ORv4i32_i32 (ANDIi8i32 R8C:$rSrc, 0xff)),
4458                                     0x4),
4459                                   (ILv4i32 0x0),
4460                                   (FSMBIv4i32 0x0f0f)))>;
4461
4462 // anyext 8->16: Extend 8->16 bits, irrespective of sign, preserves high bits
4463 def : Pat<(i16 (anyext R8C:$rSrc)),
4464           (ORHIi8i16 R8C:$rSrc, 0)>;
4465
4466 // anyext 8->32: Extend 8->32 bits, irrespective of sign, preserves high bits
4467 def : Pat<(i32 (anyext R8C:$rSrc)),
4468           (ORIi8i32 R8C:$rSrc, 0)>;
4469
4470 // sext 16->64: Sign extend halfword to double word
4471 def : Pat<(sext_inreg R64C:$rSrc, i16),
4472           (XSWDr64_inreg (XSHWr64 R64C:$rSrc))>;
4473
4474 def : Pat<(sext R16C:$rSrc),
4475           (XSWDr64 (XSHWr16 R16C:$rSrc))>;
4476
4477 // zext 16->32: Zero extend halfwords to words
4478 def : Pat<(i32 (zext R16C:$rSrc)),
4479           (ANDi16i32 R16C:$rSrc, (ILAr32 0xffff))>;
4480
4481 def : Pat<(i32 (zext (and R16C:$rSrc, 0xf))),
4482           (ANDIi16i32 R16C:$rSrc, 0xf)>;
4483
4484 def : Pat<(i32 (zext (and R16C:$rSrc, 0xff))),
4485           (ANDIi16i32 R16C:$rSrc, 0xff)>;
4486
4487 def : Pat<(i32 (zext (and R16C:$rSrc, 0xfff))),
4488           (ANDIi16i32 R16C:$rSrc, 0xfff)>;
4489
4490 // anyext 16->32: Extend 16->32 bits, irrespective of sign
4491 def : Pat<(i32 (anyext R16C:$rSrc)),
4492           (ORIi16i32 R16C:$rSrc, 0)>;
4493
4494 //===----------------------------------------------------------------------===//
4495 // Truncates:
4496 // These truncates are for the SPU's supported types (i8, i16, i32). i64 and
4497 // above are custom lowered.
4498 //===----------------------------------------------------------------------===//
4499
4500 def : Pat<(i8 (trunc GPRC:$src)),
4501           (ORi8_v16i8
4502             (SHUFBgprc GPRC:$src, GPRC:$src,
4503                        (IOHLv4i32 (ILHUv4i32 0x0f0f), 0x0f0f)))>;
4504
4505 def : Pat<(i8 (trunc R64C:$src)),
4506           (ORi8_v16i8
4507             (SHUFBv2i64_m32
4508               (ORv2i64_i64 R64C:$src),
4509               (ORv2i64_i64 R64C:$src),
4510               (IOHLv4i32 (ILHUv4i32 0x0707), 0x0707)))>;
4511
4512 def : Pat<(i8 (trunc R32C:$src)),
4513           (ORi8_v16i8
4514             (SHUFBv4i32_m32
4515                (ORv4i32_i32 R32C:$src),
4516                (ORv4i32_i32 R32C:$src),
4517                (IOHLv4i32 (ILHUv4i32 0x0303), 0x0303)))>;
4518
4519 def : Pat<(i8 (trunc R16C:$src)),
4520           (ORi8_v16i8
4521             (SHUFBv4i32_m32
4522                (ORv8i16_i16 R16C:$src),
4523                (ORv8i16_i16 R16C:$src),
4524                (IOHLv4i32 (ILHUv4i32 0x0303), 0x0303)))>;
4525
4526 def : Pat<(i16 (trunc GPRC:$src)),
4527           (ORi16_v8i16
4528             (SHUFBgprc GPRC:$src, GPRC:$src,
4529                        (IOHLv4i32 (ILHUv4i32 0x0e0f), 0x0e0f)))>;
4530
4531 def : Pat<(i16 (trunc R64C:$src)),
4532           (ORi16_v8i16
4533             (SHUFBv2i64_m32
4534               (ORv2i64_i64 R64C:$src),
4535               (ORv2i64_i64 R64C:$src),
4536               (IOHLv4i32 (ILHUv4i32 0x0607), 0x0607)))>;
4537
4538 def : Pat<(i16 (trunc R32C:$src)),
4539           (ORi16_v8i16
4540             (SHUFBv4i32_m32
4541                (ORv4i32_i32 R32C:$src),
4542                (ORv4i32_i32 R32C:$src),
4543                (IOHLv4i32 (ILHUv4i32 0x0203), 0x0203)))>;
4544
4545 def : Pat<(i32 (trunc GPRC:$src)),
4546           (ORi32_v4i32
4547             (SHUFBgprc GPRC:$src, GPRC:$src,
4548                        (IOHLv4i32 (ILHUv4i32 0x0c0d), 0x0e0f)))>;
4549
4550 def : Pat<(i32 (trunc R64C:$src)),
4551           (ORi32_v4i32
4552             (SHUFBv2i64_m32
4553               (ORv2i64_i64 R64C:$src),
4554               (ORv2i64_i64 R64C:$src),
4555               (IOHLv4i32 (ILHUv4i32 0x0405), 0x0607)))>;
4556
4557 //===----------------------------------------------------------------------===//
4558 // Address generation: SPU, like PPC, has to split addresses into high and
4559 // low parts in order to load them into a register.
4560 //===----------------------------------------------------------------------===//
4561
4562 def : Pat<(SPUaform tglobaladdr:$in, 0),  (ILAlsa tglobaladdr:$in)>;
4563 def : Pat<(SPUaform texternalsym:$in, 0), (ILAlsa texternalsym:$in)>;
4564 def : Pat<(SPUaform tjumptable:$in, 0),   (ILAlsa tjumptable:$in)>;
4565 def : Pat<(SPUaform tconstpool:$in, 0),   (ILAlsa  tconstpool:$in)>;
4566
4567 def : Pat<(SPUindirect (SPUhi tglobaladdr:$in, 0),
4568                        (SPUlo tglobaladdr:$in, 0)),
4569           (IOHLlo (ILHUhi tglobaladdr:$in), tglobaladdr:$in)>;
4570
4571 def : Pat<(SPUindirect (SPUhi texternalsym:$in, 0),
4572                        (SPUlo texternalsym:$in, 0)),
4573           (IOHLlo (ILHUhi texternalsym:$in), texternalsym:$in)>;
4574
4575 def : Pat<(SPUindirect (SPUhi tjumptable:$in, 0),
4576                        (SPUlo tjumptable:$in, 0)),
4577           (IOHLlo (ILHUhi tjumptable:$in), tjumptable:$in)>;
4578
4579 def : Pat<(SPUindirect (SPUhi tconstpool:$in, 0),
4580                        (SPUlo tconstpool:$in, 0)),
4581           (IOHLlo (ILHUhi tconstpool:$in), tconstpool:$in)>;
4582
4583 def : Pat<(add (SPUhi tglobaladdr:$in, 0), (SPUlo tglobaladdr:$in, 0)),
4584           (IOHLlo (ILHUhi tglobaladdr:$in), tglobaladdr:$in)>;
4585
4586 def : Pat<(add (SPUhi texternalsym:$in, 0), (SPUlo texternalsym:$in, 0)),
4587           (IOHLlo (ILHUhi texternalsym:$in), texternalsym:$in)>;
4588
4589 def : Pat<(add (SPUhi tjumptable:$in, 0), (SPUlo tjumptable:$in, 0)),
4590           (IOHLlo (ILHUhi tjumptable:$in), tjumptable:$in)>;
4591
4592 def : Pat<(add (SPUhi tconstpool:$in, 0), (SPUlo tconstpool:$in, 0)),
4593           (IOHLlo (ILHUhi tconstpool:$in), tconstpool:$in)>;
4594
4595 // Intrinsics:
4596 include "CellSDKIntrinsics.td"
4597 // Various math operator instruction sequences
4598 include "SPUMathInstr.td"
4599 // 64-bit "instructions"/support
4600 include "SPU64InstrInfo.td"
4601 // 128-bit "instructions"/support
4602 include "SPU128InstrInfo.td"