lib/Target/Hexagon/HexagonInstrInfoV4.td

   1 //=- HexagonInstrInfoV4.td - Target Desc. for Hexagon Target -*- tablegen -*-=//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file describes the Hexagon V4 instructions in TableGen format.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 def addrga: PatLeaf<(i32 AddrGA:$Addr)>;
  15 def addrgp: PatLeaf<(i32 AddrGP:$Addr)>;
  16
  17 let hasSideEffects = 0 in
  18 class T_Immext<Operand ImmType>
  19   : EXTENDERInst<(outs), (ins ImmType:$imm),
  20                  "immext(#$imm)", []> {
  21     bits<32> imm;
  22     let IClass = 0b0000;
  23
  24     let Inst{27-16} = imm{31-20};
  25     let Inst{13-0} = imm{19-6};
  26   }
  27
  28 def A4_ext : T_Immext<u26_6Imm>;
  29 let isCodeGenOnly = 1 in {
  30   let isBranch = 1 in
  31     def A4_ext_b : T_Immext<brtarget>;
  32   let isCall = 1 in
  33     def A4_ext_c : T_Immext<calltarget>;
  34   def A4_ext_g : T_Immext<globaladdress>;
  35 }
  36
  37 def BITPOS32 : SDNodeXForm<imm, [{
  38    // Return the bit position we will set [0-31].
  39    // As an SDNode.
  40    int32_t imm = N->getSExtValue();
  41    return XformMskToBitPosU5Imm(imm);
  42 }]>;
  43
  44 // Fold (add (CONST32 tglobaladdr:$addr) <offset>) into a global address.
  45 def FoldGlobalAddr : ComplexPattern<i32, 1, "foldGlobalAddress", [], []>;
  46
  47 // Fold (add (CONST32_GP tglobaladdr:$addr) <offset>) into a global address.
  48 def FoldGlobalAddrGP : ComplexPattern<i32, 1, "foldGlobalAddressGP", [], []>;
  49
  50 def NumUsesBelowThresCONST32 : PatFrag<(ops node:$addr),
  51                                        (HexagonCONST32 node:$addr), [{
  52   return hasNumUsesBelowThresGA(N->getOperand(0).getNode());
  53 }]>;
  54
  55 // Hexagon V4 Architecture spec defines 8 instruction classes:
  56 // LD ST ALU32 XTYPE J JR MEMOP NV CR SYSTEM(system is not implemented in the
  57 // compiler)
  58
  59 // LD Instructions:
  60 // ========================================
  61 // Loads (8/16/32/64 bit)
  62 // Deallocframe
  63
  64 // ST Instructions:
  65 // ========================================
  66 // Stores (8/16/32/64 bit)
  67 // Allocframe
  68
  69 // ALU32 Instructions:
  70 // ========================================
  71 // Arithmetic / Logical (32 bit)
  72 // Vector Halfword
  73
  74 // XTYPE Instructions (32/64 bit):
  75 // ========================================
  76 // Arithmetic, Logical, Bit Manipulation
  77 // Multiply (Integer, Fractional, Complex)
  78 // Permute / Vector Permute Operations
  79 // Predicate Operations
  80 // Shift / Shift with Add/Sub/Logical
  81 // Vector Byte ALU
  82 // Vector Halfword (ALU, Shift, Multiply)
  83 // Vector Word (ALU, Shift)
  84
  85 // J Instructions:
  86 // ========================================
  87 // Jump/Call PC-relative
  88
  89 // JR Instructions:
  90 // ========================================
  91 // Jump/Call Register
  92
  93 // MEMOP Instructions:
  94 // ========================================
  95 // Operation on memory (8/16/32 bit)
  96
  97 // NV Instructions:
  98 // ========================================
  99 // New-value Jumps
 100 // New-value Stores
 101
 102 // CR Instructions:
 103 // ========================================
 104 // Control-Register Transfers
 105 // Hardware Loop Setup
 106 // Predicate Logicals & Reductions
 107
 108 // SYSTEM Instructions (not implemented in the compiler):
 109 // ========================================
 110 // Prefetch
 111 // Cache Maintenance
 112 // Bus Operations
 113
 114
 115 //===----------------------------------------------------------------------===//
 116 // ALU32 +
 117 //===----------------------------------------------------------------------===//
 118
 119 class T_ALU32_3op_not<string mnemonic, bits<3> MajOp, bits<3> MinOp,
 120                       bit OpsRev>
 121   : T_ALU32_3op<mnemonic, MajOp, MinOp, OpsRev, 0> {
 122   let AsmString = "$Rd = "#mnemonic#"($Rs, ~$Rt)";
 123 }
 124
 125 let BaseOpcode = "andn_rr", CextOpcode = "andn", isCodeGenOnly = 0 in
 126 def A4_andn    : T_ALU32_3op_not<"and", 0b001, 0b100, 1>;
 127 let BaseOpcode = "orn_rr", CextOpcode = "orn", isCodeGenOnly = 0 in
 128 def A4_orn     : T_ALU32_3op_not<"or",  0b001, 0b101, 1>;
 129
 130 let CextOpcode = "rcmp.eq", isCodeGenOnly = 0 in
 131 def A4_rcmpeq  : T_ALU32_3op<"cmp.eq",  0b011, 0b010, 0, 1>;
 132 let CextOpcode = "!rcmp.eq", isCodeGenOnly = 0 in
 133 def A4_rcmpneq : T_ALU32_3op<"!cmp.eq", 0b011, 0b011, 0, 1>;
 134
 135 let isCodeGenOnly = 0 in {
 136 def C4_cmpneq  : T_ALU32_3op_cmp<"!cmp.eq",  0b00, 1, 1>;
 137 def C4_cmplte  : T_ALU32_3op_cmp<"!cmp.gt",  0b10, 1, 0>;
 138 def C4_cmplteu : T_ALU32_3op_cmp<"!cmp.gtu", 0b11, 1, 0>;
 139 }
 140
 141 // Pats for instruction selection.
 142
 143 // A class to embed the usual comparison patfrags within a zext to i32.
 144 // The seteq/setne frags use "lhs" and "rhs" as operands, so use the same
 145 // names, or else the frag's "body" won't match the operands.
 146 class CmpInReg<PatFrag Op>
 147   : PatFrag<(ops node:$lhs, node:$rhs),(i32 (zext (i1 Op.Fragment)))>;
 148
 149 def: T_cmp32_rr_pat<A4_rcmpeq,  CmpInReg<seteq>, i32>;
 150 def: T_cmp32_rr_pat<A4_rcmpneq, CmpInReg<setne>, i32>;
 151
 152 def: T_cmp32_rr_pat<C4_cmpneq,  setne,  i1>;
 153
 154 class T_CMP_rrbh<string mnemonic, bits<3> MinOp, bit IsComm>
 155   : SInst<(outs PredRegs:$Pd), (ins IntRegs:$Rs, IntRegs:$Rt),
 156     "$Pd = "#mnemonic#"($Rs, $Rt)", [], "", S_3op_tc_2early_SLOT23>,
 157     ImmRegRel {
 158   let validSubTargets = HasV4SubT;
 159   let InputType = "reg";
 160   let CextOpcode = mnemonic;
 161   let isCompare = 1;
 162   let isCommutable = IsComm;
 163   let hasSideEffects = 0;
 164
 165   bits<2> Pd;
 166   bits<5> Rs;
 167   bits<5> Rt;
 168
 169   let IClass = 0b1100;
 170   let Inst{27-21} = 0b0111110;
 171   let Inst{20-16} = Rs;
 172   let Inst{12-8} = Rt;
 173   let Inst{7-5} = MinOp;
 174   let Inst{1-0} = Pd;
 175 }
 176
 177 let isCodeGenOnly = 0 in {
 178 def A4_cmpbeq  : T_CMP_rrbh<"cmpb.eq",  0b110, 1>;
 179 def A4_cmpbgt  : T_CMP_rrbh<"cmpb.gt",  0b010, 0>;
 180 def A4_cmpbgtu : T_CMP_rrbh<"cmpb.gtu", 0b111, 0>;
 181 def A4_cmpheq  : T_CMP_rrbh<"cmph.eq",  0b011, 1>;
 182 def A4_cmphgt  : T_CMP_rrbh<"cmph.gt",  0b100, 0>;
 183 def A4_cmphgtu : T_CMP_rrbh<"cmph.gtu", 0b101, 0>;
 184 }
 185
 186 class T_CMP_ribh<string mnemonic, bits<2> MajOp, bit IsHalf, bit IsComm,
 187                  Operand ImmType, bit IsImmExt, bit IsImmSigned, int ImmBits>
 188   : ALU64Inst<(outs PredRegs:$Pd), (ins IntRegs:$Rs, ImmType:$Imm),
 189     "$Pd = "#mnemonic#"($Rs, #$Imm)", [], "", ALU64_tc_2early_SLOT23>,
 190     ImmRegRel {
 191   let validSubTargets = HasV4SubT;
 192   let InputType = "imm";
 193   let CextOpcode = mnemonic;
 194   let isCompare = 1;
 195   let isCommutable = IsComm;
 196   let hasSideEffects = 0;
 197   let isExtendable = IsImmExt;
 198   let opExtendable = !if (IsImmExt, 2, 0);
 199   let isExtentSigned = IsImmSigned;
 200   let opExtentBits = ImmBits;
 201
 202   bits<2> Pd;
 203   bits<5> Rs;
 204   bits<8> Imm;
 205
 206   let IClass = 0b1101;
 207   let Inst{27-24} = 0b1101;
 208   let Inst{22-21} = MajOp;
 209   let Inst{20-16} = Rs;
 210   let Inst{12-5} = Imm;
 211   let Inst{4} = 0b0;
 212   let Inst{3} = IsHalf;
 213   let Inst{1-0} = Pd;
 214 }
 215
 216 let isCodeGenOnly = 0 in {
 217 def A4_cmpbeqi  : T_CMP_ribh<"cmpb.eq",  0b00, 0, 1, u8Imm, 0, 0, 8>;
 218 def A4_cmpbgti  : T_CMP_ribh<"cmpb.gt",  0b01, 0, 0, s8Imm, 0, 1, 8>;
 219 def A4_cmpbgtui : T_CMP_ribh<"cmpb.gtu", 0b10, 0, 0, u7Ext, 1, 0, 7>;
 220 def A4_cmpheqi  : T_CMP_ribh<"cmph.eq",  0b00, 1, 1, s8Ext, 1, 1, 8>;
 221 def A4_cmphgti  : T_CMP_ribh<"cmph.gt",  0b01, 1, 0, s8Ext, 1, 1, 8>;
 222 def A4_cmphgtui : T_CMP_ribh<"cmph.gtu", 0b10, 1, 0, u7Ext, 1, 0, 7>;
 223 }
 224 class T_RCMP_EQ_ri<string mnemonic, bit IsNeg>
 225   : ALU32_ri<(outs IntRegs:$Rd), (ins IntRegs:$Rs, s8Ext:$s8),
 226     "$Rd = "#mnemonic#"($Rs, #$s8)", [], "", ALU32_2op_tc_1_SLOT0123>,
 227     ImmRegRel {
 228   let validSubTargets = HasV4SubT;
 229   let InputType = "imm";
 230   let CextOpcode = !if (IsNeg, "!rcmp.eq", "rcmp.eq");
 231   let isExtendable = 1;
 232   let opExtendable = 2;
 233   let isExtentSigned = 1;
 234   let opExtentBits = 8;
 235   let hasNewValue = 1;
 236
 237   bits<5> Rd;
 238   bits<5> Rs;
 239   bits<8> s8;
 240
 241   let IClass = 0b0111;
 242   let Inst{27-24} = 0b0011;
 243   let Inst{22} = 0b1;
 244   let Inst{21} = IsNeg;
 245   let Inst{20-16} = Rs;
 246   let Inst{13} = 0b1;
 247   let Inst{12-5} = s8;
 248   let Inst{4-0} = Rd;
 249 }
 250
 251 let isCodeGenOnly = 0 in {
 252 def A4_rcmpeqi  : T_RCMP_EQ_ri<"cmp.eq",  0>;
 253 def A4_rcmpneqi : T_RCMP_EQ_ri<"!cmp.eq", 1>;
 254 }
 255
 256 def: Pat<(i32 (zext (i1 (seteq (i32 IntRegs:$Rs), s8ExtPred:$s8)))),
 257          (A4_rcmpeqi IntRegs:$Rs, s8ExtPred:$s8)>;
 258 def: Pat<(i32 (zext (i1 (setne (i32 IntRegs:$Rs), s8ExtPred:$s8)))),
 259          (A4_rcmpneqi IntRegs:$Rs, s8ExtPred:$s8)>;
 260
 261 // Preserve the S2_tstbit_r generation
 262 def: Pat<(i32 (zext (i1 (setne (i32 (and (i32 (shl 1, (i32 IntRegs:$src2))),
 263                                          (i32 IntRegs:$src1))), 0)))),
 264          (C2_muxii (S2_tstbit_r IntRegs:$src1, IntRegs:$src2), 1, 0)>;
 265
 266
 267 //===----------------------------------------------------------------------===//
 268 // ALU32 -
 269 //===----------------------------------------------------------------------===//
 270
 271
 272 //===----------------------------------------------------------------------===//
 273 // ALU32/PERM +
 274 //===----------------------------------------------------------------------===//
 275
 276 // Combine a word and an immediate into a register pair.
 277 let hasSideEffects = 0, isExtentSigned = 1, isExtendable = 1,
 278     opExtentBits = 8 in
 279 class T_Combine1 <bits<2> MajOp, dag ins, string AsmStr>
 280   : ALU32Inst <(outs DoubleRegs:$Rdd), ins, AsmStr> {
 281     bits<5> Rdd;
 282     bits<5> Rs;
 283     bits<8> s8;
 284
 285     let IClass      = 0b0111;
 286     let Inst{27-24} = 0b0011;
 287     let Inst{22-21} = MajOp;
 288     let Inst{20-16} = Rs;
 289     let Inst{13}    = 0b1;
 290     let Inst{12-5}  = s8;
 291     let Inst{4-0}   = Rdd;
 292   }
 293
 294 let opExtendable = 2, isCodeGenOnly = 0 in
 295 def A4_combineri : T_Combine1<0b00, (ins IntRegs:$Rs, s8Ext:$s8),
 296                                     "$Rdd = combine($Rs, #$s8)">;
 297
 298 let opExtendable = 1, isCodeGenOnly = 0 in
 299 def A4_combineir : T_Combine1<0b01, (ins s8Ext:$s8, IntRegs:$Rs),
 300                                     "$Rdd = combine(#$s8, $Rs)">;
 301
 302 def HexagonWrapperCombineRI_V4 :
 303   SDNode<"HexagonISD::WrapperCombineRI_V4", SDTHexagonI64I32I32>;
 304 def HexagonWrapperCombineIR_V4 :
 305   SDNode<"HexagonISD::WrapperCombineIR_V4", SDTHexagonI64I32I32>;
 306
 307 def : Pat <(HexagonWrapperCombineRI_V4 IntRegs:$r, s8ExtPred:$i),
 308            (A4_combineri IntRegs:$r, s8ExtPred:$i)>,
 309           Requires<[HasV4T]>;
 310
 311 def : Pat <(HexagonWrapperCombineIR_V4 s8ExtPred:$i, IntRegs:$r),
 312            (A4_combineir s8ExtPred:$i, IntRegs:$r)>,
 313           Requires<[HasV4T]>;
 314
 315 // A4_combineii: Set two small immediates.
 316 let hasSideEffects = 0, isExtendable = 1, opExtentBits = 6, opExtendable = 2 in
 317 def A4_combineii: ALU32Inst<(outs DoubleRegs:$Rdd), (ins s8Imm:$s8, u6Ext:$U6),
 318   "$Rdd = combine(#$s8, #$U6)"> {
 319     bits<5> Rdd;
 320     bits<8> s8;
 321     bits<6> U6;
 322
 323     let IClass = 0b0111;
 324     let Inst{27-23} = 0b11001;
 325     let Inst{20-16} = U6{5-1};
 326     let Inst{13}    = U6{0};
 327     let Inst{12-5}  = s8;
 328     let Inst{4-0}   = Rdd;
 329   }
 330
 331 //===----------------------------------------------------------------------===//
 332 // ALU32/PERM -
 333 //===----------------------------------------------------------------------===//
 334
 335 //===----------------------------------------------------------------------===//
 336 // LD +
 337 //===----------------------------------------------------------------------===//
 338
 339 def Zext64: OutPatFrag<(ops node:$Rs),
 340   (i64 (A4_combineir 0, (i32 $Rs)))>;
 341 def Sext64: OutPatFrag<(ops node:$Rs),
 342   (i64 (A2_sxtw (i32 $Rs)))>;
 343
 344 // Patterns to generate indexed loads with different forms of the address:
 345 // - frameindex,
 346 // - base + offset,
 347 // - base (without offset).
 348 multiclass Loadxm_pat<PatFrag Load, ValueType VT, PatFrag ValueMod,
 349                       PatLeaf ImmPred, InstHexagon MI> {
 350   def: Pat<(VT (Load AddrFI:$fi)),
 351            (VT (ValueMod (MI AddrFI:$fi, 0)))>;
 352   def: Pat<(VT (Load (add IntRegs:$Rs, ImmPred:$Off))),
 353            (VT (ValueMod (MI IntRegs:$Rs, imm:$Off)))>;
 354   def: Pat<(VT (Load (i32 IntRegs:$Rs))),
 355            (VT (ValueMod (MI IntRegs:$Rs, 0)))>;
 356 }
 357
 358 defm: Loadxm_pat<extloadi1,   i64, Zext64, s11_0ExtPred, L2_loadrub_io>;
 359 defm: Loadxm_pat<extloadi8,   i64, Zext64, s11_0ExtPred, L2_loadrub_io>;
 360 defm: Loadxm_pat<extloadi16,  i64, Zext64, s11_1ExtPred, L2_loadruh_io>;
 361 defm: Loadxm_pat<zextloadi1,  i64, Zext64, s11_0ExtPred, L2_loadrub_io>;
 362 defm: Loadxm_pat<zextloadi8,  i64, Zext64, s11_0ExtPred, L2_loadrub_io>;
 363 defm: Loadxm_pat<zextloadi16, i64, Zext64, s11_1ExtPred, L2_loadruh_io>;
 364 defm: Loadxm_pat<sextloadi8,  i64, Sext64, s11_0ExtPred, L2_loadrb_io>;
 365 defm: Loadxm_pat<sextloadi16, i64, Sext64, s11_1ExtPred, L2_loadrh_io>;
 366
 367 // Map Rdd = anyext(Rs) -> Rdd = combine(#0, Rs).
 368 def: Pat<(i64 (anyext (i32 IntRegs:$src1))), (Zext64 IntRegs:$src1)>;
 369
 370 //===----------------------------------------------------------------------===//
 371 // Template class for load instructions with Absolute set addressing mode.
 372 //===----------------------------------------------------------------------===//
 373 let isExtended = 1, opExtendable = 2, opExtentBits = 6, addrMode = AbsoluteSet,
 374     hasSideEffects = 0 in
 375 class T_LD_abs_set<string mnemonic, RegisterClass RC, bits<4>MajOp>:
 376             LDInst<(outs RC:$dst1, IntRegs:$dst2),
 377             (ins u6Ext:$addr),
 378             "$dst1 = "#mnemonic#"($dst2 = #$addr)",
 379             []> {
 380   bits<7> name;
 381   bits<5> dst1;
 382   bits<5> dst2;
 383   bits<6> addr;
 384
 385   let IClass = 0b1001;
 386   let Inst{27-25} = 0b101;
 387   let Inst{24-21} = MajOp;
 388   let Inst{13-12} = 0b01;
 389   let Inst{4-0}   = dst1;
 390   let Inst{20-16} = dst2;
 391   let Inst{11-8}  = addr{5-2};
 392   let Inst{6-5}   = addr{1-0};
 393 }
 394
 395 let accessSize = ByteAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
 396   def L4_loadrb_ap   : T_LD_abs_set <"memb",   IntRegs, 0b1000>;
 397   def L4_loadrub_ap  : T_LD_abs_set <"memub",  IntRegs, 0b1001>;
 398 }
 399
 400 let accessSize = HalfWordAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
 401   def L4_loadrh_ap  : T_LD_abs_set <"memh",  IntRegs, 0b1010>;
 402   def L4_loadruh_ap : T_LD_abs_set <"memuh", IntRegs, 0b1011>;
 403 }
 404
 405 let accessSize = WordAccess, hasNewValue = 1, isCodeGenOnly = 0 in
 406   def L4_loadri_ap : T_LD_abs_set <"memw", IntRegs, 0b1100>;
 407
 408 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
 409 def L4_loadrd_ap : T_LD_abs_set <"memd", DoubleRegs, 0b1110>;
 410 // Load - Indirect with long offset
 411 let InputType = "imm", addrMode = BaseLongOffset, isExtended = 1,
 412 opExtentBits = 6, opExtendable = 3 in
 413 class T_LoadAbsReg <string mnemonic, string CextOp, RegisterClass RC,
 414                     bits<4> MajOp>
 415   : LDInst <(outs RC:$dst), (ins IntRegs:$src1, u2Imm:$src2, u6Ext:$src3),
 416   "$dst = "#mnemonic#"($src1<<#$src2 + #$src3)",
 417   [] >, ImmRegShl {
 418     bits<5> dst;
 419     bits<5> src1;
 420     bits<2> src2;
 421     bits<6> src3;
 422     let CextOpcode = CextOp;
 423     let hasNewValue = !if (!eq(!cast<string>(RC), "DoubleRegs"), 0, 1);
 424
 425     let IClass = 0b1001;
 426     let Inst{27-25} = 0b110;
 427     let Inst{24-21} = MajOp;
 428     let Inst{20-16} = src1;
 429     let Inst{13}    = src2{1};
 430     let Inst{12}    = 0b1;
 431     let Inst{11-8}  = src3{5-2};
 432     let Inst{7}     = src2{0};
 433     let Inst{6-5}   = src3{1-0};
 434     let Inst{4-0}   = dst;
 435   }
 436
 437 let accessSize = ByteAccess, isCodeGenOnly = 0 in {
 438   def L4_loadrb_ur  : T_LoadAbsReg<"memb",  "LDrib", IntRegs, 0b1000>;
 439   def L4_loadrub_ur : T_LoadAbsReg<"memub", "LDriub", IntRegs, 0b1001>;
 440   def L4_loadalignb_ur : T_LoadAbsReg<"memb_fifo", "LDrib_fifo",
 441                                       DoubleRegs, 0b0100>;
 442 }
 443
 444 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in {
 445   def L4_loadrh_ur   : T_LoadAbsReg<"memh",   "LDrih",    IntRegs, 0b1010>;
 446   def L4_loadruh_ur  : T_LoadAbsReg<"memuh",  "LDriuh",   IntRegs, 0b1011>;
 447   def L4_loadbsw2_ur : T_LoadAbsReg<"membh",  "LDribh2",  IntRegs, 0b0001>;
 448   def L4_loadbzw2_ur : T_LoadAbsReg<"memubh", "LDriubh2", IntRegs, 0b0011>;
 449   def L4_loadalignh_ur : T_LoadAbsReg<"memh_fifo", "LDrih_fifo",
 450                                       DoubleRegs, 0b0010>;
 451 }
 452
 453 let accessSize = WordAccess, isCodeGenOnly = 0 in {
 454   def L4_loadri_ur   : T_LoadAbsReg<"memw", "LDriw", IntRegs, 0b1100>;
 455   def L4_loadbsw4_ur : T_LoadAbsReg<"membh", "LDribh4", DoubleRegs, 0b0111>;
 456   def L4_loadbzw4_ur : T_LoadAbsReg<"memubh", "LDriubh4", DoubleRegs, 0b0101>;
 457 }
 458
 459 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
 460 def L4_loadrd_ur  : T_LoadAbsReg<"memd", "LDrid", DoubleRegs, 0b1110>;
 461
 462
 463 multiclass T_LoadAbsReg_Pat <PatFrag ldOp, InstHexagon MI, ValueType VT = i32> {
 464   def  : Pat <(VT (ldOp (add (shl IntRegs:$src1, u2ImmPred:$src2),
 465                              (HexagonCONST32 tglobaladdr:$src3)))),
 466               (MI IntRegs:$src1, u2ImmPred:$src2, tglobaladdr:$src3)>;
 467
 468   def  : Pat <(VT (ldOp (add IntRegs:$src1,
 469                              (HexagonCONST32 tglobaladdr:$src2)))),
 470               (MI IntRegs:$src1, 0, tglobaladdr:$src2)>;
 471 }
 472
 473 let AddedComplexity  = 60 in {
 474 defm : T_LoadAbsReg_Pat <sextloadi8, L4_loadrb_ur>;
 475 defm : T_LoadAbsReg_Pat <zextloadi8, L4_loadrub_ur>;
 476 defm : T_LoadAbsReg_Pat <extloadi8,  L4_loadrub_ur>;
 477
 478 defm : T_LoadAbsReg_Pat <sextloadi16, L4_loadrh_ur>;
 479 defm : T_LoadAbsReg_Pat <zextloadi16, L4_loadruh_ur>;
 480 defm : T_LoadAbsReg_Pat <extloadi16,  L4_loadruh_ur>;
 481
 482 defm : T_LoadAbsReg_Pat <load, L4_loadri_ur>;
 483 defm : T_LoadAbsReg_Pat <load, L4_loadrd_ur, i64>;
 484 }
 485
 486 //===----------------------------------------------------------------------===//
 487 // Template classes for the non-predicated load instructions with
 488 // base + register offset addressing mode
 489 //===----------------------------------------------------------------------===//
 490 class T_load_rr <string mnemonic, RegisterClass RC, bits<3> MajOp>:
 491    LDInst<(outs RC:$dst), (ins IntRegs:$src1, IntRegs:$src2, u2Imm:$u2),
 492   "$dst = "#mnemonic#"($src1 + $src2<<#$u2)",
 493   [], "", V4LDST_tc_ld_SLOT01>, ImmRegShl, AddrModeRel {
 494     bits<5> dst;
 495     bits<5> src1;
 496     bits<5> src2;
 497     bits<2> u2;
 498
 499     let IClass = 0b0011;
 500
 501     let Inst{27-24} = 0b1010;
 502     let Inst{23-21} = MajOp;
 503     let Inst{20-16} = src1;
 504     let Inst{12-8}  = src2;
 505     let Inst{13}    = u2{1};
 506     let Inst{7}     = u2{0};
 507     let Inst{4-0}   = dst;
 508   }
 509
 510 //===----------------------------------------------------------------------===//
 511 // Template classes for the predicated load instructions with
 512 // base + register offset addressing mode
 513 //===----------------------------------------------------------------------===//
 514 let isPredicated =  1 in
 515 class T_pload_rr <string mnemonic, RegisterClass RC, bits<3> MajOp,
 516                   bit isNot, bit isPredNew>:
 517    LDInst <(outs RC:$dst),
 518            (ins PredRegs:$src1, IntRegs:$src2, IntRegs:$src3, u2Imm:$u2),
 519   !if(isNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
 520   ") ")#"$dst = "#mnemonic#"($src2+$src3<<#$u2)",
 521   [], "", V4LDST_tc_ld_SLOT01>, AddrModeRel {
 522     bits<5> dst;
 523     bits<2> src1;
 524     bits<5> src2;
 525     bits<5> src3;
 526     bits<2> u2;
 527
 528     let isPredicatedFalse = isNot;
 529     let isPredicatedNew = isPredNew;
 530
 531     let IClass = 0b0011;
 532
 533     let Inst{27-26} = 0b00;
 534     let Inst{25}    = isPredNew;
 535     let Inst{24}    = isNot;
 536     let Inst{23-21} = MajOp;
 537     let Inst{20-16} = src2;
 538     let Inst{12-8}  = src3;
 539     let Inst{13}    = u2{1};
 540     let Inst{7}     = u2{0};
 541     let Inst{6-5}   = src1;
 542     let Inst{4-0}   = dst;
 543   }
 544
 545 //===----------------------------------------------------------------------===//
 546 // multiclass for load instructions with base + register offset
 547 // addressing mode
 548 //===----------------------------------------------------------------------===//
 549 let hasSideEffects = 0, addrMode = BaseRegOffset in
 550 multiclass ld_idxd_shl <string mnemonic, string CextOp, RegisterClass RC,
 551                         bits<3> MajOp > {
 552   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl,
 553       InputType = "reg" in {
 554     let isPredicable = 1 in
 555     def L4_#NAME#_rr : T_load_rr <mnemonic, RC, MajOp>;
 556
 557     // Predicated
 558     def L4_p#NAME#t_rr : T_pload_rr <mnemonic, RC, MajOp, 0, 0>;
 559     def L4_p#NAME#f_rr : T_pload_rr <mnemonic, RC, MajOp, 1, 0>;
 560
 561     // Predicated new
 562     def L4_p#NAME#tnew_rr : T_pload_rr <mnemonic, RC, MajOp, 0, 1>;
 563     def L4_p#NAME#fnew_rr : T_pload_rr <mnemonic, RC, MajOp, 1, 1>;
 564   }
 565 }
 566
 567 let hasNewValue = 1, accessSize = ByteAccess, isCodeGenOnly = 0 in {
 568   defm loadrb  : ld_idxd_shl<"memb", "LDrib", IntRegs, 0b000>;
 569   defm loadrub : ld_idxd_shl<"memub", "LDriub", IntRegs, 0b001>;
 570 }
 571
 572 let hasNewValue = 1, accessSize = HalfWordAccess, isCodeGenOnly = 0 in {
 573   defm loadrh  : ld_idxd_shl<"memh", "LDrih", IntRegs, 0b010>;
 574   defm loadruh : ld_idxd_shl<"memuh", "LDriuh", IntRegs, 0b011>;
 575 }
 576
 577 let hasNewValue = 1, accessSize = WordAccess, isCodeGenOnly = 0 in
 578 defm loadri : ld_idxd_shl<"memw", "LDriw", IntRegs, 0b100>;
 579
 580 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
 581 defm loadrd  : ld_idxd_shl<"memd", "LDrid", DoubleRegs, 0b110>;
 582
 583 // 'def pats' for load instructions with base + register offset and non-zero
 584 // immediate value. Immediate value is used to left-shift the second
 585 // register operand.
 586 class Loadxs_pat<PatFrag Load, ValueType VT, InstHexagon MI>
 587   : Pat<(VT (Load (add (i32 IntRegs:$Rs),
 588                        (i32 (shl (i32 IntRegs:$Rt), u2ImmPred:$u2))))),
 589         (VT (MI IntRegs:$Rs, IntRegs:$Rt, imm:$u2))>;
 590
 591 let AddedComplexity = 40 in {
 592   def: Loadxs_pat<extloadi8,   i32, L4_loadrub_rr>;
 593   def: Loadxs_pat<zextloadi8,  i32, L4_loadrub_rr>;
 594   def: Loadxs_pat<sextloadi8,  i32, L4_loadrb_rr>;
 595   def: Loadxs_pat<extloadi16,  i32, L4_loadruh_rr>;
 596   def: Loadxs_pat<zextloadi16, i32, L4_loadruh_rr>;
 597   def: Loadxs_pat<sextloadi16, i32, L4_loadrh_rr>;
 598   def: Loadxs_pat<load,        i32, L4_loadri_rr>;
 599   def: Loadxs_pat<load,        i64, L4_loadrd_rr>;
 600 }
 601
 602 // 'def pats' for load instruction base + register offset and
 603 // zero immediate value.
 604 class Loadxs_simple_pat<PatFrag Load, ValueType VT, InstHexagon MI>
 605   : Pat<(VT (Load (add (i32 IntRegs:$Rs), (i32 IntRegs:$Rt)))),
 606         (VT (MI IntRegs:$Rs, IntRegs:$Rt, 0))>;
 607
 608 let AddedComplexity = 20 in {
 609   def: Loadxs_simple_pat<extloadi8,   i32, L4_loadrub_rr>;
 610   def: Loadxs_simple_pat<zextloadi8,  i32, L4_loadrub_rr>;
 611   def: Loadxs_simple_pat<sextloadi8,  i32, L4_loadrb_rr>;
 612   def: Loadxs_simple_pat<extloadi16,  i32, L4_loadruh_rr>;
 613   def: Loadxs_simple_pat<zextloadi16, i32, L4_loadruh_rr>;
 614   def: Loadxs_simple_pat<sextloadi16, i32, L4_loadrh_rr>;
 615   def: Loadxs_simple_pat<load,        i32, L4_loadri_rr>;
 616   def: Loadxs_simple_pat<load,        i64, L4_loadrd_rr>;
 617 }
 618
 619 // zext i1->i64
 620 def: Pat<(i64 (zext (i1 PredRegs:$src1))),
 621          (Zext64 (C2_muxii PredRegs:$src1, 1, 0))>;
 622
 623 // zext i32->i64
 624 def: Pat<(i64 (zext (i32 IntRegs:$src1))),
 625          (Zext64 IntRegs:$src1)>;
 626
 627 // zext i32->i64
 628 def:  Pat <(i64 (zextloadi32 ADDRriS11_2:$src1)),
 629       (i64 (A4_combineir 0, (L2_loadri_io AddrFI:$src1, 0)))>,
 630       Requires<[HasV4T]>;
 631
 632 let AddedComplexity = 100 in
 633 def:  Pat <(i64 (zextloadi32 (i32 (add IntRegs:$src1, s11_2ExtPred:$offset)))),
 634       (i64 (A4_combineir 0, (L2_loadri_io IntRegs:$src1,
 635                                   s11_2ExtPred:$offset)))>,
 636       Requires<[HasV4T]>;
 637
 638 // anyext i32->i64
 639 def:  Pat <(i64 (extloadi32 ADDRriS11_2:$src1)),
 640       (i64 (A4_combineir 0, (L2_loadri_io AddrFI:$src1, 0)))>,
 641       Requires<[HasV4T]>;
 642
 643 let AddedComplexity = 100 in
 644 def:  Pat <(i64 (extloadi32 (i32 (add IntRegs:$src1, s11_2ExtPred:$offset)))),
 645       (i64 (A4_combineir 0, (L2_loadri_io IntRegs:$src1,
 646                                   s11_2ExtPred:$offset)))>,
 647       Requires<[HasV4T]>;
 648
 649
 650
 651 //===----------------------------------------------------------------------===//
 652 // LD -
 653 //===----------------------------------------------------------------------===//
 654
 655 //===----------------------------------------------------------------------===//
 656 // ST +
 657 //===----------------------------------------------------------------------===//
 658 ///
 659 //===----------------------------------------------------------------------===//
 660 // Template class for store instructions with Absolute set addressing mode.
 661 //===----------------------------------------------------------------------===//
 662 let isExtended = 1, opExtendable = 1, opExtentBits = 6,
 663     addrMode = AbsoluteSet, isNVStorable = 1 in
 664 class T_ST_absset <string mnemonic, string BaseOp, RegisterClass RC,
 665                    bits<3> MajOp, MemAccessSize AccessSz, bit isHalf = 0>
 666   : STInst<(outs IntRegs:$dst),
 667            (ins u6Ext:$addr, RC:$src),
 668     mnemonic#"($dst = #$addr) = $src"#!if(isHalf, ".h","")>, NewValueRel {
 669     bits<5> dst;
 670     bits<6> addr;
 671     bits<5> src;
 672     let accessSize = AccessSz;
 673     let BaseOpcode = BaseOp#"_AbsSet";
 674
 675     let IClass = 0b1010;
 676
 677     let Inst{27-24} = 0b1011;
 678     let Inst{23-21} = MajOp;
 679     let Inst{20-16} = dst;
 680     let Inst{13}    = 0b0;
 681     let Inst{12-8}  = src;
 682     let Inst{7}     = 0b1;
 683     let Inst{5-0}   = addr;
 684   }
 685
 686 def S4_storerb_ap : T_ST_absset <"memb", "STrib", IntRegs, 0b000, ByteAccess>;
 687 def S4_storerh_ap : T_ST_absset <"memh", "STrih", IntRegs, 0b010,
 688                                  HalfWordAccess>;
 689 def S4_storeri_ap : T_ST_absset <"memw", "STriw", IntRegs, 0b100, WordAccess>;
 690
 691 let isNVStorable = 0 in {
 692   def S4_storerf_ap : T_ST_absset <"memh", "STrif", IntRegs,
 693                                    0b011, HalfWordAccess, 1>;
 694   def S4_storerd_ap : T_ST_absset <"memd", "STrid", DoubleRegs,
 695                                    0b110, DoubleWordAccess>;
 696 }
 697
 698 let opExtendable = 1, isNewValue = 1, isNVStore = 1, opNewValue = 2,
 699 isExtended = 1, opExtentBits= 6 in
 700 class T_ST_absset_nv <string mnemonic, string BaseOp, bits<2> MajOp,
 701                       MemAccessSize AccessSz >
 702   : NVInst <(outs IntRegs:$dst),
 703             (ins u6Ext:$addr, IntRegs:$src),
 704     mnemonic#"($dst = #$addr) = $src.new">, NewValueRel {
 705     bits<5> dst;
 706     bits<6> addr;
 707     bits<3> src;
 708     let accessSize = AccessSz;
 709     let BaseOpcode = BaseOp#"_AbsSet";
 710
 711     let IClass = 0b1010;
 712
 713     let Inst{27-21} = 0b1011101;
 714     let Inst{20-16} = dst;
 715     let Inst{13-11} = 0b000;
 716     let Inst{12-11} = MajOp;
 717     let Inst{10-8}  = src;
 718     let Inst{7}     = 0b1;
 719     let Inst{5-0}   = addr;
 720   }
 721
 722 let mayStore = 1, addrMode = AbsoluteSet, isCodeGenOnly = 0 in {
 723   def S4_storerbnew_ap : T_ST_absset_nv <"memb", "STrib", 0b00, ByteAccess>;
 724   def S4_storerhnew_ap : T_ST_absset_nv <"memh", "STrih", 0b01, HalfWordAccess>;
 725   def S4_storerinew_ap : T_ST_absset_nv <"memw", "STriw", 0b10, WordAccess>;
 726 }
 727
 728 let isExtended = 1, opExtendable = 2, opExtentBits = 6, InputType = "imm",
 729 addrMode = BaseLongOffset, AddedComplexity = 40 in
 730 class T_StoreAbsReg <string mnemonic, string CextOp, RegisterClass RC,
 731                      bits<3> MajOp, MemAccessSize AccessSz, bit isHalf = 0>
 732   : STInst<(outs),
 733            (ins IntRegs:$src1, u2Imm:$src2, u6Ext:$src3, RC:$src4),
 734    mnemonic#"($src1<<#$src2 + #$src3) = $src4"#!if(isHalf, ".h",""),
 735    []>, ImmRegShl, NewValueRel {
 736
 737     bits<5> src1;
 738     bits<2> src2;
 739     bits<6> src3;
 740     bits<5> src4;
 741
 742     let accessSize = AccessSz;
 743     let CextOpcode = CextOp;
 744     let BaseOpcode = CextOp#"_shl";
 745     let IClass = 0b1010;
 746
 747     let Inst{27-24} =0b1101;
 748     let Inst{23-21} = MajOp;
 749     let Inst{20-16} = src1;
 750     let Inst{13}    = src2{1};
 751     let Inst{12-8}  = src4;
 752     let Inst{7}     = 0b1;
 753     let Inst{6}     = src2{0};
 754     let Inst{5-0}   = src3;
 755 }
 756
 757 let isCodeGenOnly = 0 in {
 758 def S4_storerb_ur : T_StoreAbsReg <"memb", "STrib", IntRegs, 0b000, ByteAccess>;
 759 def S4_storerh_ur : T_StoreAbsReg <"memh", "STrih", IntRegs, 0b010,
 760                                    HalfWordAccess>;
 761 def S4_storerf_ur : T_StoreAbsReg <"memh", "STrif", IntRegs, 0b011,
 762                                    HalfWordAccess, 1>;
 763 def S4_storeri_ur : T_StoreAbsReg <"memw", "STriw", IntRegs, 0b100, WordAccess>;
 764 def S4_storerd_ur : T_StoreAbsReg <"memd", "STrid", DoubleRegs, 0b110,
 765                                    DoubleWordAccess>;
 766 }
 767
 768 let AddedComplexity = 40 in
 769 multiclass T_StoreAbsReg_Pats <InstHexagon MI, RegisterClass RC, ValueType VT,
 770                            PatFrag stOp> {
 771  def : Pat<(stOp (VT RC:$src4),
 772                  (add (shl (i32 IntRegs:$src1), u2ImmPred:$src2),
 773                       u0AlwaysExtPred:$src3)),
 774           (MI IntRegs:$src1, u2ImmPred:$src2, u0AlwaysExtPred:$src3, RC:$src4)>;
 775
 776  def : Pat<(stOp (VT RC:$src4),
 777                  (add (shl IntRegs:$src1, u2ImmPred:$src2),
 778                       (HexagonCONST32 tglobaladdr:$src3))),
 779            (MI IntRegs:$src1, u2ImmPred:$src2, tglobaladdr:$src3, RC:$src4)>;
 780
 781  def : Pat<(stOp (VT RC:$src4),
 782                  (add IntRegs:$src1, (HexagonCONST32 tglobaladdr:$src3))),
 783            (MI IntRegs:$src1, 0, tglobaladdr:$src3, RC:$src4)>;
 784 }
 785
 786 defm : T_StoreAbsReg_Pats <S4_storerd_ur, DoubleRegs, i64, store>;
 787 defm : T_StoreAbsReg_Pats <S4_storeri_ur, IntRegs, i32, store>;
 788 defm : T_StoreAbsReg_Pats <S4_storerb_ur, IntRegs, i32, truncstorei8>;
 789 defm : T_StoreAbsReg_Pats <S4_storerh_ur, IntRegs, i32, truncstorei16>;
 790
 791 let mayStore = 1, isNVStore = 1, isExtended = 1, addrMode = BaseLongOffset,
 792     opExtentBits = 6, isNewValue = 1, opNewValue = 3, opExtendable = 2 in
 793 class T_StoreAbsRegNV <string mnemonic, string CextOp, bits<2> MajOp,
 794                        MemAccessSize AccessSz>
 795   : NVInst <(outs ),
 796             (ins IntRegs:$src1, u2Imm:$src2, u6Ext:$src3, IntRegs:$src4),
 797   mnemonic#"($src1<<#$src2 + #$src3) = $src4.new">, NewValueRel {
 798     bits<5> src1;
 799     bits<2> src2;
 800     bits<6> src3;
 801     bits<3> src4;
 802
 803     let CextOpcode  = CextOp;
 804     let BaseOpcode  = CextOp#"_shl";
 805     let IClass      = 0b1010;
 806
 807     let Inst{27-21} = 0b1101101;
 808     let Inst{12-11} = 0b00;
 809     let Inst{7}     = 0b1;
 810     let Inst{20-16} = src1;
 811     let Inst{13}    = src2{1};
 812     let Inst{12-11} = MajOp;
 813     let Inst{10-8}  = src4;
 814     let Inst{6}     = src2{0};
 815     let Inst{5-0}   = src3;
 816   }
 817
 818 let isCodeGenOnly = 0 in {
 819 def S4_storerbnew_ur : T_StoreAbsRegNV <"memb", "STrib", 0b00, ByteAccess>;
 820 def S4_storerhnew_ur : T_StoreAbsRegNV <"memh", "STrih", 0b01, HalfWordAccess>;
 821 def S4_storerinew_ur : T_StoreAbsRegNV <"memw", "STriw", 0b10, WordAccess>;
 822 }
 823
 824 //===----------------------------------------------------------------------===//
 825 // Template classes for the non-predicated store instructions with
 826 // base + register offset addressing mode
 827 //===----------------------------------------------------------------------===//
 828 let isPredicable = 1 in
 829 class T_store_rr <string mnemonic, RegisterClass RC, bits<3> MajOp, bit isH>
 830   : STInst < (outs ), (ins IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, RC:$Rt),
 831   mnemonic#"($Rs + $Ru<<#$u2) = $Rt"#!if(isH, ".h",""),
 832   [],"",V4LDST_tc_st_SLOT01>, ImmRegShl, AddrModeRel {
 833
 834     bits<5> Rs;
 835     bits<5> Ru;
 836     bits<2> u2;
 837     bits<5> Rt;
 838
 839     let IClass = 0b0011;
 840
 841     let Inst{27-24} = 0b1011;
 842     let Inst{23-21} = MajOp;
 843     let Inst{20-16} = Rs;
 844     let Inst{12-8}  = Ru;
 845     let Inst{13}    = u2{1};
 846     let Inst{7}     = u2{0};
 847     let Inst{4-0}   = Rt;
 848   }
 849
 850 //===----------------------------------------------------------------------===//
 851 // Template classes for the predicated store instructions with
 852 // base + register offset addressing mode
 853 //===----------------------------------------------------------------------===//
 854 let isPredicated = 1 in
 855 class T_pstore_rr <string mnemonic, RegisterClass RC, bits<3> MajOp,
 856                    bit isNot, bit isPredNew, bit isH>
 857   : STInst <(outs),
 858             (ins PredRegs:$Pv, IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, RC:$Rt),
 859
 860   !if(isNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 861   ") ")#mnemonic#"($Rs+$Ru<<#$u2) = $Rt"#!if(isH, ".h",""),
 862   [], "", V4LDST_tc_st_SLOT01> , AddrModeRel{
 863     bits<2> Pv;
 864     bits<5> Rs;
 865     bits<5> Ru;
 866     bits<2> u2;
 867     bits<5> Rt;
 868
 869     let isPredicatedFalse = isNot;
 870     let isPredicatedNew = isPredNew;
 871
 872     let IClass = 0b0011;
 873
 874     let Inst{27-26} = 0b01;
 875     let Inst{25}    = isPredNew;
 876     let Inst{24}    = isNot;
 877     let Inst{23-21} = MajOp;
 878     let Inst{20-16} = Rs;
 879     let Inst{12-8}  = Ru;
 880     let Inst{13}    = u2{1};
 881     let Inst{7}     = u2{0};
 882     let Inst{6-5}   = Pv;
 883     let Inst{4-0}   = Rt;
 884   }
 885
 886 //===----------------------------------------------------------------------===//
 887 // Template classes for the new-value store instructions with
 888 // base + register offset addressing mode
 889 //===----------------------------------------------------------------------===//
 890 let isPredicable = 1, isNewValue = 1, opNewValue = 3 in
 891 class T_store_new_rr <string mnemonic, bits<2> MajOp> :
 892   NVInst < (outs ), (ins IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, IntRegs:$Nt),
 893   mnemonic#"($Rs + $Ru<<#$u2) = $Nt.new",
 894   [],"",V4LDST_tc_st_SLOT0>, ImmRegShl, AddrModeRel {
 895
 896     bits<5> Rs;
 897     bits<5> Ru;
 898     bits<2> u2;
 899     bits<3> Nt;
 900
 901     let IClass = 0b0011;
 902
 903     let Inst{27-21} = 0b1011101;
 904     let Inst{20-16} = Rs;
 905     let Inst{12-8}  = Ru;
 906     let Inst{13}    = u2{1};
 907     let Inst{7}     = u2{0};
 908     let Inst{4-3}   = MajOp;
 909     let Inst{2-0}   = Nt;
 910   }
 911
 912 //===----------------------------------------------------------------------===//
 913 // Template classes for the predicated new-value store instructions with
 914 // base + register offset addressing mode
 915 //===----------------------------------------------------------------------===//
 916 let isPredicated = 1, isNewValue = 1, opNewValue = 4 in
 917 class T_pstore_new_rr <string mnemonic, bits<2> MajOp, bit isNot, bit isPredNew>
 918   : NVInst<(outs),
 919            (ins PredRegs:$Pv, IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, IntRegs:$Nt),
 920    !if(isNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 921    ") ")#mnemonic#"($Rs+$Ru<<#$u2) = $Nt.new",
 922    [], "", V4LDST_tc_st_SLOT0>, AddrModeRel {
 923     bits<2> Pv;
 924     bits<5> Rs;
 925     bits<5> Ru;
 926     bits<2> u2;
 927     bits<3> Nt;
 928
 929     let isPredicatedFalse = isNot;
 930     let isPredicatedNew = isPredNew;
 931
 932     let IClass = 0b0011;
 933     let Inst{27-26} = 0b01;
 934     let Inst{25}    = isPredNew;
 935     let Inst{24}    = isNot;
 936     let Inst{23-21} = 0b101;
 937     let Inst{20-16} = Rs;
 938     let Inst{12-8}  = Ru;
 939     let Inst{13}    = u2{1};
 940     let Inst{7}     = u2{0};
 941     let Inst{6-5}   = Pv;
 942     let Inst{4-3}   = MajOp;
 943     let Inst{2-0}   = Nt;
 944   }
 945
 946 //===----------------------------------------------------------------------===//
 947 // multiclass for store instructions with base + register offset addressing
 948 // mode
 949 //===----------------------------------------------------------------------===//
 950 let isNVStorable = 1 in
 951 multiclass ST_Idxd_shl<string mnemonic, string CextOp, RegisterClass RC,
 952                        bits<3> MajOp, bit isH = 0> {
 953   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl in {
 954     def S4_#NAME#_rr : T_store_rr <mnemonic, RC, MajOp, isH>;
 955
 956     // Predicated
 957     def S4_p#NAME#t_rr : T_pstore_rr <mnemonic, RC, MajOp, 0, 0, isH>;
 958     def S4_p#NAME#f_rr : T_pstore_rr <mnemonic, RC, MajOp, 1, 0, isH>;
 959
 960     // Predicated new
 961     def S4_p#NAME#tnew_rr : T_pstore_rr <mnemonic, RC, MajOp, 0, 1, isH>;
 962     def S4_p#NAME#fnew_rr : T_pstore_rr <mnemonic, RC, MajOp, 1, 1, isH>;
 963   }
 964 }
 965
 966 //===----------------------------------------------------------------------===//
 967 // multiclass for new-value store instructions with base + register offset
 968 // addressing mode.
 969 //===----------------------------------------------------------------------===//
 970 let mayStore = 1, isNVStore = 1 in
 971 multiclass ST_Idxd_shl_nv <string mnemonic, string CextOp, RegisterClass RC,
 972                            bits<2> MajOp> {
 973   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl in {
 974     def S4_#NAME#new_rr : T_store_new_rr<mnemonic, MajOp>;
 975
 976     // Predicated
 977     def S4_p#NAME#newt_rr : T_pstore_new_rr <mnemonic, MajOp, 0, 0>;
 978     def S4_p#NAME#newf_rr : T_pstore_new_rr <mnemonic, MajOp, 1, 0>;
 979
 980     // Predicated new
 981     def S4_p#NAME#newtnew_rr : T_pstore_new_rr <mnemonic, MajOp, 0, 1>;
 982     def S4_p#NAME#newfnew_rr : T_pstore_new_rr <mnemonic, MajOp, 1, 1>;
 983   }
 984 }
 985
 986 let addrMode = BaseRegOffset, InputType = "reg", hasSideEffects = 0,
 987     isCodeGenOnly = 0 in {
 988   let accessSize = ByteAccess in
 989   defm storerb: ST_Idxd_shl<"memb", "STrib", IntRegs, 0b000>,
 990                 ST_Idxd_shl_nv<"memb", "STrib", IntRegs, 0b00>;
 991
 992   let accessSize = HalfWordAccess in
 993   defm storerh: ST_Idxd_shl<"memh", "STrih", IntRegs, 0b010>,
 994                 ST_Idxd_shl_nv<"memh", "STrih", IntRegs, 0b01>;
 995
 996   let accessSize = WordAccess in
 997   defm storeri: ST_Idxd_shl<"memw", "STriw", IntRegs, 0b100>,
 998                 ST_Idxd_shl_nv<"memw", "STriw", IntRegs, 0b10>;
 999
1000   let isNVStorable = 0, accessSize = DoubleWordAccess in
1001   defm storerd: ST_Idxd_shl<"memd", "STrid", DoubleRegs, 0b110>;
1002
1003   let isNVStorable = 0, accessSize = HalfWordAccess in
1004   defm storerf: ST_Idxd_shl<"memh", "STrif", IntRegs, 0b011, 1>;
1005 }
1006
1007 class Storexs_pat<PatFrag Store, PatFrag Value, InstHexagon MI>
1008   : Pat<(Store Value:$Ru, (add (i32 IntRegs:$Rs),
1009                                (i32 (shl (i32 IntRegs:$Rt), u2ImmPred:$u2)))),
1010         (MI IntRegs:$Rs, IntRegs:$Rt, imm:$u2, Value:$Ru)>;
1011
1012 let AddedComplexity = 40 in {
1013   def: Storexs_pat<truncstorei8,  I32, S4_storerb_rr>;
1014   def: Storexs_pat<truncstorei16, I32, S4_storerh_rr>;
1015   def: Storexs_pat<store,         I32, S4_storeri_rr>;
1016   def: Storexs_pat<store,         I64, S4_storerd_rr>;
1017 }
1018
1019 // memd(Rx++#s4:3)=Rtt
1020 // memd(Rx++#s4:3:circ(Mu))=Rtt
1021 // memd(Rx++I:circ(Mu))=Rtt
1022 // memd(Rx++Mu)=Rtt
1023 // memd(Rx++Mu:brev)=Rtt
1024 // memd(gp+#u16:3)=Rtt
1025
1026 // Store doubleword conditionally.
1027 // if ([!]Pv[.new]) memd(#u6)=Rtt
1028 // TODO: needs to be implemented.
1029
1030 //===----------------------------------------------------------------------===//
1031 // Template class
1032 //===----------------------------------------------------------------------===//
1033 let isPredicable = 1, isExtendable = 1, isExtentSigned = 1, opExtentBits = 8,
1034     opExtendable = 2 in
1035 class T_StoreImm <string mnemonic, Operand OffsetOp, bits<2> MajOp >
1036   : STInst <(outs ), (ins IntRegs:$Rs, OffsetOp:$offset, s8Ext:$S8),
1037   mnemonic#"($Rs+#$offset)=#$S8",
1038   [], "", V4LDST_tc_st_SLOT01>,
1039   ImmRegRel, PredNewRel {
1040     bits<5> Rs;
1041     bits<8> S8;
1042     bits<8> offset;
1043     bits<6> offsetBits;
1044
1045     string OffsetOpStr = !cast<string>(OffsetOp);
1046     let offsetBits = !if (!eq(OffsetOpStr, "u6_2Imm"), offset{7-2},
1047                      !if (!eq(OffsetOpStr, "u6_1Imm"), offset{6-1},
1048                                          /* u6_0Imm */ offset{5-0}));
1049
1050     let IClass = 0b0011;
1051
1052     let Inst{27-25} = 0b110;
1053     let Inst{22-21} = MajOp;
1054     let Inst{20-16} = Rs;
1055     let Inst{12-7}  = offsetBits;
1056     let Inst{13}    = S8{7};
1057     let Inst{6-0}   = S8{6-0};
1058   }
1059
1060 let isPredicated = 1, isExtendable = 1, isExtentSigned = 1, opExtentBits = 6,
1061     opExtendable = 3 in
1062 class T_StoreImm_pred <string mnemonic, Operand OffsetOp, bits<2> MajOp,
1063                        bit isPredNot, bit isPredNew >
1064   : STInst <(outs ),
1065             (ins PredRegs:$Pv, IntRegs:$Rs, OffsetOp:$offset, s6Ext:$S6),
1066   !if(isPredNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
1067   ") ")#mnemonic#"($Rs+#$offset)=#$S6",
1068   [], "", V4LDST_tc_st_SLOT01>,
1069   ImmRegRel, PredNewRel {
1070     bits<2> Pv;
1071     bits<5> Rs;
1072     bits<6> S6;
1073     bits<8> offset;
1074     bits<6> offsetBits;
1075
1076     string OffsetOpStr = !cast<string>(OffsetOp);
1077     let offsetBits = !if (!eq(OffsetOpStr, "u6_2Imm"), offset{7-2},
1078                      !if (!eq(OffsetOpStr, "u6_1Imm"), offset{6-1},
1079                                          /* u6_0Imm */ offset{5-0}));
1080     let isPredicatedNew = isPredNew;
1081     let isPredicatedFalse = isPredNot;
1082
1083     let IClass = 0b0011;
1084
1085     let Inst{27-25} = 0b100;
1086     let Inst{24}    = isPredNew;
1087     let Inst{23}    = isPredNot;
1088     let Inst{22-21} = MajOp;
1089     let Inst{20-16} = Rs;
1090     let Inst{13}    = S6{5};
1091     let Inst{12-7}  = offsetBits;
1092     let Inst{6-5}   = Pv;
1093     let Inst{4-0}   = S6{4-0};
1094   }
1095
1096
1097 //===----------------------------------------------------------------------===//
1098 // multiclass for store instructions with base + immediate offset
1099 // addressing mode and immediate stored value.
1100 // mem[bhw](Rx++#s4:3)=#s8
1101 // if ([!]Pv[.new]) mem[bhw](Rx++#s4:3)=#s6
1102 //===----------------------------------------------------------------------===//
1103
1104 multiclass ST_Imm_Pred <string mnemonic, Operand OffsetOp, bits<2> MajOp,
1105                         bit PredNot> {
1106   def _io    : T_StoreImm_pred <mnemonic, OffsetOp, MajOp, PredNot, 0>;
1107   // Predicate new
1108   def new_io : T_StoreImm_pred <mnemonic, OffsetOp, MajOp, PredNot, 1>;
1109 }
1110
1111 multiclass ST_Imm <string mnemonic, string CextOp, Operand OffsetOp,
1112                    bits<2> MajOp> {
1113   let CextOpcode = CextOp, BaseOpcode = CextOp#_imm in {
1114     def _io : T_StoreImm <mnemonic, OffsetOp, MajOp>;
1115
1116     defm t : ST_Imm_Pred <mnemonic, OffsetOp, MajOp, 0>;
1117     defm f : ST_Imm_Pred <mnemonic, OffsetOp, MajOp, 1>;
1118   }
1119 }
1120
1121 let hasSideEffects = 0, validSubTargets = HasV4SubT, addrMode = BaseImmOffset,
1122     InputType = "imm", isCodeGenOnly = 0 in {
1123   let accessSize = ByteAccess in
1124   defm S4_storeirb : ST_Imm<"memb", "STrib", u6_0Imm, 0b00>;
1125
1126   let accessSize = HalfWordAccess in
1127   defm S4_storeirh : ST_Imm<"memh", "STrih", u6_1Imm, 0b01>;
1128
1129   let accessSize = WordAccess in
1130   defm S4_storeiri : ST_Imm<"memw", "STriw", u6_2Imm, 0b10>;
1131 }
1132
1133 let Predicates = [HasV4T], AddedComplexity = 10 in {
1134 def: Pat<(truncstorei8 s8ExtPred:$src3, (add IntRegs:$src1, u6_0ImmPred:$src2)),
1135             (S4_storeirb_io IntRegs:$src1, u6_0ImmPred:$src2, s8ExtPred:$src3)>;
1136
1137 def: Pat<(truncstorei16 s8ExtPred:$src3, (add IntRegs:$src1,
1138                                               u6_1ImmPred:$src2)),
1139             (S4_storeirh_io IntRegs:$src1, u6_1ImmPred:$src2, s8ExtPred:$src3)>;
1140
1141 def: Pat<(store s8ExtPred:$src3, (add IntRegs:$src1, u6_2ImmPred:$src2)),
1142             (S4_storeiri_io IntRegs:$src1, u6_2ImmPred:$src2, s8ExtPred:$src3)>;
1143 }
1144
1145 let AddedComplexity = 6 in
1146 def : Pat <(truncstorei8 s8ExtPred:$src2, (i32 IntRegs:$src1)),
1147            (S4_storeirb_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1148            Requires<[HasV4T]>;
1149
1150 // memb(Rx++#s4:0:circ(Mu))=Rt
1151 // memb(Rx++I:circ(Mu))=Rt
1152 // memb(Rx++Mu)=Rt
1153 // memb(Rx++Mu:brev)=Rt
1154 // memb(gp+#u16:0)=Rt
1155
1156
1157 // Store halfword.
1158 // TODO: needs to be implemented
1159 // memh(Re=#U6)=Rt.H
1160 // memh(Rs+#s11:1)=Rt.H
1161 let AddedComplexity = 6 in
1162 def : Pat <(truncstorei16 s8ExtPred:$src2, (i32 IntRegs:$src1)),
1163            (S4_storeirh_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1164            Requires<[HasV4T]>;
1165
1166 // memh(Rs+Ru<<#u2)=Rt.H
1167 // TODO: needs to be implemented.
1168
1169 // memh(Ru<<#u2+#U6)=Rt.H
1170 // memh(Rx++#s4:1:circ(Mu))=Rt.H
1171 // memh(Rx++#s4:1:circ(Mu))=Rt
1172 // memh(Rx++I:circ(Mu))=Rt.H
1173 // memh(Rx++I:circ(Mu))=Rt
1174 // memh(Rx++Mu)=Rt.H
1175 // memh(Rx++Mu)=Rt
1176 // memh(Rx++Mu:brev)=Rt.H
1177 // memh(Rx++Mu:brev)=Rt
1178 // memh(gp+#u16:1)=Rt
1179 // if ([!]Pv[.new]) memh(#u6)=Rt.H
1180 // if ([!]Pv[.new]) memh(#u6)=Rt
1181
1182
1183 // if ([!]Pv[.new]) memh(Rs+#u6:1)=Rt.H
1184 // TODO: needs to be implemented.
1185
1186 // if ([!]Pv[.new]) memh(Rx++#s4:1)=Rt.H
1187 // TODO: Needs to be implemented.
1188
1189 // Store word.
1190 // memw(Re=#U6)=Rt
1191 // TODO: Needs to be implemented.
1192
1193 let AddedComplexity = 6 in
1194 def : Pat <(store s8ExtPred:$src2, (i32 IntRegs:$src1)),
1195            (S4_storeiri_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1196            Requires<[HasV4T]>;
1197
1198 // memw(Rx++#s4:2)=Rt
1199 // memw(Rx++#s4:2:circ(Mu))=Rt
1200 // memw(Rx++I:circ(Mu))=Rt
1201 // memw(Rx++Mu)=Rt
1202 // memw(Rx++Mu:brev)=Rt
1203
1204 //===----------------------------------------------------------------------===
1205 // ST -
1206 //===----------------------------------------------------------------------===
1207
1208
1209 //===----------------------------------------------------------------------===//
1210 // NV/ST +
1211 //===----------------------------------------------------------------------===//
1212
1213 let opNewValue = 2, opExtendable = 1, isExtentSigned = 1, isPredicable = 1 in
1214 class T_store_io_nv <string mnemonic, RegisterClass RC,
1215                     Operand ImmOp, bits<2>MajOp>
1216   : NVInst_V4 <(outs),
1217                (ins IntRegs:$src1, ImmOp:$src2, RC:$src3),
1218   mnemonic#"($src1+#$src2) = $src3.new",
1219   [],"",ST_tc_st_SLOT0> {
1220     bits<5> src1;
1221     bits<13> src2; // Actual address offset
1222     bits<3> src3;
1223     bits<11> offsetBits; // Represents offset encoding
1224
1225     let opExtentBits = !if (!eq(mnemonic, "memb"), 11,
1226                        !if (!eq(mnemonic, "memh"), 12,
1227                        !if (!eq(mnemonic, "memw"), 13, 0)));
1228
1229     let opExtentAlign = !if (!eq(mnemonic, "memb"), 0,
1230                         !if (!eq(mnemonic, "memh"), 1,
1231                         !if (!eq(mnemonic, "memw"), 2, 0)));
1232
1233     let offsetBits = !if (!eq(mnemonic, "memb"),  src2{10-0},
1234                      !if (!eq(mnemonic, "memh"),  src2{11-1},
1235                      !if (!eq(mnemonic, "memw"),  src2{12-2}, 0)));
1236
1237     let IClass = 0b1010;
1238
1239     let Inst{27} = 0b0;
1240     let Inst{26-25} = offsetBits{10-9};
1241     let Inst{24-21} = 0b1101;
1242     let Inst{20-16} = src1;
1243     let Inst{13} = offsetBits{8};
1244     let Inst{12-11} = MajOp;
1245     let Inst{10-8} = src3;
1246     let Inst{7-0} = offsetBits{7-0};
1247   }
1248
1249 let opExtendable = 2, opNewValue = 3, isPredicated = 1 in
1250 class T_pstore_io_nv <string mnemonic, RegisterClass RC, Operand predImmOp,
1251                          bits<2>MajOp, bit PredNot, bit isPredNew>
1252   : NVInst_V4 <(outs),
1253                (ins PredRegs:$src1, IntRegs:$src2, predImmOp:$src3, RC:$src4),
1254   !if(PredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
1255   ") ")#mnemonic#"($src2+#$src3) = $src4.new",
1256   [],"",V2LDST_tc_st_SLOT0> {
1257     bits<2> src1;
1258     bits<5> src2;
1259     bits<9> src3;
1260     bits<3> src4;
1261     bits<6> offsetBits; // Represents offset encoding
1262
1263     let isPredicatedNew = isPredNew;
1264     let isPredicatedFalse = PredNot;
1265     let opExtentBits = !if (!eq(mnemonic, "memb"), 6,
1266                        !if (!eq(mnemonic, "memh"), 7,
1267                        !if (!eq(mnemonic, "memw"), 8, 0)));
1268
1269     let opExtentAlign = !if (!eq(mnemonic, "memb"), 0,
1270                         !if (!eq(mnemonic, "memh"), 1,
1271                         !if (!eq(mnemonic, "memw"), 2, 0)));
1272
1273     let offsetBits = !if (!eq(mnemonic, "memb"), src3{5-0},
1274                      !if (!eq(mnemonic, "memh"), src3{6-1},
1275                      !if (!eq(mnemonic, "memw"), src3{7-2}, 0)));
1276
1277     let IClass = 0b0100;
1278
1279     let Inst{27}    = 0b0;
1280     let Inst{26}    = PredNot;
1281     let Inst{25}    = isPredNew;
1282     let Inst{24-21} = 0b0101;
1283     let Inst{20-16} = src2;
1284     let Inst{13}    = offsetBits{5};
1285     let Inst{12-11} = MajOp;
1286     let Inst{10-8}  = src4;
1287     let Inst{7-3}   = offsetBits{4-0};
1288     let Inst{2}     = 0b0;
1289     let Inst{1-0}   = src1;
1290   }
1291
1292 // multiclass for new-value store instructions with base + immediate offset.
1293 //
1294 let mayStore = 1, isNVStore = 1, isNewValue = 1, hasSideEffects = 0,
1295     isExtendable = 1 in
1296 multiclass ST_Idxd_nv<string mnemonic, string CextOp, RegisterClass RC,
1297                    Operand ImmOp, Operand predImmOp, bits<2> MajOp> {
1298
1299   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed in {
1300     def S2_#NAME#new_io : T_store_io_nv <mnemonic, RC, ImmOp, MajOp>;
1301     // Predicated
1302     def S2_p#NAME#newt_io :T_pstore_io_nv <mnemonic, RC, predImmOp, MajOp, 0, 0>;
1303     def S2_p#NAME#newf_io :T_pstore_io_nv <mnemonic, RC, predImmOp, MajOp, 1, 0>;
1304     // Predicated new
1305     def S4_p#NAME#newtnew_io :T_pstore_io_nv <mnemonic, RC, predImmOp,
1306                                               MajOp, 0, 1>;
1307     def S4_p#NAME#newfnew_io :T_pstore_io_nv <mnemonic, RC, predImmOp,
1308                                               MajOp, 1, 1>;
1309   }
1310 }
1311
1312 let addrMode = BaseImmOffset, InputType = "imm", isCodeGenOnly = 0 in {
1313   let accessSize = ByteAccess in
1314   defm storerb: ST_Idxd_nv<"memb", "STrib", IntRegs, s11_0Ext,
1315                            u6_0Ext, 0b00>, AddrModeRel;
1316
1317   let accessSize = HalfWordAccess, opExtentAlign = 1 in
1318   defm storerh: ST_Idxd_nv<"memh", "STrih", IntRegs, s11_1Ext,
1319                            u6_1Ext, 0b01>, AddrModeRel;
1320
1321   let accessSize = WordAccess, opExtentAlign = 2 in
1322   defm storeri: ST_Idxd_nv<"memw", "STriw", IntRegs, s11_2Ext,
1323                            u6_2Ext, 0b10>, AddrModeRel;
1324 }
1325
1326 //===----------------------------------------------------------------------===//
1327 // Post increment loads with register offset.
1328 //===----------------------------------------------------------------------===//
1329
1330 let hasNewValue = 1, isCodeGenOnly = 0 in
1331 def L2_loadbsw2_pr : T_load_pr <"membh", IntRegs, 0b0001, HalfWordAccess>;
1332
1333 let isCodeGenOnly = 0 in
1334 def L2_loadbsw4_pr : T_load_pr <"membh", DoubleRegs, 0b0111, WordAccess>;
1335
1336 //===----------------------------------------------------------------------===//
1337 // Template class for non-predicated post increment .new stores
1338 // mem[bhwd](Rx++#s4:[0123])=Nt.new
1339 //===----------------------------------------------------------------------===//
1340 let isPredicable = 1, hasSideEffects = 0, validSubTargets = HasV4SubT,
1341     addrMode = PostInc, isNVStore = 1, isNewValue = 1, opNewValue = 3 in
1342 class T_StorePI_nv <string mnemonic, Operand ImmOp, bits<2> MajOp >
1343   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1344                  (ins IntRegs:$src1, ImmOp:$offset, IntRegs:$src2),
1345   mnemonic#"($src1++#$offset) = $src2.new",
1346   [], "$src1 = $_dst_">,
1347   AddrModeRel {
1348     bits<5> src1;
1349     bits<3> src2;
1350     bits<7> offset;
1351     bits<4> offsetBits;
1352
1353     string ImmOpStr = !cast<string>(ImmOp);
1354     let offsetBits = !if (!eq(ImmOpStr, "s4_2Imm"), offset{5-2},
1355                      !if (!eq(ImmOpStr, "s4_1Imm"), offset{4-1},
1356                                       /* s4_0Imm */ offset{3-0}));
1357     let IClass = 0b1010;
1358
1359     let Inst{27-21} = 0b1011101;
1360     let Inst{20-16} = src1;
1361     let Inst{13} = 0b0;
1362     let Inst{12-11} = MajOp;
1363     let Inst{10-8} = src2;
1364     let Inst{7} = 0b0;
1365     let Inst{6-3} = offsetBits;
1366     let Inst{1} = 0b0;
1367   }
1368
1369 //===----------------------------------------------------------------------===//
1370 // Template class for predicated post increment .new stores
1371 // if([!]Pv[.new]) mem[bhwd](Rx++#s4:[0123])=Nt.new
1372 //===----------------------------------------------------------------------===//
1373 let isPredicated = 1, hasSideEffects = 0, validSubTargets = HasV4SubT,
1374     addrMode = PostInc, isNVStore = 1, isNewValue = 1, opNewValue = 4 in
1375 class T_StorePI_nv_pred <string mnemonic, Operand ImmOp,
1376                          bits<2> MajOp, bit isPredNot, bit isPredNew >
1377   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1378                  (ins PredRegs:$src1, IntRegs:$src2,
1379                       ImmOp:$offset, IntRegs:$src3),
1380   !if(isPredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
1381   ") ")#mnemonic#"($src2++#$offset) = $src3.new",
1382   [], "$src2 = $_dst_">,
1383   AddrModeRel {
1384     bits<2> src1;
1385     bits<5> src2;
1386     bits<3> src3;
1387     bits<7> offset;
1388     bits<4> offsetBits;
1389
1390     string ImmOpStr = !cast<string>(ImmOp);
1391     let offsetBits = !if (!eq(ImmOpStr, "s4_2Imm"), offset{5-2},
1392                      !if (!eq(ImmOpStr, "s4_1Imm"), offset{4-1},
1393                                       /* s4_0Imm */ offset{3-0}));
1394     let isPredicatedNew = isPredNew;
1395     let isPredicatedFalse = isPredNot;
1396
1397     let IClass = 0b1010;
1398
1399     let Inst{27-21} = 0b1011101;
1400     let Inst{20-16} = src2;
1401     let Inst{13} = 0b1;
1402     let Inst{12-11} = MajOp;
1403     let Inst{10-8} = src3;
1404     let Inst{7} = isPredNew;
1405     let Inst{6-3} = offsetBits;
1406     let Inst{2} = isPredNot;
1407     let Inst{1-0} = src1;
1408   }
1409
1410 multiclass ST_PostInc_Pred_nv<string mnemonic, Operand ImmOp,
1411                               bits<2> MajOp, bit PredNot> {
1412   def _pi : T_StorePI_nv_pred <mnemonic, ImmOp, MajOp, PredNot, 0>;
1413
1414   // Predicate new
1415   def new_pi : T_StorePI_nv_pred <mnemonic, ImmOp, MajOp, PredNot, 1>;
1416 }
1417
1418 multiclass ST_PostInc_nv<string mnemonic, string BaseOp, Operand ImmOp,
1419                          bits<2> MajOp> {
1420   let BaseOpcode = "POST_"#BaseOp in {
1421     def S2_#NAME#_pi : T_StorePI_nv <mnemonic, ImmOp, MajOp>;
1422
1423     // Predicated
1424     defm S2_p#NAME#t : ST_PostInc_Pred_nv <mnemonic, ImmOp, MajOp, 0>;
1425     defm S2_p#NAME#f : ST_PostInc_Pred_nv <mnemonic, ImmOp, MajOp, 1>;
1426   }
1427 }
1428
1429 let accessSize = ByteAccess, isCodeGenOnly = 0 in
1430 defm storerbnew: ST_PostInc_nv <"memb", "STrib", s4_0Imm, 0b00>;
1431
1432 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in
1433 defm storerhnew: ST_PostInc_nv <"memh", "STrih", s4_1Imm, 0b01>;
1434
1435 let accessSize = WordAccess, isCodeGenOnly = 0 in
1436 defm storerinew: ST_PostInc_nv <"memw", "STriw", s4_2Imm, 0b10>;
1437
1438 //===----------------------------------------------------------------------===//
1439 // Template class for post increment .new stores with register offset
1440 //===----------------------------------------------------------------------===//
1441 let isNewValue = 1, mayStore = 1, isNVStore = 1, opNewValue = 3 in
1442 class T_StorePI_RegNV <string mnemonic, bits<2> MajOp, MemAccessSize AccessSz>
1443   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1444                  (ins IntRegs:$src1, ModRegs:$src2, IntRegs:$src3),
1445   #mnemonic#"($src1++$src2) = $src3.new",
1446   [], "$src1 = $_dst_"> {
1447     bits<5> src1;
1448     bits<1> src2;
1449     bits<3> src3;
1450     let accessSize = AccessSz;
1451
1452     let IClass = 0b1010;
1453
1454     let Inst{27-21} = 0b1101101;
1455     let Inst{20-16} = src1;
1456     let Inst{13}    = src2;
1457     let Inst{12-11} = MajOp;
1458     let Inst{10-8}  = src3;
1459     let Inst{7}     = 0b0;
1460   }
1461
1462 let isCodeGenOnly = 0 in {
1463 def S2_storerbnew_pr : T_StorePI_RegNV<"memb", 0b00, ByteAccess>;
1464 def S2_storerhnew_pr : T_StorePI_RegNV<"memh", 0b01, HalfWordAccess>;
1465 def S2_storerinew_pr : T_StorePI_RegNV<"memw", 0b10, WordAccess>;
1466 }
1467
1468 // memb(Rx++#s4:0:circ(Mu))=Nt.new
1469 // memb(Rx++I:circ(Mu))=Nt.new
1470 // memb(Rx++Mu)=Nt.new
1471 // memb(Rx++Mu:brev)=Nt.new
1472 // memh(Rx++#s4:1:circ(Mu))=Nt.new
1473 // memh(Rx++I:circ(Mu))=Nt.new
1474 // memh(Rx++Mu)=Nt.new
1475 // memh(Rx++Mu:brev)=Nt.new
1476
1477 // memw(Rx++#s4:2:circ(Mu))=Nt.new
1478 // memw(Rx++I:circ(Mu))=Nt.new
1479 // memw(Rx++Mu)=Nt.new
1480 // memw(Rx++Mu:brev)=Nt.new
1481
1482 //===----------------------------------------------------------------------===//
1483 // NV/ST -
1484 //===----------------------------------------------------------------------===//
1485
1486 //===----------------------------------------------------------------------===//
1487 // NV/J +
1488 //===----------------------------------------------------------------------===//
1489
1490 //===----------------------------------------------------------------------===//
1491 // multiclass/template class for the new-value compare jumps with the register
1492 // operands.
1493 //===----------------------------------------------------------------------===//
1494
1495 let isExtendable = 1, opExtendable = 2, isExtentSigned = 1, opExtentBits = 11,
1496     opExtentAlign = 2 in
1497 class NVJrr_template<string mnemonic, bits<3> majOp, bit NvOpNum,
1498                       bit isNegCond, bit isTak>
1499   : NVInst_V4<(outs),
1500     (ins IntRegs:$src1, IntRegs:$src2, brtarget:$offset),
1501     "if ("#!if(isNegCond, "!","")#mnemonic#
1502     "($src1"#!if(!eq(NvOpNum, 0),".new, ",", ")#
1503     "$src2"#!if(!eq(NvOpNum, 1),".new))","))")#" jump:"
1504     #!if(isTak, "t","nt")#" $offset", []> {
1505
1506       bits<5> src1;
1507       bits<5> src2;
1508       bits<3> Ns;    // New-Value Operand
1509       bits<5> RegOp; // Non-New-Value Operand
1510       bits<11> offset;
1511
1512       let isTaken = isTak;
1513       let isPredicatedFalse = isNegCond;
1514       let opNewValue{0} = NvOpNum;
1515
1516       let Ns = !if(!eq(NvOpNum, 0), src1{2-0}, src2{2-0});
1517       let RegOp = !if(!eq(NvOpNum, 0), src2, src1);
1518
1519       let IClass = 0b0010;
1520       let Inst{26} = 0b0;
1521       let Inst{25-23} = majOp;
1522       let Inst{22} = isNegCond;
1523       let Inst{18-16} = Ns;
1524       let Inst{13} = isTak;
1525       let Inst{12-8} = RegOp;
1526       let Inst{21-20} = offset{10-9};
1527       let Inst{7-1} = offset{8-2};
1528 }
1529
1530
1531 multiclass NVJrr_cond<string mnemonic, bits<3> majOp, bit NvOpNum,
1532                        bit isNegCond> {
1533   // Branch not taken:
1534   def _nt_V4: NVJrr_template<mnemonic, majOp, NvOpNum, isNegCond, 0>;
1535   // Branch taken:
1536   def _t_V4: NVJrr_template<mnemonic, majOp, NvOpNum, isNegCond, 1>;
1537 }
1538
1539 // NvOpNum = 0 -> First Operand is a new-value Register
1540 // NvOpNum = 1 -> Second Operand is a new-value Register
1541
1542 multiclass NVJrr_base<string mnemonic, string BaseOp, bits<3> majOp,
1543                        bit NvOpNum> {
1544   let BaseOpcode = BaseOp#_NVJ in {
1545     defm _t_Jumpnv : NVJrr_cond<mnemonic, majOp, NvOpNum, 0>; // True cond
1546     defm _f_Jumpnv : NVJrr_cond<mnemonic, majOp, NvOpNum, 1>; // False cond
1547   }
1548 }
1549
1550 // if ([!]cmp.eq(Ns.new,Rt)) jump:[n]t #r9:2
1551 // if ([!]cmp.gt(Ns.new,Rt)) jump:[n]t #r9:2
1552 // if ([!]cmp.gtu(Ns.new,Rt)) jump:[n]t #r9:2
1553 // if ([!]cmp.gt(Rt,Ns.new)) jump:[n]t #r9:2
1554 // if ([!]cmp.gtu(Rt,Ns.new)) jump:[n]t #r9:2
1555
1556 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator = 1,
1557     Defs = [PC], hasSideEffects = 0, validSubTargets = HasV4SubT,
1558     isCodeGenOnly = 0 in {
1559   defm CMPEQrr  : NVJrr_base<"cmp.eq",  "CMPEQ",  0b000, 0>, PredRel;
1560   defm CMPGTrr  : NVJrr_base<"cmp.gt",  "CMPGT",  0b001, 0>, PredRel;
1561   defm CMPGTUrr : NVJrr_base<"cmp.gtu", "CMPGTU", 0b010, 0>, PredRel;
1562   defm CMPLTrr  : NVJrr_base<"cmp.gt",  "CMPLT",  0b011, 1>, PredRel;
1563   defm CMPLTUrr : NVJrr_base<"cmp.gtu", "CMPLTU", 0b100, 1>, PredRel;
1564 }
1565
1566 //===----------------------------------------------------------------------===//
1567 // multiclass/template class for the new-value compare jumps instruction
1568 // with a register and an unsigned immediate (U5) operand.
1569 //===----------------------------------------------------------------------===//
1570
1571 let isExtendable = 1, opExtendable = 2, isExtentSigned = 1, opExtentBits = 11,
1572     opExtentAlign = 2 in
1573 class NVJri_template<string mnemonic, bits<3> majOp, bit isNegCond,
1574                          bit isTak>
1575   : NVInst_V4<(outs),
1576     (ins IntRegs:$src1, u5Imm:$src2, brtarget:$offset),
1577     "if ("#!if(isNegCond, "!","")#mnemonic#"($src1.new, #$src2)) jump:"
1578     #!if(isTak, "t","nt")#" $offset", []> {
1579
1580       let isTaken = isTak;
1581       let isPredicatedFalse = isNegCond;
1582       let isTaken = isTak;
1583
1584       bits<3> src1;
1585       bits<5> src2;
1586       bits<11> offset;
1587
1588       let IClass = 0b0010;
1589       let Inst{26} = 0b1;
1590       let Inst{25-23} = majOp;
1591       let Inst{22} = isNegCond;
1592       let Inst{18-16} = src1;
1593       let Inst{13} = isTak;
1594       let Inst{12-8} = src2;
1595       let Inst{21-20} = offset{10-9};
1596       let Inst{7-1} = offset{8-2};
1597 }
1598
1599 multiclass NVJri_cond<string mnemonic, bits<3> majOp, bit isNegCond> {
1600   // Branch not taken:
1601   def _nt_V4: NVJri_template<mnemonic, majOp, isNegCond, 0>;
1602   // Branch taken:
1603   def _t_V4: NVJri_template<mnemonic, majOp, isNegCond, 1>;
1604 }
1605
1606 multiclass NVJri_base<string mnemonic, string BaseOp, bits<3> majOp> {
1607   let BaseOpcode = BaseOp#_NVJri in {
1608     defm _t_Jumpnv : NVJri_cond<mnemonic, majOp, 0>; // True Cond
1609     defm _f_Jumpnv : NVJri_cond<mnemonic, majOp, 1>; // False cond
1610   }
1611 }
1612
1613 // if ([!]cmp.eq(Ns.new,#U5)) jump:[n]t #r9:2
1614 // if ([!]cmp.gt(Ns.new,#U5)) jump:[n]t #r9:2
1615 // if ([!]cmp.gtu(Ns.new,#U5)) jump:[n]t #r9:2
1616
1617 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator = 1,
1618     Defs = [PC], hasSideEffects = 0, validSubTargets = HasV4SubT,
1619     isCodeGenOnly = 0 in {
1620   defm CMPEQri  : NVJri_base<"cmp.eq", "CMPEQ", 0b000>, PredRel;
1621   defm CMPGTri  : NVJri_base<"cmp.gt", "CMPGT", 0b001>, PredRel;
1622   defm CMPGTUri : NVJri_base<"cmp.gtu", "CMPGTU", 0b010>, PredRel;
1623 }
1624
1625 //===----------------------------------------------------------------------===//
1626 // multiclass/template class for the new-value compare jumps instruction
1627 // with a register and an hardcoded 0/-1 immediate value.
1628 //===----------------------------------------------------------------------===//
1629
1630 let isExtendable = 1, opExtendable = 1, isExtentSigned = 1, opExtentBits = 11,
1631     opExtentAlign = 2 in
1632 class NVJ_ConstImm_template<string mnemonic, bits<3> majOp, string ImmVal,
1633                             bit isNegCond, bit isTak>
1634   : NVInst_V4<(outs),
1635     (ins IntRegs:$src1, brtarget:$offset),
1636     "if ("#!if(isNegCond, "!","")#mnemonic
1637     #"($src1.new, #"#ImmVal#")) jump:"
1638     #!if(isTak, "t","nt")#" $offset", []> {
1639
1640       let isTaken = isTak;
1641       let isPredicatedFalse = isNegCond;
1642       let isTaken = isTak;
1643
1644       bits<3> src1;
1645       bits<11> offset;
1646       let IClass = 0b0010;
1647       let Inst{26} = 0b1;
1648       let Inst{25-23} = majOp;
1649       let Inst{22} = isNegCond;
1650       let Inst{18-16} = src1;
1651       let Inst{13} = isTak;
1652       let Inst{21-20} = offset{10-9};
1653       let Inst{7-1} = offset{8-2};
1654 }
1655
1656 multiclass NVJ_ConstImm_cond<string mnemonic, bits<3> majOp, string ImmVal,
1657                              bit isNegCond> {
1658   // Branch not taken:
1659   def _nt_V4: NVJ_ConstImm_template<mnemonic, majOp, ImmVal, isNegCond, 0>;
1660   // Branch taken:
1661   def _t_V4: NVJ_ConstImm_template<mnemonic, majOp, ImmVal, isNegCond, 1>;
1662 }
1663
1664 multiclass NVJ_ConstImm_base<string mnemonic, string BaseOp, bits<3> majOp,
1665                              string ImmVal> {
1666   let BaseOpcode = BaseOp#_NVJ_ConstImm in {
1667     defm _t_Jumpnv : NVJ_ConstImm_cond<mnemonic, majOp, ImmVal, 0>; // True
1668     defm _f_Jumpnv : NVJ_ConstImm_cond<mnemonic, majOp, ImmVal, 1>; // False
1669   }
1670 }
1671
1672 // if ([!]tstbit(Ns.new,#0)) jump:[n]t #r9:2
1673 // if ([!]cmp.eq(Ns.new,#-1)) jump:[n]t #r9:2
1674 // if ([!]cmp.gt(Ns.new,#-1)) jump:[n]t #r9:2
1675
1676 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator=1,
1677     Defs = [PC], hasSideEffects = 0, isCodeGenOnly = 0 in {
1678   defm TSTBIT0  : NVJ_ConstImm_base<"tstbit", "TSTBIT", 0b011, "0">, PredRel;
1679   defm CMPEQn1  : NVJ_ConstImm_base<"cmp.eq", "CMPEQ",  0b100, "-1">, PredRel;
1680   defm CMPGTn1  : NVJ_ConstImm_base<"cmp.gt", "CMPGT",  0b101, "-1">, PredRel;
1681 }
1682
1683 // J4_hintjumpr: Hint indirect conditional jump.
1684 let isBranch = 1, isIndirectBranch = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1685 def J4_hintjumpr: JRInst <
1686   (outs),
1687   (ins IntRegs:$Rs),
1688   "hintjr($Rs)"> {
1689     bits<5> Rs;
1690     let IClass = 0b0101;
1691     let Inst{27-21} = 0b0010101;
1692     let Inst{20-16} = Rs;
1693   }
1694
1695 //===----------------------------------------------------------------------===//
1696 // NV/J -
1697 //===----------------------------------------------------------------------===//
1698
1699 //===----------------------------------------------------------------------===//
1700 // CR +
1701 //===----------------------------------------------------------------------===//
1702
1703 // PC-relative add
1704 let hasNewValue = 1, isExtendable = 1, opExtendable = 1,
1705     isExtentSigned = 0, opExtentBits = 6, hasSideEffects = 0,
1706     Uses = [PC], validSubTargets = HasV4SubT, isCodeGenOnly = 0 in
1707 def C4_addipc : CRInst <(outs IntRegs:$Rd), (ins u6Ext:$u6),
1708   "$Rd = add(pc, #$u6)", [], "", CR_tc_2_SLOT3 > {
1709     bits<5> Rd;
1710     bits<6> u6;
1711
1712     let IClass = 0b0110;
1713     let Inst{27-16} = 0b101001001001;
1714     let Inst{12-7} = u6;
1715     let Inst{4-0} = Rd;
1716   }
1717
1718
1719
1720 let hasSideEffects = 0 in
1721 class T_LOGICAL_3OP<string MnOp1, string MnOp2, bits<2> OpBits, bit IsNeg>
1722     : CRInst<(outs PredRegs:$Pd),
1723              (ins PredRegs:$Ps, PredRegs:$Pt, PredRegs:$Pu),
1724              "$Pd = " # MnOp1 # "($Ps, " # MnOp2 # "($Pt, " #
1725                    !if (IsNeg,"!","") # "$Pu))",
1726              [], "", CR_tc_2early_SLOT23> {
1727   bits<2> Pd;
1728   bits<2> Ps;
1729   bits<2> Pt;
1730   bits<2> Pu;
1731
1732   let IClass = 0b0110;
1733   let Inst{27-24} = 0b1011;
1734   let Inst{23} = IsNeg;
1735   let Inst{22-21} = OpBits;
1736   let Inst{20} = 0b1;
1737   let Inst{17-16} = Ps;
1738   let Inst{13} = 0b0;
1739   let Inst{9-8} = Pt;
1740   let Inst{7-6} = Pu;
1741   let Inst{1-0} = Pd;
1742 }
1743
1744 let isCodeGenOnly = 0 in {
1745 def C4_and_and  : T_LOGICAL_3OP<"and", "and", 0b00, 0>;
1746 def C4_and_or   : T_LOGICAL_3OP<"and", "or",  0b01, 0>;
1747 def C4_or_and   : T_LOGICAL_3OP<"or",  "and", 0b10, 0>;
1748 def C4_or_or    : T_LOGICAL_3OP<"or",  "or",  0b11, 0>;
1749 def C4_and_andn : T_LOGICAL_3OP<"and", "and", 0b00, 1>;
1750 def C4_and_orn  : T_LOGICAL_3OP<"and", "or",  0b01, 1>;
1751 def C4_or_andn  : T_LOGICAL_3OP<"or",  "and", 0b10, 1>;
1752 def C4_or_orn   : T_LOGICAL_3OP<"or",  "or",  0b11, 1>;
1753 }
1754
1755 //===----------------------------------------------------------------------===//
1756 // CR -
1757 //===----------------------------------------------------------------------===//
1758
1759 //===----------------------------------------------------------------------===//
1760 // XTYPE/ALU +
1761 //===----------------------------------------------------------------------===//
1762
1763 // Logical with-not instructions.
1764 let validSubTargets = HasV4SubT, isCodeGenOnly = 0 in {
1765   def A4_andnp : T_ALU64_logical<"and", 0b001, 1, 0, 1>;
1766   def A4_ornp  : T_ALU64_logical<"or",  0b011, 1, 0, 1>;
1767 }
1768
1769 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1770 def S4_parity: ALU64Inst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, IntRegs:$Rt),
1771       "$Rd = parity($Rs, $Rt)", [], "", ALU64_tc_2_SLOT23> {
1772   bits<5> Rd;
1773   bits<5> Rs;
1774   bits<5> Rt;
1775
1776   let IClass = 0b1101;
1777   let Inst{27-21} = 0b0101111;
1778   let Inst{20-16} = Rs;
1779   let Inst{12-8} = Rt;
1780   let Inst{4-0} = Rd;
1781 }
1782 //  Add and accumulate.
1783 //  Rd=add(Rs,add(Ru,#s6))
1784 let isExtentSigned = 1, hasNewValue = 1, isExtendable = 1, opExtentBits = 6,
1785     opExtendable = 3, isCodeGenOnly = 0 in
1786 def S4_addaddi : ALU64Inst <(outs IntRegs:$Rd),
1787                             (ins IntRegs:$Rs, IntRegs:$Ru, s6Ext:$s6),
1788   "$Rd = add($Rs, add($Ru, #$s6))" ,
1789   [(set (i32 IntRegs:$Rd), (add (i32 IntRegs:$Rs),
1790                            (add (i32 IntRegs:$Ru), s6_16ExtPred:$s6)))],
1791   "", ALU64_tc_2_SLOT23> {
1792     bits<5> Rd;
1793     bits<5> Rs;
1794     bits<5> Ru;
1795     bits<6> s6;
1796
1797     let IClass = 0b1101;
1798
1799     let Inst{27-23} = 0b10110;
1800     let Inst{22-21} = s6{5-4};
1801     let Inst{20-16} = Rs;
1802     let Inst{13}    = s6{3};
1803     let Inst{12-8}  = Rd;
1804     let Inst{7-5}   = s6{2-0};
1805     let Inst{4-0}   = Ru;
1806   }
1807
1808 let isExtentSigned = 1, hasSideEffects = 0, hasNewValue = 1, isExtendable = 1,
1809     opExtentBits = 6, opExtendable = 2, isCodeGenOnly = 0 in
1810 def S4_subaddi: ALU64Inst <(outs IntRegs:$Rd),
1811                            (ins IntRegs:$Rs, s6Ext:$s6, IntRegs:$Ru),
1812   "$Rd = add($Rs, sub(#$s6, $Ru))",
1813   [], "", ALU64_tc_2_SLOT23> {
1814     bits<5> Rd;
1815     bits<5> Rs;
1816     bits<6> s6;
1817     bits<5> Ru;
1818
1819     let IClass = 0b1101;
1820
1821     let Inst{27-23} = 0b10111;
1822     let Inst{22-21} = s6{5-4};
1823     let Inst{20-16} = Rs;
1824     let Inst{13}    = s6{3};
1825     let Inst{12-8}  = Rd;
1826     let Inst{7-5}   = s6{2-0};
1827     let Inst{4-0}   = Ru;
1828   }
1829
1830 // Extract bitfield
1831 // Rdd=extract(Rss,#u6,#U6)
1832 // Rdd=extract(Rss,Rtt)
1833 // Rd=extract(Rs,Rtt)
1834 // Rd=extract(Rs,#u5,#U5)
1835
1836 let isCodeGenOnly = 0 in {
1837 def S4_extractp_rp : T_S3op_64 < "extract",  0b11, 0b100, 0>;
1838 def S4_extractp    : T_S2op_extract <"extract",  0b1010, DoubleRegs, u6Imm>;
1839 }
1840
1841 let hasNewValue = 1, isCodeGenOnly = 0 in {
1842   def S4_extract_rp : T_S3op_extract<"extract",  0b01>;
1843   def S4_extract    : T_S2op_extract <"extract",  0b1101, IntRegs, u5Imm>;
1844 }
1845
1846 // Complex add/sub halfwords/words
1847 let Defs = [USR_OVF], isCodeGenOnly = 0 in {
1848   def S4_vxaddsubh : T_S3op_64 < "vxaddsubh", 0b01, 0b100, 0, 1>;
1849   def S4_vxaddsubw : T_S3op_64 < "vxaddsubw", 0b01, 0b000, 0, 1>;
1850   def S4_vxsubaddh : T_S3op_64 < "vxsubaddh", 0b01, 0b110, 0, 1>;
1851   def S4_vxsubaddw : T_S3op_64 < "vxsubaddw", 0b01, 0b010, 0, 1>;
1852 }
1853
1854 let Defs = [USR_OVF], isCodeGenOnly = 0 in {
1855   def S4_vxaddsubhr : T_S3op_64 < "vxaddsubh", 0b11, 0b000, 0, 1, 1, 1>;
1856   def S4_vxsubaddhr : T_S3op_64 < "vxsubaddh", 0b11, 0b010, 0, 1, 1, 1>;
1857 }
1858
1859 let Itinerary = M_tc_3x_SLOT23, Defs = [USR_OVF], isCodeGenOnly = 0 in {
1860   def M4_mac_up_s1_sat: T_MType_acc_rr<"+= mpy", 0b011, 0b000, 0, [], 0, 1, 1>;
1861   def M4_nac_up_s1_sat: T_MType_acc_rr<"-= mpy", 0b011, 0b001, 0, [], 0, 1, 1>;
1862 }
1863
1864 // Logical xor with xor accumulation.
1865 // Rxx^=xor(Rss,Rtt)
1866 let hasSideEffects = 0, isCodeGenOnly = 0 in
1867 def M4_xor_xacc
1868   : SInst <(outs DoubleRegs:$Rxx),
1869            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, DoubleRegs:$Rtt),
1870   "$Rxx ^= xor($Rss, $Rtt)",
1871   [(set (i64 DoubleRegs:$Rxx),
1872    (xor (i64 DoubleRegs:$dst2), (xor (i64 DoubleRegs:$Rss),
1873                                      (i64 DoubleRegs:$Rtt))))],
1874   "$dst2 = $Rxx", S_3op_tc_1_SLOT23> {
1875     bits<5> Rxx;
1876     bits<5> Rss;
1877     bits<5> Rtt;
1878
1879     let IClass = 0b1100;
1880
1881     let Inst{27-23} = 0b10101;
1882     let Inst{20-16} = Rss;
1883     let Inst{12-8}  = Rtt;
1884     let Inst{4-0}   = Rxx;
1885   }
1886
1887 // Rotate and reduce bytes
1888 // Rdd=vrcrotate(Rss,Rt,#u2)
1889 let hasSideEffects = 0, isCodeGenOnly = 0 in
1890 def S4_vrcrotate
1891   : SInst <(outs DoubleRegs:$Rdd),
1892            (ins DoubleRegs:$Rss, IntRegs:$Rt, u2Imm:$u2),
1893   "$Rdd = vrcrotate($Rss, $Rt, #$u2)",
1894   [], "", S_3op_tc_3x_SLOT23> {
1895     bits<5> Rdd;
1896     bits<5> Rss;
1897     bits<5> Rt;
1898     bits<2> u2;
1899
1900     let IClass = 0b1100;
1901
1902     let Inst{27-22} = 0b001111;
1903     let Inst{20-16} = Rss;
1904     let Inst{13}    = u2{1};
1905     let Inst{12-8}  = Rt;
1906     let Inst{7-6}   = 0b11;
1907     let Inst{5}     = u2{0};
1908     let Inst{4-0}   = Rdd;
1909   }
1910
1911 // Rotate and reduce bytes with accumulation
1912 // Rxx+=vrcrotate(Rss,Rt,#u2)
1913 let hasSideEffects = 0, isCodeGenOnly = 0 in
1914 def S4_vrcrotate_acc
1915   : SInst <(outs DoubleRegs:$Rxx),
1916            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, IntRegs:$Rt, u2Imm:$u2),
1917   "$Rxx += vrcrotate($Rss, $Rt, #$u2)", [],
1918   "$dst2 = $Rxx", S_3op_tc_3x_SLOT23> {
1919     bits<5> Rxx;
1920     bits<5> Rss;
1921     bits<5> Rt;
1922     bits<2> u2;
1923
1924     let IClass = 0b1100;
1925
1926     let Inst{27-21} = 0b1011101;
1927     let Inst{20-16} = Rss;
1928     let Inst{13}    = u2{1};
1929     let Inst{12-8}  = Rt;
1930     let Inst{5}     = u2{0};
1931     let Inst{4-0}   = Rxx;
1932   }
1933
1934
1935 // Vector reduce conditional negate halfwords
1936 let hasSideEffects = 0, isCodeGenOnly = 0 in
1937 def S2_vrcnegh
1938   : SInst <(outs DoubleRegs:$Rxx),
1939            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, IntRegs:$Rt),
1940   "$Rxx += vrcnegh($Rss, $Rt)", [],
1941   "$dst2 = $Rxx", S_3op_tc_3x_SLOT23> {
1942     bits<5> Rxx;
1943     bits<5> Rss;
1944     bits<5> Rt;
1945
1946     let IClass = 0b1100;
1947
1948     let Inst{27-21} = 0b1011001;
1949     let Inst{20-16} = Rss;
1950     let Inst{13}    = 0b1;
1951     let Inst{12-8}  = Rt;
1952     let Inst{7-5}   = 0b111;
1953     let Inst{4-0}   = Rxx;
1954   }
1955
1956 // Split bitfield
1957 let isCodeGenOnly = 0 in
1958 def A4_bitspliti : T_S2op_2_di <"bitsplit", 0b110, 0b100>;
1959
1960 // Arithmetic/Convergent round
1961 let isCodeGenOnly = 0 in
1962 def A4_cround_ri : T_S2op_2_ii <"cround", 0b111, 0b000>;
1963
1964 let isCodeGenOnly = 0 in
1965 def A4_round_ri  : T_S2op_2_ii <"round", 0b111, 0b100>;
1966
1967 let Defs = [USR_OVF], isCodeGenOnly = 0 in
1968 def A4_round_ri_sat : T_S2op_2_ii <"round", 0b111, 0b110, 1>;
1969
1970 // Logical-logical words.
1971 // Compound or-and -- Rx=or(Ru,and(Rx,#s10))
1972 let isExtentSigned = 1, hasNewValue = 1, isExtendable = 1, opExtentBits = 10,
1973     opExtendable = 3, isCodeGenOnly = 0 in
1974 def S4_or_andix:
1975   ALU64Inst<(outs IntRegs:$Rx),
1976             (ins IntRegs:$Ru, IntRegs:$_src_, s10Ext:$s10),
1977   "$Rx = or($Ru, and($_src_, #$s10))" ,
1978   [(set (i32 IntRegs:$Rx),
1979         (or (i32 IntRegs:$Ru), (and (i32 IntRegs:$_src_), s10ExtPred:$s10)))] ,
1980   "$_src_ = $Rx", ALU64_tc_2_SLOT23> {
1981     bits<5> Rx;
1982     bits<5> Ru;
1983     bits<10> s10;
1984
1985     let IClass = 0b1101;
1986
1987     let Inst{27-22} = 0b101001;
1988     let Inst{20-16} = Rx;
1989     let Inst{21}    = s10{9};
1990     let Inst{13-5}  = s10{8-0};
1991     let Inst{4-0}   = Ru;
1992   }
1993
1994 // Miscellaneous ALU64 instructions.
1995 //
1996 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1997 def A4_modwrapu: ALU64Inst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, IntRegs:$Rt),
1998       "$Rd = modwrap($Rs, $Rt)", [], "", ALU64_tc_2_SLOT23> {
1999   bits<5> Rd;
2000   bits<5> Rs;
2001   bits<5> Rt;
2002
2003   let IClass = 0b1101;
2004   let Inst{27-21} = 0b0011111;
2005   let Inst{20-16} = Rs;
2006   let Inst{12-8} = Rt;
2007   let Inst{7-5} = 0b111;
2008   let Inst{4-0} = Rd;
2009 }
2010
2011 let hasSideEffects = 0, isCodeGenOnly = 0 in
2012 def A4_bitsplit: ALU64Inst<(outs DoubleRegs:$Rd),
2013       (ins IntRegs:$Rs, IntRegs:$Rt),
2014       "$Rd = bitsplit($Rs, $Rt)", [], "", ALU64_tc_1_SLOT23> {
2015   bits<5> Rd;
2016   bits<5> Rs;
2017   bits<5> Rt;
2018
2019   let IClass = 0b1101;
2020   let Inst{27-24} = 0b0100;
2021   let Inst{21} = 0b1;
2022   let Inst{20-16} = Rs;
2023   let Inst{12-8} = Rt;
2024   let Inst{4-0} = Rd;
2025 }
2026
2027 let isCodeGenOnly = 0 in {
2028 // Rx[&|]=xor(Rs,Rt)
2029 def M4_or_xor   : T_MType_acc_rr < "|= xor", 0b110, 0b001, 0>;
2030 def M4_and_xor  : T_MType_acc_rr < "&= xor", 0b010, 0b010, 0>;
2031
2032 // Rx[&|^]=or(Rs,Rt)
2033 def M4_xor_or   : T_MType_acc_rr < "^= or",  0b110, 0b011, 0>;
2034
2035 let CextOpcode = "ORr_ORr" in
2036 def M4_or_or    : T_MType_acc_rr < "|= or",  0b110, 0b000, 0>;
2037 def M4_and_or   : T_MType_acc_rr < "&= or",  0b010, 0b001, 0>;
2038
2039 // Rx[&|^]=and(Rs,Rt)
2040 def M4_xor_and  : T_MType_acc_rr < "^= and", 0b110, 0b010, 0>;
2041
2042 let CextOpcode = "ORr_ANDr" in
2043 def M4_or_and   : T_MType_acc_rr < "|= and", 0b010, 0b011, 0>;
2044 def M4_and_and  : T_MType_acc_rr < "&= and", 0b010, 0b000, 0>;
2045
2046 // Rx[&|^]=and(Rs,~Rt)
2047 def M4_xor_andn : T_MType_acc_rr < "^= and", 0b001, 0b010, 0, [], 1>;
2048 def M4_or_andn  : T_MType_acc_rr < "|= and", 0b001, 0b000, 0, [], 1>;
2049 def M4_and_andn : T_MType_acc_rr < "&= and", 0b001, 0b001, 0, [], 1>;
2050 }
2051
2052 // Compound or-or and or-and
2053 let isExtentSigned = 1, InputType = "imm", hasNewValue = 1, isExtendable = 1,
2054     opExtentBits = 10, opExtendable = 3 in
2055 class T_CompOR <string mnemonic, bits<2> MajOp, SDNode OpNode>
2056   : MInst_acc <(outs IntRegs:$Rx),
2057                (ins IntRegs:$src1, IntRegs:$Rs, s10Ext:$s10),
2058   "$Rx |= "#mnemonic#"($Rs, #$s10)",
2059   [(set (i32 IntRegs:$Rx), (or (i32 IntRegs:$src1),
2060                            (OpNode (i32 IntRegs:$Rs), s10ExtPred:$s10)))],
2061   "$src1 = $Rx", ALU64_tc_2_SLOT23>, ImmRegRel {
2062     bits<5> Rx;
2063     bits<5> Rs;
2064     bits<10> s10;
2065
2066     let IClass = 0b1101;
2067
2068     let Inst{27-24} = 0b1010;
2069     let Inst{23-22} = MajOp;
2070     let Inst{20-16} = Rs;
2071     let Inst{21}    = s10{9};
2072     let Inst{13-5}  = s10{8-0};
2073     let Inst{4-0}   = Rx;
2074   }
2075
2076 let CextOpcode = "ORr_ANDr", isCodeGenOnly = 0 in
2077 def S4_or_andi : T_CompOR <"and", 0b00, and>;
2078
2079 let CextOpcode = "ORr_ORr", isCodeGenOnly = 0 in
2080 def S4_or_ori : T_CompOR <"or", 0b10, or>;
2081
2082 //    Modulo wrap
2083 //        Rd=modwrap(Rs,Rt)
2084 //    Round
2085 //        Rd=cround(Rs,#u5)
2086 //        Rd=cround(Rs,Rt)
2087 //        Rd=round(Rs,#u5)[:sat]
2088 //        Rd=round(Rs,Rt)[:sat]
2089 //    Vector reduce add unsigned halfwords
2090 //        Rd=vraddh(Rss,Rtt)
2091 //    Vector add bytes
2092 //        Rdd=vaddb(Rss,Rtt)
2093 //    Vector conditional negate
2094 //        Rdd=vcnegh(Rss,Rt)
2095 //        Rxx+=vrcnegh(Rss,Rt)
2096 //    Vector maximum bytes
2097 //        Rdd=vmaxb(Rtt,Rss)
2098 //    Vector reduce maximum halfwords
2099 //        Rxx=vrmaxh(Rss,Ru)
2100 //        Rxx=vrmaxuh(Rss,Ru)
2101 //    Vector reduce maximum words
2102 //        Rxx=vrmaxuw(Rss,Ru)
2103 //        Rxx=vrmaxw(Rss,Ru)
2104 //    Vector minimum bytes
2105 //        Rdd=vminb(Rtt,Rss)
2106 //    Vector reduce minimum halfwords
2107 //        Rxx=vrminh(Rss,Ru)
2108 //        Rxx=vrminuh(Rss,Ru)
2109 //    Vector reduce minimum words
2110 //        Rxx=vrminuw(Rss,Ru)
2111 //        Rxx=vrminw(Rss,Ru)
2112 //    Vector subtract bytes
2113 //        Rdd=vsubb(Rss,Rtt)
2114
2115 //===----------------------------------------------------------------------===//
2116 // XTYPE/ALU -
2117 //===----------------------------------------------------------------------===//
2118
2119 //===----------------------------------------------------------------------===//
2120 // XTYPE/BIT +
2121 //===----------------------------------------------------------------------===//
2122
2123 // Bit reverse
2124 let isCodeGenOnly = 0 in
2125 def S2_brevp : T_S2op_3 <"brev", 0b11, 0b110>;
2126
2127 // Bit count
2128 let isCodeGenOnly = 0 in {
2129 def S2_ct0p : T_COUNT_LEADING_64<"ct0", 0b111, 0b010>;
2130 def S2_ct1p : T_COUNT_LEADING_64<"ct1", 0b111, 0b100>;
2131 def S4_clbpnorm : T_COUNT_LEADING_64<"normamt", 0b011, 0b000>;
2132 }
2133
2134 def: Pat<(i32 (trunc (cttz (i64 DoubleRegs:$Rss)))),
2135          (S2_ct0p (i64 DoubleRegs:$Rss))>;
2136 def: Pat<(i32 (trunc (cttz (not (i64 DoubleRegs:$Rss))))),
2137          (S2_ct1p (i64 DoubleRegs:$Rss))>;
2138
2139 let hasSideEffects = 0, hasNewValue = 1, isCodeGenOnly = 0 in
2140 def S4_clbaddi : SInst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, s6Imm:$s6),
2141     "$Rd = add(clb($Rs), #$s6)", [], "", S_2op_tc_2_SLOT23> {
2142   bits<5> Rs;
2143   bits<5> Rd;
2144   bits<6> s6;
2145   let IClass = 0b1000;
2146   let Inst{27-24} = 0b1100;
2147   let Inst{23-21} = 0b001;
2148   let Inst{20-16} = Rs;
2149   let Inst{13-8} = s6;
2150   let Inst{7-5} = 0b000;
2151   let Inst{4-0} = Rd;
2152 }
2153
2154 let hasSideEffects = 0, hasNewValue = 1, isCodeGenOnly = 0 in
2155 def S4_clbpaddi : SInst<(outs IntRegs:$Rd), (ins DoubleRegs:$Rs, s6Imm:$s6),
2156     "$Rd = add(clb($Rs), #$s6)", [], "", S_2op_tc_2_SLOT23> {
2157   bits<5> Rs;
2158   bits<5> Rd;
2159   bits<6> s6;
2160   let IClass = 0b1000;
2161   let Inst{27-24} = 0b1000;
2162   let Inst{23-21} = 0b011;
2163   let Inst{20-16} = Rs;
2164   let Inst{13-8} = s6;
2165   let Inst{7-5} = 0b010;
2166   let Inst{4-0} = Rd;
2167 }
2168
2169
2170 // Bit test/set/clear
2171 let isCodeGenOnly = 0 in {
2172 def S4_ntstbit_i : T_TEST_BIT_IMM<"!tstbit", 0b001>;
2173 def S4_ntstbit_r : T_TEST_BIT_REG<"!tstbit", 1>;
2174 }
2175
2176 let AddedComplexity = 20 in {   // Complexity greater than cmp reg-imm.
2177   def: Pat<(i1 (seteq (and (shl 1, u5ImmPred:$u5), (i32 IntRegs:$Rs)), 0)),
2178            (S4_ntstbit_i (i32 IntRegs:$Rs), u5ImmPred:$u5)>;
2179   def: Pat<(i1 (seteq (and (shl 1, (i32 IntRegs:$Rt)), (i32 IntRegs:$Rs)), 0)),
2180            (S4_ntstbit_r (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))>;
2181 }
2182
2183 // Add extra complexity to prefer these instructions over bitsset/bitsclr.
2184 // The reason is that tstbit/ntstbit can be folded into a compound instruction:
2185 //   if ([!]tstbit(...)) jump ...
2186 let AddedComplexity = 100 in
2187 def: Pat<(i1 (setne (and (i32 IntRegs:$Rs), (i32 Set5ImmPred:$u5)), (i32 0))),
2188          (S2_tstbit_i (i32 IntRegs:$Rs), (BITPOS32 Set5ImmPred:$u5))>;
2189
2190 let AddedComplexity = 100 in
2191 def: Pat<(i1 (seteq (and (i32 IntRegs:$Rs), (i32 Set5ImmPred:$u5)), (i32 0))),
2192          (S4_ntstbit_i (i32 IntRegs:$Rs), (BITPOS32 Set5ImmPred:$u5))>;
2193
2194 let isCodeGenOnly = 0 in {
2195 def C4_nbitsset  : T_TEST_BITS_REG<"!bitsset", 0b01, 1>;
2196 def C4_nbitsclr  : T_TEST_BITS_REG<"!bitsclr", 0b10, 1>;
2197 def C4_nbitsclri : T_TEST_BITS_IMM<"!bitsclr", 0b10, 1>;
2198 }
2199
2200 // Do not increase complexity of these patterns. In the DAG, "cmp i8" may be
2201 // represented as a compare against "value & 0xFF", which is an exact match
2202 // for cmpb (same for cmph). The patterns below do not contain any additional
2203 // complexity that would make them preferable, and if they were actually used
2204 // instead of cmpb/cmph, they would result in a compare against register that
2205 // is loaded with the byte/half mask (i.e. 0xFF or 0xFFFF).
2206 def: Pat<(i1 (setne (and I32:$Rs, u6ImmPred:$u6), 0)),
2207          (C4_nbitsclri I32:$Rs, u6ImmPred:$u6)>;
2208 def: Pat<(i1 (setne (and I32:$Rs, I32:$Rt), 0)),
2209          (C4_nbitsclr I32:$Rs, I32:$Rt)>;
2210 def: Pat<(i1 (setne (and I32:$Rs, I32:$Rt), I32:$Rt)),
2211          (C4_nbitsset I32:$Rs, I32:$Rt)>;
2212
2213 //===----------------------------------------------------------------------===//
2214 // XTYPE/BIT -
2215 //===----------------------------------------------------------------------===//
2216
2217 //===----------------------------------------------------------------------===//
2218 // XTYPE/MPY +
2219 //===----------------------------------------------------------------------===//
2220
2221 // Rd=add(#u6,mpyi(Rs,#U6)) -- Multiply by immed and add immed.
2222
2223 let hasNewValue = 1, isExtendable = 1, opExtentBits = 6, opExtendable = 1,
2224     isCodeGenOnly = 0 in
2225 def M4_mpyri_addi : MInst<(outs IntRegs:$Rd),
2226   (ins u6Ext:$u6, IntRegs:$Rs, u6Imm:$U6),
2227   "$Rd = add(#$u6, mpyi($Rs, #$U6))" ,
2228   [(set (i32 IntRegs:$Rd),
2229         (add (mul (i32 IntRegs:$Rs), u6ImmPred:$U6),
2230              u6ExtPred:$u6))] ,"",ALU64_tc_3x_SLOT23> {
2231     bits<5> Rd;
2232     bits<6> u6;
2233     bits<5> Rs;
2234     bits<6> U6;
2235
2236     let IClass = 0b1101;
2237
2238     let Inst{27-24} = 0b1000;
2239     let Inst{23}    = U6{5};
2240     let Inst{22-21} = u6{5-4};
2241     let Inst{20-16} = Rs;
2242     let Inst{13}    = u6{3};
2243     let Inst{12-8}  = Rd;
2244     let Inst{7-5}   = u6{2-0};
2245     let Inst{4-0}   = U6{4-0};
2246   }
2247
2248 // Rd=add(#u6,mpyi(Rs,Rt))
2249 let CextOpcode = "ADD_MPY", InputType = "imm", hasNewValue = 1,
2250     isExtendable = 1, opExtentBits = 6, opExtendable = 1, isCodeGenOnly = 0 in
2251 def M4_mpyrr_addi : MInst <(outs IntRegs:$Rd),
2252   (ins u6Ext:$u6, IntRegs:$Rs, IntRegs:$Rt),
2253   "$Rd = add(#$u6, mpyi($Rs, $Rt))" ,
2254   [(set (i32 IntRegs:$Rd),
2255         (add (mul (i32 IntRegs:$Rs), (i32 IntRegs:$Rt)), u6ExtPred:$u6))],
2256   "", ALU64_tc_3x_SLOT23>, ImmRegRel {
2257     bits<5> Rd;
2258     bits<6> u6;
2259     bits<5> Rs;
2260     bits<5> Rt;
2261
2262     let IClass = 0b1101;
2263
2264     let Inst{27-23} = 0b01110;
2265     let Inst{22-21} = u6{5-4};
2266     let Inst{20-16} = Rs;
2267     let Inst{13}    = u6{3};
2268     let Inst{12-8}  = Rt;
2269     let Inst{7-5}   = u6{2-0};
2270     let Inst{4-0}   = Rd;
2271   }
2272
2273 let hasNewValue = 1 in
2274 class T_AddMpy <bit MajOp, PatLeaf ImmPred, dag ins>
2275   : ALU64Inst <(outs IntRegs:$dst), ins,
2276   "$dst = add($src1, mpyi("#!if(MajOp,"$src3, #$src2))",
2277                                       "#$src2, $src3))"),
2278   [(set (i32 IntRegs:$dst),
2279         (add (i32 IntRegs:$src1), (mul (i32 IntRegs:$src3), ImmPred:$src2)))],
2280   "", ALU64_tc_3x_SLOT23> {
2281     bits<5> dst;
2282     bits<5> src1;
2283     bits<8> src2;
2284     bits<5> src3;
2285
2286     let IClass = 0b1101;
2287
2288     bits<6> ImmValue = !if(MajOp, src2{5-0}, src2{7-2});
2289
2290     let Inst{27-24} = 0b1111;
2291     let Inst{23}    = MajOp;
2292     let Inst{22-21} = ImmValue{5-4};
2293     let Inst{20-16} = src3;
2294     let Inst{13}    = ImmValue{3};
2295     let Inst{12-8}  = dst;
2296     let Inst{7-5}   = ImmValue{2-0};
2297     let Inst{4-0}   = src1;
2298   }
2299
2300 let isCodeGenOnly = 0 in
2301 def M4_mpyri_addr_u2 : T_AddMpy<0b0, u6_2ImmPred,
2302                        (ins IntRegs:$src1, u6_2Imm:$src2, IntRegs:$src3)>;
2303
2304 let isExtendable = 1, opExtentBits = 6, opExtendable = 3,
2305     CextOpcode = "ADD_MPY", InputType = "imm", isCodeGenOnly = 0 in
2306 def M4_mpyri_addr : T_AddMpy<0b1, u6ExtPred,
2307                     (ins IntRegs:$src1, IntRegs:$src3, u6Ext:$src2)>, ImmRegRel;
2308
2309 // Rx=add(Ru,mpyi(Rx,Rs))
2310 let validSubTargets = HasV4SubT, CextOpcode = "ADD_MPY", InputType = "reg",
2311     hasNewValue = 1, isCodeGenOnly = 0 in
2312 def M4_mpyrr_addr: MInst_acc <(outs IntRegs:$Rx),
2313                               (ins IntRegs:$Ru, IntRegs:$_src_, IntRegs:$Rs),
2314   "$Rx = add($Ru, mpyi($_src_, $Rs))",
2315   [(set (i32 IntRegs:$Rx), (add (i32 IntRegs:$Ru),
2316                            (mul (i32 IntRegs:$_src_), (i32 IntRegs:$Rs))))],
2317   "$_src_ = $Rx", M_tc_3x_SLOT23>, ImmRegRel {
2318     bits<5> Rx;
2319     bits<5> Ru;
2320     bits<5> Rs;
2321
2322     let IClass = 0b1110;
2323
2324     let Inst{27-21} = 0b0011000;
2325     let Inst{12-8} = Rx;
2326     let Inst{4-0} = Ru;
2327     let Inst{20-16} = Rs;
2328   }
2329
2330 // Rd=add(##,mpyi(Rs,#U6))
2331 def : Pat <(add (mul (i32 IntRegs:$src2), u6ImmPred:$src3),
2332                      (HexagonCONST32 tglobaladdr:$src1)),
2333            (i32 (M4_mpyri_addi tglobaladdr:$src1, IntRegs:$src2,
2334                                u6ImmPred:$src3))>;
2335
2336 // Rd=add(##,mpyi(Rs,Rt))
2337 def : Pat <(add (mul (i32 IntRegs:$src2), (i32 IntRegs:$src3)),
2338                      (HexagonCONST32 tglobaladdr:$src1)),
2339            (i32 (M4_mpyrr_addi tglobaladdr:$src1, IntRegs:$src2,
2340                                IntRegs:$src3))>;
2341
2342 // Vector reduce multiply word by signed half (32x16)
2343 //Rdd=vrmpyweh(Rss,Rtt)[:<<1]
2344 let isCodeGenOnly = 0 in {
2345 def M4_vrmpyeh_s0 : T_M2_vmpy<"vrmpyweh", 0b010, 0b100, 0, 0, 0>;
2346 def M4_vrmpyeh_s1 : T_M2_vmpy<"vrmpyweh", 0b110, 0b100, 1, 0, 0>;
2347 }
2348
2349 //Rdd=vrmpywoh(Rss,Rtt)[:<<1]
2350 let isCodeGenOnly = 0 in {
2351 def M4_vrmpyoh_s0 : T_M2_vmpy<"vrmpywoh", 0b001, 0b010, 0, 0, 0>;
2352 def M4_vrmpyoh_s1 : T_M2_vmpy<"vrmpywoh", 0b101, 0b010, 1, 0, 0>;
2353 }
2354 //Rdd+=vrmpyweh(Rss,Rtt)[:<<1]
2355 let isCodeGenOnly = 0 in {
2356 def M4_vrmpyeh_acc_s0: T_M2_vmpy_acc<"vrmpyweh", 0b001, 0b110, 0, 0>;
2357 def M4_vrmpyeh_acc_s1: T_M2_vmpy_acc<"vrmpyweh", 0b101, 0b110, 1, 0>;
2358 }
2359
2360 //Rdd=vrmpywoh(Rss,Rtt)[:<<1]
2361 let isCodeGenOnly = 0 in {
2362 def M4_vrmpyoh_acc_s0: T_M2_vmpy_acc<"vrmpywoh", 0b011, 0b110, 0, 0>;
2363 def M4_vrmpyoh_acc_s1: T_M2_vmpy_acc<"vrmpywoh", 0b111, 0b110, 1, 0>;
2364 }
2365
2366 // Vector multiply halfwords, signed by unsigned
2367 // Rdd=vmpyhsu(Rs,Rt)[:<<]:sat
2368 let isCodeGenOnly = 0 in {
2369 def M2_vmpy2su_s0 : T_XTYPE_mpy64 < "vmpyhsu", 0b000, 0b111, 1, 0, 0>;
2370 def M2_vmpy2su_s1 : T_XTYPE_mpy64 < "vmpyhsu", 0b100, 0b111, 1, 1, 0>;
2371 }
2372
2373 // Rxx+=vmpyhsu(Rs,Rt)[:<<1]:sat
2374 let isCodeGenOnly = 0 in {
2375 def M2_vmac2su_s0 : T_XTYPE_mpy64_acc < "vmpyhsu", "+", 0b011, 0b101, 1, 0, 0>;
2376 def M2_vmac2su_s1 : T_XTYPE_mpy64_acc < "vmpyhsu", "+", 0b111, 0b101, 1, 1, 0>;
2377 }
2378
2379 // Vector polynomial multiply halfwords
2380 // Rdd=vpmpyh(Rs,Rt)
2381 let isCodeGenOnly = 0 in
2382 def M4_vpmpyh : T_XTYPE_mpy64 < "vpmpyh", 0b110, 0b111, 0, 0, 0>;
2383
2384 // Rxx^=vpmpyh(Rs,Rt)
2385 let isCodeGenOnly = 0 in
2386 def M4_vpmpyh_acc : T_XTYPE_mpy64_acc < "vpmpyh", "^", 0b101, 0b111, 0, 0, 0>;
2387
2388 // Polynomial multiply words
2389 // Rdd=pmpyw(Rs,Rt)
2390 let isCodeGenOnly = 0 in
2391 def M4_pmpyw : T_XTYPE_mpy64 < "pmpyw", 0b010, 0b111, 0, 0, 0>;
2392
2393 // Rxx^=pmpyw(Rs,Rt)
2394 let isCodeGenOnly = 0 in
2395 def M4_pmpyw_acc  : T_XTYPE_mpy64_acc < "pmpyw", "^", 0b001, 0b111, 0, 0, 0>;
2396
2397 //===----------------------------------------------------------------------===//
2398 // XTYPE/MPY -
2399 //===----------------------------------------------------------------------===//
2400
2401
2402 //===----------------------------------------------------------------------===//
2403 // ALU64/Vector compare
2404 //===----------------------------------------------------------------------===//
2405 //===----------------------------------------------------------------------===//
2406 // Template class for vector compare
2407 //===----------------------------------------------------------------------===//
2408
2409 let hasSideEffects = 0 in
2410 class T_vcmpImm <string Str, bits<2> cmpOp, bits<2> minOp, Operand ImmOprnd>
2411   : ALU64_rr <(outs PredRegs:$Pd),
2412               (ins DoubleRegs:$Rss, ImmOprnd:$Imm),
2413   "$Pd = "#Str#"($Rss, #$Imm)",
2414   [], "", ALU64_tc_2early_SLOT23> {
2415     bits<2> Pd;
2416     bits<5> Rss;
2417     bits<32> Imm;
2418     bits<8> ImmBits;
2419     let ImmBits{6-0} = Imm{6-0};
2420     let ImmBits{7} = !if (!eq(cmpOp,0b10), 0b0, Imm{7}); // 0 for vcmp[bhw].gtu
2421
2422     let IClass = 0b1101;
2423
2424     let Inst{27-24} = 0b1100;
2425     let Inst{22-21} = cmpOp;
2426     let Inst{20-16} = Rss;
2427     let Inst{12-5} = ImmBits;
2428     let Inst{4-3} = minOp;
2429     let Inst{1-0} = Pd;
2430   }
2431
2432 // Vector compare bytes
2433 let isCodeGenOnly = 0 in
2434 def A4_vcmpbgt   : T_vcmp <"vcmpb.gt", 0b1010>;
2435 def: T_vcmp_pat<A4_vcmpbgt, setgt, v8i8>;
2436
2437 let AsmString = "$Pd = any8(vcmpb.eq($Rss, $Rtt))" in
2438 let isCodeGenOnly = 0 in
2439 def A4_vcmpbeq_any : T_vcmp <"any8(vcmpb.gt", 0b1000>;
2440
2441 let isCodeGenOnly = 0 in {
2442 def A4_vcmpbeqi  : T_vcmpImm <"vcmpb.eq",  0b00, 0b00, u8Imm>;
2443 def A4_vcmpbgti  : T_vcmpImm <"vcmpb.gt",  0b01, 0b00, s8Imm>;
2444 def A4_vcmpbgtui : T_vcmpImm <"vcmpb.gtu", 0b10, 0b00, u7Imm>;
2445 }
2446
2447 // Vector compare halfwords
2448 let isCodeGenOnly = 0 in {
2449 def A4_vcmpheqi  : T_vcmpImm <"vcmph.eq",  0b00, 0b01, s8Imm>;
2450 def A4_vcmphgti  : T_vcmpImm <"vcmph.gt",  0b01, 0b01, s8Imm>;
2451 def A4_vcmphgtui : T_vcmpImm <"vcmph.gtu", 0b10, 0b01, u7Imm>;
2452 }
2453
2454 // Vector compare words
2455 let isCodeGenOnly = 0 in {
2456 def A4_vcmpweqi  : T_vcmpImm <"vcmpw.eq",  0b00, 0b10, s8Imm>;
2457 def A4_vcmpwgti  : T_vcmpImm <"vcmpw.gt",  0b01, 0b10, s8Imm>;
2458 def A4_vcmpwgtui : T_vcmpImm <"vcmpw.gtu", 0b10, 0b10, u7Imm>;
2459 }
2460
2461 //===----------------------------------------------------------------------===//
2462 // XTYPE/SHIFT +
2463 //===----------------------------------------------------------------------===//
2464 // Shift by immediate and accumulate/logical.
2465 // Rx=add(#u8,asl(Rx,#U5))  Rx=add(#u8,lsr(Rx,#U5))
2466 // Rx=sub(#u8,asl(Rx,#U5))  Rx=sub(#u8,lsr(Rx,#U5))
2467 // Rx=and(#u8,asl(Rx,#U5))  Rx=and(#u8,lsr(Rx,#U5))
2468 // Rx=or(#u8,asl(Rx,#U5))   Rx=or(#u8,lsr(Rx,#U5))
2469 let isExtendable = 1, opExtendable = 1, isExtentSigned = 0, opExtentBits = 8,
2470     hasNewValue = 1, opNewValue = 0, validSubTargets = HasV4SubT in
2471 class T_S4_ShiftOperate<string MnOp, string MnSh, SDNode Op, SDNode Sh,
2472                         bit asl_lsr, bits<2> MajOp, InstrItinClass Itin>
2473   : MInst_acc<(outs IntRegs:$Rd), (ins u8Ext:$u8, IntRegs:$Rx, u5Imm:$U5),
2474       "$Rd = "#MnOp#"(#$u8, "#MnSh#"($Rx, #$U5))",
2475       [(set (i32 IntRegs:$Rd),
2476             (Op (Sh I32:$Rx, u5ImmPred:$U5), u8ExtPred:$u8))],
2477       "$Rd = $Rx", Itin> {
2478
2479   bits<5> Rd;
2480   bits<8> u8;
2481   bits<5> Rx;
2482   bits<5> U5;
2483
2484   let IClass = 0b1101;
2485   let Inst{27-24} = 0b1110;
2486   let Inst{23-21} = u8{7-5};
2487   let Inst{20-16} = Rd;
2488   let Inst{13} = u8{4};
2489   let Inst{12-8} = U5;
2490   let Inst{7-5} = u8{3-1};
2491   let Inst{4} = asl_lsr;
2492   let Inst{3} = u8{0};
2493   let Inst{2-1} = MajOp;
2494 }
2495
2496 multiclass T_ShiftOperate<string mnemonic, SDNode Op, bits<2> MajOp,
2497                           InstrItinClass Itin> {
2498   def _asl_ri : T_S4_ShiftOperate<mnemonic, "asl", Op, shl, 0, MajOp, Itin>;
2499   def _lsr_ri : T_S4_ShiftOperate<mnemonic, "lsr", Op, srl, 1, MajOp, Itin>;
2500 }
2501
2502 let AddedComplexity = 200, isCodeGenOnly = 0 in {
2503   defm S4_addi : T_ShiftOperate<"add", add, 0b10, ALU64_tc_2_SLOT23>;
2504   defm S4_andi : T_ShiftOperate<"and", and, 0b00, ALU64_tc_2_SLOT23>;
2505 }
2506
2507 let AddedComplexity = 30, isCodeGenOnly = 0 in
2508 defm S4_ori  : T_ShiftOperate<"or",  or,  0b01, ALU64_tc_1_SLOT23>;
2509
2510 let isCodeGenOnly = 0 in
2511 defm S4_subi : T_ShiftOperate<"sub", sub, 0b11, ALU64_tc_1_SLOT23>;
2512
2513 // Vector conditional negate
2514 // Rdd=vcnegh(Rss,Rt)
2515 let Defs = [USR_OVF], Itinerary = S_3op_tc_2_SLOT23, isCodeGenOnly = 0 in
2516 def S2_vcnegh   : T_S3op_shiftVect < "vcnegh",   0b11, 0b01>;
2517
2518 // Rd=[cround|round](Rs,Rt)
2519 let hasNewValue = 1, Itinerary = S_3op_tc_2_SLOT23, isCodeGenOnly = 0 in {
2520   def A4_cround_rr    : T_S3op_3 < "cround", IntRegs, 0b11, 0b00>;
2521   def A4_round_rr     : T_S3op_3 < "round", IntRegs, 0b11, 0b10>;
2522 }
2523
2524 // Rd=round(Rs,Rt):sat
2525 let hasNewValue = 1, Defs = [USR_OVF], Itinerary = S_3op_tc_2_SLOT23,
2526     isCodeGenOnly = 0 in
2527 def A4_round_rr_sat : T_S3op_3 < "round", IntRegs, 0b11, 0b11, 1>;
2528
2529 // Rd=[cmpyiwh|cmpyrwh](Rss,Rt):<<1:rnd:sat
2530 let Defs = [USR_OVF], Itinerary = S_3op_tc_3x_SLOT23, isCodeGenOnly = 0 in {
2531   def M4_cmpyi_wh     : T_S3op_8<"cmpyiwh", 0b100, 1, 1, 1>;
2532   def M4_cmpyr_wh     : T_S3op_8<"cmpyrwh", 0b110, 1, 1, 1>;
2533 }
2534
2535 // Rdd=[add|sub](Rss,Rtt,Px):carry
2536 let isPredicateLate = 1, hasSideEffects = 0 in
2537 class T_S3op_carry <string mnemonic, bits<3> MajOp>
2538   : SInst < (outs DoubleRegs:$Rdd, PredRegs:$Px),
2539             (ins DoubleRegs:$Rss, DoubleRegs:$Rtt, PredRegs:$Pu),
2540   "$Rdd = "#mnemonic#"($Rss, $Rtt, $Pu):carry",
2541   [], "$Px = $Pu", S_3op_tc_1_SLOT23 > {
2542     bits<5> Rdd;
2543     bits<5> Rss;
2544     bits<5> Rtt;
2545     bits<2> Pu;
2546
2547     let IClass = 0b1100;
2548
2549     let Inst{27-24} = 0b0010;
2550     let Inst{23-21} = MajOp;
2551     let Inst{20-16} = Rss;
2552     let Inst{12-8}  = Rtt;
2553     let Inst{6-5}   = Pu;
2554     let Inst{4-0}   = Rdd;
2555   }
2556
2557 let isCodeGenOnly = 0 in {
2558 def A4_addp_c : T_S3op_carry < "add", 0b110 >;
2559 def A4_subp_c : T_S3op_carry < "sub", 0b111 >;
2560 }
2561
2562 let Itinerary = S_3op_tc_3_SLOT23, hasSideEffects = 0 in
2563 class T_S3op_6 <string mnemonic, bits<3> MinOp, bit isUnsigned>
2564   : SInst <(outs DoubleRegs:$Rxx),
2565            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, IntRegs:$Ru),
2566   "$Rxx = "#mnemonic#"($Rss, $Ru)" ,
2567   [] , "$dst2 = $Rxx"> {
2568     bits<5> Rxx;
2569     bits<5> Rss;
2570     bits<5> Ru;
2571
2572     let IClass = 0b1100;
2573
2574     let Inst{27-21} = 0b1011001;
2575     let Inst{20-16} = Rss;
2576     let Inst{13}    = isUnsigned;
2577     let Inst{12-8}  = Rxx;
2578     let Inst{7-5}   = MinOp;
2579     let Inst{4-0}   = Ru;
2580   }
2581
2582 // Vector reduce maximum halfwords
2583 // Rxx=vrmax[u]h(Rss,Ru)
2584 let isCodeGenOnly = 0 in {
2585 def A4_vrmaxh  : T_S3op_6 < "vrmaxh",  0b001, 0>;
2586 def A4_vrmaxuh : T_S3op_6 < "vrmaxuh", 0b001, 1>;
2587 }
2588 // Vector reduce maximum words
2589 // Rxx=vrmax[u]w(Rss,Ru)
2590 let isCodeGenOnly = 0 in {
2591 def A4_vrmaxw  : T_S3op_6 < "vrmaxw",  0b010, 0>;
2592 def A4_vrmaxuw : T_S3op_6 < "vrmaxuw", 0b010, 1>;
2593 }
2594 // Vector reduce minimum halfwords
2595 // Rxx=vrmin[u]h(Rss,Ru)
2596 let isCodeGenOnly = 0 in {
2597 def A4_vrminh  : T_S3op_6 < "vrminh",  0b101, 0>;
2598 def A4_vrminuh : T_S3op_6 < "vrminuh", 0b101, 1>;
2599 }
2600
2601 // Vector reduce minimum words
2602 // Rxx=vrmin[u]w(Rss,Ru)
2603 let isCodeGenOnly = 0 in {
2604 def A4_vrminw  : T_S3op_6 < "vrminw",  0b110, 0>;
2605 def A4_vrminuw : T_S3op_6 < "vrminuw", 0b110, 1>;
2606 }
2607
2608 // Shift an immediate left by register amount.
2609 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
2610 def S4_lsli: SInst <(outs IntRegs:$Rd), (ins s6Imm:$s6, IntRegs:$Rt),
2611   "$Rd = lsl(#$s6, $Rt)" ,
2612   [(set (i32 IntRegs:$Rd), (shl s6ImmPred:$s6,
2613                                  (i32 IntRegs:$Rt)))],
2614   "", S_3op_tc_1_SLOT23> {
2615     bits<5> Rd;
2616     bits<6> s6;
2617     bits<5> Rt;
2618
2619     let IClass = 0b1100;
2620
2621     let Inst{27-22} = 0b011010;
2622     let Inst{20-16} = s6{5-1};
2623     let Inst{12-8}  = Rt;
2624     let Inst{7-6}   = 0b11;
2625     let Inst{4-0}   = Rd;
2626     let Inst{5}     = s6{0};
2627   }
2628
2629 //===----------------------------------------------------------------------===//
2630 // XTYPE/SHIFT -
2631 //===----------------------------------------------------------------------===//
2632
2633 //===----------------------------------------------------------------------===//
2634 // MEMOP: Word, Half, Byte
2635 //===----------------------------------------------------------------------===//
2636
2637 def MEMOPIMM : SDNodeXForm<imm, [{
2638   // Call the transformation function XformM5ToU5Imm to get the negative
2639   // immediate's positive counterpart.
2640   int32_t imm = N->getSExtValue();
2641   return XformM5ToU5Imm(imm);
2642 }]>;
2643
2644 def MEMOPIMM_HALF : SDNodeXForm<imm, [{
2645   // -1 .. -31 represented as 65535..65515
2646   // assigning to a short restores our desired signed value.
2647   // Call the transformation function XformM5ToU5Imm to get the negative
2648   // immediate's positive counterpart.
2649   int16_t imm = N->getSExtValue();
2650   return XformM5ToU5Imm(imm);
2651 }]>;
2652
2653 def MEMOPIMM_BYTE : SDNodeXForm<imm, [{
2654   // -1 .. -31 represented as 255..235
2655   // assigning to a char restores our desired signed value.
2656   // Call the transformation function XformM5ToU5Imm to get the negative
2657   // immediate's positive counterpart.
2658   int8_t imm = N->getSExtValue();
2659   return XformM5ToU5Imm(imm);
2660 }]>;
2661
2662 def SETMEMIMM : SDNodeXForm<imm, [{
2663    // Return the bit position we will set [0-31].
2664    // As an SDNode.
2665    int32_t imm = N->getSExtValue();
2666    return XformMskToBitPosU5Imm(imm);
2667 }]>;
2668
2669 def CLRMEMIMM : SDNodeXForm<imm, [{
2670    // Return the bit position we will clear [0-31].
2671    // As an SDNode.
2672    // we bit negate the value first
2673    int32_t imm = ~(N->getSExtValue());
2674    return XformMskToBitPosU5Imm(imm);
2675 }]>;
2676
2677 def SETMEMIMM_SHORT : SDNodeXForm<imm, [{
2678    // Return the bit position we will set [0-15].
2679    // As an SDNode.
2680    int16_t imm = N->getSExtValue();
2681    return XformMskToBitPosU4Imm(imm);
2682 }]>;
2683
2684 def CLRMEMIMM_SHORT : SDNodeXForm<imm, [{
2685    // Return the bit position we will clear [0-15].
2686    // As an SDNode.
2687    // we bit negate the value first
2688    int16_t imm = ~(N->getSExtValue());
2689    return XformMskToBitPosU4Imm(imm);
2690 }]>;
2691
2692 def SETMEMIMM_BYTE : SDNodeXForm<imm, [{
2693    // Return the bit position we will set [0-7].
2694    // As an SDNode.
2695    int8_t imm =  N->getSExtValue();
2696    return XformMskToBitPosU3Imm(imm);
2697 }]>;
2698
2699 def CLRMEMIMM_BYTE : SDNodeXForm<imm, [{
2700    // Return the bit position we will clear [0-7].
2701    // As an SDNode.
2702    // we bit negate the value first
2703    int8_t imm = ~(N->getSExtValue());
2704    return XformMskToBitPosU3Imm(imm);
2705 }]>;
2706
2707 //===----------------------------------------------------------------------===//
2708 // Template class for MemOp instructions with the register value.
2709 //===----------------------------------------------------------------------===//
2710 class MemOp_rr_base <string opc, bits<2> opcBits, Operand ImmOp,
2711                      string memOp, bits<2> memOpBits> :
2712       MEMInst_V4<(outs),
2713                  (ins IntRegs:$base, ImmOp:$offset, IntRegs:$delta),
2714                  opc#"($base+#$offset)"#memOp#"$delta",
2715                  []>,
2716                  Requires<[UseMEMOP]> {
2717
2718     bits<5> base;
2719     bits<5> delta;
2720     bits<32> offset;
2721     bits<6> offsetBits; // memb - u6:0 , memh - u6:1, memw - u6:2
2722
2723     let offsetBits = !if (!eq(opcBits, 0b00), offset{5-0},
2724                      !if (!eq(opcBits, 0b01), offset{6-1},
2725                      !if (!eq(opcBits, 0b10), offset{7-2},0)));
2726
2727     let opExtentAlign = opcBits;
2728     let IClass = 0b0011;
2729     let Inst{27-24} = 0b1110;
2730     let Inst{22-21} = opcBits;
2731     let Inst{20-16} = base;
2732     let Inst{13} = 0b0;
2733     let Inst{12-7} = offsetBits;
2734     let Inst{6-5} = memOpBits;
2735     let Inst{4-0} = delta;
2736 }
2737
2738 //===----------------------------------------------------------------------===//
2739 // Template class for MemOp instructions with the immediate value.
2740 //===----------------------------------------------------------------------===//
2741 class MemOp_ri_base <string opc, bits<2> opcBits, Operand ImmOp,
2742                      string memOp, bits<2> memOpBits> :
2743       MEMInst_V4 <(outs),
2744                   (ins IntRegs:$base, ImmOp:$offset, u5Imm:$delta),
2745                   opc#"($base+#$offset)"#memOp#"#$delta"
2746                   #!if(memOpBits{1},")", ""), // clrbit, setbit - include ')'
2747                   []>,
2748                   Requires<[UseMEMOP]> {
2749
2750     bits<5> base;
2751     bits<5> delta;
2752     bits<32> offset;
2753     bits<6> offsetBits; // memb - u6:0 , memh - u6:1, memw - u6:2
2754
2755     let offsetBits = !if (!eq(opcBits, 0b00), offset{5-0},
2756                      !if (!eq(opcBits, 0b01), offset{6-1},
2757                      !if (!eq(opcBits, 0b10), offset{7-2},0)));
2758
2759     let opExtentAlign = opcBits;
2760     let IClass = 0b0011;
2761     let Inst{27-24} = 0b1111;
2762     let Inst{22-21} = opcBits;
2763     let Inst{20-16} = base;
2764     let Inst{13} = 0b0;
2765     let Inst{12-7} = offsetBits;
2766     let Inst{6-5} = memOpBits;
2767     let Inst{4-0} = delta;
2768 }
2769
2770 // multiclass to define MemOp instructions with register operand.
2771 multiclass MemOp_rr<string opc, bits<2> opcBits, Operand ImmOp> {
2772   def L4_add#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " += ", 0b00>; // add
2773   def L4_sub#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " -= ", 0b01>; // sub
2774   def L4_and#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " &= ", 0b10>; // and
2775   def L4_or#NAME  : MemOp_rr_base <opc, opcBits, ImmOp, " |= ", 0b11>; // or
2776 }
2777
2778 // multiclass to define MemOp instructions with immediate Operand.
2779 multiclass MemOp_ri<string opc, bits<2> opcBits, Operand ImmOp> {
2780   def L4_iadd#NAME : MemOp_ri_base <opc, opcBits, ImmOp, " += ", 0b00 >;
2781   def L4_isub#NAME : MemOp_ri_base <opc, opcBits, ImmOp, " -= ", 0b01 >;
2782   def L4_iand#NAME : MemOp_ri_base<opc, opcBits, ImmOp, " = clrbit(", 0b10>;
2783   def L4_ior#NAME : MemOp_ri_base<opc, opcBits, ImmOp, " = setbit(", 0b11>;
2784 }
2785
2786 multiclass MemOp_base <string opc, bits<2> opcBits, Operand ImmOp> {
2787   defm _#NAME : MemOp_rr <opc, opcBits, ImmOp>;
2788   defm _#NAME : MemOp_ri <opc, opcBits, ImmOp>;
2789 }
2790
2791 // Define MemOp instructions.
2792 let isExtendable = 1, opExtendable = 1, isExtentSigned = 0,
2793     validSubTargets =HasV4SubT in {
2794   let opExtentBits = 6, accessSize = ByteAccess, isCodeGenOnly = 0 in
2795   defm memopb_io : MemOp_base <"memb", 0b00, u6_0Ext>;
2796
2797   let opExtentBits = 7, accessSize = HalfWordAccess, isCodeGenOnly = 0 in
2798   defm memoph_io : MemOp_base <"memh", 0b01, u6_1Ext>;
2799
2800   let opExtentBits = 8, accessSize = WordAccess, isCodeGenOnly = 0 in
2801   defm memopw_io : MemOp_base <"memw", 0b10, u6_2Ext>;
2802 }
2803
2804 //===----------------------------------------------------------------------===//
2805 // Multiclass to define 'Def Pats' for ALU operations on the memory
2806 // Here value used for the ALU operation is an immediate value.
2807 // mem[bh](Rs+#0) += #U5
2808 // mem[bh](Rs+#u6) += #U5
2809 //===----------------------------------------------------------------------===//
2810
2811 multiclass MemOpi_u5Pats <PatFrag ldOp, PatFrag stOp, PatLeaf ExtPred,
2812                           InstHexagon MI, SDNode OpNode> {
2813   let AddedComplexity = 180 in
2814   def : Pat < (stOp (OpNode (ldOp IntRegs:$addr), u5ImmPred:$addend),
2815                     IntRegs:$addr),
2816               (MI IntRegs:$addr, #0, u5ImmPred:$addend )>;
2817
2818   let AddedComplexity = 190 in
2819   def : Pat <(stOp (OpNode (ldOp (add IntRegs:$base, ExtPred:$offset)),
2820                      u5ImmPred:$addend),
2821              (add IntRegs:$base, ExtPred:$offset)),
2822        (MI IntRegs:$base, ExtPred:$offset, u5ImmPred:$addend)>;
2823 }
2824
2825 multiclass MemOpi_u5ALUOp<PatFrag ldOp, PatFrag stOp, PatLeaf ExtPred,
2826                           InstHexagon addMI, InstHexagon subMI> {
2827   defm : MemOpi_u5Pats<ldOp, stOp, ExtPred, addMI, add>;
2828   defm : MemOpi_u5Pats<ldOp, stOp, ExtPred, subMI, sub>;
2829 }
2830
2831 multiclass MemOpi_u5ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2832   // Half Word
2833   defm : MemOpi_u5ALUOp <ldOpHalf, truncstorei16, u6_1ExtPred,
2834                          L4_iadd_memoph_io, L4_isub_memoph_io>;
2835   // Byte
2836   defm : MemOpi_u5ALUOp <ldOpByte, truncstorei8, u6ExtPred,
2837                          L4_iadd_memopb_io, L4_isub_memopb_io>;
2838 }
2839
2840 let Predicates = [HasV4T, UseMEMOP] in {
2841   defm : MemOpi_u5ExtType<zextloadi8, zextloadi16>; // zero extend
2842   defm : MemOpi_u5ExtType<sextloadi8, sextloadi16>; // sign extend
2843   defm : MemOpi_u5ExtType<extloadi8,  extloadi16>;  // any extend
2844
2845   // Word
2846   defm : MemOpi_u5ALUOp <load, store, u6_2ExtPred, L4_iadd_memopw_io,
2847                          L4_isub_memopw_io>;
2848 }
2849
2850 //===----------------------------------------------------------------------===//
2851 // multiclass to define 'Def Pats' for ALU operations on the memory.
2852 // Here value used for the ALU operation is a negative value.
2853 // mem[bh](Rs+#0) += #m5
2854 // mem[bh](Rs+#u6) += #m5
2855 //===----------------------------------------------------------------------===//
2856
2857 multiclass MemOpi_m5Pats <PatFrag ldOp, PatFrag stOp, PatLeaf extPred,
2858                           PatLeaf immPred, ComplexPattern addrPred,
2859                           SDNodeXForm xformFunc, InstHexagon MI> {
2860   let AddedComplexity = 190 in
2861   def : Pat <(stOp (add (ldOp IntRegs:$addr), immPred:$subend),
2862                    IntRegs:$addr),
2863              (MI IntRegs:$addr, #0, (xformFunc immPred:$subend) )>;
2864
2865   let AddedComplexity = 195 in
2866   def : Pat<(stOp (add (ldOp (add IntRegs:$base, extPred:$offset)),
2867                        immPred:$subend),
2868                   (add IntRegs:$base, extPred:$offset)),
2869             (MI IntRegs:$base, extPred:$offset, (xformFunc immPred:$subend))>;
2870 }
2871
2872 multiclass MemOpi_m5ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2873   // Half Word
2874   defm : MemOpi_m5Pats <ldOpHalf, truncstorei16, u6_1ExtPred, m5HImmPred,
2875                         ADDRriU6_1, MEMOPIMM_HALF, L4_isub_memoph_io>;
2876   // Byte
2877   defm : MemOpi_m5Pats <ldOpByte, truncstorei8, u6ExtPred, m5BImmPred,
2878                         ADDRriU6_0, MEMOPIMM_BYTE, L4_isub_memopb_io>;
2879 }
2880
2881 let Predicates = [HasV4T, UseMEMOP] in {
2882   defm : MemOpi_m5ExtType<zextloadi8, zextloadi16>; // zero extend
2883   defm : MemOpi_m5ExtType<sextloadi8, sextloadi16>; // sign extend
2884   defm : MemOpi_m5ExtType<extloadi8,  extloadi16>;  // any extend
2885
2886   // Word
2887   defm : MemOpi_m5Pats <load, store, u6_2ExtPred, m5ImmPred,
2888                           ADDRriU6_2, MEMOPIMM, L4_isub_memopw_io>;
2889 }
2890
2891 //===----------------------------------------------------------------------===//
2892 // Multiclass to define 'def Pats' for bit operations on the memory.
2893 // mem[bhw](Rs+#0) = [clrbit|setbit](#U5)
2894 // mem[bhw](Rs+#u6) = [clrbit|setbit](#U5)
2895 //===----------------------------------------------------------------------===//
2896
2897 multiclass MemOpi_bitPats <PatFrag ldOp, PatFrag stOp, PatLeaf immPred,
2898                      PatLeaf extPred, ComplexPattern addrPred,
2899                      SDNodeXForm xformFunc, InstHexagon MI, SDNode OpNode> {
2900
2901   // mem[bhw](Rs+#u6:[012]) = [clrbit|setbit](#U5)
2902   let AddedComplexity = 250 in
2903   def : Pat<(stOp (OpNode (ldOp (add IntRegs:$base, extPred:$offset)),
2904                           immPred:$bitend),
2905                   (add IntRegs:$base, extPred:$offset)),
2906             (MI IntRegs:$base, extPred:$offset, (xformFunc immPred:$bitend))>;
2907
2908   // mem[bhw](Rs+#0) = [clrbit|setbit](#U5)
2909   let AddedComplexity = 225 in
2910   def : Pat <(stOp (OpNode (ldOp (addrPred IntRegs:$addr, extPred:$offset)),
2911                            immPred:$bitend),
2912                    (addrPred (i32 IntRegs:$addr), extPred:$offset)),
2913              (MI IntRegs:$addr, extPred:$offset, (xformFunc immPred:$bitend))>;
2914 }
2915
2916 multiclass MemOpi_bitExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2917   // Byte - clrbit
2918   defm : MemOpi_bitPats<ldOpByte, truncstorei8, Clr3ImmPred, u6ExtPred,
2919                        ADDRriU6_0, CLRMEMIMM_BYTE, L4_iand_memopb_io, and>;
2920   // Byte - setbit
2921   defm : MemOpi_bitPats<ldOpByte, truncstorei8, Set3ImmPred,  u6ExtPred,
2922                        ADDRriU6_0, SETMEMIMM_BYTE, L4_ior_memopb_io, or>;
2923   // Half Word - clrbit
2924   defm : MemOpi_bitPats<ldOpHalf, truncstorei16, Clr4ImmPred, u6_1ExtPred,
2925                        ADDRriU6_1, CLRMEMIMM_SHORT, L4_iand_memoph_io, and>;
2926   // Half Word - setbit
2927   defm : MemOpi_bitPats<ldOpHalf, truncstorei16, Set4ImmPred, u6_1ExtPred,
2928                        ADDRriU6_1, SETMEMIMM_SHORT, L4_ior_memoph_io, or>;
2929 }
2930
2931 let Predicates = [HasV4T, UseMEMOP] in {
2932   // mem[bh](Rs+#0) = [clrbit|setbit](#U5)
2933   // mem[bh](Rs+#u6:[01]) = [clrbit|setbit](#U5)
2934   defm : MemOpi_bitExtType<zextloadi8, zextloadi16>; // zero extend
2935   defm : MemOpi_bitExtType<sextloadi8, sextloadi16>; // sign extend
2936   defm : MemOpi_bitExtType<extloadi8,  extloadi16>;  // any extend
2937
2938   // memw(Rs+#0) = [clrbit|setbit](#U5)
2939   // memw(Rs+#u6:2) = [clrbit|setbit](#U5)
2940   defm : MemOpi_bitPats<load, store, Clr5ImmPred, u6_2ExtPred, ADDRriU6_2,
2941                        CLRMEMIMM, L4_iand_memopw_io, and>;
2942   defm : MemOpi_bitPats<load, store, Set5ImmPred, u6_2ExtPred, ADDRriU6_2,
2943                        SETMEMIMM, L4_ior_memopw_io, or>;
2944 }
2945
2946 //===----------------------------------------------------------------------===//
2947 // Multiclass to define 'def Pats' for ALU operations on the memory
2948 // where addend is a register.
2949 // mem[bhw](Rs+#0) [+-&|]= Rt
2950 // mem[bhw](Rs+#U6:[012]) [+-&|]= Rt
2951 //===----------------------------------------------------------------------===//
2952
2953 multiclass MemOpr_Pats <PatFrag ldOp, PatFrag stOp, ComplexPattern addrPred,
2954                      PatLeaf extPred, InstHexagon MI, SDNode OpNode> {
2955   let AddedComplexity = 141 in
2956   // mem[bhw](Rs+#0) [+-&|]= Rt
2957   def : Pat <(stOp (OpNode (ldOp (addrPred IntRegs:$addr, extPred:$offset)),
2958                            (i32 IntRegs:$addend)),
2959                    (addrPred (i32 IntRegs:$addr), extPred:$offset)),
2960              (MI IntRegs:$addr, extPred:$offset, (i32 IntRegs:$addend) )>;
2961
2962   // mem[bhw](Rs+#U6:[012]) [+-&|]= Rt
2963   let AddedComplexity = 150 in
2964   def : Pat <(stOp (OpNode (ldOp (add IntRegs:$base, extPred:$offset)),
2965                            (i32 IntRegs:$orend)),
2966                    (add IntRegs:$base, extPred:$offset)),
2967              (MI IntRegs:$base, extPred:$offset, (i32 IntRegs:$orend) )>;
2968 }
2969
2970 multiclass MemOPr_ALUOp<PatFrag ldOp, PatFrag stOp,
2971                         ComplexPattern addrPred, PatLeaf extPred,
2972                         InstHexagon addMI, InstHexagon subMI,
2973                         InstHexagon andMI, InstHexagon orMI > {
2974
2975   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, addMI, add>;
2976   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, subMI, sub>;
2977   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, andMI, and>;
2978   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, orMI,  or>;
2979 }
2980
2981 multiclass MemOPr_ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2982   // Half Word
2983   defm : MemOPr_ALUOp <ldOpHalf, truncstorei16, ADDRriU6_1, u6_1ExtPred,
2984                        L4_add_memoph_io, L4_sub_memoph_io,
2985                        L4_and_memoph_io, L4_or_memoph_io>;
2986   // Byte
2987   defm : MemOPr_ALUOp <ldOpByte, truncstorei8, ADDRriU6_0, u6ExtPred,
2988                        L4_add_memopb_io, L4_sub_memopb_io,
2989                        L4_and_memopb_io, L4_or_memopb_io>;
2990 }
2991
2992 // Define 'def Pats' for MemOps with register addend.
2993 let Predicates = [HasV4T, UseMEMOP] in {
2994   // Byte, Half Word
2995   defm : MemOPr_ExtType<zextloadi8, zextloadi16>; // zero extend
2996   defm : MemOPr_ExtType<sextloadi8, sextloadi16>; // sign extend
2997   defm : MemOPr_ExtType<extloadi8,  extloadi16>;  // any extend
2998   // Word
2999   defm : MemOPr_ALUOp <load, store, ADDRriU6_2, u6_2ExtPred, L4_add_memopw_io,
3000                        L4_sub_memopw_io, L4_and_memopw_io, L4_or_memopw_io >;
3001 }
3002
3003 //===----------------------------------------------------------------------===//
3004 // XTYPE/PRED +
3005 //===----------------------------------------------------------------------===//
3006
3007 // Hexagon V4 only supports these flavors of byte/half compare instructions:
3008 // EQ/GT/GTU. Other flavors like GE/GEU/LT/LTU/LE/LEU are not supported by
3009 // hardware. However, compiler can still implement these patterns through
3010 // appropriate patterns combinations based on current implemented patterns.
3011 // The implemented patterns are: EQ/GT/GTU.
3012 // Missing patterns are: GE/GEU/LT/LTU/LE/LEU.
3013
3014 // Following instruction is not being extended as it results into the
3015 // incorrect code for negative numbers.
3016 // Pd=cmpb.eq(Rs,#u8)
3017
3018 // p=!cmp.eq(r1,#s10)
3019 let isCodeGenOnly = 0 in {
3020 def C4_cmpneqi  : T_CMP <"cmp.eq",  0b00, 1, s10Ext>;
3021 def C4_cmpltei  : T_CMP <"cmp.gt",  0b01, 1, s10Ext>;
3022 def C4_cmplteui : T_CMP <"cmp.gtu", 0b10, 1, u9Ext>;
3023 }
3024
3025 def : T_CMP_pat <C4_cmpneqi,  setne,  s10ExtPred>;
3026 def : T_CMP_pat <C4_cmpltei,  setle,  s10ExtPred>;
3027 def : T_CMP_pat <C4_cmplteui, setule, u9ImmPred>;
3028
3029 // rs <= rt -> !(rs > rt).
3030 /*
3031 def: Pat<(i1 (setle (i32 IntRegs:$src1), s10ExtPred:$src2)),
3032          (C2_not (C2_cmpgti IntRegs:$src1, s10ExtPred:$src2))>;
3033 //         (C4_cmpltei IntRegs:$src1, s10ExtPred:$src2)>;
3034 */
3035 // Map cmplt(Rs, Imm) -> !cmpgt(Rs, Imm-1).
3036 def: Pat<(i1 (setlt (i32 IntRegs:$src1), s8ExtPred:$src2)),
3037          (C4_cmpltei IntRegs:$src1, (DEC_CONST_SIGNED s8ExtPred:$src2))>;
3038
3039 // rs != rt -> !(rs == rt).
3040 def: Pat<(i1 (setne (i32 IntRegs:$src1), s10ExtPred:$src2)),
3041          (C4_cmpneqi IntRegs:$src1, s10ExtPred:$src2)>;
3042
3043 // SDNode for converting immediate C to C-1.
3044 def DEC_CONST_BYTE : SDNodeXForm<imm, [{
3045    // Return the byte immediate const-1 as an SDNode.
3046    int32_t imm = N->getSExtValue();
3047    return XformU7ToU7M1Imm(imm);
3048 }]>;
3049
3050 // For the sequence
3051 //   zext( seteq ( and(Rs, 255), u8))
3052 // Generate
3053 //   Pd=cmpb.eq(Rs, #u8)
3054 //   if (Pd.new) Rd=#1
3055 //   if (!Pd.new) Rd=#0
3056 def : Pat <(i32 (zext (i1 (seteq (i32 (and (i32 IntRegs:$Rs), 255)),
3057                                            u8ExtPred:$u8)))),
3058            (i32 (TFR_condset_ii (i1 (A4_cmpbeqi (i32 IntRegs:$Rs),
3059                                                  (u8ExtPred:$u8))),
3060                                 1, 0))>,
3061            Requires<[HasV4T]>;
3062
3063 // For the sequence
3064 //   zext( setne ( and(Rs, 255), u8))
3065 // Generate
3066 //   Pd=cmpb.eq(Rs, #u8)
3067 //   if (Pd.new) Rd=#0
3068 //   if (!Pd.new) Rd=#1
3069 def : Pat <(i32 (zext (i1 (setne (i32 (and (i32 IntRegs:$Rs), 255)),
3070                                            u8ExtPred:$u8)))),
3071            (i32 (TFR_condset_ii (i1 (A4_cmpbeqi (i32 IntRegs:$Rs),
3072                                                  (u8ExtPred:$u8))),
3073                                 0, 1))>,
3074            Requires<[HasV4T]>;
3075
3076 // For the sequence
3077 //   zext( seteq (Rs, and(Rt, 255)))
3078 // Generate
3079 //   Pd=cmpb.eq(Rs, Rt)
3080 //   if (Pd.new) Rd=#1
3081 //   if (!Pd.new) Rd=#0
3082 def : Pat <(i32 (zext (i1 (seteq (i32 IntRegs:$Rt),
3083                                  (i32 (and (i32 IntRegs:$Rs), 255)))))),
3084            (i32 (TFR_condset_ii (i1 (A4_cmpbeq (i32 IntRegs:$Rs),
3085                                                       (i32 IntRegs:$Rt))),
3086                                 1, 0))>,
3087            Requires<[HasV4T]>;
3088
3089 // For the sequence
3090 //   zext( setne (Rs, and(Rt, 255)))
3091 // Generate
3092 //   Pd=cmpb.eq(Rs, Rt)
3093 //   if (Pd.new) Rd=#0
3094 //   if (!Pd.new) Rd=#1
3095 def : Pat <(i32 (zext (i1 (setne (i32 IntRegs:$Rt),
3096                                  (i32 (and (i32 IntRegs:$Rs), 255)))))),
3097            (i32 (TFR_condset_ii (i1 (A4_cmpbeq (i32 IntRegs:$Rs),
3098                                                       (i32 IntRegs:$Rt))),
3099                                 0, 1))>,
3100            Requires<[HasV4T]>;
3101
3102 // For the sequence
3103 //   zext( setugt ( and(Rs, 255), u8))
3104 // Generate
3105 //   Pd=cmpb.gtu(Rs, #u8)
3106 //   if (Pd.new) Rd=#1
3107 //   if (!Pd.new) Rd=#0
3108 def : Pat <(i32 (zext (i1 (setugt (i32 (and (i32 IntRegs:$Rs), 255)),
3109                                             u8ExtPred:$u8)))),
3110            (i32 (TFR_condset_ii (i1 (A4_cmpbgtui (i32 IntRegs:$Rs),
3111                                                   (u8ExtPred:$u8))),
3112                                 1, 0))>,
3113            Requires<[HasV4T]>;
3114
3115 // For the sequence
3116 //   zext( setugt ( and(Rs, 254), u8))
3117 // Generate
3118 //   Pd=cmpb.gtu(Rs, #u8)
3119 //   if (Pd.new) Rd=#1
3120 //   if (!Pd.new) Rd=#0
3121 def : Pat <(i32 (zext (i1 (setugt (i32 (and (i32 IntRegs:$Rs), 254)),
3122                                             u8ExtPred:$u8)))),
3123            (i32 (TFR_condset_ii (i1 (A4_cmpbgtui (i32 IntRegs:$Rs),
3124                                                   (u8ExtPred:$u8))),
3125                                 1, 0))>,
3126            Requires<[HasV4T]>;
3127
3128 // For the sequence
3129 //   zext( setult ( Rs, Rt))
3130 // Generate
3131 //   Pd=cmp.ltu(Rs, Rt)
3132 //   if (Pd.new) Rd=#1
3133 //   if (!Pd.new) Rd=#0
3134 // cmp.ltu(Rs, Rt) -> cmp.gtu(Rt, Rs)
3135 def : Pat <(i32 (zext (i1 (setult (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3136            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rt),
3137                                               (i32 IntRegs:$Rs))),
3138                                 1, 0))>,
3139            Requires<[HasV4T]>;
3140
3141 // For the sequence
3142 //   zext( setlt ( Rs, Rt))
3143 // Generate
3144 //   Pd=cmp.lt(Rs, Rt)
3145 //   if (Pd.new) Rd=#1
3146 //   if (!Pd.new) Rd=#0
3147 // cmp.lt(Rs, Rt) -> cmp.gt(Rt, Rs)
3148 def : Pat <(i32 (zext (i1 (setlt (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3149            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rt),
3150                                              (i32 IntRegs:$Rs))),
3151                                 1, 0))>,
3152            Requires<[HasV4T]>;
3153
3154 // For the sequence
3155 //   zext( setugt ( Rs, Rt))
3156 // Generate
3157 //   Pd=cmp.gtu(Rs, Rt)
3158 //   if (Pd.new) Rd=#1
3159 //   if (!Pd.new) Rd=#0
3160 def : Pat <(i32 (zext (i1 (setugt (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3161            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rs),
3162                                               (i32 IntRegs:$Rt))),
3163                                 1, 0))>,
3164            Requires<[HasV4T]>;
3165
3166 // This pattern interefers with coremark performance, not implementing at this
3167 // time.
3168 // For the sequence
3169 //   zext( setgt ( Rs, Rt))
3170 // Generate
3171 //   Pd=cmp.gt(Rs, Rt)
3172 //   if (Pd.new) Rd=#1
3173 //   if (!Pd.new) Rd=#0
3174
3175 // For the sequence
3176 //   zext( setuge ( Rs, Rt))
3177 // Generate
3178 //   Pd=cmp.ltu(Rs, Rt)
3179 //   if (Pd.new) Rd=#0
3180 //   if (!Pd.new) Rd=#1
3181 // cmp.ltu(Rs, Rt) -> cmp.gtu(Rt, Rs)
3182 def : Pat <(i32 (zext (i1 (setuge (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3183            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rt),
3184                                               (i32 IntRegs:$Rs))),
3185                                 0, 1))>,
3186            Requires<[HasV4T]>;
3187
3188 // For the sequence
3189 //   zext( setge ( Rs, Rt))
3190 // Generate
3191 //   Pd=cmp.lt(Rs, Rt)
3192 //   if (Pd.new) Rd=#0
3193 //   if (!Pd.new) Rd=#1
3194 // cmp.lt(Rs, Rt) -> cmp.gt(Rt, Rs)
3195 def : Pat <(i32 (zext (i1 (setge (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3196            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rt),
3197                                              (i32 IntRegs:$Rs))),
3198                                 0, 1))>,
3199            Requires<[HasV4T]>;
3200
3201 // For the sequence
3202 //   zext( setule ( Rs, Rt))
3203 // Generate
3204 //   Pd=cmp.gtu(Rs, Rt)
3205 //   if (Pd.new) Rd=#0
3206 //   if (!Pd.new) Rd=#1
3207 def : Pat <(i32 (zext (i1 (setule (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3208            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rs),
3209                                               (i32 IntRegs:$Rt))),
3210                                 0, 1))>,
3211            Requires<[HasV4T]>;
3212
3213 // For the sequence
3214 //   zext( setle ( Rs, Rt))
3215 // Generate
3216 //   Pd=cmp.gt(Rs, Rt)
3217 //   if (Pd.new) Rd=#0
3218 //   if (!Pd.new) Rd=#1
3219 def : Pat <(i32 (zext (i1 (setle (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3220            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rs),
3221                                              (i32 IntRegs:$Rt))),
3222                                 0, 1))>,
3223            Requires<[HasV4T]>;
3224
3225 // For the sequence
3226 //   zext( setult ( and(Rs, 255), u8))
3227 // Use the isdigit transformation below
3228
3229 // Generate code of the form 'mux_ii(cmpbgtu(Rdd, C-1),0,1)'
3230 // for C code of the form r = ((c>='0') & (c<='9')) ? 1 : 0;.
3231 // The isdigit transformation relies on two 'clever' aspects:
3232 // 1) The data type is unsigned which allows us to eliminate a zero test after
3233 //    biasing the expression by 48. We are depending on the representation of
3234 //    the unsigned types, and semantics.
3235 // 2) The front end has converted <= 9 into < 10 on entry to LLVM
3236 //
3237 // For the C code:
3238 //   retval = ((c>='0') & (c<='9')) ? 1 : 0;
3239 // The code is transformed upstream of llvm into
3240 //   retval = (c-48) < 10 ? 1 : 0;
3241 let AddedComplexity = 139 in
3242 def : Pat <(i32 (zext (i1 (setult (i32 (and (i32 IntRegs:$src1), 255)),
3243                                   u7StrictPosImmPred:$src2)))),
3244   (i32 (C2_muxii (i1 (A4_cmpbgtui (i32 IntRegs:$src1),
3245                                  (DEC_CONST_BYTE u7StrictPosImmPred:$src2))),
3246                    0, 1))>,
3247                    Requires<[HasV4T]>;
3248
3249 //===----------------------------------------------------------------------===//
3250 // XTYPE/PRED -
3251 //===----------------------------------------------------------------------===//
3252
3253 //===----------------------------------------------------------------------===//
3254 // Multiclass for DeallocReturn
3255 //===----------------------------------------------------------------------===//
3256 class L4_RETURN<string mnemonic, bit isNot, bit isPredNew, bit isTak>
3257   : LD0Inst<(outs), (ins PredRegs:$src),
3258   !if(isNot, "if (!$src", "if ($src")#
3259   !if(isPredNew, ".new) ", ") ")#mnemonic#
3260   !if(isPredNew, #!if(isTak,":t", ":nt"),""),
3261   [], "", LD_tc_3or4stall_SLOT0> {
3262
3263     bits<2> src;
3264     let BaseOpcode = "L4_RETURN";
3265     let isPredicatedFalse = isNot;
3266     let isPredicatedNew = isPredNew;
3267     let isTaken = isTak;
3268     let IClass = 0b1001;
3269
3270     let Inst{27-16} = 0b011000011110;
3271
3272     let Inst{13} = isNot;
3273     let Inst{12} = isTak;
3274     let Inst{11} = isPredNew;
3275     let Inst{10} = 0b0;
3276     let Inst{9-8} = src;
3277     let Inst{4-0} = 0b11110;
3278   }
3279
3280 // Produce all predicated forms, p, !p, p.new, !p.new, :t, :nt
3281 multiclass L4_RETURN_PRED<string mnemonic, bit PredNot> {
3282   let isPredicated = 1 in {
3283     def _#NAME# : L4_RETURN <mnemonic, PredNot, 0, 1>;
3284     def _#NAME#new_pnt : L4_RETURN <mnemonic, PredNot, 1, 0>;
3285     def _#NAME#new_pt : L4_RETURN <mnemonic, PredNot, 1, 1>;
3286   }
3287 }
3288
3289 multiclass LD_MISC_L4_RETURN<string mnemonic> {
3290   let isBarrier = 1, isPredicable = 1 in
3291     def NAME : LD0Inst <(outs), (ins), mnemonic, [], "",
3292                         LD_tc_3or4stall_SLOT0> {
3293       let BaseOpcode = "L4_RETURN";
3294       let IClass = 0b1001;
3295       let Inst{27-16} = 0b011000011110;
3296       let Inst{13-10} = 0b0000;
3297       let Inst{4-0} = 0b11110;
3298     }
3299   defm t : L4_RETURN_PRED<mnemonic, 0 >;
3300   defm f : L4_RETURN_PRED<mnemonic, 1 >;
3301 }
3302
3303 let isReturn = 1, isTerminator = 1,
3304     Defs = [R29, R30, R31, PC], Uses = [R30], hasSideEffects = 0,
3305     validSubTargets = HasV4SubT, isCodeGenOnly = 0 in
3306 defm L4_return: LD_MISC_L4_RETURN <"dealloc_return">, PredNewRel;
3307
3308 // Restore registers and dealloc return function call.
3309 let isCall = 1, isBarrier = 1, isReturn = 1, isTerminator = 1,
3310   Defs = [R29, R30, R31, PC], isAsmParserOnly = 1 in {
3311 let validSubTargets = HasV4SubT in
3312   def RESTORE_DEALLOC_RET_JMP_V4 : JInst<(outs),
3313                                    (ins calltarget:$dst),
3314              "jump $dst",
3315              []>,
3316              Requires<[HasV4T]>;
3317 }
3318
3319 // Restore registers and dealloc frame before a tail call.
3320 let isCall = 1, isBarrier = 1, isAsmParserOnly = 1,
3321   Defs = [R29, R30, R31, PC] in {
3322 let validSubTargets = HasV4SubT in
3323   def RESTORE_DEALLOC_BEFORE_TAILCALL_V4 : JInst<(outs),
3324                                            (ins calltarget:$dst),
3325              "call $dst",
3326              []>,
3327              Requires<[HasV4T]>;
3328 }
3329
3330 // Save registers function call.
3331 let isCall = 1, isBarrier = 1, isAsmParserOnly = 1,
3332   Uses = [R29, R31] in {
3333   def SAVE_REGISTERS_CALL_V4 : JInst<(outs),
3334                                (ins calltarget:$dst),
3335              "call $dst // Save_calle_saved_registers",
3336              []>,
3337              Requires<[HasV4T]>;
3338 }
3339
3340 //===----------------------------------------------------------------------===//
3341 // Template class for non predicated store instructions with
3342 // GP-Relative or absolute addressing.
3343 //===----------------------------------------------------------------------===//
3344 let hasSideEffects = 0, isPredicable = 1, isNVStorable = 1 in
3345 class T_StoreAbsGP <string mnemonic, RegisterClass RC, Operand ImmOp,
3346                     bits<2>MajOp, Operand AddrOp, bit isAbs, bit isHalf>
3347   : STInst<(outs), (ins AddrOp:$addr, RC:$src),
3348   mnemonic # !if(isAbs, "(##", "(#")#"$addr) = $src"#!if(isHalf, ".h",""),
3349   [], "", V2LDST_tc_st_SLOT01> {
3350     bits<19> addr;
3351     bits<5> src;
3352     bits<16> offsetBits;
3353
3354     string ImmOpStr = !cast<string>(ImmOp);
3355     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3356                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3357                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3358                                       /* u16_0Imm */ addr{15-0})));
3359     let IClass = 0b0100;
3360     let Inst{27} = 1;
3361     let Inst{26-25} = offsetBits{15-14};
3362     let Inst{24}    = 0b0;
3363     let Inst{23-22} = MajOp;
3364     let Inst{21}    = isHalf;
3365     let Inst{20-16} = offsetBits{13-9};
3366     let Inst{13}    = offsetBits{8};
3367     let Inst{12-8}  = src;
3368     let Inst{7-0}   = offsetBits{7-0};
3369   }
3370
3371 //===----------------------------------------------------------------------===//
3372 // Template class for predicated store instructions with
3373 // GP-Relative or absolute addressing.
3374 //===----------------------------------------------------------------------===//
3375 let hasSideEffects = 0, isPredicated = 1, isNVStorable = 1, opExtentBits = 6,
3376     opExtendable = 1 in
3377 class T_StoreAbs_Pred <string mnemonic, RegisterClass RC, bits<2> MajOp,
3378                        bit isHalf, bit isNot, bit isNew>
3379   : STInst<(outs), (ins PredRegs:$src1, u6Ext:$absaddr, RC: $src2),
3380   !if(isNot, "if (!$src1", "if ($src1")#!if(isNew, ".new) ",
3381   ") ")#mnemonic#"(#$absaddr) = $src2"#!if(isHalf, ".h",""),
3382   [], "", ST_tc_st_SLOT01>, AddrModeRel {
3383     bits<2> src1;
3384     bits<6> absaddr;
3385     bits<5> src2;
3386
3387     let isPredicatedNew = isNew;
3388     let isPredicatedFalse = isNot;
3389
3390     let IClass = 0b1010;
3391
3392     let Inst{27-24} = 0b1111;
3393     let Inst{23-22} = MajOp;
3394     let Inst{21}    = isHalf;
3395     let Inst{17-16} = absaddr{5-4};
3396     let Inst{13}    = isNew;
3397     let Inst{12-8}  = src2;
3398     let Inst{7}     = 0b1;
3399     let Inst{6-3}   = absaddr{3-0};
3400     let Inst{2}     = isNot;
3401     let Inst{1-0}   = src1;
3402   }
3403
3404 //===----------------------------------------------------------------------===//
3405 // Template class for predicated store instructions with absolute addressing.
3406 //===----------------------------------------------------------------------===//
3407 class T_StoreAbs <string mnemonic, RegisterClass RC, Operand ImmOp,
3408                  bits<2> MajOp, bit isHalf>
3409   : T_StoreAbsGP <mnemonic, RC, ImmOp, MajOp, u0AlwaysExt, 1, isHalf>,
3410                   AddrModeRel {
3411   string ImmOpStr = !cast<string>(ImmOp);
3412   let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3413                      !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3414                      !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3415                                       /* u16_0Imm */ 16)));
3416
3417   let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3418                       !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3419                       !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3420                                        /* u16_0Imm */ 0)));
3421 }
3422
3423 //===----------------------------------------------------------------------===//
3424 // Multiclass for store instructions with absolute addressing.
3425 //===----------------------------------------------------------------------===//
3426 let validSubTargets = HasV4SubT, addrMode = Absolute, isExtended = 1 in
3427 multiclass ST_Abs<string mnemonic, string CextOp, RegisterClass RC,
3428                   Operand ImmOp, bits<2> MajOp, bit isHalf = 0> {
3429   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3430     let opExtendable = 0, isPredicable = 1 in
3431     def S2_#NAME#abs : T_StoreAbs <mnemonic, RC, ImmOp, MajOp, isHalf>;
3432
3433     // Predicated
3434     def S4_p#NAME#t_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 0, 0>;
3435     def S4_p#NAME#f_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 1, 0>;
3436
3437     // .new Predicated
3438     def S4_p#NAME#tnew_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 0, 1>;
3439     def S4_p#NAME#fnew_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 1, 1>;
3440   }
3441 }
3442
3443 //===----------------------------------------------------------------------===//
3444 // Template class for non predicated new-value store instructions with
3445 // GP-Relative or absolute addressing.
3446 //===----------------------------------------------------------------------===//
3447 let hasSideEffects = 0, isPredicable = 1, mayStore = 1, isNVStore = 1,
3448     isNewValue = 1, opNewValue = 1 in
3449 class T_StoreAbsGP_NV <string mnemonic, Operand ImmOp, bits<2>MajOp, bit isAbs>
3450   : NVInst_V4<(outs), (ins u0AlwaysExt:$addr, IntRegs:$src),
3451   mnemonic # !if(isAbs, "(##", "(#")#"$addr) = $src.new",
3452   [], "", V2LDST_tc_st_SLOT0> {
3453     bits<19> addr;
3454     bits<3> src;
3455     bits<16> offsetBits;
3456
3457     string ImmOpStr = !cast<string>(ImmOp);
3458     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3459                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3460                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3461                                       /* u16_0Imm */ addr{15-0})));
3462     let IClass = 0b0100;
3463
3464     let Inst{27} = 1;
3465     let Inst{26-25} = offsetBits{15-14};
3466     let Inst{24-21} = 0b0101;
3467     let Inst{20-16} = offsetBits{13-9};
3468     let Inst{13}    = offsetBits{8};
3469     let Inst{12-11} = MajOp;
3470     let Inst{10-8}  = src;
3471     let Inst{7-0}   = offsetBits{7-0};
3472   }
3473
3474 //===----------------------------------------------------------------------===//
3475 // Template class for predicated new-value store instructions with
3476 // absolute addressing.
3477 //===----------------------------------------------------------------------===//
3478 let hasSideEffects = 0, isPredicated = 1, mayStore = 1, isNVStore = 1,
3479     isNewValue = 1, opNewValue = 2, opExtentBits = 6, opExtendable = 1 in
3480 class T_StoreAbs_NV_Pred <string mnemonic, bits<2> MajOp, bit isNot, bit isNew>
3481   : NVInst_V4<(outs), (ins PredRegs:$src1, u6Ext:$absaddr, IntRegs:$src2),
3482   !if(isNot, "if (!$src1", "if ($src1")#!if(isNew, ".new) ",
3483   ") ")#mnemonic#"(#$absaddr) = $src2.new",
3484   [], "", ST_tc_st_SLOT0>, AddrModeRel {
3485     bits<2> src1;
3486     bits<6> absaddr;
3487     bits<3> src2;
3488
3489     let isPredicatedNew = isNew;
3490     let isPredicatedFalse = isNot;
3491
3492     let IClass = 0b1010;
3493
3494     let Inst{27-24} = 0b1111;
3495     let Inst{23-21} = 0b101;
3496     let Inst{17-16} = absaddr{5-4};
3497     let Inst{13}    = isNew;
3498     let Inst{12-11} = MajOp;
3499     let Inst{10-8}  = src2;
3500     let Inst{7}     = 0b1;
3501     let Inst{6-3}   = absaddr{3-0};
3502     let Inst{2}     = isNot;
3503     let Inst{1-0}   = src1;
3504 }
3505
3506 //===----------------------------------------------------------------------===//
3507 // Template class for non-predicated new-value store instructions with
3508 // absolute addressing.
3509 //===----------------------------------------------------------------------===//
3510 class T_StoreAbs_NV <string mnemonic, Operand ImmOp, bits<2> MajOp>
3511   : T_StoreAbsGP_NV <mnemonic, ImmOp, MajOp, 1>, AddrModeRel {
3512
3513   string ImmOpStr = !cast<string>(ImmOp);
3514   let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3515                      !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3516                      !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3517                                       /* u16_0Imm */ 16)));
3518
3519   let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3520                       !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3521                       !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3522                                        /* u16_0Imm */ 0)));
3523 }
3524
3525 //===----------------------------------------------------------------------===//
3526 // Multiclass for new-value store instructions with absolute addressing.
3527 //===----------------------------------------------------------------------===//
3528 let validSubTargets = HasV4SubT, addrMode = Absolute, isExtended = 1  in
3529 multiclass ST_Abs_NV <string mnemonic, string CextOp, Operand ImmOp,
3530                    bits<2> MajOp> {
3531   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3532     let opExtendable = 0, isPredicable = 1 in
3533     def S2_#NAME#newabs : T_StoreAbs_NV <mnemonic, ImmOp, MajOp>;
3534
3535     // Predicated
3536     def S4_p#NAME#newt_abs  : T_StoreAbs_NV_Pred <mnemonic, MajOp, 0, 0>;
3537     def S4_p#NAME#newf_abs  : T_StoreAbs_NV_Pred <mnemonic, MajOp, 1, 0>;
3538
3539     // .new Predicated
3540     def S4_p#NAME#newtnew_abs : T_StoreAbs_NV_Pred <mnemonic, MajOp, 0, 1>;
3541     def S4_p#NAME#newfnew_abs : T_StoreAbs_NV_Pred <mnemonic, MajOp, 1, 1>;
3542   }
3543 }
3544
3545 //===----------------------------------------------------------------------===//
3546 // Stores with absolute addressing
3547 //===----------------------------------------------------------------------===//
3548 let accessSize = ByteAccess, isCodeGenOnly = 0 in
3549 defm storerb : ST_Abs    <"memb", "STrib", IntRegs, u16_0Imm, 0b00>,
3550                ST_Abs_NV <"memb", "STrib", u16_0Imm, 0b00>;
3551
3552 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in
3553 defm storerh : ST_Abs    <"memh", "STrih", IntRegs, u16_1Imm, 0b01>,
3554                ST_Abs_NV <"memh", "STrih", u16_1Imm, 0b01>;
3555
3556 let accessSize = WordAccess, isCodeGenOnly = 0 in
3557 defm storeri : ST_Abs    <"memw", "STriw", IntRegs, u16_2Imm, 0b10>,
3558                ST_Abs_NV <"memw", "STriw", u16_2Imm, 0b10>;
3559
3560 let isNVStorable = 0, accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
3561 defm storerd : ST_Abs <"memd", "STrid", DoubleRegs, u16_3Imm, 0b11>;
3562
3563 let isNVStorable = 0, accessSize = HalfWordAccess, isCodeGenOnly = 0 in
3564 defm storerf : ST_Abs <"memh", "STrif", IntRegs, u16_1Imm, 0b01, 1>;
3565
3566 //===----------------------------------------------------------------------===//
3567 // GP-relative stores.
3568 // mem[bhwd](#global)=Rt
3569 // Once predicated, these instructions map to absolute addressing mode.
3570 // if ([!]Pv[.new]) mem[bhwd](##global)=Rt
3571 //===----------------------------------------------------------------------===//
3572
3573 let validSubTargets = HasV4SubT, isAsmParserOnly = 1 in
3574 class T_StoreGP <string mnemonic, string BaseOp, RegisterClass RC,
3575                  Operand ImmOp, bits<2> MajOp, bit isHalf = 0>
3576   : T_StoreAbsGP <mnemonic, RC, ImmOp, MajOp, globaladdress, 0, isHalf> {
3577     // Set BaseOpcode same as absolute addressing instructions so that
3578     // non-predicated GP-Rel instructions can have relate with predicated
3579     // Absolute instruction.
3580     let BaseOpcode = BaseOp#_abs;
3581   }
3582
3583 let validSubTargets = HasV4SubT, isAsmParserOnly = 1 in
3584 multiclass ST_GP <string mnemonic, string BaseOp, Operand ImmOp,
3585                   bits<2> MajOp, bit isHalf = 0> {
3586   // Set BaseOpcode same as absolute addressing instructions so that
3587   // non-predicated GP-Rel instructions can have relate with predicated
3588   // Absolute instruction.
3589   let BaseOpcode = BaseOp#_abs in {
3590     def NAME#gp : T_StoreAbsGP <mnemonic, IntRegs, ImmOp, MajOp,
3591                                 globaladdress, 0, isHalf>;
3592     // New-value store
3593     def NAME#newgp : T_StoreAbsGP_NV <mnemonic, ImmOp, MajOp, 0> ;
3594   }
3595 }
3596
3597 let accessSize = ByteAccess in
3598 defm S2_storerb : ST_GP<"memb", "STrib", u16_0Imm, 0b00>, NewValueRel;
3599
3600 let accessSize = HalfWordAccess in
3601 defm S2_storerh : ST_GP<"memh", "STrih", u16_1Imm, 0b01>, NewValueRel;
3602
3603 let accessSize = WordAccess in
3604 defm S2_storeri : ST_GP<"memw", "STriw", u16_2Imm, 0b10>, NewValueRel;
3605
3606 let isNVStorable = 0, accessSize = DoubleWordAccess in
3607 def S2_storerdgp : T_StoreGP <"memd", "STrid", DoubleRegs,
3608                               u16_3Imm, 0b11>, PredNewRel;
3609
3610 let isNVStorable = 0, accessSize = HalfWordAccess in
3611 def S2_storerfgp : T_StoreGP <"memh", "STrif", IntRegs,
3612                               u16_1Imm, 0b01, 1>, PredNewRel;
3613
3614 class Loada_pat<PatFrag Load, ValueType VT, PatFrag Addr, InstHexagon MI>
3615   : Pat<(VT (Load Addr:$addr)), (MI Addr:$addr)>;
3616
3617 class Loadam_pat<PatFrag Load, ValueType VT, PatFrag Addr, PatFrag ValueMod,
3618                  InstHexagon MI>
3619   : Pat<(VT (Load Addr:$addr)), (ValueMod (MI Addr:$addr))>;
3620
3621 class Storea_pat<PatFrag Store, PatFrag Value, PatFrag Addr, InstHexagon MI>
3622   : Pat<(Store Value:$val, Addr:$addr), (MI Addr:$addr, Value:$val)>;
3623
3624 class Stoream_pat<PatFrag Store, PatFrag Value, PatFrag Addr, PatFrag ValueMod,
3625                   InstHexagon MI>
3626   : Pat<(Store Value:$val, Addr:$addr),
3627         (MI Addr:$addr, (ValueMod Value:$val))>;
3628
3629 def: Storea_pat<SwapSt<atomic_store_8>,  I32, addrgp, S2_storerbgp>;
3630 def: Storea_pat<SwapSt<atomic_store_16>, I32, addrgp, S2_storerhgp>;
3631 def: Storea_pat<SwapSt<atomic_store_32>, I32, addrgp, S2_storerigp>;
3632 def: Storea_pat<SwapSt<atomic_store_64>, I64, addrgp, S2_storerdgp>;
3633
3634 let AddedComplexity = 100 in {
3635   def: Storea_pat<truncstorei8,  I32, addrgp, S2_storerbgp>;
3636   def: Storea_pat<truncstorei16, I32, addrgp, S2_storerhgp>;
3637   def: Storea_pat<store,         I32, addrgp, S2_storerigp>;
3638   def: Storea_pat<store,         I64, addrgp, S2_storerdgp>;
3639
3640   // Map from "i1 = constant<-1>; memw(CONST32(#foo)) = i1"
3641   //       to "r0 = 1; memw(#foo) = r0"
3642   let AddedComplexity = 100 in
3643   def: Pat<(store (i1 -1), (HexagonCONST32_GP tglobaladdr:$global)),
3644            (S2_storerbgp tglobaladdr:$global, (A2_tfrsi 1))>;
3645 }
3646
3647 //===----------------------------------------------------------------------===//
3648 // Template class for non predicated load instructions with
3649 // absolute addressing mode.
3650 //===----------------------------------------------------------------------===//
3651 let isPredicable = 1, hasSideEffects = 0, validSubTargets = HasV4SubT in
3652 class T_LoadAbsGP <string mnemonic, RegisterClass RC, Operand ImmOp,
3653                    bits<3> MajOp, Operand AddrOp, bit isAbs>
3654   : LDInst <(outs RC:$dst), (ins AddrOp:$addr),
3655   "$dst = "#mnemonic# !if(isAbs, "(##", "(#")#"$addr)",
3656   [], "", V2LDST_tc_ld_SLOT01> {
3657     bits<5> dst;
3658     bits<19> addr;
3659     bits<16> offsetBits;
3660
3661     string ImmOpStr = !cast<string>(ImmOp);
3662     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3663                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3664                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3665                                       /* u16_0Imm */ addr{15-0})));
3666
3667     let IClass = 0b0100;
3668
3669     let Inst{27}    = 0b1;
3670     let Inst{26-25} = offsetBits{15-14};
3671     let Inst{24}    = 0b1;
3672     let Inst{23-21} = MajOp;
3673     let Inst{20-16} = offsetBits{13-9};
3674     let Inst{13-5}  = offsetBits{8-0};
3675     let Inst{4-0}   = dst;
3676   }
3677
3678 class T_LoadAbs <string mnemonic, RegisterClass RC, Operand ImmOp,
3679                  bits<3> MajOp>
3680   : T_LoadAbsGP <mnemonic, RC, ImmOp, MajOp, u0AlwaysExt, 1>, AddrModeRel {
3681
3682     string ImmOpStr = !cast<string>(ImmOp);
3683     let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3684                        !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3685                        !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3686                                         /* u16_0Imm */ 16)));
3687
3688     let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3689                         !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3690                         !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3691                                         /* u16_0Imm */ 0)));
3692   }
3693 //===----------------------------------------------------------------------===//
3694 // Template class for predicated load instructions with
3695 // absolute addressing mode.
3696 //===----------------------------------------------------------------------===//
3697 let isPredicated = 1, hasNewValue = 1, opExtentBits = 6, opExtendable = 2 in
3698 class T_LoadAbs_Pred <string mnemonic, RegisterClass RC, bits<3> MajOp,
3699                       bit isPredNot, bit isPredNew>
3700   : LDInst <(outs RC:$dst), (ins PredRegs:$src1, u6Ext:$absaddr),
3701   !if(isPredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
3702   ") ")#"$dst = "#mnemonic#"(#$absaddr)">, AddrModeRel {
3703     bits<5> dst;
3704     bits<2> src1;
3705     bits<6> absaddr;
3706
3707     let isPredicatedNew = isPredNew;
3708     let isPredicatedFalse = isPredNot;
3709
3710     let IClass = 0b1001;
3711
3712     let Inst{27-24} = 0b1111;
3713     let Inst{23-21} = MajOp;
3714     let Inst{20-16} = absaddr{5-1};
3715     let Inst{13} = 0b1;
3716     let Inst{12} = isPredNew;
3717     let Inst{11} = isPredNot;
3718     let Inst{10-9} = src1;
3719     let Inst{8} = absaddr{0};
3720     let Inst{7} = 0b1;
3721     let Inst{4-0} = dst;
3722   }
3723
3724 //===----------------------------------------------------------------------===//
3725 // Multiclass for the load instructions with absolute addressing mode.
3726 //===----------------------------------------------------------------------===//
3727 multiclass LD_Abs_Pred<string mnemonic, RegisterClass RC, bits<3> MajOp,
3728                        bit PredNot> {
3729   def _abs : T_LoadAbs_Pred <mnemonic, RC, MajOp, PredNot, 0>;
3730   // Predicate new
3731   def new_abs : T_LoadAbs_Pred <mnemonic, RC, MajOp, PredNot, 1>;
3732 }
3733
3734 let addrMode = Absolute, isExtended = 1 in
3735 multiclass LD_Abs<string mnemonic, string CextOp, RegisterClass RC,
3736                   Operand ImmOp, bits<3> MajOp> {
3737   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3738     let opExtendable = 1, isPredicable = 1 in
3739     def L4_#NAME#_abs: T_LoadAbs <mnemonic, RC, ImmOp, MajOp>;
3740
3741     // Predicated
3742     defm L4_p#NAME#t : LD_Abs_Pred<mnemonic, RC, MajOp, 0>;
3743     defm L4_p#NAME#f : LD_Abs_Pred<mnemonic, RC, MajOp, 1>;
3744   }
3745 }
3746
3747 let accessSize = ByteAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
3748   defm loadrb  : LD_Abs<"memb",  "LDrib",  IntRegs, u16_0Imm, 0b000>;
3749   defm loadrub : LD_Abs<"memub", "LDriub", IntRegs, u16_0Imm, 0b001>;
3750 }
3751
3752 let accessSize = HalfWordAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
3753   defm loadrh  : LD_Abs<"memh",  "LDrih",  IntRegs, u16_1Imm, 0b010>;
3754   defm loadruh : LD_Abs<"memuh", "LDriuh", IntRegs, u16_1Imm, 0b011>;
3755 }
3756
3757 let accessSize = WordAccess, hasNewValue = 1, isCodeGenOnly = 0 in
3758 defm loadri  : LD_Abs<"memw",  "LDriw",  IntRegs, u16_2Imm, 0b100>;
3759
3760 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
3761 defm loadrd  : LD_Abs<"memd",  "LDrid", DoubleRegs, u16_3Imm, 0b110>;
3762
3763 //===----------------------------------------------------------------------===//
3764 // multiclass for load instructions with GP-relative addressing mode.
3765 // Rx=mem[bhwd](##global)
3766 // Once predicated, these instructions map to absolute addressing mode.
3767 // if ([!]Pv[.new]) Rx=mem[bhwd](##global)
3768 //===----------------------------------------------------------------------===//
3769
3770 let isAsmParserOnly = 1 in
3771 class T_LoadGP <string mnemonic, string BaseOp, RegisterClass RC, Operand ImmOp,
3772                 bits<3> MajOp>
3773   : T_LoadAbsGP <mnemonic, RC, ImmOp, MajOp, globaladdress, 0>, PredNewRel {
3774     let BaseOpcode = BaseOp#_abs;
3775   }
3776
3777 let accessSize = ByteAccess, hasNewValue = 1 in {
3778   def L2_loadrbgp  : T_LoadGP<"memb",  "LDrib",  IntRegs, u16_0Imm, 0b000>;
3779   def L2_loadrubgp : T_LoadGP<"memub", "LDriub", IntRegs, u16_0Imm, 0b001>;
3780 }
3781
3782 let accessSize = HalfWordAccess, hasNewValue = 1 in {
3783   def L2_loadrhgp  : T_LoadGP<"memh",  "LDrih",  IntRegs, u16_1Imm, 0b010>;
3784   def L2_loadruhgp : T_LoadGP<"memuh", "LDriuh", IntRegs, u16_1Imm, 0b011>;
3785 }
3786
3787 let accessSize = WordAccess, hasNewValue = 1 in
3788 def L2_loadrigp  : T_LoadGP<"memw",  "LDriw",  IntRegs, u16_2Imm, 0b100>;
3789
3790 let accessSize = DoubleWordAccess in
3791 def L2_loadrdgp  : T_LoadGP<"memd", "LDrid", DoubleRegs, u16_3Imm, 0b110>;
3792
3793 def: Loada_pat<atomic_load_8,  i32, addrgp, L2_loadrubgp>;
3794 def: Loada_pat<atomic_load_16, i32, addrgp, L2_loadruhgp>;
3795 def: Loada_pat<atomic_load_32, i32, addrgp, L2_loadrigp>;
3796 def: Loada_pat<atomic_load_64, i64, addrgp, L2_loadrdgp>;
3797
3798 // Map from load(globaladdress) -> mem[u][bhwd](#foo)
3799 class LoadGP_pats <PatFrag ldOp, InstHexagon MI, ValueType VT = i32>
3800   : Pat <(VT (ldOp (HexagonCONST32_GP tglobaladdr:$global))),
3801          (VT (MI tglobaladdr:$global))>;
3802
3803 let AddedComplexity = 100 in {
3804   def: LoadGP_pats <extloadi8, L2_loadrbgp>;
3805   def: LoadGP_pats <sextloadi8, L2_loadrbgp>;
3806   def: LoadGP_pats <zextloadi8, L2_loadrubgp>;
3807   def: LoadGP_pats <extloadi16, L2_loadrhgp>;
3808   def: LoadGP_pats <sextloadi16, L2_loadrhgp>;
3809   def: LoadGP_pats <zextloadi16, L2_loadruhgp>;
3810   def: LoadGP_pats <load, L2_loadrigp>;
3811   def: LoadGP_pats <load, L2_loadrdgp, i64>;
3812 }
3813
3814 // When the Interprocedural Global Variable optimizer realizes that a certain
3815 // global variable takes only two constant values, it shrinks the global to
3816 // a boolean. Catch those loads here in the following 3 patterns.
3817 let AddedComplexity = 100 in {
3818   def: LoadGP_pats <extloadi1, L2_loadrubgp>;
3819   def: LoadGP_pats <zextloadi1, L2_loadrubgp>;
3820 }
3821
3822 def: Pat<(i64 (ctlz I64:$src1)), (Zext64 (S2_cl0p I64:$src1))>;
3823 def: Pat<(i64 (cttz I64:$src1)), (Zext64 (S2_ct0p I64:$src1))>;
3824
3825 let AddedComplexity  = 30 in {
3826   def: Storea_pat<truncstorei8,  I32, u0AlwaysExtPred, S2_storerbabs>;
3827   def: Storea_pat<truncstorei16, I32, u0AlwaysExtPred, S2_storerhabs>;
3828   def: Storea_pat<store,         I32, u0AlwaysExtPred, S2_storeriabs>;
3829 }
3830
3831 let AddedComplexity  = 30 in {
3832   def: Loada_pat<load,        i32, u0AlwaysExtPred, L4_loadri_abs>;
3833   def: Loada_pat<sextloadi8,  i32, u0AlwaysExtPred, L4_loadrb_abs>;
3834   def: Loada_pat<zextloadi8,  i32, u0AlwaysExtPred, L4_loadrub_abs>;
3835   def: Loada_pat<sextloadi16, i32, u0AlwaysExtPred, L4_loadrh_abs>;
3836   def: Loada_pat<zextloadi16, i32, u0AlwaysExtPred, L4_loadruh_abs>;
3837 }
3838
3839 // Indexed store word - global address.
3840 // memw(Rs+#u6:2)=#S8
3841 let AddedComplexity = 100 in
3842 def: Storex_add_pat<store, addrga, u6_2ImmPred, S4_storeiri_io>;
3843
3844 // Load from a global address that has only one use in the current basic block.
3845 let AddedComplexity = 100 in {
3846   def: Loada_pat<extloadi8,   i32, addrga, L4_loadrub_abs>;
3847   def: Loada_pat<sextloadi8,  i32, addrga, L4_loadrb_abs>;
3848   def: Loada_pat<zextloadi8,  i32, addrga, L4_loadrub_abs>;
3849
3850   def: Loada_pat<extloadi16,  i32, addrga, L4_loadruh_abs>;
3851   def: Loada_pat<sextloadi16, i32, addrga, L4_loadrh_abs>;
3852   def: Loada_pat<zextloadi16, i32, addrga, L4_loadruh_abs>;
3853
3854   def: Loada_pat<load,        i32, addrga, L4_loadri_abs>;
3855   def: Loada_pat<load,        i64, addrga, L4_loadrd_abs>;
3856 }
3857
3858 // Store to a global address that has only one use in the current basic block.
3859 let AddedComplexity = 100 in {
3860   def: Storea_pat<truncstorei8,  I32, addrga, S2_storerbabs>;
3861   def: Storea_pat<truncstorei16, I32, addrga, S2_storerhabs>;
3862   def: Storea_pat<store,         I32, addrga, S2_storeriabs>;
3863   def: Storea_pat<store,         I64, addrga, S2_storerdabs>;
3864
3865   def: Stoream_pat<truncstorei32, I64, addrga, LoReg, S2_storeriabs>;
3866 }
3867
3868 // Map from Pd = load(globaladdress) -> Rd = memb(globaladdress), Pd = Rd
3869 let AddedComplexity = 100 in
3870 def : Pat <(i1 (load (HexagonCONST32_GP tglobaladdr:$global))),
3871            (i1 (C2_tfrrp (i32 (L2_loadrbgp tglobaladdr:$global))))>;
3872
3873 // Transfer global address into a register
3874 let isExtended = 1, opExtendable = 1, AddedComplexity=50, isMoveImm = 1,
3875 isAsCheapAsAMove = 1, isReMaterializable = 1, validSubTargets = HasV4SubT,
3876 isCodeGenOnly = 1 in
3877 def TFRI_V4 : ALU32_ri<(outs IntRegs:$dst), (ins s16Ext:$src1),
3878            "$dst = #$src1",
3879            [(set IntRegs:$dst, (HexagonCONST32 tglobaladdr:$src1))]>,
3880            Requires<[HasV4T]>;
3881
3882 // Transfer a block address into a register
3883 def : Pat<(HexagonCONST32_GP tblockaddress:$src1),
3884           (TFRI_V4 tblockaddress:$src1)>,
3885           Requires<[HasV4T]>;
3886
3887 let AddedComplexity = 50, Predicates = [HasV4T] in
3888 def : Pat<(HexagonCONST32_GP tglobaladdr:$src1),
3889            (TFRI_V4 tglobaladdr:$src1)>,
3890            Requires<[HasV4T]>;
3891
3892 // i8/i16/i32 -> i64 loads
3893 // We need a complexity of 120 here to override preceding handling of
3894 // zextload.
3895 let AddedComplexity = 120 in {
3896   def: Loadam_pat<extloadi8,   i64, addrga, Zext64, L4_loadrub_abs>;
3897   def: Loadam_pat<sextloadi8,  i64, addrga, Sext64, L4_loadrb_abs>;
3898   def: Loadam_pat<zextloadi8,  i64, addrga, Zext64, L4_loadrub_abs>;
3899
3900   def: Loadam_pat<extloadi16,  i64, addrga, Zext64, L4_loadruh_abs>;
3901   def: Loadam_pat<sextloadi16, i64, addrga, Sext64, L4_loadrh_abs>;
3902   def: Loadam_pat<zextloadi16, i64, addrga, Zext64, L4_loadruh_abs>;
3903
3904   def: Loadam_pat<extloadi32,  i64, addrga, Zext64, L4_loadri_abs>;
3905   def: Loadam_pat<sextloadi32, i64, addrga, Sext64, L4_loadri_abs>;
3906   def: Loadam_pat<zextloadi32, i64, addrga, Zext64, L4_loadri_abs>;
3907
3908 let AddedComplexity = 100 in {
3909   def: Loada_pat<extloadi8,   i32, addrgp, L4_loadrub_abs>;
3910   def: Loada_pat<sextloadi8,  i32, addrgp, L4_loadrb_abs>;
3911   def: Loada_pat<zextloadi8,  i32, addrgp, L4_loadrub_abs>;
3912
3913   def: Loada_pat<extloadi16,  i32, addrgp, L4_loadruh_abs>;
3914   def: Loada_pat<sextloadi16, i32, addrgp, L4_loadrh_abs>;
3915   def: Loada_pat<zextloadi16, i32, addrgp, L4_loadruh_abs>;
3916
3917   def: Loada_pat<load,        i32, addrgp, L4_loadri_abs>;
3918   def: Loada_pat<load,        i64, addrgp, L4_loadrd_abs>;
3919 }
3920 }
3921 let AddedComplexity = 100 in {
3922   def: Storea_pat<truncstorei8,  I32, addrgp, S2_storerbabs>;
3923   def: Storea_pat<truncstorei16, I32, addrgp, S2_storerhabs>;
3924   def: Storea_pat<store,         I32, addrgp, S2_storeriabs>;
3925   def: Storea_pat<store,         I64, addrgp, S2_storerdabs>;
3926 }
3927
3928 def: Loada_pat<atomic_load_8,  i32, addrgp, L4_loadrub_abs>;
3929 def: Loada_pat<atomic_load_16, i32, addrgp, L4_loadruh_abs>;
3930 def: Loada_pat<atomic_load_32, i32, addrgp, L4_loadri_abs>;
3931 def: Loada_pat<atomic_load_64, i64, addrgp, L4_loadrd_abs>;
3932
3933 def: Storea_pat<SwapSt<atomic_store_8>,  I32, addrgp, S2_storerbabs>;
3934 def: Storea_pat<SwapSt<atomic_store_16>, I32, addrgp, S2_storerhabs>;
3935 def: Storea_pat<SwapSt<atomic_store_32>, I32, addrgp, S2_storeriabs>;
3936 def: Storea_pat<SwapSt<atomic_store_64>, I64, addrgp, S2_storerdabs>;
3937
3938 //===----------------------------------------------------------------------===//
3939 // :raw for of boundscheck:hi:lo insns
3940 //===----------------------------------------------------------------------===//
3941
3942 // A4_boundscheck_lo: Detect if a register is within bounds.
3943 let hasSideEffects = 0, isCodeGenOnly = 0 in
3944 def A4_boundscheck_lo: ALU64Inst <
3945   (outs PredRegs:$Pd),
3946   (ins DoubleRegs:$Rss, DoubleRegs:$Rtt),
3947   "$Pd = boundscheck($Rss, $Rtt):raw:lo"> {
3948     bits<2> Pd;
3949     bits<5> Rss;
3950     bits<5> Rtt;
3951
3952     let IClass = 0b1101;
3953
3954     let Inst{27-23} = 0b00100;
3955     let Inst{13} = 0b1;
3956     let Inst{7-5} = 0b100;
3957     let Inst{1-0} = Pd;
3958     let Inst{20-16} = Rss;
3959     let Inst{12-8} = Rtt;
3960   }
3961
3962 // A4_boundscheck_hi: Detect if a register is within bounds.
3963 let hasSideEffects = 0, isCodeGenOnly = 0 in
3964 def A4_boundscheck_hi: ALU64Inst <
3965   (outs PredRegs:$Pd),
3966   (ins DoubleRegs:$Rss, DoubleRegs:$Rtt),
3967   "$Pd = boundscheck($Rss, $Rtt):raw:hi"> {
3968     bits<2> Pd;
3969     bits<5> Rss;
3970     bits<5> Rtt;
3971
3972     let IClass = 0b1101;
3973
3974     let Inst{27-23} = 0b00100;
3975     let Inst{13} = 0b1;
3976     let Inst{7-5} = 0b101;
3977     let Inst{1-0} = Pd;
3978     let Inst{20-16} = Rss;
3979     let Inst{12-8} = Rtt;
3980   }
3981
3982 let hasSideEffects = 0, isAsmParserOnly = 1 in
3983 def A4_boundscheck : MInst <
3984   (outs PredRegs:$Pd), (ins IntRegs:$Rs, DoubleRegs:$Rtt),
3985   "$Pd=boundscheck($Rs,$Rtt)">;
3986
3987 // A4_tlbmatch: Detect if a VA/ASID matches a TLB entry.
3988 let isPredicateLate = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
3989 def A4_tlbmatch : ALU64Inst<(outs PredRegs:$Pd),
3990   (ins DoubleRegs:$Rs, IntRegs:$Rt),
3991   "$Pd = tlbmatch($Rs, $Rt)",
3992   [], "", ALU64_tc_2early_SLOT23> {
3993     bits<2> Pd;
3994     bits<5> Rs;
3995     bits<5> Rt;
3996
3997     let IClass = 0b1101;
3998     let Inst{27-23} = 0b00100;
3999     let Inst{20-16} = Rs;
4000     let Inst{13} = 0b1;
4001     let Inst{12-8} = Rt;
4002     let Inst{7-5} = 0b011;
4003     let Inst{1-0} = Pd;
4004   }
4005
4006 // We need custom lowering of ISD::PREFETCH into HexagonISD::DCFETCH
4007 // because the SDNode ISD::PREFETCH has properties MayLoad and MayStore.
4008 // We don't really want either one here.
4009 def SDTHexagonDCFETCH : SDTypeProfile<0, 2, [SDTCisPtrTy<0>,SDTCisInt<1>]>;
4010 def HexagonDCFETCH : SDNode<"HexagonISD::DCFETCH", SDTHexagonDCFETCH,
4011                             [SDNPHasChain]>;
4012
4013 // Use LD0Inst for dcfetch, but set "mayLoad" to 0 because this doesn't
4014 // really do a load.
4015 let hasSideEffects = 1, mayLoad = 0, isCodeGenOnly = 0 in
4016 def Y2_dcfetchbo : LD0Inst<(outs), (ins IntRegs:$Rs, u11_3Imm:$u11_3),
4017       "dcfetch($Rs + #$u11_3)",
4018       [(HexagonDCFETCH IntRegs:$Rs, u11_3ImmPred:$u11_3)],
4019       "", LD_tc_ld_SLOT0> {
4020   bits<5> Rs;
4021   bits<14> u11_3;
4022
4023   let IClass = 0b1001;
4024   let Inst{27-21} = 0b0100000;
4025   let Inst{20-16} = Rs;
4026   let Inst{13} = 0b0;
4027   let Inst{10-0} = u11_3{13-3};
4028 }
4029
4030 //===----------------------------------------------------------------------===//
4031 // Compound instructions
4032 //===----------------------------------------------------------------------===//
4033
4034 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4035     isPredicated = 1, isPredicatedNew = 1, isExtendable = 1,
4036     opExtentBits = 11, opExtentAlign = 2, opExtendable = 1,
4037     isTerminator = 1, validSubTargets = HasV4SubT in
4038 class CJInst_tstbit_R0<string px, bit np, string tnt>
4039   : InstHexagon<(outs), (ins IntRegs:$Rs, brtarget:$r9_2),
4040   ""#px#" = tstbit($Rs, #0); if ("
4041     #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4042   [], "", COMPOUND, TypeCOMPOUND> {
4043   bits<4> Rs;
4044   bits<11> r9_2;
4045
4046   // np: !p[01]
4047   let isPredicatedFalse = np;
4048   // tnt: Taken/Not Taken
4049   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4050   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4051
4052   let IClass = 0b0001;
4053   let Inst{27-26} = 0b00;
4054   let Inst{25} = !if (!eq(px, "!p1"), 1,
4055                  !if (!eq(px,  "p1"), 1, 0));
4056   let Inst{24-23} = 0b11;
4057   let Inst{22} = np;
4058   let Inst{21-20} = r9_2{10-9};
4059   let Inst{19-16} = Rs;
4060   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4061   let Inst{9-8} = 0b11;
4062   let Inst{7-1} = r9_2{8-2};
4063 }
4064
4065 let Defs = [PC, P0], Uses = [P0], isCodeGenOnly = 0 in {
4066   def J4_tstbit0_tp0_jump_nt : CJInst_tstbit_R0<"p0", 0, "nt">;
4067   def J4_tstbit0_tp0_jump_t : CJInst_tstbit_R0<"p0", 0, "t">;
4068   def J4_tstbit0_fp0_jump_nt : CJInst_tstbit_R0<"p0", 1, "nt">;
4069   def J4_tstbit0_fp0_jump_t : CJInst_tstbit_R0<"p0", 1, "t">;
4070 }
4071
4072 let Defs = [PC, P1], Uses = [P1], isCodeGenOnly = 0 in {
4073   def J4_tstbit0_tp1_jump_nt : CJInst_tstbit_R0<"p1", 0, "nt">;
4074   def J4_tstbit0_tp1_jump_t : CJInst_tstbit_R0<"p1", 0, "t">;
4075   def J4_tstbit0_fp1_jump_nt : CJInst_tstbit_R0<"p1", 1, "nt">;
4076   def J4_tstbit0_fp1_jump_t : CJInst_tstbit_R0<"p1", 1, "t">;
4077 }
4078
4079
4080 let isBranch = 1, hasSideEffects = 0,
4081     isExtentSigned = 1, isPredicated = 1, isPredicatedNew = 1,
4082     isExtendable = 1, opExtentBits = 11, opExtentAlign = 2,
4083     opExtendable = 2, isTerminator = 1, validSubTargets = HasV4SubT in
4084 class CJInst_RR<string px, string op, bit np, string tnt>
4085   : InstHexagon<(outs), (ins IntRegs:$Rs, IntRegs:$Rt, brtarget:$r9_2),
4086   ""#px#" = cmp."#op#"($Rs, $Rt); if ("
4087    #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4088   [], "", COMPOUND, TypeCOMPOUND> {
4089   bits<4> Rs;
4090   bits<4> Rt;
4091   bits<11> r9_2;
4092
4093   // np: !p[01]
4094   let isPredicatedFalse = np;
4095   // tnt: Taken/Not Taken
4096   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4097   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4098
4099   let IClass = 0b0001;
4100   let Inst{27-23} = !if (!eq(op, "eq"),  0b01000,
4101                     !if (!eq(op, "gt"),  0b01001,
4102                     !if (!eq(op, "gtu"), 0b01010, 0)));
4103   let Inst{22} = np;
4104   let Inst{21-20} = r9_2{10-9};
4105   let Inst{19-16} = Rs;
4106   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4107   // px: Predicate reg 0/1
4108   let Inst{12} = !if (!eq(px, "!p1"), 1,
4109                  !if (!eq(px,  "p1"), 1, 0));
4110   let Inst{11-8} = Rt;
4111   let Inst{7-1} = r9_2{8-2};
4112 }
4113
4114 // P[10] taken/not taken.
4115 multiclass T_tnt_CJInst_RR<string op, bit np> {
4116   let Defs = [PC, P0], Uses = [P0] in {
4117     def NAME#p0_jump_nt : CJInst_RR<"p0", op, np, "nt">;
4118     def NAME#p0_jump_t : CJInst_RR<"p0", op, np, "t">;
4119   }
4120   let Defs = [PC, P1], Uses = [P1] in {
4121     def NAME#p1_jump_nt : CJInst_RR<"p1", op, np, "nt">;
4122     def NAME#p1_jump_t : CJInst_RR<"p1", op, np, "t">;
4123   }
4124 }
4125 // Predicate / !Predicate
4126 multiclass T_pnp_CJInst_RR<string op>{
4127   defm J4_cmp#NAME#_t : T_tnt_CJInst_RR<op, 0>;
4128   defm J4_cmp#NAME#_f : T_tnt_CJInst_RR<op, 1>;
4129 }
4130 // TypeCJ Instructions compare RR and jump
4131 let isCodeGenOnly = 0 in {
4132 defm eq : T_pnp_CJInst_RR<"eq">;
4133 defm gt : T_pnp_CJInst_RR<"gt">;
4134 defm gtu : T_pnp_CJInst_RR<"gtu">;
4135 }
4136
4137 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4138     isPredicated = 1, isPredicatedNew = 1, isExtendable = 1, opExtentBits = 11,
4139     opExtentAlign = 2, opExtendable = 2, isTerminator = 1,
4140     validSubTargets = HasV4SubT in
4141 class CJInst_RU5<string px, string op, bit np, string tnt>
4142   : InstHexagon<(outs), (ins IntRegs:$Rs, u5Imm:$U5, brtarget:$r9_2),
4143   ""#px#" = cmp."#op#"($Rs, #$U5); if ("
4144     #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4145   [], "", COMPOUND, TypeCOMPOUND> {
4146   bits<4> Rs;
4147   bits<5> U5;
4148   bits<11> r9_2;
4149
4150   // np: !p[01]
4151   let isPredicatedFalse = np;
4152   // tnt: Taken/Not Taken
4153   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4154   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4155
4156   let IClass = 0b0001;
4157   let Inst{27-26} = 0b00;
4158   // px: Predicate reg 0/1
4159   let Inst{25} = !if (!eq(px, "!p1"), 1,
4160                  !if (!eq(px,  "p1"), 1, 0));
4161   let Inst{24-23} = !if (!eq(op, "eq"),  0b00,
4162                     !if (!eq(op, "gt"),  0b01,
4163                     !if (!eq(op, "gtu"), 0b10, 0)));
4164   let Inst{22} = np;
4165   let Inst{21-20} = r9_2{10-9};
4166   let Inst{19-16} = Rs;
4167   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4168   let Inst{12-8} = U5;
4169   let Inst{7-1} = r9_2{8-2};
4170 }
4171 // P[10] taken/not taken.
4172 multiclass T_tnt_CJInst_RU5<string op, bit np> {
4173   let Defs = [PC, P0], Uses = [P0] in {
4174     def NAME#p0_jump_nt : CJInst_RU5<"p0", op, np, "nt">;
4175     def NAME#p0_jump_t : CJInst_RU5<"p0", op, np, "t">;
4176   }
4177   let Defs = [PC, P1], Uses = [P1] in {
4178     def NAME#p1_jump_nt : CJInst_RU5<"p1", op, np, "nt">;
4179     def NAME#p1_jump_t : CJInst_RU5<"p1", op, np, "t">;
4180   }
4181 }
4182 // Predicate / !Predicate
4183 multiclass T_pnp_CJInst_RU5<string op>{
4184   defm J4_cmp#NAME#i_t : T_tnt_CJInst_RU5<op, 0>;
4185   defm J4_cmp#NAME#i_f : T_tnt_CJInst_RU5<op, 1>;
4186 }
4187 // TypeCJ Instructions compare RI and jump
4188 let isCodeGenOnly = 0 in {
4189 defm eq : T_pnp_CJInst_RU5<"eq">;
4190 defm gt : T_pnp_CJInst_RU5<"gt">;
4191 defm gtu : T_pnp_CJInst_RU5<"gtu">;
4192 }
4193
4194 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4195     isPredicated = 1, isPredicatedFalse = 1, isPredicatedNew = 1,
4196     isExtendable = 1, opExtentBits = 11, opExtentAlign = 2, opExtendable = 1,
4197     isTerminator = 1, validSubTargets = HasV4SubT in
4198 class CJInst_Rn1<string px, string op, bit np, string tnt>
4199   : InstHexagon<(outs), (ins IntRegs:$Rs, brtarget:$r9_2),
4200   ""#px#" = cmp."#op#"($Rs,#-1); if ("
4201   #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4202   [], "", COMPOUND, TypeCOMPOUND> {
4203   bits<4> Rs;
4204   bits<11> r9_2;
4205
4206   // np: !p[01]
4207   let isPredicatedFalse = np;
4208   // tnt: Taken/Not Taken
4209   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4210   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4211
4212   let IClass = 0b0001;
4213   let Inst{27-26} = 0b00;
4214   let Inst{25} = !if (!eq(px, "!p1"), 1,
4215                  !if (!eq(px,  "p1"), 1, 0));
4216
4217   let Inst{24-23} = 0b11;
4218   let Inst{22} = np;
4219   let Inst{21-20} = r9_2{10-9};
4220   let Inst{19-16} = Rs;
4221   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4222   let Inst{9-8} = !if (!eq(op, "eq"),  0b00,
4223                   !if (!eq(op, "gt"),  0b01, 0));
4224   let Inst{7-1} = r9_2{8-2};
4225 }
4226
4227 // P[10] taken/not taken.
4228 multiclass T_tnt_CJInst_Rn1<string op, bit np> {
4229   let Defs = [PC, P0], Uses = [P0] in {
4230     def NAME#p0_jump_nt : CJInst_Rn1<"p0", op, np, "nt">;
4231     def NAME#p0_jump_t : CJInst_Rn1<"p0", op, np, "t">;
4232   }
4233   let Defs = [PC, P1], Uses = [P1] in {
4234     def NAME#p1_jump_nt : CJInst_Rn1<"p1", op, np, "nt">;
4235     def NAME#p1_jump_t : CJInst_Rn1<"p1", op, np, "t">;
4236   }
4237 }
4238 // Predicate / !Predicate
4239 multiclass T_pnp_CJInst_Rn1<string op>{
4240   defm J4_cmp#NAME#n1_t : T_tnt_CJInst_Rn1<op, 0>;
4241   defm J4_cmp#NAME#n1_f : T_tnt_CJInst_Rn1<op, 1>;
4242 }
4243 // TypeCJ Instructions compare -1 and jump
4244 let isCodeGenOnly = 0 in {
4245 defm eq : T_pnp_CJInst_Rn1<"eq">;
4246 defm gt : T_pnp_CJInst_Rn1<"gt">;
4247 }
4248
4249 // J4_jumpseti: Direct unconditional jump and set register to immediate.
4250 let Defs = [PC], isBranch = 1, hasSideEffects = 0, hasNewValue = 1,
4251     isExtentSigned = 1, opNewValue = 0, isExtendable = 1, opExtentBits = 11,
4252     opExtentAlign = 2, opExtendable = 2, validSubTargets = HasV4SubT,
4253     isCodeGenOnly = 0 in
4254 def J4_jumpseti: CJInst <
4255   (outs IntRegs:$Rd),
4256   (ins u6Imm:$U6, brtarget:$r9_2),
4257   "$Rd = #$U6 ; jump $r9_2"> {
4258     bits<4> Rd;
4259     bits<6> U6;
4260     bits<11> r9_2;
4261
4262     let IClass = 0b0001;
4263     let Inst{27-24} = 0b0110;
4264     let Inst{21-20} = r9_2{10-9};
4265     let Inst{19-16} = Rd;
4266     let Inst{13-8} = U6;
4267     let Inst{7-1} = r9_2{8-2};
4268   }
4269
4270 // J4_jumpsetr: Direct unconditional jump and transfer register.
4271 let Defs = [PC], isBranch = 1, hasSideEffects = 0, hasNewValue = 1,
4272     isExtentSigned = 1, opNewValue = 0, isExtendable = 1, opExtentBits = 11,
4273     opExtentAlign = 2, opExtendable = 2, validSubTargets = HasV4SubT,
4274     isCodeGenOnly = 0 in
4275 def J4_jumpsetr: CJInst <
4276   (outs IntRegs:$Rd),
4277   (ins IntRegs:$Rs, brtarget:$r9_2),
4278   "$Rd = $Rs ; jump $r9_2"> {
4279     bits<4> Rd;
4280     bits<4> Rs;
4281     bits<11> r9_2;
4282
4283     let IClass = 0b0001;
4284     let Inst{27-24} = 0b0111;
4285     let Inst{21-20} = r9_2{10-9};
4286     let Inst{11-8} = Rd;
4287     let Inst{19-16} = Rs;
4288     let Inst{7-1} = r9_2{8-2};
4289   }