lib/Target/ARM/ARMInstrInfo.td

   1 //===- ARMInstrInfo.td - Target Description for ARM Target -*- tablegen -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file describes the ARM instructions in TableGen format.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 //===----------------------------------------------------------------------===//
  15 // ARM specific DAG Nodes.
  16 //
  17
  18 // Type profiles.
  19 def SDT_ARMCallSeqStart : SDCallSeqStart<[ SDTCisVT<0, i32> ]>;
  20 def SDT_ARMCallSeqEnd   : SDCallSeqEnd<[ SDTCisVT<0, i32>, SDTCisVT<1, i32> ]>;
  21
  22 def SDT_ARMSaveCallPC : SDTypeProfile<0, 1, []>;
  23
  24 def SDT_ARMcall    : SDTypeProfile<0, -1, [SDTCisPtrTy<0>]>;
  25
  26 def SDT_ARMCMov    : SDTypeProfile<1, 3,
  27                                    [SDTCisSameAs<0, 1>, SDTCisSameAs<0, 2>,
  28                                     SDTCisVT<3, i32>]>;
  29
  30 def SDT_ARMBrcond  : SDTypeProfile<0, 2,
  31                                    [SDTCisVT<0, OtherVT>, SDTCisVT<1, i32>]>;
  32
  33 def SDT_ARMBrJT    : SDTypeProfile<0, 3,
  34                                   [SDTCisPtrTy<0>, SDTCisVT<1, i32>,
  35                                    SDTCisVT<2, i32>]>;
  36
  37 def SDT_ARMBr2JT   : SDTypeProfile<0, 4,
  38                                   [SDTCisPtrTy<0>, SDTCisVT<1, i32>,
  39                                    SDTCisVT<2, i32>, SDTCisVT<3, i32>]>;
  40
  41 def SDT_ARMBCC_i64 : SDTypeProfile<0, 6,
  42                                   [SDTCisVT<0, i32>,
  43                                    SDTCisVT<1, i32>, SDTCisVT<2, i32>,
  44                                    SDTCisVT<3, i32>, SDTCisVT<4, i32>,
  45                                    SDTCisVT<5, OtherVT>]>;
  46
  47 def SDT_ARMAnd     : SDTypeProfile<1, 2,
  48                                    [SDTCisVT<0, i32>, SDTCisVT<1, i32>,
  49                                     SDTCisVT<2, i32>]>;
  50
  51 def SDT_ARMCmp     : SDTypeProfile<0, 2, [SDTCisSameAs<0, 1>]>;
  52
  53 def SDT_ARMPICAdd  : SDTypeProfile<1, 2, [SDTCisSameAs<0, 1>,
  54                                           SDTCisPtrTy<1>, SDTCisVT<2, i32>]>;
  55
  56 def SDT_ARMThreadPointer : SDTypeProfile<1, 0, [SDTCisPtrTy<0>]>;
  57 def SDT_ARMEH_SJLJ_Setjmp : SDTypeProfile<1, 2, [SDTCisInt<0>, SDTCisPtrTy<1>,
  58                                                  SDTCisInt<2>]>;
  59 def SDT_ARMEH_SJLJ_Longjmp: SDTypeProfile<0, 2, [SDTCisPtrTy<0>, SDTCisInt<1>]>;
  60
  61 def SDT_ARMEH_SJLJ_DispatchSetup: SDTypeProfile<0, 1, [SDTCisPtrTy<0>]>;
  62
  63 def SDT_ARMMEMBARRIER     : SDTypeProfile<0, 1, [SDTCisInt<0>]>;
  64
  65 def SDT_ARMTCRET : SDTypeProfile<0, 1, [SDTCisPtrTy<0>]>;
  66
  67 def SDT_ARMBFI : SDTypeProfile<1, 3, [SDTCisVT<0, i32>, SDTCisVT<1, i32>,
  68                                       SDTCisVT<2, i32>, SDTCisVT<3, i32>]>;
  69
  70 // Node definitions.
  71 def ARMWrapper       : SDNode<"ARMISD::Wrapper",     SDTIntUnaryOp>;
  72 def ARMWrapperJT     : SDNode<"ARMISD::WrapperJT",   SDTIntBinOp>;
  73
  74 def ARMcallseq_start : SDNode<"ISD::CALLSEQ_START", SDT_ARMCallSeqStart,
  75                               [SDNPHasChain, SDNPOutFlag]>;
  76 def ARMcallseq_end   : SDNode<"ISD::CALLSEQ_END",   SDT_ARMCallSeqEnd,
  77                               [SDNPHasChain, SDNPOptInFlag, SDNPOutFlag]>;
  78
  79 def ARMcall          : SDNode<"ARMISD::CALL", SDT_ARMcall,
  80                               [SDNPHasChain, SDNPOptInFlag, SDNPOutFlag,
  81                                SDNPVariadic]>;
  82 def ARMcall_pred    : SDNode<"ARMISD::CALL_PRED", SDT_ARMcall,
  83                               [SDNPHasChain, SDNPOptInFlag, SDNPOutFlag,
  84                                SDNPVariadic]>;
  85 def ARMcall_nolink   : SDNode<"ARMISD::CALL_NOLINK", SDT_ARMcall,
  86                               [SDNPHasChain, SDNPOptInFlag, SDNPOutFlag,
  87                                SDNPVariadic]>;
  88
  89 def ARMretflag       : SDNode<"ARMISD::RET_FLAG", SDTNone,
  90                               [SDNPHasChain, SDNPOptInFlag]>;
  91
  92 def ARMcmov          : SDNode<"ARMISD::CMOV", SDT_ARMCMov,
  93                               [SDNPInFlag]>;
  94 def ARMcneg          : SDNode<"ARMISD::CNEG", SDT_ARMCMov,
  95                               [SDNPInFlag]>;
  96
  97 def ARMbrcond        : SDNode<"ARMISD::BRCOND", SDT_ARMBrcond,
  98                               [SDNPHasChain, SDNPInFlag, SDNPOutFlag]>;
  99
 100 def ARMbrjt          : SDNode<"ARMISD::BR_JT", SDT_ARMBrJT,
 101                               [SDNPHasChain]>;
 102 def ARMbr2jt         : SDNode<"ARMISD::BR2_JT", SDT_ARMBr2JT,
 103                               [SDNPHasChain]>;
 104
 105 def ARMBcci64        : SDNode<"ARMISD::BCC_i64", SDT_ARMBCC_i64,
 106                               [SDNPHasChain]>;
 107
 108 def ARMcmp           : SDNode<"ARMISD::CMP", SDT_ARMCmp,
 109                               [SDNPOutFlag]>;
 110
 111 def ARMcmpZ          : SDNode<"ARMISD::CMPZ", SDT_ARMCmp,
 112                               [SDNPOutFlag, SDNPCommutative]>;
 113
 114 def ARMpic_add       : SDNode<"ARMISD::PIC_ADD", SDT_ARMPICAdd>;
 115
 116 def ARMsrl_flag      : SDNode<"ARMISD::SRL_FLAG", SDTIntUnaryOp, [SDNPOutFlag]>;
 117 def ARMsra_flag      : SDNode<"ARMISD::SRA_FLAG", SDTIntUnaryOp, [SDNPOutFlag]>;
 118 def ARMrrx           : SDNode<"ARMISD::RRX"     , SDTIntUnaryOp, [SDNPInFlag ]>;
 119
 120 def ARMthread_pointer: SDNode<"ARMISD::THREAD_POINTER", SDT_ARMThreadPointer>;
 121 def ARMeh_sjlj_setjmp: SDNode<"ARMISD::EH_SJLJ_SETJMP",
 122                                SDT_ARMEH_SJLJ_Setjmp, [SDNPHasChain]>;
 123 def ARMeh_sjlj_longjmp: SDNode<"ARMISD::EH_SJLJ_LONGJMP",
 124                                SDT_ARMEH_SJLJ_Longjmp, [SDNPHasChain]>;
 125 def ARMeh_sjlj_dispatchsetup: SDNode<"ARMISD::EH_SJLJ_DISPATCHSETUP",
 126                                SDT_ARMEH_SJLJ_DispatchSetup, [SDNPHasChain]>;
 127
 128
 129 def ARMMemBarrier     : SDNode<"ARMISD::MEMBARRIER", SDT_ARMMEMBARRIER,
 130                                [SDNPHasChain]>;
 131 def ARMMemBarrierMCR  : SDNode<"ARMISD::MEMBARRIER_MCR", SDT_ARMMEMBARRIER,
 132                                [SDNPHasChain]>;
 133 def ARMPreload        : SDNode<"ARMISD::PRELOAD", SDTPrefetch,
 134                                [SDNPHasChain, SDNPMayLoad, SDNPMayStore]>;
 135
 136 def ARMrbit          : SDNode<"ARMISD::RBIT", SDTIntUnaryOp>;
 137
 138 def ARMtcret         : SDNode<"ARMISD::TC_RETURN", SDT_ARMTCRET,
 139                         [SDNPHasChain,  SDNPOptInFlag, SDNPVariadic]>;
 140
 141
 142 def ARMbfi           : SDNode<"ARMISD::BFI", SDT_ARMBFI>;
 143
 144 //===----------------------------------------------------------------------===//
 145 // ARM Instruction Predicate Definitions.
 146 //
 147 def HasV4T           : Predicate<"Subtarget->hasV4TOps()">, AssemblerPredicate;
 148 def NoV4T            : Predicate<"!Subtarget->hasV4TOps()">;
 149 def HasV5T           : Predicate<"Subtarget->hasV5TOps()">;
 150 def HasV5TE          : Predicate<"Subtarget->hasV5TEOps()">, AssemblerPredicate;
 151 def HasV6            : Predicate<"Subtarget->hasV6Ops()">, AssemblerPredicate;
 152 def HasV6T2          : Predicate<"Subtarget->hasV6T2Ops()">, AssemblerPredicate;
 153 def NoV6T2           : Predicate<"!Subtarget->hasV6T2Ops()">;
 154 def HasV7            : Predicate<"Subtarget->hasV7Ops()">, AssemblerPredicate;
 155 def NoVFP            : Predicate<"!Subtarget->hasVFP2()">;
 156 def HasVFP2          : Predicate<"Subtarget->hasVFP2()">, AssemblerPredicate;
 157 def HasVFP3          : Predicate<"Subtarget->hasVFP3()">, AssemblerPredicate;
 158 def HasNEON          : Predicate<"Subtarget->hasNEON()">, AssemblerPredicate;
 159 def HasDivide        : Predicate<"Subtarget->hasDivide()">, AssemblerPredicate;
 160 def HasT2ExtractPack : Predicate<"Subtarget->hasT2ExtractPack()">,
 161                                  AssemblerPredicate;
 162 def HasDB            : Predicate<"Subtarget->hasDataBarrier()">,
 163                                  AssemblerPredicate;
 164 def HasMP            : Predicate<"Subtarget->hasMPExtension()">,
 165                                  AssemblerPredicate;
 166 def UseNEONForFP     : Predicate<"Subtarget->useNEONForSinglePrecisionFP()">;
 167 def DontUseNEONForFP : Predicate<"!Subtarget->useNEONForSinglePrecisionFP()">;
 168 def IsThumb          : Predicate<"Subtarget->isThumb()">, AssemblerPredicate;
 169 def IsThumb1Only     : Predicate<"Subtarget->isThumb1Only()">;
 170 def IsThumb2         : Predicate<"Subtarget->isThumb2()">, AssemblerPredicate;
 171 def IsARM            : Predicate<"!Subtarget->isThumb()">, AssemblerPredicate;
 172 def IsDarwin         : Predicate<"Subtarget->isTargetDarwin()">;
 173 def IsNotDarwin      : Predicate<"!Subtarget->isTargetDarwin()">;
 174
 175 // FIXME: Eventually this will be just "hasV6T2Ops".
 176 def UseMovt          : Predicate<"Subtarget->useMovt()">;
 177 def DontUseMovt      : Predicate<"!Subtarget->useMovt()">;
 178 def UseVMLx          : Predicate<"Subtarget->useVMLx()">;
 179
 180 //===----------------------------------------------------------------------===//
 181 // ARM Flag Definitions.
 182
 183 class RegConstraint<string C> {
 184   string Constraints = C;
 185 }
 186
 187 //===----------------------------------------------------------------------===//
 188 //  ARM specific transformation functions and pattern fragments.
 189 //
 190
 191 // so_imm_neg_XFORM - Return a so_imm value packed into the format described for
 192 // so_imm_neg def below.
 193 def so_imm_neg_XFORM : SDNodeXForm<imm, [{
 194   return CurDAG->getTargetConstant(-(int)N->getZExtValue(), MVT::i32);
 195 }]>;
 196
 197 // so_imm_not_XFORM - Return a so_imm value packed into the format described for
 198 // so_imm_not def below.
 199 def so_imm_not_XFORM : SDNodeXForm<imm, [{
 200   return CurDAG->getTargetConstant(~(int)N->getZExtValue(), MVT::i32);
 201 }]>;
 202
 203 /// imm1_15 predicate - True if the 32-bit immediate is in the range [1,15].
 204 def imm1_15 : PatLeaf<(i32 imm), [{
 205   return (int32_t)N->getZExtValue() >= 1 && (int32_t)N->getZExtValue() < 16;
 206 }]>;
 207
 208 /// imm16_31 predicate - True if the 32-bit immediate is in the range [16,31].
 209 def imm16_31 : PatLeaf<(i32 imm), [{
 210   return (int32_t)N->getZExtValue() >= 16 && (int32_t)N->getZExtValue() < 32;
 211 }]>;
 212
 213 def so_imm_neg :
 214   PatLeaf<(imm), [{
 215     return ARM_AM::getSOImmVal(-(uint32_t)N->getZExtValue()) != -1;
 216   }], so_imm_neg_XFORM>;
 217
 218 def so_imm_not :
 219   PatLeaf<(imm), [{
 220     return ARM_AM::getSOImmVal(~(uint32_t)N->getZExtValue()) != -1;
 221   }], so_imm_not_XFORM>;
 222
 223 // sext_16_node predicate - True if the SDNode is sign-extended 16 or more bits.
 224 def sext_16_node : PatLeaf<(i32 GPR:$a), [{
 225   return CurDAG->ComputeNumSignBits(SDValue(N,0)) >= 17;
 226 }]>;
 227
 228 /// bf_inv_mask_imm predicate - An AND mask to clear an arbitrary width bitfield
 229 /// e.g., 0xf000ffff
 230 def bf_inv_mask_imm : Operand<i32>,
 231                       PatLeaf<(imm), [{
 232   return ARM::isBitFieldInvertedMask(N->getZExtValue());
 233 }] > {
 234   let EncoderMethod = "getBitfieldInvertedMaskOpValue";
 235   let PrintMethod = "printBitfieldInvMaskImmOperand";
 236 }
 237
 238 /// Split a 32-bit immediate into two 16 bit parts.
 239 def hi16 : SDNodeXForm<imm, [{
 240   return CurDAG->getTargetConstant((uint32_t)N->getZExtValue() >> 16, MVT::i32);
 241 }]>;
 242
 243 def lo16AllZero : PatLeaf<(i32 imm), [{
 244   // Returns true if all low 16-bits are 0.
 245   return (((uint32_t)N->getZExtValue()) & 0xFFFFUL) == 0;
 246 }], hi16>;
 247
 248 /// imm0_65535 predicate - True if the 32-bit immediate is in the range
 249 /// [0.65535].
 250 def imm0_65535 : PatLeaf<(i32 imm), [{
 251   return (uint32_t)N->getZExtValue() < 65536;
 252 }]>;
 253
 254 class BinOpFrag<dag res> : PatFrag<(ops node:$LHS, node:$RHS), res>;
 255 class UnOpFrag <dag res> : PatFrag<(ops node:$Src), res>;
 256
 257 /// adde and sube predicates - True based on whether the carry flag output
 258 /// will be needed or not.
 259 def adde_dead_carry :
 260   PatFrag<(ops node:$LHS, node:$RHS), (adde node:$LHS, node:$RHS),
 261   [{return !N->hasAnyUseOfValue(1);}]>;
 262 def sube_dead_carry :
 263   PatFrag<(ops node:$LHS, node:$RHS), (sube node:$LHS, node:$RHS),
 264   [{return !N->hasAnyUseOfValue(1);}]>;
 265 def adde_live_carry :
 266   PatFrag<(ops node:$LHS, node:$RHS), (adde node:$LHS, node:$RHS),
 267   [{return N->hasAnyUseOfValue(1);}]>;
 268 def sube_live_carry :
 269   PatFrag<(ops node:$LHS, node:$RHS), (sube node:$LHS, node:$RHS),
 270   [{return N->hasAnyUseOfValue(1);}]>;
 271
 272 // An 'and' node with a single use.
 273 def and_su : PatFrag<(ops node:$lhs, node:$rhs), (and node:$lhs, node:$rhs), [{
 274   return N->hasOneUse();
 275 }]>;
 276
 277 // An 'xor' node with a single use.
 278 def xor_su : PatFrag<(ops node:$lhs, node:$rhs), (xor node:$lhs, node:$rhs), [{
 279   return N->hasOneUse();
 280 }]>;
 281
 282 //===----------------------------------------------------------------------===//
 283 // Operand Definitions.
 284 //
 285
 286 // Branch target.
 287 def brtarget : Operand<OtherVT> {
 288   let EncoderMethod = "getBranchTargetOpValue";
 289 }
 290
 291 // Call target.
 292 def bltarget : Operand<i32> {
 293   // Encoded the same as branch targets.
 294   let EncoderMethod = "getBranchTargetOpValue";
 295 }
 296
 297 // A list of registers separated by comma. Used by load/store multiple.
 298 def RegListAsmOperand : AsmOperandClass {
 299   let Name = "RegList";
 300   let SuperClasses = [];
 301 }
 302
 303 def DPRRegListAsmOperand : AsmOperandClass {
 304   let Name = "DPRRegList";
 305   let SuperClasses = [];
 306 }
 307
 308 def SPRRegListAsmOperand : AsmOperandClass {
 309   let Name = "SPRRegList";
 310   let SuperClasses = [];
 311 }
 312
 313 def reglist : Operand<i32> {
 314   let EncoderMethod = "getRegisterListOpValue";
 315   let ParserMatchClass = RegListAsmOperand;
 316   let PrintMethod = "printRegisterList";
 317 }
 318
 319 def dpr_reglist : Operand<i32> {
 320   let EncoderMethod = "getRegisterListOpValue";
 321   let ParserMatchClass = DPRRegListAsmOperand;
 322   let PrintMethod = "printRegisterList";
 323 }
 324
 325 def spr_reglist : Operand<i32> {
 326   let EncoderMethod = "getRegisterListOpValue";
 327   let ParserMatchClass = SPRRegListAsmOperand;
 328   let PrintMethod = "printRegisterList";
 329 }
 330
 331 // An operand for the CONSTPOOL_ENTRY pseudo-instruction.
 332 def cpinst_operand : Operand<i32> {
 333   let PrintMethod = "printCPInstOperand";
 334 }
 335
 336 // Local PC labels.
 337 def pclabel : Operand<i32> {
 338   let PrintMethod = "printPCLabel";
 339 }
 340
 341 def neon_vcvt_imm32 : Operand<i32> {
 342   let EncoderMethod = "getNEONVcvtImm32OpValue";
 343 }
 344
 345 // rot_imm: An integer that encodes a rotate amount. Must be 8, 16, or 24.
 346 def rot_imm : Operand<i32>, PatLeaf<(i32 imm), [{
 347     int32_t v = (int32_t)N->getZExtValue();
 348     return v == 8 || v == 16 || v == 24; }]> {
 349   let EncoderMethod = "getRotImmOpValue";
 350 }
 351
 352 // shift_imm: An integer that encodes a shift amount and the type of shift
 353 // (currently either asr or lsl) using the same encoding used for the
 354 // immediates in so_reg operands.
 355 def shift_imm : Operand<i32> {
 356   let PrintMethod = "printShiftImmOperand";
 357 }
 358
 359 // shifter_operand operands: so_reg and so_imm.
 360 def so_reg : Operand<i32>,    // reg reg imm
 361              ComplexPattern<i32, 3, "SelectShifterOperandReg",
 362                             [shl,srl,sra,rotr]> {
 363   let EncoderMethod = "getSORegOpValue";
 364   let PrintMethod = "printSORegOperand";
 365   let MIOperandInfo = (ops GPR, GPR, i32imm);
 366 }
 367 def shift_so_reg : Operand<i32>,    // reg reg imm
 368                    ComplexPattern<i32, 3, "SelectShiftShifterOperandReg",
 369                                   [shl,srl,sra,rotr]> {
 370   let EncoderMethod = "getSORegOpValue";
 371   let PrintMethod = "printSORegOperand";
 372   let MIOperandInfo = (ops GPR, GPR, i32imm);
 373 }
 374
 375 // so_imm - Match a 32-bit shifter_operand immediate operand, which is an
 376 // 8-bit immediate rotated by an arbitrary number of bits.  so_imm values are
 377 // represented in the imm field in the same 12-bit form that they are encoded
 378 // into so_imm instructions: the 8-bit immediate is the least significant bits
 379 // [bits 0-7], the 4-bit shift amount is the next 4 bits [bits 8-11].
 380 def so_imm : Operand<i32>, PatLeaf<(imm), [{ return Pred_so_imm(N); }]> {
 381   let EncoderMethod = "getSOImmOpValue";
 382   let PrintMethod = "printSOImmOperand";
 383 }
 384
 385 // Break so_imm's up into two pieces.  This handles immediates with up to 16
 386 // bits set in them.  This uses so_imm2part to match and so_imm2part_[12] to
 387 // get the first/second pieces.
 388 def so_imm2part : PatLeaf<(imm), [{
 389       return ARM_AM::isSOImmTwoPartVal((unsigned)N->getZExtValue());
 390 }]>;
 391
 392 /// arm_i32imm - True for +V6T2, or true only if so_imm2part is true.
 393 ///
 394 def arm_i32imm : PatLeaf<(imm), [{
 395   if (Subtarget->hasV6T2Ops())
 396     return true;
 397   return ARM_AM::isSOImmTwoPartVal((unsigned)N->getZExtValue());
 398 }]>;
 399
 400 def so_imm2part_1 : SDNodeXForm<imm, [{
 401   unsigned V = ARM_AM::getSOImmTwoPartFirst((unsigned)N->getZExtValue());
 402   return CurDAG->getTargetConstant(V, MVT::i32);
 403 }]>;
 404
 405 def so_imm2part_2 : SDNodeXForm<imm, [{
 406   unsigned V = ARM_AM::getSOImmTwoPartSecond((unsigned)N->getZExtValue());
 407   return CurDAG->getTargetConstant(V, MVT::i32);
 408 }]>;
 409
 410 def so_neg_imm2part : Operand<i32>, PatLeaf<(imm), [{
 411       return ARM_AM::isSOImmTwoPartVal(-(int)N->getZExtValue());
 412     }]> {
 413   let PrintMethod = "printSOImm2PartOperand";
 414 }
 415
 416 def so_neg_imm2part_1 : SDNodeXForm<imm, [{
 417   unsigned V = ARM_AM::getSOImmTwoPartFirst(-(int)N->getZExtValue());
 418   return CurDAG->getTargetConstant(V, MVT::i32);
 419 }]>;
 420
 421 def so_neg_imm2part_2 : SDNodeXForm<imm, [{
 422   unsigned V = ARM_AM::getSOImmTwoPartSecond(-(int)N->getZExtValue());
 423   return CurDAG->getTargetConstant(V, MVT::i32);
 424 }]>;
 425
 426 /// imm0_31 predicate - True if the 32-bit immediate is in the range [0,31].
 427 def imm0_31 : Operand<i32>, PatLeaf<(imm), [{
 428   return (int32_t)N->getZExtValue() < 32;
 429 }]>;
 430
 431 /// imm0_31_m1 - Matches and prints like imm0_31, but encodes as 'value - 1'.
 432 def imm0_31_m1 : Operand<i32>, PatLeaf<(imm), [{
 433   return (int32_t)N->getZExtValue() < 32;
 434 }]> {
 435   let EncoderMethod = "getImmMinusOneOpValue";
 436 }
 437
 438 // For movt/movw - sets the MC Encoder method.
 439 // The imm is split into imm{15-12}, imm{11-0}
 440 //
 441 def movt_imm : Operand<i32> {
 442   let EncoderMethod = "getMovtImmOpValue";
 443 }
 444
 445 // Define ARM specific addressing modes.
 446
 447
 448 // addrmode_imm12 := reg +/- imm12
 449 //
 450 def addrmode_imm12 : Operand<i32>,
 451                      ComplexPattern<i32, 2, "SelectAddrModeImm12", []> {
 452   // 12-bit immediate operand. Note that instructions using this encode
 453   // #0 and #-0 differently. We flag #-0 as the magic value INT32_MIN. All other
 454   // immediate values are as normal.
 455
 456   let EncoderMethod = "getAddrModeImm12OpValue";
 457   let PrintMethod = "printAddrModeImm12Operand";
 458   let MIOperandInfo = (ops GPR:$base, i32imm:$offsimm);
 459 }
 460 // ldst_so_reg := reg +/- reg shop imm
 461 //
 462 def ldst_so_reg : Operand<i32>,
 463                   ComplexPattern<i32, 3, "SelectLdStSOReg", []> {
 464   let EncoderMethod = "getLdStSORegOpValue";
 465   // FIXME: Simplify the printer
 466   let PrintMethod = "printAddrMode2Operand";
 467   let MIOperandInfo = (ops GPR:$base, GPR:$offsreg, i32imm:$offsimm);
 468 }
 469
 470 // addrmode2 := reg +/- imm12
 471 //           := reg +/- reg shop imm
 472 //
 473 def addrmode2 : Operand<i32>,
 474                 ComplexPattern<i32, 3, "SelectAddrMode2", []> {
 475   string EncoderMethod = "getAddrMode2OpValue";
 476   let PrintMethod = "printAddrMode2Operand";
 477   let MIOperandInfo = (ops GPR:$base, GPR:$offsreg, i32imm:$offsimm);
 478 }
 479
 480 def am2offset : Operand<i32>,
 481                 ComplexPattern<i32, 2, "SelectAddrMode2Offset",
 482                 [], [SDNPWantRoot]> {
 483   string EncoderMethod = "getAddrMode2OffsetOpValue";
 484   let PrintMethod = "printAddrMode2OffsetOperand";
 485   let MIOperandInfo = (ops GPR, i32imm);
 486 }
 487
 488 // addrmode3 := reg +/- reg
 489 // addrmode3 := reg +/- imm8
 490 //
 491 def addrmode3 : Operand<i32>,
 492                 ComplexPattern<i32, 3, "SelectAddrMode3", []> {
 493   let EncoderMethod = "getAddrMode3OpValue";
 494   let PrintMethod = "printAddrMode3Operand";
 495   let MIOperandInfo = (ops GPR:$base, GPR:$offsreg, i32imm:$offsimm);
 496 }
 497
 498 def am3offset : Operand<i32>,
 499                 ComplexPattern<i32, 2, "SelectAddrMode3Offset",
 500                                [], [SDNPWantRoot]> {
 501   let EncoderMethod = "getAddrMode3OffsetOpValue";
 502   let PrintMethod = "printAddrMode3OffsetOperand";
 503   let MIOperandInfo = (ops GPR, i32imm);
 504 }
 505
 506 // ldstm_mode := {ia, ib, da, db}
 507 //
 508 def ldstm_mode : OptionalDefOperand<OtherVT, (ops i32), (ops (i32 1))> {
 509   let EncoderMethod = "getLdStmModeOpValue";
 510   let PrintMethod = "printLdStmModeOperand";
 511 }
 512
 513 def MemMode5AsmOperand : AsmOperandClass {
 514   let Name = "MemMode5";
 515   let SuperClasses = [];
 516 }
 517
 518 // addrmode5 := reg +/- imm8*4
 519 //
 520 def addrmode5 : Operand<i32>,
 521                 ComplexPattern<i32, 2, "SelectAddrMode5", []> {
 522   let PrintMethod = "printAddrMode5Operand";
 523   let MIOperandInfo = (ops GPR:$base, i32imm);
 524   let ParserMatchClass = MemMode5AsmOperand;
 525   let EncoderMethod = "getAddrMode5OpValue";
 526 }
 527
 528 // addrmode6 := reg with optional writeback
 529 //
 530 def addrmode6 : Operand<i32>,
 531                 ComplexPattern<i32, 2, "SelectAddrMode6", [], [SDNPWantParent]>{
 532   let PrintMethod = "printAddrMode6Operand";
 533   let MIOperandInfo = (ops GPR:$addr, i32imm);
 534   let EncoderMethod = "getAddrMode6AddressOpValue";
 535 }
 536
 537 def am6offset : Operand<i32> {
 538   let PrintMethod = "printAddrMode6OffsetOperand";
 539   let MIOperandInfo = (ops GPR);
 540   let EncoderMethod = "getAddrMode6OffsetOpValue";
 541 }
 542
 543 // Special version of addrmode6 to handle alignment encoding for VLD-dup
 544 // instructions, specifically VLD4-dup.
 545 def addrmode6dup : Operand<i32>,
 546                 ComplexPattern<i32, 2, "SelectAddrMode6", [], [SDNPWantParent]>{
 547   let PrintMethod = "printAddrMode6Operand";
 548   let MIOperandInfo = (ops GPR:$addr, i32imm);
 549   let EncoderMethod = "getAddrMode6DupAddressOpValue";
 550 }
 551
 552 // addrmodepc := pc + reg
 553 //
 554 def addrmodepc : Operand<i32>,
 555                  ComplexPattern<i32, 2, "SelectAddrModePC", []> {
 556   let PrintMethod = "printAddrModePCOperand";
 557   let MIOperandInfo = (ops GPR, i32imm);
 558 }
 559
 560 def nohash_imm : Operand<i32> {
 561   let PrintMethod = "printNoHashImmediate";
 562 }
 563
 564 //===----------------------------------------------------------------------===//
 565
 566 include "ARMInstrFormats.td"
 567
 568 //===----------------------------------------------------------------------===//
 569 // Multiclass helpers...
 570 //
 571
 572 /// AsI1_bin_irs - Defines a set of (op r, {so_imm|r|so_reg}) patterns for a
 573 /// binop that produces a value.
 574 multiclass AsI1_bin_irs<bits<4> opcod, string opc,
 575                      InstrItinClass iii, InstrItinClass iir, InstrItinClass iis,
 576                         PatFrag opnode, bit Commutable = 0> {
 577   // The register-immediate version is re-materializable. This is useful
 578   // in particular for taking the address of a local.
 579   let isReMaterializable = 1 in {
 580   def ri : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm), DPFrm,
 581                iii, opc, "\t$Rd, $Rn, $imm",
 582                [(set GPR:$Rd, (opnode GPR:$Rn, so_imm:$imm))]> {
 583     bits<4> Rd;
 584     bits<4> Rn;
 585     bits<12> imm;
 586     let Inst{25} = 1;
 587     let Inst{19-16} = Rn;
 588     let Inst{15-12} = Rd;
 589     let Inst{11-0} = imm;
 590   }
 591   }
 592   def rr : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm), DPFrm,
 593                iir, opc, "\t$Rd, $Rn, $Rm",
 594                [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]> {
 595     bits<4> Rd;
 596     bits<4> Rn;
 597     bits<4> Rm;
 598     let Inst{25} = 0;
 599     let isCommutable = Commutable;
 600     let Inst{19-16} = Rn;
 601     let Inst{15-12} = Rd;
 602     let Inst{11-4} = 0b00000000;
 603     let Inst{3-0} = Rm;
 604   }
 605   def rs : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift), DPSoRegFrm,
 606                iis, opc, "\t$Rd, $Rn, $shift",
 607                [(set GPR:$Rd, (opnode GPR:$Rn, so_reg:$shift))]> {
 608     bits<4> Rd;
 609     bits<4> Rn;
 610     bits<12> shift;
 611     let Inst{25} = 0;
 612     let Inst{19-16} = Rn;
 613     let Inst{15-12} = Rd;
 614     let Inst{11-0} = shift;
 615   }
 616 }
 617
 618 /// AI1_bin_s_irs - Similar to AsI1_bin_irs except it sets the 's' bit so the
 619 /// instruction modifies the CPSR register.
 620 let Defs = [CPSR] in {
 621 multiclass AI1_bin_s_irs<bits<4> opcod, string opc,
 622                      InstrItinClass iii, InstrItinClass iir, InstrItinClass iis,
 623                          PatFrag opnode, bit Commutable = 0> {
 624   def ri : AI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm), DPFrm,
 625                iii, opc, "\t$Rd, $Rn, $imm",
 626                [(set GPR:$Rd, (opnode GPR:$Rn, so_imm:$imm))]> {
 627     bits<4> Rd;
 628     bits<4> Rn;
 629     bits<12> imm;
 630     let Inst{25} = 1;
 631     let Inst{20} = 1;
 632     let Inst{19-16} = Rn;
 633     let Inst{15-12} = Rd;
 634     let Inst{11-0} = imm;
 635   }
 636   def rr : AI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm), DPFrm,
 637                iir, opc, "\t$Rd, $Rn, $Rm",
 638                [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]> {
 639     bits<4> Rd;
 640     bits<4> Rn;
 641     bits<4> Rm;
 642     let isCommutable = Commutable;
 643     let Inst{25} = 0;
 644     let Inst{20} = 1;
 645     let Inst{19-16} = Rn;
 646     let Inst{15-12} = Rd;
 647     let Inst{11-4} = 0b00000000;
 648     let Inst{3-0} = Rm;
 649   }
 650   def rs : AI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift), DPSoRegFrm,
 651                iis, opc, "\t$Rd, $Rn, $shift",
 652                [(set GPR:$Rd, (opnode GPR:$Rn, so_reg:$shift))]> {
 653     bits<4> Rd;
 654     bits<4> Rn;
 655     bits<12> shift;
 656     let Inst{25} = 0;
 657     let Inst{20} = 1;
 658     let Inst{19-16} = Rn;
 659     let Inst{15-12} = Rd;
 660     let Inst{11-0} = shift;
 661   }
 662 }
 663 }
 664
 665 /// AI1_cmp_irs - Defines a set of (op r, {so_imm|r|so_reg}) cmp / test
 666 /// patterns. Similar to AsI1_bin_irs except the instruction does not produce
 667 /// a explicit result, only implicitly set CPSR.
 668 let isCompare = 1, Defs = [CPSR] in {
 669 multiclass AI1_cmp_irs<bits<4> opcod, string opc,
 670                      InstrItinClass iii, InstrItinClass iir, InstrItinClass iis,
 671                        PatFrag opnode, bit Commutable = 0> {
 672   def ri : AI1<opcod, (outs), (ins GPR:$Rn, so_imm:$imm), DPFrm, iii,
 673                opc, "\t$Rn, $imm",
 674                [(opnode GPR:$Rn, so_imm:$imm)]> {
 675     bits<4> Rn;
 676     bits<12> imm;
 677     let Inst{25} = 1;
 678     let Inst{20} = 1;
 679     let Inst{19-16} = Rn;
 680     let Inst{15-12} = 0b0000;
 681     let Inst{11-0} = imm;
 682   }
 683   def rr : AI1<opcod, (outs), (ins GPR:$Rn, GPR:$Rm), DPFrm, iir,
 684                opc, "\t$Rn, $Rm",
 685                [(opnode GPR:$Rn, GPR:$Rm)]> {
 686     bits<4> Rn;
 687     bits<4> Rm;
 688     let isCommutable = Commutable;
 689     let Inst{25} = 0;
 690     let Inst{20} = 1;
 691     let Inst{19-16} = Rn;
 692     let Inst{15-12} = 0b0000;
 693     let Inst{11-4} = 0b00000000;
 694     let Inst{3-0} = Rm;
 695   }
 696   def rs : AI1<opcod, (outs), (ins GPR:$Rn, so_reg:$shift), DPSoRegFrm, iis,
 697                opc, "\t$Rn, $shift",
 698                [(opnode GPR:$Rn, so_reg:$shift)]> {
 699     bits<4> Rn;
 700     bits<12> shift;
 701     let Inst{25} = 0;
 702     let Inst{20} = 1;
 703     let Inst{19-16} = Rn;
 704     let Inst{15-12} = 0b0000;
 705     let Inst{11-0} = shift;
 706   }
 707 }
 708 }
 709
 710 /// AI_ext_rrot - A unary operation with two forms: one whose operand is a
 711 /// register and one whose operand is a register rotated by 8/16/24.
 712 /// FIXME: Remove the 'r' variant. Its rot_imm is zero.
 713 multiclass AI_ext_rrot<bits<8> opcod, string opc, PatFrag opnode> {
 714   def r     : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rm),
 715                  IIC_iEXTr, opc, "\t$Rd, $Rm",
 716                  [(set GPR:$Rd, (opnode GPR:$Rm))]>,
 717               Requires<[IsARM, HasV6]> {
 718     bits<4> Rd;
 719     bits<4> Rm;
 720     let Inst{19-16} = 0b1111;
 721     let Inst{15-12} = Rd;
 722     let Inst{11-10} = 0b00;
 723     let Inst{3-0}   = Rm;
 724   }
 725   def r_rot : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rm, rot_imm:$rot),
 726                  IIC_iEXTr, opc, "\t$Rd, $Rm, ror $rot",
 727                  [(set GPR:$Rd, (opnode (rotr GPR:$Rm, rot_imm:$rot)))]>,
 728               Requires<[IsARM, HasV6]> {
 729     bits<4> Rd;
 730     bits<4> Rm;
 731     bits<2> rot;
 732     let Inst{19-16} = 0b1111;
 733     let Inst{15-12} = Rd;
 734     let Inst{11-10} = rot;
 735     let Inst{3-0}   = Rm;
 736   }
 737 }
 738
 739 multiclass AI_ext_rrot_np<bits<8> opcod, string opc> {
 740   def r     : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rm),
 741                  IIC_iEXTr, opc, "\t$Rd, $Rm",
 742                  [/* For disassembly only; pattern left blank */]>,
 743               Requires<[IsARM, HasV6]> {
 744     let Inst{19-16} = 0b1111;
 745     let Inst{11-10} = 0b00;
 746   }
 747   def r_rot : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rm, rot_imm:$rot),
 748                  IIC_iEXTr, opc, "\t$Rd, $Rm, ror $rot",
 749                  [/* For disassembly only; pattern left blank */]>,
 750               Requires<[IsARM, HasV6]> {
 751     bits<2> rot;
 752     let Inst{19-16} = 0b1111;
 753     let Inst{11-10} = rot;
 754   }
 755 }
 756
 757 /// AI_exta_rrot - A binary operation with two forms: one whose operand is a
 758 /// register and one whose operand is a register rotated by 8/16/24.
 759 multiclass AI_exta_rrot<bits<8> opcod, string opc, PatFrag opnode> {
 760   def rr     : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
 761                   IIC_iEXTAr, opc, "\t$Rd, $Rn, $Rm",
 762                   [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]>,
 763                Requires<[IsARM, HasV6]> {
 764     bits<4> Rd;
 765     bits<4> Rm;
 766     bits<4> Rn;
 767     let Inst{19-16} = Rn;
 768     let Inst{15-12} = Rd;
 769     let Inst{11-10} = 0b00;
 770     let Inst{9-4}   = 0b000111;
 771     let Inst{3-0}   = Rm;
 772   }
 773   def rr_rot : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm,
 774                                              rot_imm:$rot),
 775                   IIC_iEXTAr, opc, "\t$Rd, $Rn, $Rm, ror $rot",
 776                   [(set GPR:$Rd, (opnode GPR:$Rn,
 777                                           (rotr GPR:$Rm, rot_imm:$rot)))]>,
 778                   Requires<[IsARM, HasV6]> {
 779     bits<4> Rd;
 780     bits<4> Rm;
 781     bits<4> Rn;
 782     bits<2> rot;
 783     let Inst{19-16} = Rn;
 784     let Inst{15-12} = Rd;
 785     let Inst{11-10} = rot;
 786     let Inst{9-4}   = 0b000111;
 787     let Inst{3-0}   = Rm;
 788   }
 789 }
 790
 791 // For disassembly only.
 792 multiclass AI_exta_rrot_np<bits<8> opcod, string opc> {
 793   def rr     : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
 794                   IIC_iEXTAr, opc, "\t$Rd, $Rn, $Rm",
 795                   [/* For disassembly only; pattern left blank */]>,
 796                Requires<[IsARM, HasV6]> {
 797     let Inst{11-10} = 0b00;
 798   }
 799   def rr_rot : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm,
 800                                              rot_imm:$rot),
 801                   IIC_iEXTAr, opc, "\t$Rd, $Rn, $Rm, ror $rot",
 802                   [/* For disassembly only; pattern left blank */]>,
 803                   Requires<[IsARM, HasV6]> {
 804     bits<4> Rn;
 805     bits<2> rot;
 806     let Inst{19-16} = Rn;
 807     let Inst{11-10} = rot;
 808   }
 809 }
 810
 811 /// AI1_adde_sube_irs - Define instructions and patterns for adde and sube.
 812 let Uses = [CPSR] in {
 813 multiclass AI1_adde_sube_irs<bits<4> opcod, string opc, PatFrag opnode,
 814                              bit Commutable = 0> {
 815   def ri : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm),
 816                 DPFrm, IIC_iALUi, opc, "\t$Rd, $Rn, $imm",
 817                [(set GPR:$Rd, (opnode GPR:$Rn, so_imm:$imm))]>,
 818                Requires<[IsARM]> {
 819     bits<4> Rd;
 820     bits<4> Rn;
 821     bits<12> imm;
 822     let Inst{25} = 1;
 823     let Inst{15-12} = Rd;
 824     let Inst{19-16} = Rn;
 825     let Inst{11-0} = imm;
 826   }
 827   def rr : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
 828                 DPFrm, IIC_iALUr, opc, "\t$Rd, $Rn, $Rm",
 829                [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]>,
 830                Requires<[IsARM]> {
 831     bits<4> Rd;
 832     bits<4> Rn;
 833     bits<4> Rm;
 834     let Inst{11-4} = 0b00000000;
 835     let Inst{25} = 0;
 836     let isCommutable = Commutable;
 837     let Inst{3-0} = Rm;
 838     let Inst{15-12} = Rd;
 839     let Inst{19-16} = Rn;
 840   }
 841   def rs : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
 842                 DPSoRegFrm, IIC_iALUsr, opc, "\t$Rd, $Rn, $shift",
 843                [(set GPR:$Rd, (opnode GPR:$Rn, so_reg:$shift))]>,
 844                Requires<[IsARM]> {
 845     bits<4> Rd;
 846     bits<4> Rn;
 847     bits<12> shift;
 848     let Inst{25} = 0;
 849     let Inst{11-0} = shift;
 850     let Inst{15-12} = Rd;
 851     let Inst{19-16} = Rn;
 852   }
 853 }
 854 // Carry setting variants
 855 let Defs = [CPSR] in {
 856 multiclass AI1_adde_sube_s_irs<bits<4> opcod, string opc, PatFrag opnode,
 857                              bit Commutable = 0> {
 858   def Sri : AXI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm),
 859                 DPFrm, IIC_iALUi, !strconcat(opc, "\t$Rd, $Rn, $imm"),
 860                [(set GPR:$Rd, (opnode GPR:$Rn, so_imm:$imm))]>,
 861                Requires<[IsARM]> {
 862     bits<4> Rd;
 863     bits<4> Rn;
 864     bits<12> imm;
 865     let Inst{15-12} = Rd;
 866     let Inst{19-16} = Rn;
 867     let Inst{11-0} = imm;
 868     let Inst{20} = 1;
 869     let Inst{25} = 1;
 870   }
 871   def Srr : AXI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
 872                 DPFrm, IIC_iALUr, !strconcat(opc, "\t$Rd, $Rn, $Rm"),
 873                [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]>,
 874                Requires<[IsARM]> {
 875     bits<4> Rd;
 876     bits<4> Rn;
 877     bits<4> Rm;
 878     let Inst{11-4} = 0b00000000;
 879     let isCommutable = Commutable;
 880     let Inst{3-0} = Rm;
 881     let Inst{15-12} = Rd;
 882     let Inst{19-16} = Rn;
 883     let Inst{20} = 1;
 884     let Inst{25} = 0;
 885   }
 886   def Srs : AXI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
 887                 DPSoRegFrm, IIC_iALUsr, !strconcat(opc, "\t$Rd, $Rn, $shift"),
 888                [(set GPR:$Rd, (opnode GPR:$Rn, so_reg:$shift))]>,
 889                Requires<[IsARM]> {
 890     bits<4> Rd;
 891     bits<4> Rn;
 892     bits<12> shift;
 893     let Inst{11-0} = shift;
 894     let Inst{15-12} = Rd;
 895     let Inst{19-16} = Rn;
 896     let Inst{20} = 1;
 897     let Inst{25} = 0;
 898   }
 899 }
 900 }
 901 }
 902
 903 let canFoldAsLoad = 1, isReMaterializable = 1 in {
 904 multiclass AI_ldr1<bit isByte, string opc, InstrItinClass iii,
 905            InstrItinClass iir, PatFrag opnode> {
 906   // Note: We use the complex addrmode_imm12 rather than just an input
 907   // GPR and a constrained immediate so that we can use this to match
 908   // frame index references and avoid matching constant pool references.
 909   def i12: AI2ldst<0b010, 1, isByte, (outs GPR:$Rt), (ins addrmode_imm12:$addr),
 910                    AddrMode_i12, LdFrm, iii, opc, "\t$Rt, $addr",
 911                   [(set GPR:$Rt, (opnode addrmode_imm12:$addr))]> {
 912     bits<4>  Rt;
 913     bits<17> addr;
 914     let Inst{23}    = addr{12};     // U (add = ('U' == 1))
 915     let Inst{19-16} = addr{16-13};  // Rn
 916     let Inst{15-12} = Rt;
 917     let Inst{11-0}  = addr{11-0};   // imm12
 918   }
 919   def rs : AI2ldst<0b011, 1, isByte, (outs GPR:$Rt), (ins ldst_so_reg:$shift),
 920                   AddrModeNone, LdFrm, iir, opc, "\t$Rt, $shift",
 921                  [(set GPR:$Rt, (opnode ldst_so_reg:$shift))]> {
 922     bits<4>  Rt;
 923     bits<17> shift;
 924     let Inst{23}    = shift{12};    // U (add = ('U' == 1))
 925     let Inst{19-16} = shift{16-13}; // Rn
 926     let Inst{15-12} = Rt;
 927     let Inst{11-0}  = shift{11-0};
 928   }
 929 }
 930 }
 931
 932 multiclass AI_str1<bit isByte, string opc, InstrItinClass iii,
 933            InstrItinClass iir, PatFrag opnode> {
 934   // Note: We use the complex addrmode_imm12 rather than just an input
 935   // GPR and a constrained immediate so that we can use this to match
 936   // frame index references and avoid matching constant pool references.
 937   def i12 : AI2ldst<0b010, 0, isByte, (outs),
 938                    (ins GPR:$Rt, addrmode_imm12:$addr),
 939                    AddrMode_i12, StFrm, iii, opc, "\t$Rt, $addr",
 940                   [(opnode GPR:$Rt, addrmode_imm12:$addr)]> {
 941     bits<4> Rt;
 942     bits<17> addr;
 943     let Inst{23}    = addr{12};     // U (add = ('U' == 1))
 944     let Inst{19-16} = addr{16-13};  // Rn
 945     let Inst{15-12} = Rt;
 946     let Inst{11-0}  = addr{11-0};   // imm12
 947   }
 948   def rs : AI2ldst<0b011, 0, isByte, (outs), (ins GPR:$Rt, ldst_so_reg:$shift),
 949                   AddrModeNone, StFrm, iir, opc, "\t$Rt, $shift",
 950                  [(opnode GPR:$Rt, ldst_so_reg:$shift)]> {
 951     bits<4> Rt;
 952     bits<17> shift;
 953     let Inst{23}    = shift{12};    // U (add = ('U' == 1))
 954     let Inst{19-16} = shift{16-13}; // Rn
 955     let Inst{15-12} = Rt;
 956     let Inst{11-0}  = shift{11-0};
 957   }
 958 }
 959 //===----------------------------------------------------------------------===//
 960 // Instructions
 961 //===----------------------------------------------------------------------===//
 962
 963 //===----------------------------------------------------------------------===//
 964 //  Miscellaneous Instructions.
 965 //
 966
 967 /// CONSTPOOL_ENTRY - This instruction represents a floating constant pool in
 968 /// the function.  The first operand is the ID# for this instruction, the second
 969 /// is the index into the MachineConstantPool that this is, the third is the
 970 /// size in bytes of this constant pool entry.
 971 let neverHasSideEffects = 1, isNotDuplicable = 1 in
 972 def CONSTPOOL_ENTRY :
 973 PseudoInst<(outs), (ins cpinst_operand:$instid, cpinst_operand:$cpidx,
 974                     i32imm:$size), NoItinerary, []>;
 975
 976 // FIXME: Marking these as hasSideEffects is necessary to prevent machine DCE
 977 // from removing one half of the matched pairs. That breaks PEI, which assumes
 978 // these will always be in pairs, and asserts if it finds otherwise. Better way?
 979 let Defs = [SP], Uses = [SP], hasSideEffects = 1 in {
 980 def ADJCALLSTACKUP :
 981 PseudoInst<(outs), (ins i32imm:$amt1, i32imm:$amt2, pred:$p), NoItinerary,
 982            [(ARMcallseq_end timm:$amt1, timm:$amt2)]>;
 983
 984 def ADJCALLSTACKDOWN :
 985 PseudoInst<(outs), (ins i32imm:$amt, pred:$p), NoItinerary,
 986            [(ARMcallseq_start timm:$amt)]>;
 987 }
 988
 989 def NOP : AI<(outs), (ins), MiscFrm, NoItinerary, "nop", "",
 990              [/* For disassembly only; pattern left blank */]>,
 991           Requires<[IsARM, HasV6T2]> {
 992   let Inst{27-16} = 0b001100100000;
 993   let Inst{15-8} = 0b11110000;
 994   let Inst{7-0} = 0b00000000;
 995 }
 996
 997 def YIELD : AI<(outs), (ins), MiscFrm, NoItinerary, "yield", "",
 998              [/* For disassembly only; pattern left blank */]>,
 999           Requires<[IsARM, HasV6T2]> {
1000   let Inst{27-16} = 0b001100100000;
1001   let Inst{15-8} = 0b11110000;
1002   let Inst{7-0} = 0b00000001;
1003 }
1004
1005 def WFE : AI<(outs), (ins), MiscFrm, NoItinerary, "wfe", "",
1006              [/* For disassembly only; pattern left blank */]>,
1007           Requires<[IsARM, HasV6T2]> {
1008   let Inst{27-16} = 0b001100100000;
1009   let Inst{15-8} = 0b11110000;
1010   let Inst{7-0} = 0b00000010;
1011 }
1012
1013 def WFI : AI<(outs), (ins), MiscFrm, NoItinerary, "wfi", "",
1014              [/* For disassembly only; pattern left blank */]>,
1015           Requires<[IsARM, HasV6T2]> {
1016   let Inst{27-16} = 0b001100100000;
1017   let Inst{15-8} = 0b11110000;
1018   let Inst{7-0} = 0b00000011;
1019 }
1020
1021 def SEL : AI<(outs GPR:$dst), (ins GPR:$a, GPR:$b), DPFrm, NoItinerary, "sel",
1022              "\t$dst, $a, $b",
1023              [/* For disassembly only; pattern left blank */]>,
1024           Requires<[IsARM, HasV6]> {
1025   bits<4> Rd;
1026   bits<4> Rn;
1027   bits<4> Rm;
1028   let Inst{3-0} = Rm;
1029   let Inst{15-12} = Rd;
1030   let Inst{19-16} = Rn;
1031   let Inst{27-20} = 0b01101000;
1032   let Inst{7-4} = 0b1011;
1033   let Inst{11-8} = 0b1111;
1034 }
1035
1036 def SEV : AI<(outs), (ins), MiscFrm, NoItinerary, "sev", "",
1037              [/* For disassembly only; pattern left blank */]>,
1038           Requires<[IsARM, HasV6T2]> {
1039   let Inst{27-16} = 0b001100100000;
1040   let Inst{15-8} = 0b11110000;
1041   let Inst{7-0} = 0b00000100;
1042 }
1043
1044 // The i32imm operand $val can be used by a debugger to store more information
1045 // about the breakpoint.
1046 def BKPT : AI<(outs), (ins i32imm:$val), MiscFrm, NoItinerary, "bkpt", "\t$val",
1047               [/* For disassembly only; pattern left blank */]>,
1048            Requires<[IsARM]> {
1049   bits<16> val;
1050   let Inst{3-0} = val{3-0};
1051   let Inst{19-8} = val{15-4};
1052   let Inst{27-20} = 0b00010010;
1053   let Inst{7-4} = 0b0111;
1054 }
1055
1056 // Change Processor State is a system instruction -- for disassembly only.
1057 // The singleton $opt operand contains the following information:
1058 // opt{4-0} = mode from Inst{4-0}
1059 // opt{5} = changemode from Inst{17}
1060 // opt{8-6} = AIF from Inst{8-6}
1061 // opt{10-9} = imod from Inst{19-18} with 0b10 as enable and 0b11 as disable
1062 // FIXME: Integrated assembler will need these split out.
1063 def CPS : AXI<(outs), (ins cps_opt:$opt), MiscFrm, NoItinerary, "cps$opt",
1064               [/* For disassembly only; pattern left blank */]>,
1065           Requires<[IsARM]> {
1066   let Inst{31-28} = 0b1111;
1067   let Inst{27-20} = 0b00010000;
1068   let Inst{16} = 0;
1069   let Inst{5} = 0;
1070 }
1071
1072 // Preload signals the memory system of possible future data/instruction access.
1073 // These are for disassembly only.
1074 multiclass APreLoad<bits<1> read, bits<1> data, string opc> {
1075
1076   def i12 : AXI<(outs), (ins addrmode_imm12:$addr), MiscFrm, IIC_Preload,
1077                 !strconcat(opc, "\t$addr"),
1078                 [(ARMPreload addrmode_imm12:$addr, (i32 read), (i32 data))]> {
1079     bits<4> Rt;
1080     bits<17> addr;
1081     let Inst{31-26} = 0b111101;
1082     let Inst{25} = 0; // 0 for immediate form
1083     let Inst{24} = data;
1084     let Inst{23} = addr{12};        // U (add = ('U' == 1))
1085     let Inst{22} = read;
1086     let Inst{21-20} = 0b01;
1087     let Inst{19-16} = addr{16-13};  // Rn
1088     let Inst{15-12} = Rt;
1089     let Inst{11-0}  = addr{11-0};   // imm12
1090   }
1091
1092   def rs : AXI<(outs), (ins ldst_so_reg:$shift), MiscFrm, IIC_Preload,
1093                !strconcat(opc, "\t$shift"),
1094                [(ARMPreload ldst_so_reg:$shift, (i32 read), (i32 data))]> {
1095     bits<4> Rt;
1096     bits<17> shift;
1097     let Inst{31-26} = 0b111101;
1098     let Inst{25} = 1; // 1 for register form
1099     let Inst{24} = data;
1100     let Inst{23} = shift{12};    // U (add = ('U' == 1))
1101     let Inst{22} = read;
1102     let Inst{21-20} = 0b01;
1103     let Inst{19-16} = shift{16-13}; // Rn
1104     let Inst{11-0}  = shift{11-0};
1105   }
1106 }
1107
1108 defm PLD  : APreLoad<1, 1, "pld">,  Requires<[IsARM]>;
1109 defm PLDW : APreLoad<0, 1, "pldw">, Requires<[IsARM,HasV7,HasMP]>;
1110 defm PLI  : APreLoad<1, 0, "pli">,  Requires<[IsARM,HasV7]>;
1111
1112 def SETEND : AXI<(outs),(ins setend_op:$end), MiscFrm, NoItinerary,
1113                  "setend\t$end",
1114                  [/* For disassembly only; pattern left blank */]>,
1115                Requires<[IsARM]> {
1116   bits<1> end;
1117   let Inst{31-10} = 0b1111000100000001000000;
1118   let Inst{9} = end;
1119   let Inst{8-0} = 0;
1120 }
1121
1122 def DBG : AI<(outs), (ins i32imm:$opt), MiscFrm, NoItinerary, "dbg", "\t$opt",
1123              [/* For disassembly only; pattern left blank */]>,
1124           Requires<[IsARM, HasV7]> {
1125   bits<4> opt;
1126   let Inst{27-4} = 0b001100100000111100001111;
1127   let Inst{3-0} = opt;
1128 }
1129
1130 // A5.4 Permanently UNDEFINED instructions.
1131 let isBarrier = 1, isTerminator = 1 in
1132 def TRAP : AXI<(outs), (ins), MiscFrm, NoItinerary,
1133                "trap", [(trap)]>,
1134            Requires<[IsARM]> {
1135   let Inst = 0xe7ffdefe;
1136 }
1137
1138 // Address computation and loads and stores in PIC mode.
1139 let isNotDuplicable = 1 in {
1140 def PICADD  : ARMPseudoInst<(outs GPR:$dst), (ins GPR:$a, pclabel:$cp, pred:$p),
1141                             Size4Bytes, IIC_iALUr,
1142                             [(set GPR:$dst, (ARMpic_add GPR:$a, imm:$cp))]>;
1143
1144 let AddedComplexity = 10 in {
1145 def PICLDR  : ARMPseudoInst<(outs GPR:$dst), (ins addrmodepc:$addr, pred:$p),
1146                             Size4Bytes, IIC_iLoad_r,
1147                             [(set GPR:$dst, (load addrmodepc:$addr))]>;
1148
1149 def PICLDRH : ARMPseudoInst<(outs GPR:$Rt), (ins addrmodepc:$addr, pred:$p),
1150                             Size4Bytes, IIC_iLoad_bh_r,
1151                             [(set GPR:$Rt, (zextloadi16 addrmodepc:$addr))]>;
1152
1153 def PICLDRB : ARMPseudoInst<(outs GPR:$Rt), (ins addrmodepc:$addr, pred:$p),
1154                             Size4Bytes, IIC_iLoad_bh_r,
1155                             [(set GPR:$Rt, (zextloadi8 addrmodepc:$addr))]>;
1156
1157 def PICLDRSH : ARMPseudoInst<(outs GPR:$Rt), (ins addrmodepc:$addr, pred:$p),
1158                             Size4Bytes, IIC_iLoad_bh_r,
1159                             [(set GPR:$Rt, (sextloadi16 addrmodepc:$addr))]>;
1160
1161 def PICLDRSB : ARMPseudoInst<(outs GPR:$Rt), (ins addrmodepc:$addr, pred:$p),
1162                             Size4Bytes, IIC_iLoad_bh_r,
1163                             [(set GPR:$Rt, (sextloadi8 addrmodepc:$addr))]>;
1164 }
1165 let AddedComplexity = 10 in {
1166 def PICSTR  : ARMPseudoInst<(outs), (ins GPR:$src, addrmodepc:$addr, pred:$p),
1167       Size4Bytes, IIC_iStore_r, [(store GPR:$src, addrmodepc:$addr)]>;
1168
1169 def PICSTRH : ARMPseudoInst<(outs), (ins GPR:$src, addrmodepc:$addr, pred:$p),
1170       Size4Bytes, IIC_iStore_bh_r, [(truncstorei16 GPR:$src, addrmodepc:$addr)]>;
1171
1172 def PICSTRB : ARMPseudoInst<(outs), (ins GPR:$src, addrmodepc:$addr, pred:$p),
1173       Size4Bytes, IIC_iStore_bh_r, [(truncstorei8 GPR:$src, addrmodepc:$addr)]>;
1174 }
1175 } // isNotDuplicable = 1
1176
1177
1178 // LEApcrel - Load a pc-relative address into a register without offending the
1179 // assembler.
1180 let neverHasSideEffects = 1, isReMaterializable = 1 in
1181 // FIXME: We want one cannonical LEApcrel instruction and to express one or
1182 // both of these as pseudo-instructions that get expanded to it.
1183 def LEApcrel : AXI1<0, (outs GPR:$Rd), (ins i32imm:$label, pred:$p),
1184                     MiscFrm, IIC_iALUi,
1185                     "adr${p}\t$Rd, #$label", []>;
1186
1187 def LEApcrelJT : AXI1<0b0100, (outs GPR:$Rd),
1188                            (ins i32imm:$label, nohash_imm:$id, pred:$p),
1189                       MiscFrm, IIC_iALUi,
1190                       "adr${p}\t$Rd, #${label}_${id}", []> {
1191   bits<4> p;
1192   bits<4> Rd;
1193   let Inst{31-28} = p;
1194   let Inst{27-25} = 0b001;
1195   let Inst{20} = 0;
1196   let Inst{19-16} = 0b1111;
1197   let Inst{15-12} = Rd;
1198   // FIXME: Add label encoding/fixup
1199 }
1200
1201 //===----------------------------------------------------------------------===//
1202 //  Control Flow Instructions.
1203 //
1204
1205 let isReturn = 1, isTerminator = 1, isBarrier = 1 in {
1206   // ARMV4T and above
1207   def BX_RET : AI<(outs), (ins), BrMiscFrm, IIC_Br,
1208                   "bx", "\tlr", [(ARMretflag)]>,
1209                Requires<[IsARM, HasV4T]> {
1210     let Inst{27-0}  = 0b0001001011111111111100011110;
1211   }
1212
1213   // ARMV4 only
1214   def MOVPCLR : AI<(outs), (ins), BrMiscFrm, IIC_Br,
1215                   "mov", "\tpc, lr", [(ARMretflag)]>,
1216                Requires<[IsARM, NoV4T]> {
1217     let Inst{27-0} = 0b0001101000001111000000001110;
1218   }
1219 }
1220
1221 // Indirect branches
1222 let isBranch = 1, isTerminator = 1, isBarrier = 1, isIndirectBranch = 1 in {
1223   // ARMV4T and above
1224   def BRIND : AXI<(outs), (ins GPR:$dst), BrMiscFrm, IIC_Br, "bx\t$dst",
1225                   [(brind GPR:$dst)]>,
1226               Requires<[IsARM, HasV4T]> {
1227     bits<4> dst;
1228     let Inst{31-4} = 0b1110000100101111111111110001;
1229     let Inst{3-0}  = dst;
1230   }
1231
1232   // ARMV4 only
1233   def MOVPCRX : AXI<(outs), (ins GPR:$dst), BrMiscFrm, IIC_Br, "mov\tpc, $dst",
1234                   [(brind GPR:$dst)]>,
1235               Requires<[IsARM, NoV4T]> {
1236     bits<4> dst;
1237     let Inst{31-4} = 0b1110000110100000111100000000;
1238     let Inst{3-0}   = dst;
1239   }
1240 }
1241
1242 // All calls clobber the non-callee saved registers. SP is marked as
1243 // a use to prevent stack-pointer assignments that appear immediately
1244 // before calls from potentially appearing dead.
1245 let isCall = 1,
1246   // On non-Darwin platforms R9 is callee-saved.
1247   Defs = [R0,  R1,  R2,  R3,  R12, LR,
1248           D0,  D1,  D2,  D3,  D4,  D5,  D6,  D7,
1249           D16, D17, D18, D19, D20, D21, D22, D23,
1250           D24, D25, D26, D27, D28, D29, D30, D31, CPSR, FPSCR],
1251   Uses = [SP] in {
1252   def BL  : ABXI<0b1011, (outs), (ins bltarget:$func, variable_ops),
1253                 IIC_Br, "bl\t$func",
1254                 [(ARMcall tglobaladdr:$func)]>,
1255             Requires<[IsARM, IsNotDarwin]> {
1256     let Inst{31-28} = 0b1110;
1257     bits<24> func;
1258     let Inst{23-0} = func;
1259   }
1260
1261   def BL_pred : ABI<0b1011, (outs), (ins bltarget:$func, variable_ops),
1262                    IIC_Br, "bl", "\t$func",
1263                    [(ARMcall_pred tglobaladdr:$func)]>,
1264                 Requires<[IsARM, IsNotDarwin]> {
1265     bits<24> func;
1266     let Inst{23-0} = func;
1267   }
1268
1269   // ARMv5T and above
1270   def BLX : AXI<(outs), (ins GPR:$func, variable_ops), BrMiscFrm,
1271                 IIC_Br, "blx\t$func",
1272                 [(ARMcall GPR:$func)]>,
1273             Requires<[IsARM, HasV5T, IsNotDarwin]> {
1274     bits<4> func;
1275     let Inst{31-4} = 0b1110000100101111111111110011;
1276     let Inst{3-0}   = func;
1277   }
1278
1279   // ARMv4T
1280   // Note: Restrict $func to the tGPR regclass to prevent it being in LR.
1281   // FIXME: x2 insn patterns like this need to be pseudo instructions.
1282   def BX : ABXIx2<(outs), (ins tGPR:$func, variable_ops),
1283                   IIC_Br, "mov\tlr, pc\n\tbx\t$func",
1284                   [(ARMcall_nolink tGPR:$func)]>,
1285            Requires<[IsARM, HasV4T, IsNotDarwin]> {
1286     bits<4> func;
1287     let Inst{27-4} = 0b000100101111111111110001;
1288     let Inst{3-0}   = func;
1289   }
1290
1291   // ARMv4
1292   def BMOVPCRX : ABXIx2<(outs), (ins tGPR:$func, variable_ops),
1293                  IIC_Br, "mov\tlr, pc\n\tmov\tpc, $func",
1294                  [(ARMcall_nolink tGPR:$func)]>,
1295            Requires<[IsARM, NoV4T, IsNotDarwin]> {
1296     bits<4> func;
1297     let Inst{27-4} = 0b000110100000111100000000;
1298     let Inst{3-0}   = func;
1299   }
1300 }
1301
1302 let isCall = 1,
1303   // On Darwin R9 is call-clobbered.
1304   // R7 is marked as a use to prevent frame-pointer assignments from being
1305   // moved above / below calls.
1306   Defs = [R0,  R1,  R2,  R3,  R9,  R12, LR,
1307           D0,  D1,  D2,  D3,  D4,  D5,  D6,  D7,
1308           D16, D17, D18, D19, D20, D21, D22, D23,
1309           D24, D25, D26, D27, D28, D29, D30, D31, CPSR, FPSCR],
1310   Uses = [R7, SP] in {
1311   def BLr9  : ABXI<0b1011, (outs), (ins bltarget:$func, variable_ops),
1312                 IIC_Br, "bl\t$func",
1313                 [(ARMcall tglobaladdr:$func)]>, Requires<[IsARM, IsDarwin]> {
1314     let Inst{31-28} = 0b1110;
1315     bits<24> func;
1316     let Inst{23-0} = func;
1317   }
1318
1319   def BLr9_pred : ABI<0b1011, (outs), (ins bltarget:$func, variable_ops),
1320                    IIC_Br, "bl", "\t$func",
1321                    [(ARMcall_pred tglobaladdr:$func)]>,
1322                   Requires<[IsARM, IsDarwin]> {
1323     bits<24> func;
1324     let Inst{23-0} = func;
1325   }
1326
1327   // ARMv5T and above
1328   def BLXr9 : AXI<(outs), (ins GPR:$func, variable_ops), BrMiscFrm,
1329                 IIC_Br, "blx\t$func",
1330                 [(ARMcall GPR:$func)]>, Requires<[IsARM, HasV5T, IsDarwin]> {
1331     bits<4> func;
1332     let Inst{31-4} = 0b1110000100101111111111110011;
1333     let Inst{3-0}   = func;
1334   }
1335
1336   // ARMv4T
1337   // Note: Restrict $func to the tGPR regclass to prevent it being in LR.
1338   def BXr9 : ABXIx2<(outs), (ins tGPR:$func, variable_ops),
1339                   IIC_Br, "mov\tlr, pc\n\tbx\t$func",
1340                   [(ARMcall_nolink tGPR:$func)]>,
1341              Requires<[IsARM, HasV4T, IsDarwin]> {
1342     bits<4> func;
1343     let Inst{27-4} = 0b000100101111111111110001;
1344     let Inst{3-0}   = func;
1345   }
1346
1347   // ARMv4
1348   def BMOVPCRXr9 : ABXIx2<(outs), (ins tGPR:$func, variable_ops),
1349                  IIC_Br, "mov\tlr, pc\n\tmov\tpc, $func",
1350                  [(ARMcall_nolink tGPR:$func)]>,
1351            Requires<[IsARM, NoV4T, IsDarwin]> {
1352     bits<4> func;
1353     let Inst{27-4} = 0b000110100000111100000000;
1354     let Inst{3-0}   = func;
1355   }
1356 }
1357
1358 // Tail calls.
1359
1360 // FIXME: These should probably be xformed into the non-TC versions of the
1361 // instructions as part of MC lowering.
1362 let isCall = 1, isTerminator = 1, isReturn = 1, isBarrier = 1 in {
1363   // Darwin versions.
1364   let Defs = [R0, R1, R2, R3, R9, R12,
1365               D0, D1, D2, D3, D4, D5, D6, D7,
1366               D16, D17, D18, D19, D20, D21, D22, D23, D24, D25, D26,
1367               D27, D28, D29, D30, D31, PC],
1368       Uses = [SP] in {
1369     def TCRETURNdi : AInoP<(outs), (ins i32imm:$dst, variable_ops),
1370                        Pseudo, IIC_Br,
1371                        "@TC_RETURN","\t$dst", []>, Requires<[IsDarwin]>;
1372
1373     def TCRETURNri : AInoP<(outs), (ins tcGPR:$dst, variable_ops),
1374                        Pseudo, IIC_Br,
1375                        "@TC_RETURN","\t$dst", []>, Requires<[IsDarwin]>;
1376
1377     def TAILJMPd : ABXI<0b1010, (outs), (ins brtarget:$dst, variable_ops),
1378                    IIC_Br, "b\t$dst  @ TAILCALL",
1379                    []>, Requires<[IsDarwin]>;
1380
1381     def TAILJMPdt: ABXI<0b1010, (outs), (ins brtarget:$dst, variable_ops),
1382                    IIC_Br, "b.w\t$dst  @ TAILCALL",
1383                    []>, Requires<[IsDarwin]>;
1384
1385     def TAILJMPr : AXI<(outs), (ins tcGPR:$dst, variable_ops),
1386                      BrMiscFrm, IIC_Br, "bx\t$dst  @ TAILCALL",
1387                    []>, Requires<[IsDarwin]> {
1388       bits<4> dst;
1389       let Inst{31-4} = 0b1110000100101111111111110001;
1390       let Inst{3-0}  = dst;
1391     }
1392   }
1393
1394   // Non-Darwin versions (the difference is R9).
1395   let Defs = [R0, R1, R2, R3, R12,
1396               D0, D1, D2, D3, D4, D5, D6, D7,
1397               D16, D17, D18, D19, D20, D21, D22, D23, D24, D25, D26,
1398               D27, D28, D29, D30, D31, PC],
1399       Uses = [SP] in {
1400     def TCRETURNdiND : AInoP<(outs), (ins i32imm:$dst, variable_ops),
1401                        Pseudo, IIC_Br,
1402                        "@TC_RETURN","\t$dst", []>, Requires<[IsNotDarwin]>;
1403
1404     def TCRETURNriND : AInoP<(outs), (ins tcGPR:$dst, variable_ops),
1405                        Pseudo, IIC_Br,
1406                        "@TC_RETURN","\t$dst", []>, Requires<[IsNotDarwin]>;
1407
1408     def TAILJMPdND : ABXI<0b1010, (outs), (ins brtarget:$dst, variable_ops),
1409                    IIC_Br, "b\t$dst  @ TAILCALL",
1410                    []>, Requires<[IsARM, IsNotDarwin]>;
1411
1412     def TAILJMPdNDt : ABXI<0b1010, (outs), (ins brtarget:$dst, variable_ops),
1413                    IIC_Br, "b.w\t$dst  @ TAILCALL",
1414                    []>, Requires<[IsThumb, IsNotDarwin]>;
1415
1416     def TAILJMPrND : AXI<(outs), (ins tcGPR:$dst, variable_ops),
1417                      BrMiscFrm, IIC_Br, "bx\t$dst  @ TAILCALL",
1418                    []>, Requires<[IsNotDarwin]> {
1419       bits<4> dst;
1420       let Inst{31-4} = 0b1110000100101111111111110001;
1421       let Inst{3-0}  = dst;
1422     }
1423   }
1424 }
1425
1426 let isBranch = 1, isTerminator = 1 in {
1427   // B is "predicable" since it can be xformed into a Bcc.
1428   let isBarrier = 1 in {
1429     let isPredicable = 1 in
1430     def B : ABXI<0b1010, (outs), (ins brtarget:$target), IIC_Br,
1431                 "b\t$target", [(br bb:$target)]> {
1432       bits<24> target;
1433       let Inst{31-28} = 0b1110;
1434       let Inst{23-0} = target;
1435     }
1436
1437     let isNotDuplicable = 1, isIndirectBranch = 1 in {
1438     def BR_JTr : ARMPseudoInst<(outs),
1439                       (ins GPR:$target, i32imm:$jt, i32imm:$id),
1440                       SizeSpecial, IIC_Br,
1441                       [(ARMbrjt GPR:$target, tjumptable:$jt, imm:$id)]>;
1442     // FIXME: This shouldn't use the generic "addrmode2," but rather be split
1443     // into i12 and rs suffixed versions.
1444     def BR_JTm : ARMPseudoInst<(outs),
1445                      (ins addrmode2:$target, i32imm:$jt, i32imm:$id),
1446                      SizeSpecial, IIC_Br,
1447                      [(ARMbrjt (i32 (load addrmode2:$target)), tjumptable:$jt,
1448                        imm:$id)]>;
1449     def BR_JTadd : ARMPseudoInst<(outs),
1450                    (ins GPR:$target, GPR:$idx, i32imm:$jt, i32imm:$id),
1451                    SizeSpecial, IIC_Br,
1452                    [(ARMbrjt (add GPR:$target, GPR:$idx), tjumptable:$jt,
1453                      imm:$id)]>;
1454     } // isNotDuplicable = 1, isIndirectBranch = 1
1455   } // isBarrier = 1
1456
1457   // FIXME: should be able to write a pattern for ARMBrcond, but can't use
1458   // a two-value operand where a dag node expects two operands. :(
1459   def Bcc : ABI<0b1010, (outs), (ins brtarget:$target),
1460                IIC_Br, "b", "\t$target",
1461                [/*(ARMbrcond bb:$target, imm:$cc, CCR:$ccr)*/]> {
1462     bits<24> target;
1463     let Inst{23-0} = target;
1464   }
1465 }
1466
1467 // Branch and Exchange Jazelle -- for disassembly only
1468 def BXJ : ABI<0b0001, (outs), (ins GPR:$func), NoItinerary, "bxj", "\t$func",
1469               [/* For disassembly only; pattern left blank */]> {
1470   let Inst{23-20} = 0b0010;
1471   //let Inst{19-8} = 0xfff;
1472   let Inst{7-4} = 0b0010;
1473 }
1474
1475 // Secure Monitor Call is a system instruction -- for disassembly only
1476 def SMC : ABI<0b0001, (outs), (ins i32imm:$opt), NoItinerary, "smc", "\t$opt",
1477               [/* For disassembly only; pattern left blank */]> {
1478   bits<4> opt;
1479   let Inst{23-4} = 0b01100000000000000111;
1480   let Inst{3-0} = opt;
1481 }
1482
1483 // Supervisor Call (Software Interrupt) -- for disassembly only
1484 let isCall = 1, Uses = [SP] in {
1485 def SVC : ABI<0b1111, (outs), (ins i32imm:$svc), IIC_Br, "svc", "\t$svc",
1486               [/* For disassembly only; pattern left blank */]> {
1487   bits<24> svc;
1488   let Inst{23-0} = svc;
1489 }
1490 }
1491
1492 // Store Return State is a system instruction -- for disassembly only
1493 let isCodeGenOnly = 1 in {  // FIXME: This should not use submode!
1494 def SRSW : ABXI<{1,0,0,?}, (outs), (ins ldstm_mode:$amode, i32imm:$mode),
1495                 NoItinerary, "srs${amode}\tsp!, $mode",
1496                 [/* For disassembly only; pattern left blank */]> {
1497   let Inst{31-28} = 0b1111;
1498   let Inst{22-20} = 0b110; // W = 1
1499 }
1500
1501 def SRS  : ABXI<{1,0,0,?}, (outs), (ins ldstm_mode:$amode, i32imm:$mode),
1502                 NoItinerary, "srs${amode}\tsp, $mode",
1503                 [/* For disassembly only; pattern left blank */]> {
1504   let Inst{31-28} = 0b1111;
1505   let Inst{22-20} = 0b100; // W = 0
1506 }
1507
1508 // Return From Exception is a system instruction -- for disassembly only
1509 def RFEW : ABXI<{1,0,0,?}, (outs), (ins ldstm_mode:$amode, GPR:$base),
1510                 NoItinerary, "rfe${amode}\t$base!",
1511                 [/* For disassembly only; pattern left blank */]> {
1512   let Inst{31-28} = 0b1111;
1513   let Inst{22-20} = 0b011; // W = 1
1514 }
1515
1516 def RFE  : ABXI<{1,0,0,?}, (outs), (ins ldstm_mode:$amode, GPR:$base),
1517                 NoItinerary, "rfe${amode}\t$base",
1518                 [/* For disassembly only; pattern left blank */]> {
1519   let Inst{31-28} = 0b1111;
1520   let Inst{22-20} = 0b001; // W = 0
1521 }
1522 } // isCodeGenOnly = 1
1523
1524 //===----------------------------------------------------------------------===//
1525 //  Load / store Instructions.
1526 //
1527
1528 // Load
1529
1530
1531 defm LDR  : AI_ldr1<0, "ldr", IIC_iLoad_r, IIC_iLoad_si,
1532                     UnOpFrag<(load node:$Src)>>;
1533 defm LDRB : AI_ldr1<1, "ldrb", IIC_iLoad_bh_r, IIC_iLoad_bh_si,
1534                     UnOpFrag<(zextloadi8 node:$Src)>>;
1535 defm STR  : AI_str1<0, "str", IIC_iStore_r, IIC_iStore_si,
1536                    BinOpFrag<(store node:$LHS, node:$RHS)>>;
1537 defm STRB : AI_str1<1, "strb", IIC_iStore_bh_r, IIC_iStore_bh_si,
1538                    BinOpFrag<(truncstorei8 node:$LHS, node:$RHS)>>;
1539
1540 // Special LDR for loads from non-pc-relative constpools.
1541 let canFoldAsLoad = 1, mayLoad = 1, neverHasSideEffects = 1,
1542     isReMaterializable = 1 in
1543 def LDRcp : AI2ldst<0b010, 1, 0, (outs GPR:$Rt), (ins addrmode_imm12:$addr),
1544                  AddrMode_i12, LdFrm, IIC_iLoad_r, "ldr", "\t$Rt, $addr",
1545                  []> {
1546   bits<4> Rt;
1547   bits<17> addr;
1548   let Inst{23}    = addr{12};     // U (add = ('U' == 1))
1549   let Inst{19-16} = 0b1111;
1550   let Inst{15-12} = Rt;
1551   let Inst{11-0}  = addr{11-0};   // imm12
1552 }
1553
1554 // Loads with zero extension
1555 def LDRH  : AI3ld<0b1011, 1, (outs GPR:$Rt), (ins addrmode3:$addr), LdMiscFrm,
1556                   IIC_iLoad_bh_r, "ldrh", "\t$Rt, $addr",
1557                   [(set GPR:$Rt, (zextloadi16 addrmode3:$addr))]>;
1558
1559 // Loads with sign extension
1560 def LDRSH : AI3ld<0b1111, 1, (outs GPR:$Rt), (ins addrmode3:$addr), LdMiscFrm,
1561                    IIC_iLoad_bh_r, "ldrsh", "\t$Rt, $addr",
1562                    [(set GPR:$Rt, (sextloadi16 addrmode3:$addr))]>;
1563
1564 def LDRSB : AI3ld<0b1101, 1, (outs GPR:$Rt), (ins addrmode3:$addr), LdMiscFrm,
1565                    IIC_iLoad_bh_r, "ldrsb", "\t$Rt, $addr",
1566                    [(set GPR:$Rt, (sextloadi8 addrmode3:$addr))]>;
1567
1568 let mayLoad = 1, neverHasSideEffects = 1, hasExtraDefRegAllocReq = 1,
1569     isCodeGenOnly = 1 in { // $dst2 doesn't exist in asmstring?
1570 // FIXME: $dst2 isn't in the asm string as it's implied by $Rd (dst2 = Rd+1)
1571 //        how to represent that such that tblgen is happy and we don't
1572 //        mark this codegen only?
1573 // Load doubleword
1574 def LDRD : AI3ld<0b1101, 0, (outs GPR:$Rd, GPR:$dst2),
1575                  (ins addrmode3:$addr), LdMiscFrm,
1576                  IIC_iLoad_d_r, "ldrd", "\t$Rd, $addr",
1577                  []>, Requires<[IsARM, HasV5TE]>;
1578 }
1579
1580 // Indexed loads
1581 multiclass AI2_ldridx<bit isByte, string opc, InstrItinClass itin> {
1582   def _PRE  : AI2ldstidx<1, isByte, 1, (outs GPR:$Rt, GPR:$Rn_wb),
1583                       (ins addrmode2:$addr), IndexModePre, LdFrm, itin,
1584                       opc, "\t$Rt, $addr!", "$addr.base = $Rn_wb", []> {
1585     // {17-14}  Rn
1586     // {13}     1 == Rm, 0 == imm12
1587     // {12}     isAdd
1588     // {11-0}   imm12/Rm
1589     bits<18> addr;
1590     let Inst{25} = addr{13};
1591     let Inst{23} = addr{12};
1592     let Inst{19-16} = addr{17-14};
1593     let Inst{11-0} = addr{11-0};
1594   }
1595   def _POST : AI2ldstidx<1, isByte, 0, (outs GPR:$Rt, GPR:$Rn_wb),
1596                       (ins GPR:$Rn, am2offset:$offset),
1597                       IndexModePost, LdFrm, itin,
1598                       opc, "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb", []> {
1599     // {13}     1 == Rm, 0 == imm12
1600     // {12}     isAdd
1601     // {11-0}   imm12/Rm
1602     bits<14> offset;
1603     bits<4> Rn;
1604     let Inst{25} = offset{13};
1605     let Inst{23} = offset{12};
1606     let Inst{19-16} = Rn;
1607     let Inst{11-0} = offset{11-0};
1608   }
1609 }
1610
1611 let mayLoad = 1, neverHasSideEffects = 1 in {
1612 defm LDR  : AI2_ldridx<0, "ldr", IIC_iLoad_ru>;
1613 defm LDRB : AI2_ldridx<1, "ldrb", IIC_iLoad_bh_ru>;
1614 }
1615
1616 multiclass AI3_ldridx<bits<4> op, bit op20, string opc, InstrItinClass itin> {
1617   def _PRE  : AI3ldstidx<op, op20, 1, 1, (outs GPR:$Rt, GPR:$Rn_wb),
1618                         (ins addrmode3:$addr), IndexModePre,
1619                         LdMiscFrm, itin,
1620                         opc, "\t$Rt, $addr!", "$addr.base = $Rn_wb", []> {
1621     bits<14> addr;
1622     let Inst{23}    = addr{8};      // U bit
1623     let Inst{22}    = addr{13};     // 1 == imm8, 0 == Rm
1624     let Inst{19-16} = addr{12-9};   // Rn
1625     let Inst{11-8}  = addr{7-4};    // imm7_4/zero
1626     let Inst{3-0}   = addr{3-0};    // imm3_0/Rm
1627   }
1628   def _POST : AI3ldstidx<op, op20, 1, 0, (outs GPR:$Rt, GPR:$Rn_wb),
1629                         (ins GPR:$Rn, am3offset:$offset), IndexModePost,
1630                         LdMiscFrm, itin,
1631                         opc, "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb", []> {
1632     bits<10> offset;
1633     bits<4> Rn;
1634     let Inst{23}    = offset{8};      // U bit
1635     let Inst{22}    = offset{9};      // 1 == imm8, 0 == Rm
1636     let Inst{19-16} = Rn;
1637     let Inst{11-8}  = offset{7-4};    // imm7_4/zero
1638     let Inst{3-0}   = offset{3-0};    // imm3_0/Rm
1639   }
1640 }
1641
1642 let mayLoad = 1, neverHasSideEffects = 1 in {
1643 defm LDRH  : AI3_ldridx<0b1011, 1, "ldrh", IIC_iLoad_bh_ru>;
1644 defm LDRSH : AI3_ldridx<0b1111, 1, "ldrsh", IIC_iLoad_bh_ru>;
1645 defm LDRSB : AI3_ldridx<0b1101, 1, "ldrsb", IIC_iLoad_bh_ru>;
1646 let hasExtraDefRegAllocReq = 1, isCodeGenOnly = 1 in
1647 defm LDRD :  AI3_ldridx<0b1101, 0, "ldrd", IIC_iLoad_d_ru>;
1648 } // mayLoad = 1, neverHasSideEffects = 1
1649
1650 // LDRT, LDRBT, LDRSBT, LDRHT, LDRSHT are for disassembly only.
1651 let mayLoad = 1, neverHasSideEffects = 1 in {
1652 def LDRT : AI2ldstidx<1, 0, 0, (outs GPR:$dst, GPR:$base_wb),
1653                    (ins GPR:$base, am2offset:$offset), IndexModeNone,
1654                    LdFrm, IIC_iLoad_ru,
1655                    "ldrt", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1656   let Inst{21} = 1; // overwrite
1657 }
1658 def LDRBT : AI2ldstidx<1, 1, 0, (outs GPR:$dst, GPR:$base_wb),
1659                   (ins GPR:$base, am2offset:$offset), IndexModeNone,
1660                   LdFrm, IIC_iLoad_bh_ru,
1661                   "ldrbt", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1662   let Inst{21} = 1; // overwrite
1663 }
1664 def LDRSBT : AI3ldstidx<0b1101, 1, 1, 0, (outs GPR:$dst, GPR:$base_wb),
1665                  (ins GPR:$base, am3offset:$offset), IndexModePost,
1666                  LdMiscFrm, IIC_iLoad_bh_ru,
1667                  "ldrsbt", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1668   let Inst{21} = 1; // overwrite
1669 }
1670 def LDRHT : AI3ldstidx<0b1011, 1, 1, 0, (outs GPR:$dst, GPR:$base_wb),
1671                  (ins GPR:$base, am3offset:$offset), IndexModePost,
1672                  LdMiscFrm, IIC_iLoad_bh_ru,
1673                  "ldrht", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1674   let Inst{21} = 1; // overwrite
1675 }
1676 def LDRSHT : AI3ldstidx<0b1111, 1, 1, 0, (outs GPR:$dst, GPR:$base_wb),
1677                  (ins GPR:$base, am3offset:$offset), IndexModePost,
1678                  LdMiscFrm, IIC_iLoad_bh_ru,
1679                  "ldrsht", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1680   let Inst{21} = 1; // overwrite
1681 }
1682 }
1683
1684 // Store
1685
1686 // Stores with truncate
1687 def STRH : AI3str<0b1011, (outs), (ins GPR:$Rt, addrmode3:$addr), StMiscFrm,
1688                IIC_iStore_bh_r, "strh", "\t$Rt, $addr",
1689                [(truncstorei16 GPR:$Rt, addrmode3:$addr)]>;
1690
1691 // Store doubleword
1692 let mayStore = 1, neverHasSideEffects = 1, hasExtraSrcRegAllocReq = 1,
1693     isCodeGenOnly = 1 in  // $src2 doesn't exist in asm string
1694 def STRD : AI3str<0b1111, (outs), (ins GPR:$src1, GPR:$src2, addrmode3:$addr),
1695                StMiscFrm, IIC_iStore_d_r,
1696                "strd", "\t$src1, $addr", []>, Requires<[IsARM, HasV5TE]>;
1697
1698 // Indexed stores
1699 def STR_PRE  : AI2stridx<0, 1, (outs GPR:$Rn_wb),
1700                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1701                      IndexModePre, StFrm, IIC_iStore_ru,
1702                      "str", "\t$Rt, [$Rn, $offset]!", "$Rn = $Rn_wb",
1703                      [(set GPR:$Rn_wb,
1704                       (pre_store GPR:$Rt, GPR:$Rn, am2offset:$offset))]>;
1705
1706 def STR_POST : AI2stridx<0, 0, (outs GPR:$Rn_wb),
1707                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1708                      IndexModePost, StFrm, IIC_iStore_ru,
1709                      "str", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1710                      [(set GPR:$Rn_wb,
1711                       (post_store GPR:$Rt, GPR:$Rn, am2offset:$offset))]>;
1712
1713 def STRB_PRE : AI2stridx<1, 1, (outs GPR:$Rn_wb),
1714                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1715                      IndexModePre, StFrm, IIC_iStore_bh_ru,
1716                      "strb", "\t$Rt, [$Rn, $offset]!", "$Rn = $Rn_wb",
1717                      [(set GPR:$Rn_wb, (pre_truncsti8 GPR:$Rt,
1718                                         GPR:$Rn, am2offset:$offset))]>;
1719 def STRB_POST: AI2stridx<1, 0, (outs GPR:$Rn_wb),
1720                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1721                      IndexModePost, StFrm, IIC_iStore_bh_ru,
1722                      "strb", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1723                      [(set GPR:$Rn_wb, (post_truncsti8 GPR:$Rt,
1724                                         GPR:$Rn, am2offset:$offset))]>;
1725
1726 def STRH_PRE : AI3stridx<0b1011, 0, 1, (outs GPR:$Rn_wb),
1727                      (ins GPR:$Rt, GPR:$Rn, am3offset:$offset),
1728                      IndexModePre, StMiscFrm, IIC_iStore_ru,
1729                      "strh", "\t$Rt, [$Rn, $offset]!", "$Rn = $Rn_wb",
1730                      [(set GPR:$Rn_wb,
1731                       (pre_truncsti16 GPR:$Rt, GPR:$Rn, am3offset:$offset))]>;
1732
1733 def STRH_POST: AI3stridx<0b1011, 0, 0, (outs GPR:$Rn_wb),
1734                      (ins GPR:$Rt, GPR:$Rn, am3offset:$offset),
1735                      IndexModePost, StMiscFrm, IIC_iStore_bh_ru,
1736                      "strh", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1737                      [(set GPR:$Rn_wb, (post_truncsti16 GPR:$Rt,
1738                                         GPR:$Rn, am3offset:$offset))]>;
1739
1740 // For disassembly only
1741 def STRD_PRE : AI3stdpr<(outs GPR:$base_wb),
1742                      (ins GPR:$src1, GPR:$src2, GPR:$base, am3offset:$offset),
1743                      StMiscFrm, IIC_iStore_d_ru,
1744                      "strd", "\t$src1, $src2, [$base, $offset]!",
1745                      "$base = $base_wb", []>;
1746
1747 // For disassembly only
1748 def STRD_POST: AI3stdpo<(outs GPR:$base_wb),
1749                      (ins GPR:$src1, GPR:$src2, GPR:$base, am3offset:$offset),
1750                      StMiscFrm, IIC_iStore_d_ru,
1751                      "strd", "\t$src1, $src2, [$base], $offset",
1752                      "$base = $base_wb", []>;
1753
1754 // STRT, STRBT, and STRHT are for disassembly only.
1755
1756 def STRT : AI2stridx<0, 0, (outs GPR:$Rn_wb),
1757                     (ins GPR:$Rt, GPR:$Rn,am2offset:$offset),
1758                     IndexModeNone, StFrm, IIC_iStore_ru,
1759                     "strt", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1760                     [/* For disassembly only; pattern left blank */]> {
1761   let Inst{21} = 1; // overwrite
1762 }
1763
1764 def STRBT : AI2stridx<1, 0, (outs GPR:$Rn_wb),
1765                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1766                      IndexModeNone, StFrm, IIC_iStore_bh_ru,
1767                      "strbt", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1768                      [/* For disassembly only; pattern left blank */]> {
1769   let Inst{21} = 1; // overwrite
1770 }
1771
1772 def STRHT: AI3sthpo<(outs GPR:$base_wb),
1773                     (ins GPR:$src, GPR:$base,am3offset:$offset),
1774                     StMiscFrm, IIC_iStore_bh_ru,
1775                     "strht", "\t$src, [$base], $offset", "$base = $base_wb",
1776                     [/* For disassembly only; pattern left blank */]> {
1777   let Inst{21} = 1; // overwrite
1778 }
1779
1780 //===----------------------------------------------------------------------===//
1781 //  Load / store multiple Instructions.
1782 //
1783
1784 multiclass arm_ldst_mult<string asm, bit L_bit, Format f,
1785                          InstrItinClass itin, InstrItinClass itin_upd> {
1786   def IA :
1787     AXI4<(outs), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1788          IndexModeNone, f, itin,
1789          !strconcat(asm, "ia${p}\t$Rn, $regs"), "", []> {
1790     let Inst{24-23} = 0b01;       // Increment After
1791     let Inst{21}    = 0;          // No writeback
1792     let Inst{20}    = L_bit;
1793   }
1794   def IA_UPD :
1795     AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1796          IndexModeUpd, f, itin_upd,
1797          !strconcat(asm, "ia${p}\t$Rn!, $regs"), "$Rn = $wb", []> {
1798     let Inst{24-23} = 0b01;       // Increment After
1799     let Inst{21}    = 1;          // Writeback
1800     let Inst{20}    = L_bit;
1801   }
1802   def DA :
1803     AXI4<(outs), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1804          IndexModeNone, f, itin,
1805          !strconcat(asm, "da${p}\t$Rn, $regs"), "", []> {
1806     let Inst{24-23} = 0b00;       // Decrement After
1807     let Inst{21}    = 0;          // No writeback
1808     let Inst{20}    = L_bit;
1809   }
1810   def DA_UPD :
1811     AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1812          IndexModeUpd, f, itin_upd,
1813          !strconcat(asm, "da${p}\t$Rn!, $regs"), "$Rn = $wb", []> {
1814     let Inst{24-23} = 0b00;       // Decrement After
1815     let Inst{21}    = 1;          // Writeback
1816     let Inst{20}    = L_bit;
1817   }
1818   def DB :
1819     AXI4<(outs), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1820          IndexModeNone, f, itin,
1821          !strconcat(asm, "db${p}\t$Rn, $regs"), "", []> {
1822     let Inst{24-23} = 0b10;       // Decrement Before
1823     let Inst{21}    = 0;          // No writeback
1824     let Inst{20}    = L_bit;
1825   }
1826   def DB_UPD :
1827     AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1828          IndexModeUpd, f, itin_upd,
1829          !strconcat(asm, "db${p}\t$Rn!, $regs"), "$Rn = $wb", []> {
1830     let Inst{24-23} = 0b10;       // Decrement Before
1831     let Inst{21}    = 1;          // Writeback
1832     let Inst{20}    = L_bit;
1833   }
1834   def IB :
1835     AXI4<(outs), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1836          IndexModeNone, f, itin,
1837          !strconcat(asm, "ib${p}\t$Rn, $regs"), "", []> {
1838     let Inst{24-23} = 0b11;       // Increment Before
1839     let Inst{21}    = 0;          // No writeback
1840     let Inst{20}    = L_bit;
1841   }
1842   def IB_UPD :
1843     AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1844          IndexModeUpd, f, itin_upd,
1845          !strconcat(asm, "ib${p}\t$Rn!, $regs"), "$Rn = $wb", []> {
1846     let Inst{24-23} = 0b11;       // Increment Before
1847     let Inst{21}    = 1;          // Writeback
1848     let Inst{20}    = L_bit;
1849   }
1850 }
1851
1852 let neverHasSideEffects = 1 in {
1853
1854 let mayLoad = 1, hasExtraDefRegAllocReq = 1 in
1855 defm LDM : arm_ldst_mult<"ldm", 1, LdStMulFrm, IIC_iLoad_m, IIC_iLoad_mu>;
1856
1857 let mayStore = 1, hasExtraSrcRegAllocReq = 1 in
1858 defm STM : arm_ldst_mult<"stm", 0, LdStMulFrm, IIC_iStore_m, IIC_iStore_mu>;
1859
1860 } // neverHasSideEffects
1861
1862 // Load / Store Multiple Mnemnoic Aliases
1863 def : MnemonicAlias<"ldm", "ldmia">;
1864 def : MnemonicAlias<"stm", "stmia">;
1865
1866 // FIXME: remove when we have a way to marking a MI with these properties.
1867 // FIXME: Should pc be an implicit operand like PICADD, etc?
1868 let isReturn = 1, isTerminator = 1, isBarrier = 1, mayLoad = 1,
1869     hasExtraDefRegAllocReq = 1, isCodeGenOnly = 1 in
1870 def LDMIA_RET : AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p,
1871                                       reglist:$regs, variable_ops),
1872                      IndexModeUpd, LdStMulFrm, IIC_iLoad_mBr,
1873                      "ldmia${p}\t$Rn!, $regs",
1874                      "$Rn = $wb", []> {
1875   let Inst{24-23} = 0b01;       // Increment After
1876   let Inst{21}    = 1;          // Writeback
1877   let Inst{20}    = 1;          // Load
1878 }
1879
1880 //===----------------------------------------------------------------------===//
1881 //  Move Instructions.
1882 //
1883
1884 let neverHasSideEffects = 1 in
1885 def MOVr : AsI1<0b1101, (outs GPR:$Rd), (ins GPR:$Rm), DPFrm, IIC_iMOVr,
1886                 "mov", "\t$Rd, $Rm", []>, UnaryDP {
1887   bits<4> Rd;
1888   bits<4> Rm;
1889
1890   let Inst{11-4} = 0b00000000;
1891   let Inst{25} = 0;
1892   let Inst{3-0} = Rm;
1893   let Inst{15-12} = Rd;
1894 }
1895
1896 // A version for the smaller set of tail call registers.
1897 let neverHasSideEffects = 1 in
1898 def MOVr_TC : AsI1<0b1101, (outs tcGPR:$Rd), (ins tcGPR:$Rm), DPFrm,
1899                 IIC_iMOVr, "mov", "\t$Rd, $Rm", []>, UnaryDP {
1900   bits<4> Rd;
1901   bits<4> Rm;
1902
1903   let Inst{11-4} = 0b00000000;
1904   let Inst{25} = 0;
1905   let Inst{3-0} = Rm;
1906   let Inst{15-12} = Rd;
1907 }
1908
1909 def MOVs : AsI1<0b1101, (outs GPR:$Rd), (ins shift_so_reg:$src),
1910                 DPSoRegFrm, IIC_iMOVsr,
1911                 "mov", "\t$Rd, $src", [(set GPR:$Rd, shift_so_reg:$src)]>,
1912                 UnaryDP {
1913   bits<4> Rd;
1914   bits<12> src;
1915   let Inst{15-12} = Rd;
1916   let Inst{11-0} = src;
1917   let Inst{25} = 0;
1918 }
1919
1920 let isReMaterializable = 1, isAsCheapAsAMove = 1, isMoveImm = 1 in
1921 def MOVi : AsI1<0b1101, (outs GPR:$Rd), (ins so_imm:$imm), DPFrm, IIC_iMOVi,
1922                 "mov", "\t$Rd, $imm", [(set GPR:$Rd, so_imm:$imm)]>, UnaryDP {
1923   bits<4> Rd;
1924   bits<12> imm;
1925   let Inst{25} = 1;
1926   let Inst{15-12} = Rd;
1927   let Inst{19-16} = 0b0000;
1928   let Inst{11-0} = imm;
1929 }
1930
1931 let isReMaterializable = 1, isAsCheapAsAMove = 1, isMoveImm = 1 in
1932 def MOVi16 : AI1<0b1000, (outs GPR:$Rd), (ins movt_imm:$imm),
1933                  DPFrm, IIC_iMOVi,
1934                  "movw", "\t$Rd, $imm",
1935                  [(set GPR:$Rd, imm0_65535:$imm)]>,
1936                  Requires<[IsARM, HasV6T2]>, UnaryDP {
1937   bits<4> Rd;
1938   bits<16> imm;
1939   let Inst{15-12} = Rd;
1940   let Inst{11-0}  = imm{11-0};
1941   let Inst{19-16} = imm{15-12};
1942   let Inst{20} = 0;
1943   let Inst{25} = 1;
1944 }
1945
1946 let Constraints = "$src = $Rd" in
1947 def MOVTi16 : AI1<0b1010, (outs GPR:$Rd), (ins GPR:$src, movt_imm:$imm),
1948                   DPFrm, IIC_iMOVi,
1949                   "movt", "\t$Rd, $imm",
1950                   [(set GPR:$Rd,
1951                         (or (and GPR:$src, 0xffff),
1952                             lo16AllZero:$imm))]>, UnaryDP,
1953                   Requires<[IsARM, HasV6T2]> {
1954   bits<4> Rd;
1955   bits<16> imm;
1956   let Inst{15-12} = Rd;
1957   let Inst{11-0}  = imm{11-0};
1958   let Inst{19-16} = imm{15-12};
1959   let Inst{20} = 0;
1960   let Inst{25} = 1;
1961 }
1962
1963 def : ARMPat<(or GPR:$src, 0xffff0000), (MOVTi16 GPR:$src, 0xffff)>,
1964       Requires<[IsARM, HasV6T2]>;
1965
1966 let Uses = [CPSR] in
1967 def RRX: PseudoInst<(outs GPR:$Rd), (ins GPR:$Rm), IIC_iMOVsi,
1968                     [(set GPR:$Rd, (ARMrrx GPR:$Rm))]>, UnaryDP,
1969                     Requires<[IsARM]>;
1970
1971 // These aren't really mov instructions, but we have to define them this way
1972 // due to flag operands.
1973
1974 let Defs = [CPSR] in {
1975 def MOVsrl_flag : PseudoInst<(outs GPR:$dst), (ins GPR:$src), IIC_iMOVsi,
1976                       [(set GPR:$dst, (ARMsrl_flag GPR:$src))]>, UnaryDP,
1977                       Requires<[IsARM]>;
1978 def MOVsra_flag : PseudoInst<(outs GPR:$dst), (ins GPR:$src), IIC_iMOVsi,
1979                       [(set GPR:$dst, (ARMsra_flag GPR:$src))]>, UnaryDP,
1980                       Requires<[IsARM]>;
1981 }
1982
1983 //===----------------------------------------------------------------------===//
1984 //  Extend Instructions.
1985 //
1986
1987 // Sign extenders
1988
1989 defm SXTB  : AI_ext_rrot<0b01101010,
1990                          "sxtb", UnOpFrag<(sext_inreg node:$Src, i8)>>;
1991 defm SXTH  : AI_ext_rrot<0b01101011,
1992                          "sxth", UnOpFrag<(sext_inreg node:$Src, i16)>>;
1993
1994 defm SXTAB : AI_exta_rrot<0b01101010,
1995                "sxtab", BinOpFrag<(add node:$LHS, (sext_inreg node:$RHS, i8))>>;
1996 defm SXTAH : AI_exta_rrot<0b01101011,
1997                "sxtah", BinOpFrag<(add node:$LHS, (sext_inreg node:$RHS,i16))>>;
1998
1999 // For disassembly only
2000 defm SXTB16  : AI_ext_rrot_np<0b01101000, "sxtb16">;
2001
2002 // For disassembly only
2003 defm SXTAB16 : AI_exta_rrot_np<0b01101000, "sxtab16">;
2004
2005 // Zero extenders
2006
2007 let AddedComplexity = 16 in {
2008 defm UXTB   : AI_ext_rrot<0b01101110,
2009                           "uxtb"  , UnOpFrag<(and node:$Src, 0x000000FF)>>;
2010 defm UXTH   : AI_ext_rrot<0b01101111,
2011                           "uxth"  , UnOpFrag<(and node:$Src, 0x0000FFFF)>>;
2012 defm UXTB16 : AI_ext_rrot<0b01101100,
2013                           "uxtb16", UnOpFrag<(and node:$Src, 0x00FF00FF)>>;
2014
2015 // FIXME: This pattern incorrectly assumes the shl operator is a rotate.
2016 //        The transformation should probably be done as a combiner action
2017 //        instead so we can include a check for masking back in the upper
2018 //        eight bits of the source into the lower eight bits of the result.
2019 //def : ARMV6Pat<(and (shl GPR:$Src, (i32 8)), 0xFF00FF),
2020 //               (UXTB16r_rot GPR:$Src, 24)>;
2021 def : ARMV6Pat<(and (srl GPR:$Src, (i32 8)), 0xFF00FF),
2022                (UXTB16r_rot GPR:$Src, 8)>;
2023
2024 defm UXTAB : AI_exta_rrot<0b01101110, "uxtab",
2025                         BinOpFrag<(add node:$LHS, (and node:$RHS, 0x00FF))>>;
2026 defm UXTAH : AI_exta_rrot<0b01101111, "uxtah",
2027                         BinOpFrag<(add node:$LHS, (and node:$RHS, 0xFFFF))>>;
2028 }
2029
2030 // This isn't safe in general, the add is two 16-bit units, not a 32-bit add.
2031 // For disassembly only
2032 defm UXTAB16 : AI_exta_rrot_np<0b01101100, "uxtab16">;
2033
2034
2035 def SBFX  : I<(outs GPR:$Rd),
2036               (ins GPR:$Rn, imm0_31:$lsb, imm0_31_m1:$width),
2037                AddrMode1, Size4Bytes, IndexModeNone, DPFrm, IIC_iUNAsi,
2038                "sbfx", "\t$Rd, $Rn, $lsb, $width", "", []>,
2039                Requires<[IsARM, HasV6T2]> {
2040   bits<4> Rd;
2041   bits<4> Rn;
2042   bits<5> lsb;
2043   bits<5> width;
2044   let Inst{27-21} = 0b0111101;
2045   let Inst{6-4}   = 0b101;
2046   let Inst{20-16} = width;
2047   let Inst{15-12} = Rd;
2048   let Inst{11-7}  = lsb;
2049   let Inst{3-0}   = Rn;
2050 }
2051
2052 def UBFX  : I<(outs GPR:$Rd),
2053               (ins GPR:$Rn, imm0_31:$lsb, imm0_31_m1:$width),
2054                AddrMode1, Size4Bytes, IndexModeNone, DPFrm, IIC_iUNAsi,
2055                "ubfx", "\t$Rd, $Rn, $lsb, $width", "", []>,
2056                Requires<[IsARM, HasV6T2]> {
2057   bits<4> Rd;
2058   bits<4> Rn;
2059   bits<5> lsb;
2060   bits<5> width;
2061   let Inst{27-21} = 0b0111111;
2062   let Inst{6-4}   = 0b101;
2063   let Inst{20-16} = width;
2064   let Inst{15-12} = Rd;
2065   let Inst{11-7}  = lsb;
2066   let Inst{3-0}   = Rn;
2067 }
2068
2069 //===----------------------------------------------------------------------===//
2070 //  Arithmetic Instructions.
2071 //
2072
2073 defm ADD  : AsI1_bin_irs<0b0100, "add",
2074                          IIC_iALUi, IIC_iALUr, IIC_iALUsr,
2075                          BinOpFrag<(add  node:$LHS, node:$RHS)>, 1>;
2076 defm SUB  : AsI1_bin_irs<0b0010, "sub",
2077                          IIC_iALUi, IIC_iALUr, IIC_iALUsr,
2078                          BinOpFrag<(sub  node:$LHS, node:$RHS)>>;
2079
2080 // ADD and SUB with 's' bit set.
2081 defm ADDS : AI1_bin_s_irs<0b0100, "adds",
2082                           IIC_iALUi, IIC_iALUr, IIC_iALUsr,
2083                           BinOpFrag<(addc node:$LHS, node:$RHS)>, 1>;
2084 defm SUBS : AI1_bin_s_irs<0b0010, "subs",
2085                           IIC_iALUi, IIC_iALUr, IIC_iALUsr,
2086                           BinOpFrag<(subc node:$LHS, node:$RHS)>>;
2087
2088 defm ADC : AI1_adde_sube_irs<0b0101, "adc",
2089                           BinOpFrag<(adde_dead_carry node:$LHS, node:$RHS)>, 1>;
2090 defm SBC : AI1_adde_sube_irs<0b0110, "sbc",
2091                           BinOpFrag<(sube_dead_carry node:$LHS, node:$RHS)>>;
2092 defm ADCS : AI1_adde_sube_s_irs<0b0101, "adcs",
2093                           BinOpFrag<(adde_live_carry node:$LHS, node:$RHS)>, 1>;
2094 defm SBCS : AI1_adde_sube_s_irs<0b0110, "sbcs",
2095                           BinOpFrag<(sube_live_carry node:$LHS, node:$RHS) >>;
2096
2097 def RSBri : AsI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm), DPFrm,
2098                  IIC_iALUi, "rsb", "\t$Rd, $Rn, $imm",
2099                  [(set GPR:$Rd, (sub so_imm:$imm, GPR:$Rn))]> {
2100   bits<4> Rd;
2101   bits<4> Rn;
2102   bits<12> imm;
2103   let Inst{25} = 1;
2104   let Inst{15-12} = Rd;
2105   let Inst{19-16} = Rn;
2106   let Inst{11-0} = imm;
2107 }
2108
2109 // The reg/reg form is only defined for the disassembler; for codegen it is
2110 // equivalent to SUBrr.
2111 def RSBrr : AsI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm), DPFrm,
2112                  IIC_iALUr, "rsb", "\t$Rd, $Rn, $Rm",
2113                  [/* For disassembly only; pattern left blank */]> {
2114   bits<4> Rd;
2115   bits<4> Rn;
2116   bits<4> Rm;
2117   let Inst{11-4} = 0b00000000;
2118   let Inst{25} = 0;
2119   let Inst{3-0} = Rm;
2120   let Inst{15-12} = Rd;
2121   let Inst{19-16} = Rn;
2122 }
2123
2124 def RSBrs : AsI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
2125                  DPSoRegFrm, IIC_iALUsr, "rsb", "\t$Rd, $Rn, $shift",
2126                  [(set GPR:$Rd, (sub so_reg:$shift, GPR:$Rn))]> {
2127   bits<4> Rd;
2128   bits<4> Rn;
2129   bits<12> shift;
2130   let Inst{25} = 0;
2131   let Inst{11-0} = shift;
2132   let Inst{15-12} = Rd;
2133   let Inst{19-16} = Rn;
2134 }
2135
2136 // RSB with 's' bit set.
2137 let Defs = [CPSR] in {
2138 def RSBSri : AI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm), DPFrm,
2139                  IIC_iALUi, "rsbs", "\t$Rd, $Rn, $imm",
2140                  [(set GPR:$Rd, (subc so_imm:$imm, GPR:$Rn))]> {
2141   bits<4> Rd;
2142   bits<4> Rn;
2143   bits<12> imm;
2144   let Inst{25} = 1;
2145   let Inst{20} = 1;
2146   let Inst{15-12} = Rd;
2147   let Inst{19-16} = Rn;
2148   let Inst{11-0} = imm;
2149 }
2150 def RSBSrs : AI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
2151                  DPSoRegFrm, IIC_iALUsr, "rsbs", "\t$Rd, $Rn, $shift",
2152                  [(set GPR:$Rd, (subc so_reg:$shift, GPR:$Rn))]> {
2153   bits<4> Rd;
2154   bits<4> Rn;
2155   bits<12> shift;
2156   let Inst{25} = 0;
2157   let Inst{20} = 1;
2158   let Inst{11-0} = shift;
2159   let Inst{15-12} = Rd;
2160   let Inst{19-16} = Rn;
2161 }
2162 }
2163
2164 let Uses = [CPSR] in {
2165 def RSCri : AsI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm),
2166                  DPFrm, IIC_iALUi, "rsc", "\t$Rd, $Rn, $imm",
2167                  [(set GPR:$Rd, (sube_dead_carry so_imm:$imm, GPR:$Rn))]>,
2168                  Requires<[IsARM]> {
2169   bits<4> Rd;
2170   bits<4> Rn;
2171   bits<12> imm;
2172   let Inst{25} = 1;
2173   let Inst{15-12} = Rd;
2174   let Inst{19-16} = Rn;
2175   let Inst{11-0} = imm;
2176 }
2177 // The reg/reg form is only defined for the disassembler; for codegen it is
2178 // equivalent to SUBrr.
2179 def RSCrr : AsI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2180                  DPFrm, IIC_iALUr, "rsc", "\t$Rd, $Rn, $Rm",
2181                  [/* For disassembly only; pattern left blank */]> {
2182   bits<4> Rd;
2183   bits<4> Rn;
2184   bits<4> Rm;
2185   let Inst{11-4} = 0b00000000;
2186   let Inst{25} = 0;
2187   let Inst{3-0} = Rm;
2188   let Inst{15-12} = Rd;
2189   let Inst{19-16} = Rn;
2190 }
2191 def RSCrs : AsI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
2192                  DPSoRegFrm, IIC_iALUsr, "rsc", "\t$Rd, $Rn, $shift",
2193                  [(set GPR:$Rd, (sube_dead_carry so_reg:$shift, GPR:$Rn))]>,
2194                  Requires<[IsARM]> {
2195   bits<4> Rd;
2196   bits<4> Rn;
2197   bits<12> shift;
2198   let Inst{25} = 0;
2199   let Inst{11-0} = shift;
2200   let Inst{15-12} = Rd;
2201   let Inst{19-16} = Rn;
2202 }
2203 }
2204
2205 // FIXME: Allow these to be predicated.
2206 let Defs = [CPSR], Uses = [CPSR] in {
2207 def RSCSri : AXI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm),
2208                   DPFrm, IIC_iALUi, "rscs\t$Rd, $Rn, $imm",
2209                   [(set GPR:$Rd, (sube_dead_carry so_imm:$imm, GPR:$Rn))]>,
2210                   Requires<[IsARM]> {
2211   bits<4> Rd;
2212   bits<4> Rn;
2213   bits<12> imm;
2214   let Inst{25} = 1;
2215   let Inst{20} = 1;
2216   let Inst{15-12} = Rd;
2217   let Inst{19-16} = Rn;
2218   let Inst{11-0} = imm;
2219 }
2220 def RSCSrs : AXI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
2221                   DPSoRegFrm, IIC_iALUsr, "rscs\t$Rd, $Rn, $shift",
2222                   [(set GPR:$Rd, (sube_dead_carry so_reg:$shift, GPR:$Rn))]>,
2223                   Requires<[IsARM]> {
2224   bits<4> Rd;
2225   bits<4> Rn;
2226   bits<12> shift;
2227   let Inst{25} = 0;
2228   let Inst{20} = 1;
2229   let Inst{11-0} = shift;
2230   let Inst{15-12} = Rd;
2231   let Inst{19-16} = Rn;
2232 }
2233 }
2234
2235 // (sub X, imm) gets canonicalized to (add X, -imm).  Match this form.
2236 // The assume-no-carry-in form uses the negation of the input since add/sub
2237 // assume opposite meanings of the carry flag (i.e., carry == !borrow).
2238 // See the definition of AddWithCarry() in the ARM ARM A2.2.1 for the gory
2239 // details.
2240 def : ARMPat<(add    GPR:$src, so_imm_neg:$imm),
2241              (SUBri  GPR:$src, so_imm_neg:$imm)>;
2242 def : ARMPat<(addc   GPR:$src, so_imm_neg:$imm),
2243              (SUBSri GPR:$src, so_imm_neg:$imm)>;
2244 // The with-carry-in form matches bitwise not instead of the negation.
2245 // Effectively, the inverse interpretation of the carry flag already accounts
2246 // for part of the negation.
2247 def : ARMPat<(adde   GPR:$src, so_imm_not:$imm),
2248              (SBCri  GPR:$src, so_imm_not:$imm)>;
2249
2250 // Note: These are implemented in C++ code, because they have to generate
2251 // ADD/SUBrs instructions, which use a complex pattern that a xform function
2252 // cannot produce.
2253 // (mul X, 2^n+1) -> (add (X << n), X)
2254 // (mul X, 2^n-1) -> (rsb X, (X << n))
2255
2256 // ARM Arithmetic Instruction -- for disassembly only
2257 // GPR:$dst = GPR:$a op GPR:$b
2258 class AAI<bits<8> op27_20, bits<8> op11_4, string opc,
2259           list<dag> pattern = [/* For disassembly only; pattern left blank */]>
2260   : AI<(outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm), DPFrm, IIC_iALUr,
2261        opc, "\t$Rd, $Rn, $Rm", pattern> {
2262   bits<4> Rd;
2263   bits<4> Rn;
2264   bits<4> Rm;
2265   let Inst{27-20} = op27_20;
2266   let Inst{11-4} = op11_4;
2267   let Inst{19-16} = Rn;
2268   let Inst{15-12} = Rd;
2269   let Inst{3-0}   = Rm;
2270 }
2271
2272 // Saturating add/subtract -- for disassembly only
2273
2274 def QADD    : AAI<0b00010000, 0b00000101, "qadd",
2275                   [(set GPR:$Rd, (int_arm_qadd GPR:$Rn, GPR:$Rm))]>;
2276 def QSUB    : AAI<0b00010010, 0b00000101, "qsub",
2277                   [(set GPR:$Rd, (int_arm_qsub GPR:$Rn, GPR:$Rm))]>;
2278 def QDADD   : AAI<0b00010100, 0b00000101, "qdadd">;
2279 def QDSUB   : AAI<0b00010110, 0b00000101, "qdsub">;
2280
2281 def QADD16  : AAI<0b01100010, 0b11110001, "qadd16">;
2282 def QADD8   : AAI<0b01100010, 0b11111001, "qadd8">;
2283 def QASX    : AAI<0b01100010, 0b11110011, "qasx">;
2284 def QSAX    : AAI<0b01100010, 0b11110101, "qsax">;
2285 def QSUB16  : AAI<0b01100010, 0b11110111, "qsub16">;
2286 def QSUB8   : AAI<0b01100010, 0b11111111, "qsub8">;
2287 def UQADD16 : AAI<0b01100110, 0b11110001, "uqadd16">;
2288 def UQADD8  : AAI<0b01100110, 0b11111001, "uqadd8">;
2289 def UQASX   : AAI<0b01100110, 0b11110011, "uqasx">;
2290 def UQSAX   : AAI<0b01100110, 0b11110101, "uqsax">;
2291 def UQSUB16 : AAI<0b01100110, 0b11110111, "uqsub16">;
2292 def UQSUB8  : AAI<0b01100110, 0b11111111, "uqsub8">;
2293
2294 // Signed/Unsigned add/subtract -- for disassembly only
2295
2296 def SASX   : AAI<0b01100001, 0b11110011, "sasx">;
2297 def SADD16 : AAI<0b01100001, 0b11110001, "sadd16">;
2298 def SADD8  : AAI<0b01100001, 0b11111001, "sadd8">;
2299 def SSAX   : AAI<0b01100001, 0b11110101, "ssax">;
2300 def SSUB16 : AAI<0b01100001, 0b11110111, "ssub16">;
2301 def SSUB8  : AAI<0b01100001, 0b11111111, "ssub8">;
2302 def UASX   : AAI<0b01100101, 0b11110011, "uasx">;
2303 def UADD16 : AAI<0b01100101, 0b11110001, "uadd16">;
2304 def UADD8  : AAI<0b01100101, 0b11111001, "uadd8">;
2305 def USAX   : AAI<0b01100101, 0b11110101, "usax">;
2306 def USUB16 : AAI<0b01100101, 0b11110111, "usub16">;
2307 def USUB8  : AAI<0b01100101, 0b11111111, "usub8">;
2308
2309 // Signed/Unsigned halving add/subtract -- for disassembly only
2310
2311 def SHASX   : AAI<0b01100011, 0b11110011, "shasx">;
2312 def SHADD16 : AAI<0b01100011, 0b11110001, "shadd16">;
2313 def SHADD8  : AAI<0b01100011, 0b11111001, "shadd8">;
2314 def SHSAX   : AAI<0b01100011, 0b11110101, "shsax">;
2315 def SHSUB16 : AAI<0b01100011, 0b11110111, "shsub16">;
2316 def SHSUB8  : AAI<0b01100011, 0b11111111, "shsub8">;
2317 def UHASX   : AAI<0b01100111, 0b11110011, "uhasx">;
2318 def UHADD16 : AAI<0b01100111, 0b11110001, "uhadd16">;
2319 def UHADD8  : AAI<0b01100111, 0b11111001, "uhadd8">;
2320 def UHSAX   : AAI<0b01100111, 0b11110101, "uhsax">;
2321 def UHSUB16 : AAI<0b01100111, 0b11110111, "uhsub16">;
2322 def UHSUB8  : AAI<0b01100111, 0b11111111, "uhsub8">;
2323
2324 // Unsigned Sum of Absolute Differences [and Accumulate] -- for disassembly only
2325
2326 def USAD8  : AI<(outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2327                 MulFrm /* for convenience */, NoItinerary, "usad8",
2328                 "\t$Rd, $Rn, $Rm", []>,
2329              Requires<[IsARM, HasV6]> {
2330   bits<4> Rd;
2331   bits<4> Rn;
2332   bits<4> Rm;
2333   let Inst{27-20} = 0b01111000;
2334   let Inst{15-12} = 0b1111;
2335   let Inst{7-4} = 0b0001;
2336   let Inst{19-16} = Rd;
2337   let Inst{11-8} = Rm;
2338   let Inst{3-0} = Rn;
2339 }
2340 def USADA8 : AI<(outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2341                 MulFrm /* for convenience */, NoItinerary, "usada8",
2342                 "\t$Rd, $Rn, $Rm, $Ra", []>,
2343              Requires<[IsARM, HasV6]> {
2344   bits<4> Rd;
2345   bits<4> Rn;
2346   bits<4> Rm;
2347   bits<4> Ra;
2348   let Inst{27-20} = 0b01111000;
2349   let Inst{7-4} = 0b0001;
2350   let Inst{19-16} = Rd;
2351   let Inst{15-12} = Ra;
2352   let Inst{11-8} = Rm;
2353   let Inst{3-0} = Rn;
2354 }
2355
2356 // Signed/Unsigned saturate -- for disassembly only
2357
2358 def SSAT : AI<(outs GPR:$Rd), (ins i32imm:$sat_imm, GPR:$a, shift_imm:$sh),
2359               SatFrm, NoItinerary, "ssat", "\t$Rd, $sat_imm, $a$sh",
2360               [/* For disassembly only; pattern left blank */]> {
2361   bits<4> Rd;
2362   bits<5> sat_imm;
2363   bits<4> Rn;
2364   bits<8> sh;
2365   let Inst{27-21} = 0b0110101;
2366   let Inst{5-4} = 0b01;
2367   let Inst{20-16} = sat_imm;
2368   let Inst{15-12} = Rd;
2369   let Inst{11-7} = sh{7-3};
2370   let Inst{6} = sh{0};
2371   let Inst{3-0} = Rn;
2372 }
2373
2374 def SSAT16 : AI<(outs GPR:$Rd), (ins i32imm:$sat_imm, GPR:$Rn), SatFrm,
2375                 NoItinerary, "ssat16", "\t$Rd, $sat_imm, $Rn",
2376                 [/* For disassembly only; pattern left blank */]> {
2377   bits<4> Rd;
2378   bits<4> sat_imm;
2379   bits<4> Rn;
2380   let Inst{27-20} = 0b01101010;
2381   let Inst{11-4} = 0b11110011;
2382   let Inst{15-12} = Rd;
2383   let Inst{19-16} = sat_imm;
2384   let Inst{3-0} = Rn;
2385 }
2386
2387 def USAT : AI<(outs GPR:$Rd), (ins i32imm:$sat_imm, GPR:$a, shift_imm:$sh),
2388               SatFrm, NoItinerary, "usat", "\t$Rd, $sat_imm, $a$sh",
2389               [/* For disassembly only; pattern left blank */]> {
2390   bits<4> Rd;
2391   bits<5> sat_imm;
2392   bits<4> Rn;
2393   bits<8> sh;
2394   let Inst{27-21} = 0b0110111;
2395   let Inst{5-4} = 0b01;
2396   let Inst{15-12} = Rd;
2397   let Inst{11-7} = sh{7-3};
2398   let Inst{6} = sh{0};
2399   let Inst{20-16} = sat_imm;
2400   let Inst{3-0} = Rn;
2401 }
2402
2403 def USAT16 : AI<(outs GPR:$Rd), (ins i32imm:$sat_imm, GPR:$a), SatFrm,
2404                 NoItinerary, "usat16", "\t$Rd, $sat_imm, $a",
2405                 [/* For disassembly only; pattern left blank */]> {
2406   bits<4> Rd;
2407   bits<4> sat_imm;
2408   bits<4> Rn;
2409   let Inst{27-20} = 0b01101110;
2410   let Inst{11-4} = 0b11110011;
2411   let Inst{15-12} = Rd;
2412   let Inst{19-16} = sat_imm;
2413   let Inst{3-0} = Rn;
2414 }
2415
2416 def : ARMV6Pat<(int_arm_ssat GPR:$a, imm:$pos), (SSAT imm:$pos, GPR:$a, 0)>;
2417 def : ARMV6Pat<(int_arm_usat GPR:$a, imm:$pos), (USAT imm:$pos, GPR:$a, 0)>;
2418
2419 //===----------------------------------------------------------------------===//
2420 //  Bitwise Instructions.
2421 //
2422
2423 defm AND   : AsI1_bin_irs<0b0000, "and",
2424                           IIC_iBITi, IIC_iBITr, IIC_iBITsr,
2425                           BinOpFrag<(and node:$LHS, node:$RHS)>, 1>;
2426 defm ORR   : AsI1_bin_irs<0b1100, "orr",
2427                           IIC_iBITi, IIC_iBITr, IIC_iBITsr,
2428                           BinOpFrag<(or  node:$LHS, node:$RHS)>, 1>;
2429 defm EOR   : AsI1_bin_irs<0b0001, "eor",
2430                           IIC_iBITi, IIC_iBITr, IIC_iBITsr,
2431                           BinOpFrag<(xor node:$LHS, node:$RHS)>, 1>;
2432 defm BIC   : AsI1_bin_irs<0b1110, "bic",
2433                           IIC_iBITi, IIC_iBITr, IIC_iBITsr,
2434                           BinOpFrag<(and node:$LHS, (not node:$RHS))>>;
2435
2436 def BFC    : I<(outs GPR:$Rd), (ins GPR:$src, bf_inv_mask_imm:$imm),
2437                AddrMode1, Size4Bytes, IndexModeNone, DPFrm, IIC_iUNAsi,
2438                "bfc", "\t$Rd, $imm", "$src = $Rd",
2439                [(set GPR:$Rd, (and GPR:$src, bf_inv_mask_imm:$imm))]>,
2440                Requires<[IsARM, HasV6T2]> {
2441   bits<4> Rd;
2442   bits<10> imm;
2443   let Inst{27-21} = 0b0111110;
2444   let Inst{6-0}   = 0b0011111;
2445   let Inst{15-12} = Rd;
2446   let Inst{11-7}  = imm{4-0}; // lsb
2447   let Inst{20-16} = imm{9-5}; // width
2448 }
2449
2450 // A8.6.18  BFI - Bitfield insert (Encoding A1)
2451 def BFI    : I<(outs GPR:$Rd), (ins GPR:$src, GPR:$Rn, bf_inv_mask_imm:$imm),
2452                AddrMode1, Size4Bytes, IndexModeNone, DPFrm, IIC_iUNAsi,
2453                "bfi", "\t$Rd, $Rn, $imm", "$src = $Rd",
2454                [(set GPR:$Rd, (ARMbfi GPR:$src, GPR:$Rn,
2455                                 bf_inv_mask_imm:$imm))]>,
2456                Requires<[IsARM, HasV6T2]> {
2457   bits<4> Rd;
2458   bits<4> Rn;
2459   bits<10> imm;
2460   let Inst{27-21} = 0b0111110;
2461   let Inst{6-4}   = 0b001; // Rn: Inst{3-0} != 15
2462   let Inst{15-12} = Rd;
2463   let Inst{11-7}  = imm{4-0}; // lsb
2464   let Inst{20-16} = imm{9-5}; // width
2465   let Inst{3-0}   = Rn;
2466 }
2467
2468 def  MVNr  : AsI1<0b1111, (outs GPR:$Rd), (ins GPR:$Rm), DPFrm, IIC_iMVNr,
2469                   "mvn", "\t$Rd, $Rm",
2470                   [(set GPR:$Rd, (not GPR:$Rm))]>, UnaryDP {
2471   bits<4> Rd;
2472   bits<4> Rm;
2473   let Inst{25} = 0;
2474   let Inst{19-16} = 0b0000;
2475   let Inst{11-4} = 0b00000000;
2476   let Inst{15-12} = Rd;
2477   let Inst{3-0} = Rm;
2478 }
2479 def  MVNs  : AsI1<0b1111, (outs GPR:$Rd), (ins so_reg:$shift), DPSoRegFrm,
2480                   IIC_iMVNsr, "mvn", "\t$Rd, $shift",
2481                   [(set GPR:$Rd, (not so_reg:$shift))]>, UnaryDP {
2482   bits<4> Rd;
2483   bits<12> shift;
2484   let Inst{25} = 0;
2485   let Inst{19-16} = 0b0000;
2486   let Inst{15-12} = Rd;
2487   let Inst{11-0} = shift;
2488 }
2489 let isReMaterializable = 1, isAsCheapAsAMove = 1, isMoveImm = 1 in
2490 def  MVNi  : AsI1<0b1111, (outs GPR:$Rd), (ins so_imm:$imm), DPFrm,
2491                   IIC_iMVNi, "mvn", "\t$Rd, $imm",
2492                   [(set GPR:$Rd, so_imm_not:$imm)]>,UnaryDP {
2493   bits<4> Rd;
2494   bits<12> imm;
2495   let Inst{25} = 1;
2496   let Inst{19-16} = 0b0000;
2497   let Inst{15-12} = Rd;
2498   let Inst{11-0} = imm;
2499 }
2500
2501 def : ARMPat<(and   GPR:$src, so_imm_not:$imm),
2502              (BICri GPR:$src, so_imm_not:$imm)>;
2503
2504 //===----------------------------------------------------------------------===//
2505 //  Multiply Instructions.
2506 //
2507 class AsMul1I32<bits<7> opcod, dag oops, dag iops, InstrItinClass itin,
2508              string opc, string asm, list<dag> pattern>
2509   : AsMul1I<opcod, oops, iops, itin, opc, asm, pattern> {
2510   bits<4> Rd;
2511   bits<4> Rm;
2512   bits<4> Rn;
2513   let Inst{19-16} = Rd;
2514   let Inst{11-8}  = Rm;
2515   let Inst{3-0}   = Rn;
2516 }
2517 class AsMul1I64<bits<7> opcod, dag oops, dag iops, InstrItinClass itin,
2518              string opc, string asm, list<dag> pattern>
2519   : AsMul1I<opcod, oops, iops, itin, opc, asm, pattern> {
2520   bits<4> RdLo;
2521   bits<4> RdHi;
2522   bits<4> Rm;
2523   bits<4> Rn;
2524   let Inst{19-16} = RdHi;
2525   let Inst{15-12} = RdLo;
2526   let Inst{11-8}  = Rm;
2527   let Inst{3-0}   = Rn;
2528 }
2529
2530 let isCommutable = 1 in
2531 def MUL  : AsMul1I32<0b0000000, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2532                    IIC_iMUL32, "mul", "\t$Rd, $Rn, $Rm",
2533                    [(set GPR:$Rd, (mul GPR:$Rn, GPR:$Rm))]>;
2534
2535 def MLA  : AsMul1I32<0b0000001, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2536                     IIC_iMAC32, "mla", "\t$Rd, $Rn, $Rm, $Ra",
2537                    [(set GPR:$Rd, (add (mul GPR:$Rn, GPR:$Rm), GPR:$Ra))]> {
2538   bits<4> Ra;
2539   let Inst{15-12} = Ra;
2540 }
2541
2542 def MLS  : AMul1I<0b0000011, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2543                    IIC_iMAC32, "mls", "\t$Rd, $Rn, $Rm, $Ra",
2544                    [(set GPR:$Rd, (sub GPR:$Ra, (mul GPR:$Rn, GPR:$Rm)))]>,
2545                    Requires<[IsARM, HasV6T2]> {
2546   bits<4> Rd;
2547   bits<4> Rm;
2548   bits<4> Rn;
2549   bits<4> Ra;
2550   let Inst{19-16} = Rd;
2551   let Inst{15-12} = Ra;
2552   let Inst{11-8}  = Rm;
2553   let Inst{3-0}   = Rn;
2554 }
2555
2556 // Extra precision multiplies with low / high results
2557
2558 let neverHasSideEffects = 1 in {
2559 let isCommutable = 1 in {
2560 def SMULL : AsMul1I64<0b0000110, (outs GPR:$RdLo, GPR:$RdHi),
2561                                (ins GPR:$Rn, GPR:$Rm), IIC_iMUL64,
2562                     "smull", "\t$RdLo, $RdHi, $Rn, $Rm", []>;
2563
2564 def UMULL : AsMul1I64<0b0000100, (outs GPR:$RdLo, GPR:$RdHi),
2565                                (ins GPR:$Rn, GPR:$Rm), IIC_iMUL64,
2566                     "umull", "\t$RdLo, $RdHi, $Rn, $Rm", []>;
2567 }
2568
2569 // Multiply + accumulate
2570 def SMLAL : AsMul1I64<0b0000111, (outs GPR:$RdLo, GPR:$RdHi),
2571                                (ins GPR:$Rn, GPR:$Rm), IIC_iMAC64,
2572                     "smlal", "\t$RdLo, $RdHi, $Rn, $Rm", []>;
2573
2574 def UMLAL : AsMul1I64<0b0000101, (outs GPR:$RdLo, GPR:$RdHi),
2575                                (ins GPR:$Rn, GPR:$Rm), IIC_iMAC64,
2576                     "umlal", "\t$RdLo, $RdHi, $Rn, $Rm", []>;
2577
2578 def UMAAL : AMul1I <0b0000010, (outs GPR:$RdLo, GPR:$RdHi),
2579                                (ins GPR:$Rn, GPR:$Rm), IIC_iMAC64,
2580                     "umaal", "\t$RdLo, $RdHi, $Rn, $Rm", []>,
2581                     Requires<[IsARM, HasV6]> {
2582   bits<4> RdLo;
2583   bits<4> RdHi;
2584   bits<4> Rm;
2585   bits<4> Rn;
2586   let Inst{19-16} = RdLo;
2587   let Inst{15-12} = RdHi;
2588   let Inst{11-8}  = Rm;
2589   let Inst{3-0}   = Rn;
2590 }
2591 } // neverHasSideEffects
2592
2593 // Most significant word multiply
2594 def SMMUL : AMul2I <0b0111010, 0b0001, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2595                IIC_iMUL32, "smmul", "\t$Rd, $Rn, $Rm",
2596                [(set GPR:$Rd, (mulhs GPR:$Rn, GPR:$Rm))]>,
2597             Requires<[IsARM, HasV6]> {
2598   let Inst{15-12} = 0b1111;
2599 }
2600
2601 def SMMULR : AMul2I <0b0111010, 0b0011, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2602                IIC_iMUL32, "smmulr", "\t$Rd, $Rn, $Rm",
2603                [/* For disassembly only; pattern left blank */]>,
2604             Requires<[IsARM, HasV6]> {
2605   let Inst{15-12} = 0b1111;
2606 }
2607
2608 def SMMLA : AMul2Ia <0b0111010, 0b0001, (outs GPR:$Rd),
2609                (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2610                IIC_iMAC32, "smmla", "\t$Rd, $Rn, $Rm, $Ra",
2611                [(set GPR:$Rd, (add (mulhs GPR:$Rn, GPR:$Rm), GPR:$Ra))]>,
2612             Requires<[IsARM, HasV6]>;
2613
2614 def SMMLAR : AMul2Ia <0b0111010, 0b0011, (outs GPR:$Rd),
2615                (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2616                IIC_iMAC32, "smmlar", "\t$Rd, $Rn, $Rm, $Ra",
2617                [/* For disassembly only; pattern left blank */]>,
2618             Requires<[IsARM, HasV6]>;
2619
2620 def SMMLS : AMul2Ia <0b0111010, 0b1101, (outs GPR:$Rd),
2621                (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2622                IIC_iMAC32, "smmls", "\t$Rd, $Rn, $Rm, $Ra",
2623                [(set GPR:$Rd, (sub GPR:$Ra, (mulhs GPR:$Rn, GPR:$Rm)))]>,
2624             Requires<[IsARM, HasV6]>;
2625
2626 def SMMLSR : AMul2Ia <0b0111010, 0b1111, (outs GPR:$Rd),
2627                (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2628                IIC_iMAC32, "smmlsr", "\t$Rd, $Rn, $Rm, $Ra",
2629                [/* For disassembly only; pattern left blank */]>,
2630             Requires<[IsARM, HasV6]>;
2631
2632 multiclass AI_smul<string opc, PatFrag opnode> {
2633   def BB : AMulxyI<0b0001011, 0b00, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2634               IIC_iMUL16, !strconcat(opc, "bb"), "\t$Rd, $Rn, $Rm",
2635               [(set GPR:$Rd, (opnode (sext_inreg GPR:$Rn, i16),
2636                                       (sext_inreg GPR:$Rm, i16)))]>,
2637            Requires<[IsARM, HasV5TE]>;
2638
2639   def BT : AMulxyI<0b0001011, 0b10, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2640               IIC_iMUL16, !strconcat(opc, "bt"), "\t$Rd, $Rn, $Rm",
2641               [(set GPR:$Rd, (opnode (sext_inreg GPR:$Rn, i16),
2642                                       (sra GPR:$Rm, (i32 16))))]>,
2643            Requires<[IsARM, HasV5TE]>;
2644
2645   def TB : AMulxyI<0b0001011, 0b01, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2646               IIC_iMUL16, !strconcat(opc, "tb"), "\t$Rd, $Rn, $Rm",
2647               [(set GPR:$Rd, (opnode (sra GPR:$Rn, (i32 16)),
2648                                       (sext_inreg GPR:$Rm, i16)))]>,
2649            Requires<[IsARM, HasV5TE]>;
2650
2651   def TT : AMulxyI<0b0001011, 0b11, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2652               IIC_iMUL16, !strconcat(opc, "tt"), "\t$Rd, $Rn, $Rm",
2653               [(set GPR:$Rd, (opnode (sra GPR:$Rn, (i32 16)),
2654                                       (sra GPR:$Rm, (i32 16))))]>,
2655             Requires<[IsARM, HasV5TE]>;
2656
2657   def WB : AMulxyI<0b0001001, 0b01, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2658               IIC_iMUL16, !strconcat(opc, "wb"), "\t$Rd, $Rn, $Rm",
2659               [(set GPR:$Rd, (sra (opnode GPR:$Rn,
2660                                     (sext_inreg GPR:$Rm, i16)), (i32 16)))]>,
2661            Requires<[IsARM, HasV5TE]>;
2662
2663   def WT : AMulxyI<0b0001001, 0b11, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2664               IIC_iMUL16, !strconcat(opc, "wt"), "\t$Rd, $Rn, $Rm",
2665               [(set GPR:$Rd, (sra (opnode GPR:$Rn,
2666                                     (sra GPR:$Rm, (i32 16))), (i32 16)))]>,
2667             Requires<[IsARM, HasV5TE]>;
2668 }
2669
2670
2671 multiclass AI_smla<string opc, PatFrag opnode> {
2672   def BB : AMulxyIa<0b0001000, 0b00, (outs GPR:$Rd),
2673               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2674               IIC_iMAC16, !strconcat(opc, "bb"), "\t$Rd, $Rn, $Rm, $Ra",
2675               [(set GPR:$Rd, (add GPR:$Ra,
2676                                (opnode (sext_inreg GPR:$Rn, i16),
2677                                        (sext_inreg GPR:$Rm, i16))))]>,
2678            Requires<[IsARM, HasV5TE]>;
2679
2680   def BT : AMulxyIa<0b0001000, 0b10, (outs GPR:$Rd),
2681               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2682               IIC_iMAC16, !strconcat(opc, "bt"), "\t$Rd, $Rn, $Rm, $Ra",
2683               [(set GPR:$Rd, (add GPR:$Ra, (opnode (sext_inreg GPR:$Rn, i16),
2684                                                    (sra GPR:$Rm, (i32 16)))))]>,
2685            Requires<[IsARM, HasV5TE]>;
2686
2687   def TB : AMulxyIa<0b0001000, 0b01, (outs GPR:$Rd),
2688               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2689               IIC_iMAC16, !strconcat(opc, "tb"), "\t$Rd, $Rn, $Rm, $Ra",
2690               [(set GPR:$Rd, (add GPR:$Ra, (opnode (sra GPR:$Rn, (i32 16)),
2691                                                 (sext_inreg GPR:$Rm, i16))))]>,
2692            Requires<[IsARM, HasV5TE]>;
2693
2694   def TT : AMulxyIa<0b0001000, 0b11, (outs GPR:$Rd),
2695               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2696               IIC_iMAC16, !strconcat(opc, "tt"), "\t$Rd, $Rn, $Rm, $Ra",
2697              [(set GPR:$Rd, (add GPR:$Ra, (opnode (sra GPR:$Rn, (i32 16)),
2698                                                    (sra GPR:$Rm, (i32 16)))))]>,
2699             Requires<[IsARM, HasV5TE]>;
2700
2701   def WB : AMulxyIa<0b0001001, 0b00, (outs GPR:$Rd),
2702               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2703               IIC_iMAC16, !strconcat(opc, "wb"), "\t$Rd, $Rn, $Rm, $Ra",
2704               [(set GPR:$Rd, (add GPR:$Ra, (sra (opnode GPR:$Rn,
2705                                       (sext_inreg GPR:$Rm, i16)), (i32 16))))]>,
2706            Requires<[IsARM, HasV5TE]>;
2707
2708   def WT : AMulxyIa<0b0001001, 0b10, (outs GPR:$Rd),
2709               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2710               IIC_iMAC16, !strconcat(opc, "wt"), "\t$Rd, $Rn, $Rm, $Ra",
2711               [(set GPR:$Rd, (add GPR:$Ra, (sra (opnode GPR:$Rn,
2712                                         (sra GPR:$Rm, (i32 16))), (i32 16))))]>,
2713             Requires<[IsARM, HasV5TE]>;
2714 }
2715
2716 defm SMUL : AI_smul<"smul", BinOpFrag<(mul node:$LHS, node:$RHS)>>;
2717 defm SMLA : AI_smla<"smla", BinOpFrag<(mul node:$LHS, node:$RHS)>>;
2718
2719 // Halfword multiply accumulate long: SMLAL<x><y> -- for disassembly only
2720 def SMLALBB : AMulxyI64<0b0001010, 0b00, (outs GPR:$RdLo, GPR:$RdHi),
2721                       (ins GPR:$Rn, GPR:$Rm),
2722                       IIC_iMAC64, "smlalbb", "\t$RdLo, $RdHi, $Rn, $Rm",
2723                       [/* For disassembly only; pattern left blank */]>,
2724               Requires<[IsARM, HasV5TE]>;
2725
2726 def SMLALBT : AMulxyI64<0b0001010, 0b10, (outs GPR:$RdLo, GPR:$RdHi),
2727                       (ins GPR:$Rn, GPR:$Rm),
2728                       IIC_iMAC64, "smlalbt", "\t$RdLo, $RdHi, $Rn, $Rm",
2729                       [/* For disassembly only; pattern left blank */]>,
2730               Requires<[IsARM, HasV5TE]>;
2731
2732 def SMLALTB : AMulxyI64<0b0001010, 0b01, (outs GPR:$RdLo, GPR:$RdHi),
2733                       (ins GPR:$Rn, GPR:$Rm),
2734                       IIC_iMAC64, "smlaltb", "\t$RdLo, $RdHi, $Rn, $Rm",
2735                       [/* For disassembly only; pattern left blank */]>,
2736               Requires<[IsARM, HasV5TE]>;
2737
2738 def SMLALTT : AMulxyI64<0b0001010, 0b11, (outs GPR:$RdLo, GPR:$RdHi),
2739                       (ins GPR:$Rn, GPR:$Rm),
2740                       IIC_iMAC64, "smlaltt", "\t$RdLo, $RdHi, $Rn, $Rm",
2741                       [/* For disassembly only; pattern left blank */]>,
2742               Requires<[IsARM, HasV5TE]>;
2743
2744 // Helper class for AI_smld -- for disassembly only
2745 class AMulDualIbase<bit long, bit sub, bit swap, dag oops, dag iops,
2746                     InstrItinClass itin, string opc, string asm>
2747   : AI<oops, iops, MulFrm, itin, opc, asm, []>, Requires<[IsARM, HasV6]> {
2748   bits<4> Rn;
2749   bits<4> Rm;
2750   let Inst{4}     = 1;
2751   let Inst{5}     = swap;
2752   let Inst{6}     = sub;
2753   let Inst{7}     = 0;
2754   let Inst{21-20} = 0b00;
2755   let Inst{22}    = long;
2756   let Inst{27-23} = 0b01110;
2757   let Inst{11-8}  = Rm;
2758   let Inst{3-0}   = Rn;
2759 }
2760 class AMulDualI<bit long, bit sub, bit swap, dag oops, dag iops,
2761                 InstrItinClass itin, string opc, string asm>
2762   : AMulDualIbase<long, sub, swap, oops, iops, itin, opc, asm> {
2763   bits<4> Rd;
2764   let Inst{15-12} = 0b1111;
2765   let Inst{19-16} = Rd;
2766 }
2767 class AMulDualIa<bit long, bit sub, bit swap, dag oops, dag iops,
2768                 InstrItinClass itin, string opc, string asm>
2769   : AMulDualIbase<long, sub, swap, oops, iops, itin, opc, asm> {
2770   bits<4> Ra;
2771   let Inst{15-12} = Ra;
2772 }
2773 class AMulDualI64<bit long, bit sub, bit swap, dag oops, dag iops,
2774                   InstrItinClass itin, string opc, string asm>
2775   : AMulDualIbase<long, sub, swap, oops, iops, itin, opc, asm> {
2776   bits<4> RdLo;
2777   bits<4> RdHi;
2778   let Inst{19-16} = RdHi;
2779   let Inst{15-12} = RdLo;
2780 }
2781
2782 multiclass AI_smld<bit sub, string opc> {
2783
2784   def D : AMulDualIa<0, sub, 0, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2785                   NoItinerary, !strconcat(opc, "d"), "\t$Rd, $Rn, $Rm, $Ra">;
2786
2787   def DX: AMulDualIa<0, sub, 1, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2788                   NoItinerary, !strconcat(opc, "dx"), "\t$Rd, $Rn, $Rm, $Ra">;
2789
2790   def LD: AMulDualI64<1, sub, 0, (outs GPR:$RdLo,GPR:$RdHi),
2791                   (ins GPR:$Rn, GPR:$Rm), NoItinerary,
2792                   !strconcat(opc, "ld"), "\t$RdLo, $RdHi, $Rn, $Rm">;
2793
2794   def LDX : AMulDualI64<1, sub, 1, (outs GPR:$RdLo,GPR:$RdHi),
2795                   (ins GPR:$Rn, GPR:$Rm), NoItinerary,
2796                   !strconcat(opc, "ldx"),"\t$RdLo, $RdHi, $Rn, $Rm">;
2797
2798 }
2799
2800 defm SMLA : AI_smld<0, "smla">;
2801 defm SMLS : AI_smld<1, "smls">;
2802
2803 multiclass AI_sdml<bit sub, string opc> {
2804
2805   def D : AMulDualI<0, sub, 0, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2806                     NoItinerary, !strconcat(opc, "d"), "\t$Rd, $Rn, $Rm">;
2807   def DX : AMulDualI<0, sub, 1, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2808                     NoItinerary, !strconcat(opc, "dx"), "\t$Rd, $Rn, $Rm">;
2809 }
2810
2811 defm SMUA : AI_sdml<0, "smua">;
2812 defm SMUS : AI_sdml<1, "smus">;
2813
2814 //===----------------------------------------------------------------------===//
2815 //  Misc. Arithmetic Instructions.
2816 //
2817
2818 def CLZ  : AMiscA1I<0b000010110, 0b0001, (outs GPR:$Rd), (ins GPR:$Rm),
2819               IIC_iUNAr, "clz", "\t$Rd, $Rm",
2820               [(set GPR:$Rd, (ctlz GPR:$Rm))]>, Requires<[IsARM, HasV5T]>;
2821
2822 def RBIT : AMiscA1I<0b01101111, 0b0011, (outs GPR:$Rd), (ins GPR:$Rm),
2823               IIC_iUNAr, "rbit", "\t$Rd, $Rm",
2824               [(set GPR:$Rd, (ARMrbit GPR:$Rm))]>,
2825            Requires<[IsARM, HasV6T2]>;
2826
2827 def REV  : AMiscA1I<0b01101011, 0b0011, (outs GPR:$Rd), (ins GPR:$Rm),
2828               IIC_iUNAr, "rev", "\t$Rd, $Rm",
2829               [(set GPR:$Rd, (bswap GPR:$Rm))]>, Requires<[IsARM, HasV6]>;
2830
2831 def REV16 : AMiscA1I<0b01101011, 0b1011, (outs GPR:$Rd), (ins GPR:$Rm),
2832                IIC_iUNAr, "rev16", "\t$Rd, $Rm",
2833                [(set GPR:$Rd,
2834                    (or (and (srl GPR:$Rm, (i32 8)), 0xFF),
2835                        (or (and (shl GPR:$Rm, (i32 8)), 0xFF00),
2836                            (or (and (srl GPR:$Rm, (i32 8)), 0xFF0000),
2837                                (and (shl GPR:$Rm, (i32 8)), 0xFF000000)))))]>,
2838                Requires<[IsARM, HasV6]>;
2839
2840 def REVSH : AMiscA1I<0b01101111, 0b1011, (outs GPR:$Rd), (ins GPR:$Rm),
2841                IIC_iUNAr, "revsh", "\t$Rd, $Rm",
2842                [(set GPR:$Rd,
2843                   (sext_inreg
2844                     (or (srl (and GPR:$Rm, 0xFF00), (i32 8)),
2845                         (shl GPR:$Rm, (i32 8))), i16))]>,
2846                Requires<[IsARM, HasV6]>;
2847
2848 def lsl_shift_imm : SDNodeXForm<imm, [{
2849   unsigned Sh = ARM_AM::getSORegOpc(ARM_AM::lsl, N->getZExtValue());
2850   return CurDAG->getTargetConstant(Sh, MVT::i32);
2851 }]>;
2852
2853 def lsl_amt : PatLeaf<(i32 imm), [{
2854   return (N->getZExtValue() < 32);
2855 }], lsl_shift_imm>;
2856
2857 def PKHBT : APKHI<0b01101000, 0, (outs GPR:$Rd),
2858                               (ins GPR:$Rn, GPR:$Rm, shift_imm:$sh),
2859                IIC_iALUsi, "pkhbt", "\t$Rd, $Rn, $Rm$sh",
2860                [(set GPR:$Rd, (or (and GPR:$Rn, 0xFFFF),
2861                                   (and (shl GPR:$Rm, lsl_amt:$sh),
2862                                        0xFFFF0000)))]>,
2863                Requires<[IsARM, HasV6]>;
2864
2865 // Alternate cases for PKHBT where identities eliminate some nodes.
2866 def : ARMV6Pat<(or (and GPR:$Rn, 0xFFFF), (and GPR:$Rm, 0xFFFF0000)),
2867                (PKHBT GPR:$Rn, GPR:$Rm, 0)>;
2868 def : ARMV6Pat<(or (and GPR:$Rn, 0xFFFF), (shl GPR:$Rm, imm16_31:$sh)),
2869                (PKHBT GPR:$Rn, GPR:$Rm, (lsl_shift_imm imm16_31:$sh))>;
2870
2871 def asr_shift_imm : SDNodeXForm<imm, [{
2872   unsigned Sh = ARM_AM::getSORegOpc(ARM_AM::asr, N->getZExtValue());
2873   return CurDAG->getTargetConstant(Sh, MVT::i32);
2874 }]>;
2875
2876 def asr_amt : PatLeaf<(i32 imm), [{
2877   return (N->getZExtValue() <= 32);
2878 }], asr_shift_imm>;
2879
2880 // Note: Shifts of 1-15 bits will be transformed to srl instead of sra and
2881 // will match the pattern below.
2882 def PKHTB : APKHI<0b01101000, 1, (outs GPR:$Rd),
2883                               (ins GPR:$Rn, GPR:$Rm, shift_imm:$sh),
2884                IIC_iBITsi, "pkhtb", "\t$Rd, $Rn, $Rm$sh",
2885                [(set GPR:$Rd, (or (and GPR:$Rn, 0xFFFF0000),
2886                                   (and (sra GPR:$Rm, asr_amt:$sh),
2887                                        0xFFFF)))]>,
2888                Requires<[IsARM, HasV6]>;
2889
2890 // Alternate cases for PKHTB where identities eliminate some nodes.  Note that
2891 // a shift amount of 0 is *not legal* here, it is PKHBT instead.
2892 def : ARMV6Pat<(or (and GPR:$src1, 0xFFFF0000), (srl GPR:$src2, imm16_31:$sh)),
2893                (PKHTB GPR:$src1, GPR:$src2, (asr_shift_imm imm16_31:$sh))>;
2894 def : ARMV6Pat<(or (and GPR:$src1, 0xFFFF0000),
2895                    (and (srl GPR:$src2, imm1_15:$sh), 0xFFFF)),
2896                (PKHTB GPR:$src1, GPR:$src2, (asr_shift_imm imm1_15:$sh))>;
2897
2898 //===----------------------------------------------------------------------===//
2899 //  Comparison Instructions...
2900 //
2901
2902 defm CMP  : AI1_cmp_irs<0b1010, "cmp",
2903                         IIC_iCMPi, IIC_iCMPr, IIC_iCMPsr,
2904                         BinOpFrag<(ARMcmp node:$LHS, node:$RHS)>>;
2905
2906 // FIXME: We have to be careful when using the CMN instruction and comparison
2907 // with 0. One would expect these two pieces of code should give identical
2908 // results:
2909 //
2910 //   rsbs r1, r1, 0
2911 //   cmp  r0, r1
2912 //   mov  r0, #0
2913 //   it   ls
2914 //   mov  r0, #1
2915 //
2916 // and:
2917 //
2918 //   cmn  r0, r1
2919 //   mov  r0, #0
2920 //   it   ls
2921 //   mov  r0, #1
2922 //
2923 // However, the CMN gives the *opposite* result when r1 is 0. This is because
2924 // the carry flag is set in the CMP case but not in the CMN case. In short, the
2925 // CMP instruction doesn't perform a truncate of the (logical) NOT of 0 plus the
2926 // value of r0 and the carry bit (because the "carry bit" parameter to
2927 // AddWithCarry is defined as 1 in this case, the carry flag will always be set
2928 // when r0 >= 0). The CMN instruction doesn't perform a NOT of 0 so there is
2929 // never a "carry" when this AddWithCarry is performed (because the "carry bit"
2930 // parameter to AddWithCarry is defined as 0).
2931 //
2932 // When x is 0 and unsigned:
2933 //
2934 //    x = 0
2935 //   ~x = 0xFFFF FFFF
2936 //   ~x + 1 = 0x1 0000 0000
2937 //   (-x = 0) != (0x1 0000 0000 = ~x + 1)
2938 //
2939 // Therefore, we should disable CMN when comparing against zero, until we can
2940 // limit when the CMN instruction is used (when we know that the RHS is not 0 or
2941 // when it's a comparison which doesn't look at the 'carry' flag).
2942 //
2943 // (See the ARM docs for the "AddWithCarry" pseudo-code.)
2944 //
2945 // This is related to <rdar://problem/7569620>.
2946 //
2947 //defm CMN  : AI1_cmp_irs<0b1011, "cmn",
2948 //                        BinOpFrag<(ARMcmp node:$LHS,(ineg node:$RHS))>>;
2949
2950 // Note that TST/TEQ don't set all the same flags that CMP does!
2951 defm TST  : AI1_cmp_irs<0b1000, "tst",
2952                         IIC_iTSTi, IIC_iTSTr, IIC_iTSTsr,
2953                       BinOpFrag<(ARMcmpZ (and_su node:$LHS, node:$RHS), 0)>, 1>;
2954 defm TEQ  : AI1_cmp_irs<0b1001, "teq",
2955                         IIC_iTSTi, IIC_iTSTr, IIC_iTSTsr,
2956                       BinOpFrag<(ARMcmpZ (xor_su node:$LHS, node:$RHS), 0)>, 1>;
2957
2958 defm CMPz  : AI1_cmp_irs<0b1010, "cmp",
2959                          IIC_iCMPi, IIC_iCMPr, IIC_iCMPsr,
2960                          BinOpFrag<(ARMcmpZ node:$LHS, node:$RHS)>>;
2961 defm CMNz  : AI1_cmp_irs<0b1011, "cmn",
2962                          IIC_iCMPi, IIC_iCMPr, IIC_iCMPsr,
2963                          BinOpFrag<(ARMcmpZ node:$LHS,(ineg node:$RHS))>>;
2964
2965 //def : ARMPat<(ARMcmp GPR:$src, so_imm_neg:$imm),
2966 //             (CMNri  GPR:$src, so_imm_neg:$imm)>;
2967
2968 def : ARMPat<(ARMcmpZ GPR:$src, so_imm_neg:$imm),
2969              (CMNzri  GPR:$src, so_imm_neg:$imm)>;
2970
2971 // Pseudo i64 compares for some floating point compares.
2972 let usesCustomInserter = 1, isBranch = 1, isTerminator = 1,
2973     Defs = [CPSR] in {
2974 def BCCi64 : PseudoInst<(outs),
2975     (ins i32imm:$cc, GPR:$lhs1, GPR:$lhs2, GPR:$rhs1, GPR:$rhs2, brtarget:$dst),
2976      IIC_Br,
2977     [(ARMBcci64 imm:$cc, GPR:$lhs1, GPR:$lhs2, GPR:$rhs1, GPR:$rhs2, bb:$dst)]>;
2978
2979 def BCCZi64 : PseudoInst<(outs),
2980      (ins i32imm:$cc, GPR:$lhs1, GPR:$lhs2, brtarget:$dst), IIC_Br,
2981     [(ARMBcci64 imm:$cc, GPR:$lhs1, GPR:$lhs2, 0, 0, bb:$dst)]>;
2982 } // usesCustomInserter
2983
2984
2985 // Conditional moves
2986 // FIXME: should be able to write a pattern for ARMcmov, but can't use
2987 // a two-value operand where a dag node expects two operands. :(
2988 // FIXME: These should all be pseudo-instructions that get expanded to
2989 //        the normal MOV instructions. That would fix the dependency on
2990 //        special casing them in tblgen.
2991 let neverHasSideEffects = 1 in {
2992 def MOVCCr : AI1<0b1101, (outs GPR:$Rd), (ins GPR:$false, GPR:$Rm), DPFrm,
2993                 IIC_iCMOVr, "mov", "\t$Rd, $Rm",
2994       [/*(set GPR:$Rd, (ARMcmov GPR:$false, GPR:$Rm, imm:$cc, CCR:$ccr))*/]>,
2995                 RegConstraint<"$false = $Rd">, UnaryDP {
2996   bits<4> Rd;
2997   bits<4> Rm;
2998   let Inst{25} = 0;
2999   let Inst{20} = 0;
3000   let Inst{15-12} = Rd;
3001   let Inst{11-4} = 0b00000000;
3002   let Inst{3-0} = Rm;
3003 }
3004
3005 def MOVCCs : AI1<0b1101, (outs GPR:$Rd),
3006                  (ins GPR:$false, so_reg:$shift), DPSoRegFrm, IIC_iCMOVsr,
3007                 "mov", "\t$Rd, $shift",
3008    [/*(set GPR:$Rd, (ARMcmov GPR:$false, so_reg:$shift, imm:$cc, CCR:$ccr))*/]>,
3009                 RegConstraint<"$false = $Rd">, UnaryDP {
3010   bits<4> Rd;
3011   bits<12> shift;
3012   let Inst{25} = 0;
3013   let Inst{20} = 0;
3014   let Inst{19-16} = 0;
3015   let Inst{15-12} = Rd;
3016   let Inst{11-0} = shift;
3017 }
3018
3019 let isMoveImm = 1 in
3020 def MOVCCi16 : AI1<0b1000, (outs GPR:$Rd), (ins GPR:$false, movt_imm:$imm),
3021                  DPFrm, IIC_iMOVi,
3022                  "movw", "\t$Rd, $imm",
3023                  []>,
3024                  RegConstraint<"$false = $Rd">, Requires<[IsARM, HasV6T2]>,
3025                  UnaryDP {
3026   bits<4> Rd;
3027   bits<16> imm;
3028   let Inst{25} = 1;
3029   let Inst{20} = 0;
3030   let Inst{19-16} = imm{15-12};
3031   let Inst{15-12} = Rd;
3032   let Inst{11-0}  = imm{11-0};
3033 }
3034
3035 let isMoveImm = 1 in
3036 def MOVCCi : AI1<0b1101, (outs GPR:$Rd),
3037                          (ins GPR:$false, so_imm:$imm), DPFrm, IIC_iCMOVi,
3038                 "mov", "\t$Rd, $imm",
3039    [/*(set GPR:$Rd, (ARMcmov GPR:$false, so_imm:$imm, imm:$cc, CCR:$ccr))*/]>,
3040                 RegConstraint<"$false = $Rd">, UnaryDP {
3041   bits<4> Rd;
3042   bits<12> imm;
3043   let Inst{25} = 1;
3044   let Inst{20} = 0;
3045   let Inst{19-16} = 0b0000;
3046   let Inst{15-12} = Rd;
3047   let Inst{11-0} = imm;
3048 }
3049
3050 // Two instruction predicate mov immediate.
3051 let isMoveImm = 1 in
3052 def MOVCCi32imm : PseudoInst<(outs GPR:$Rd),
3053                              (ins GPR:$false, i32imm:$src, pred:$p),
3054                   IIC_iCMOVix2, []>, RegConstraint<"$false = $Rd">;
3055
3056 let isMoveImm = 1 in
3057 def MVNCCi : AI1<0b1111, (outs GPR:$Rd),
3058                          (ins GPR:$false, so_imm:$imm), DPFrm, IIC_iCMOVi,
3059                 "mvn", "\t$Rd, $imm",
3060  [/*(set GPR:$Rd, (ARMcmov GPR:$false, so_imm_not:$imm, imm:$cc, CCR:$ccr))*/]>,
3061                 RegConstraint<"$false = $Rd">, UnaryDP {
3062   bits<4> Rd;
3063   bits<12> imm;
3064   let Inst{25} = 1;
3065   let Inst{20} = 0;
3066   let Inst{19-16} = 0b0000;
3067   let Inst{15-12} = Rd;
3068   let Inst{11-0} = imm;
3069 }
3070 } // neverHasSideEffects
3071
3072 //===----------------------------------------------------------------------===//
3073 // Atomic operations intrinsics
3074 //
3075
3076 def memb_opt : Operand<i32> {
3077   let PrintMethod = "printMemBOption";
3078 }
3079
3080 // memory barriers protect the atomic sequences
3081 let hasSideEffects = 1 in {
3082 def DMB : AInoP<(outs), (ins memb_opt:$opt), MiscFrm, NoItinerary,
3083                 "dmb", "\t$opt", [(ARMMemBarrier (i32 imm:$opt))]>,
3084                 Requires<[IsARM, HasDB]> {
3085   bits<4> opt;
3086   let Inst{31-4} = 0xf57ff05;
3087   let Inst{3-0} = opt;
3088 }
3089
3090 def DMB_MCR : AInoP<(outs), (ins GPR:$zero), MiscFrm, NoItinerary,
3091                        "mcr", "\tp15, 0, $zero, c7, c10, 5",
3092                        [(ARMMemBarrierMCR GPR:$zero)]>,
3093                        Requires<[IsARM, HasV6]> {
3094   // FIXME: add encoding
3095 }
3096 }
3097
3098 def DSB : AInoP<(outs), (ins memb_opt:$opt), MiscFrm, NoItinerary,
3099                 "dsb", "\t$opt",
3100                 [/* For disassembly only; pattern left blank */]>,
3101                 Requires<[IsARM, HasDB]> {
3102   bits<4> opt;
3103   let Inst{31-4} = 0xf57ff04;
3104   let Inst{3-0} = opt;
3105 }
3106
3107 // ISB has only full system option -- for disassembly only
3108 def ISB : AInoP<(outs), (ins), MiscFrm, NoItinerary, "isb", "", []>,
3109                 Requires<[IsARM, HasDB]> {
3110   let Inst{31-4} = 0xf57ff06;
3111   let Inst{3-0} = 0b1111;
3112 }
3113
3114 let usesCustomInserter = 1 in {
3115   let Uses = [CPSR] in {
3116     def ATOMIC_LOAD_ADD_I8 : PseudoInst<
3117       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3118       [(set GPR:$dst, (atomic_load_add_8 GPR:$ptr, GPR:$incr))]>;
3119     def ATOMIC_LOAD_SUB_I8 : PseudoInst<
3120       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3121       [(set GPR:$dst, (atomic_load_sub_8 GPR:$ptr, GPR:$incr))]>;
3122     def ATOMIC_LOAD_AND_I8 : PseudoInst<
3123       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3124       [(set GPR:$dst, (atomic_load_and_8 GPR:$ptr, GPR:$incr))]>;
3125     def ATOMIC_LOAD_OR_I8 : PseudoInst<
3126       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3127       [(set GPR:$dst, (atomic_load_or_8 GPR:$ptr, GPR:$incr))]>;
3128     def ATOMIC_LOAD_XOR_I8 : PseudoInst<
3129       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3130       [(set GPR:$dst, (atomic_load_xor_8 GPR:$ptr, GPR:$incr))]>;
3131     def ATOMIC_LOAD_NAND_I8 : PseudoInst<
3132       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3133       [(set GPR:$dst, (atomic_load_nand_8 GPR:$ptr, GPR:$incr))]>;
3134     def ATOMIC_LOAD_ADD_I16 : PseudoInst<
3135       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3136       [(set GPR:$dst, (atomic_load_add_16 GPR:$ptr, GPR:$incr))]>;
3137     def ATOMIC_LOAD_SUB_I16 : PseudoInst<
3138       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3139       [(set GPR:$dst, (atomic_load_sub_16 GPR:$ptr, GPR:$incr))]>;
3140     def ATOMIC_LOAD_AND_I16 : PseudoInst<
3141       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3142       [(set GPR:$dst, (atomic_load_and_16 GPR:$ptr, GPR:$incr))]>;
3143     def ATOMIC_LOAD_OR_I16 : PseudoInst<
3144       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3145       [(set GPR:$dst, (atomic_load_or_16 GPR:$ptr, GPR:$incr))]>;
3146     def ATOMIC_LOAD_XOR_I16 : PseudoInst<
3147       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3148       [(set GPR:$dst, (atomic_load_xor_16 GPR:$ptr, GPR:$incr))]>;
3149     def ATOMIC_LOAD_NAND_I16 : PseudoInst<
3150       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3151       [(set GPR:$dst, (atomic_load_nand_16 GPR:$ptr, GPR:$incr))]>;
3152     def ATOMIC_LOAD_ADD_I32 : PseudoInst<
3153       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3154       [(set GPR:$dst, (atomic_load_add_32 GPR:$ptr, GPR:$incr))]>;
3155     def ATOMIC_LOAD_SUB_I32 : PseudoInst<
3156       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3157       [(set GPR:$dst, (atomic_load_sub_32 GPR:$ptr, GPR:$incr))]>;
3158     def ATOMIC_LOAD_AND_I32 : PseudoInst<
3159       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3160       [(set GPR:$dst, (atomic_load_and_32 GPR:$ptr, GPR:$incr))]>;
3161     def ATOMIC_LOAD_OR_I32 : PseudoInst<
3162       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3163       [(set GPR:$dst, (atomic_load_or_32 GPR:$ptr, GPR:$incr))]>;
3164     def ATOMIC_LOAD_XOR_I32 : PseudoInst<
3165       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3166       [(set GPR:$dst, (atomic_load_xor_32 GPR:$ptr, GPR:$incr))]>;
3167     def ATOMIC_LOAD_NAND_I32 : PseudoInst<
3168       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3169       [(set GPR:$dst, (atomic_load_nand_32 GPR:$ptr, GPR:$incr))]>;
3170
3171     def ATOMIC_SWAP_I8 : PseudoInst<
3172       (outs GPR:$dst), (ins GPR:$ptr, GPR:$new), NoItinerary,
3173       [(set GPR:$dst, (atomic_swap_8 GPR:$ptr, GPR:$new))]>;
3174     def ATOMIC_SWAP_I16 : PseudoInst<
3175       (outs GPR:$dst), (ins GPR:$ptr, GPR:$new), NoItinerary,
3176       [(set GPR:$dst, (atomic_swap_16 GPR:$ptr, GPR:$new))]>;
3177     def ATOMIC_SWAP_I32 : PseudoInst<
3178       (outs GPR:$dst), (ins GPR:$ptr, GPR:$new), NoItinerary,
3179       [(set GPR:$dst, (atomic_swap_32 GPR:$ptr, GPR:$new))]>;
3180
3181     def ATOMIC_CMP_SWAP_I8 : PseudoInst<
3182       (outs GPR:$dst), (ins GPR:$ptr, GPR:$old, GPR:$new), NoItinerary,
3183       [(set GPR:$dst, (atomic_cmp_swap_8 GPR:$ptr, GPR:$old, GPR:$new))]>;
3184     def ATOMIC_CMP_SWAP_I16 : PseudoInst<
3185       (outs GPR:$dst), (ins GPR:$ptr, GPR:$old, GPR:$new), NoItinerary,
3186       [(set GPR:$dst, (atomic_cmp_swap_16 GPR:$ptr, GPR:$old, GPR:$new))]>;
3187     def ATOMIC_CMP_SWAP_I32 : PseudoInst<
3188       (outs GPR:$dst), (ins GPR:$ptr, GPR:$old, GPR:$new), NoItinerary,
3189       [(set GPR:$dst, (atomic_cmp_swap_32 GPR:$ptr, GPR:$old, GPR:$new))]>;
3190 }
3191 }
3192
3193 let mayLoad = 1 in {
3194 def LDREXB : AIldrex<0b10, (outs GPR:$Rt), (ins GPR:$Rn), NoItinerary,
3195                     "ldrexb", "\t$Rt, [$Rn]",
3196                     []>;
3197 def LDREXH : AIldrex<0b11, (outs GPR:$Rt), (ins GPR:$Rn), NoItinerary,
3198                     "ldrexh", "\t$Rt, [$Rn]",
3199                     []>;
3200 def LDREX  : AIldrex<0b00, (outs GPR:$Rt), (ins GPR:$Rn), NoItinerary,
3201                     "ldrex", "\t$Rt, [$Rn]",
3202                     []>;
3203 def LDREXD : AIldrex<0b01, (outs GPR:$Rt, GPR:$Rt2), (ins GPR:$Rn),
3204                     NoItinerary,
3205                     "ldrexd", "\t$Rt, $Rt2, [$Rn]",
3206                     []>;
3207 }
3208
3209 let mayStore = 1, Constraints = "@earlyclobber $Rd" in {
3210 def STREXB : AIstrex<0b10, (outs GPR:$Rd), (ins GPR:$src, GPR:$Rn),
3211                     NoItinerary,
3212                     "strexb", "\t$Rd, $src, [$Rn]",
3213                     []>;
3214 def STREXH : AIstrex<0b11, (outs GPR:$Rd), (ins GPR:$Rt, GPR:$Rn),
3215                     NoItinerary,
3216                     "strexh", "\t$Rd, $Rt, [$Rn]",
3217                     []>;
3218 def STREX  : AIstrex<0b00, (outs GPR:$Rd), (ins GPR:$Rt, GPR:$Rn),
3219                     NoItinerary,
3220                     "strex", "\t$Rd, $Rt, [$Rn]",
3221                     []>;
3222 def STREXD : AIstrex<0b01, (outs GPR:$Rd),
3223                     (ins GPR:$Rt, GPR:$Rt2, GPR:$Rn),
3224                     NoItinerary,
3225                     "strexd", "\t$Rd, $Rt, $Rt2, [$Rn]",
3226                     []>;
3227 }
3228
3229 // Clear-Exclusive is for disassembly only.
3230 def CLREX : AXI<(outs), (ins), MiscFrm, NoItinerary, "clrex",
3231                 [/* For disassembly only; pattern left blank */]>,
3232             Requires<[IsARM, HasV7]>  {
3233   let Inst{31-0} = 0b11110101011111111111000000011111;
3234 }
3235
3236 // SWP/SWPB are deprecated in V6/V7 and for disassembly only.
3237 let mayLoad = 1 in {
3238 def SWP  : AIswp<0, (outs GPR:$Rt), (ins GPR:$Rt2, GPR:$Rn), "swp",
3239              [/* For disassembly only; pattern left blank */]>;
3240 def SWPB : AIswp<1, (outs GPR:$Rt), (ins GPR:$Rt2, GPR:$Rn), "swpb",
3241              [/* For disassembly only; pattern left blank */]>;
3242 }
3243
3244 //===----------------------------------------------------------------------===//
3245 // TLS Instructions
3246 //
3247
3248 // __aeabi_read_tp preserves the registers r1-r3.
3249 // FIXME: This needs to be a pseudo of some sort so that we can get the
3250 // encoding right, complete with fixup for the aeabi_read_tp function.
3251 let isCall = 1,
3252   Defs = [R0, R12, LR, CPSR], Uses = [SP] in {
3253   def TPsoft : ABXI<0b1011, (outs), (ins), IIC_Br,
3254                "bl\t__aeabi_read_tp",
3255                [(set R0, ARMthread_pointer)]>;
3256 }
3257
3258 //===----------------------------------------------------------------------===//
3259 // SJLJ Exception handling intrinsics
3260 //   eh_sjlj_setjmp() is an instruction sequence to store the return
3261 //   address and save #0 in R0 for the non-longjmp case.
3262 //   Since by its nature we may be coming from some other function to get
3263 //   here, and we're using the stack frame for the containing function to
3264 //   save/restore registers, we can't keep anything live in regs across
3265 //   the eh_sjlj_setjmp(), else it will almost certainly have been tromped upon
3266 //   when we get here from a longjmp(). We force everthing out of registers
3267 //   except for our own input by listing the relevant registers in Defs. By
3268 //   doing so, we also cause the prologue/epilogue code to actively preserve
3269 //   all of the callee-saved resgisters, which is exactly what we want.
3270 //   A constant value is passed in $val, and we use the location as a scratch.
3271 //
3272 // These are pseudo-instructions and are lowered to individual MC-insts, so
3273 // no encoding information is necessary.
3274 let Defs =
3275   [ R0,  R1,  R2,  R3,  R4,  R5,  R6,  R7,  R8,  R9,  R10, R11, R12, LR,  D0,
3276     D1,  D2,  D3,  D4,  D5,  D6,  D7,  D8,  D9,  D10, D11, D12, D13, D14, D15,
3277     D16, D17, D18, D19, D20, D21, D22, D23, D24, D25, D26, D27, D28, D29, D30,
3278     D31 ], hasSideEffects = 1, isBarrier = 1 in {
3279   def Int_eh_sjlj_setjmp : PseudoInst<(outs), (ins GPR:$src, GPR:$val),
3280                                NoItinerary,
3281                          [(set R0, (ARMeh_sjlj_setjmp GPR:$src, GPR:$val))]>,
3282                            Requires<[IsARM, HasVFP2]>;
3283 }
3284
3285 let Defs =
3286   [ R0,  R1,  R2,  R3,  R4,  R5,  R6,  R7,  R8,  R9,  R10, R11, R12, LR ],
3287   hasSideEffects = 1, isBarrier = 1 in {
3288   def Int_eh_sjlj_setjmp_nofp : PseudoInst<(outs), (ins GPR:$src, GPR:$val),
3289                                    NoItinerary,
3290                          [(set R0, (ARMeh_sjlj_setjmp GPR:$src, GPR:$val))]>,
3291                                 Requires<[IsARM, NoVFP]>;
3292 }
3293
3294 // FIXME: Non-Darwin version(s)
3295 let isBarrier = 1, hasSideEffects = 1, isTerminator = 1,
3296     Defs = [ R7, LR, SP ] in {
3297 def Int_eh_sjlj_longjmp : PseudoInst<(outs), (ins GPR:$src, GPR:$scratch),
3298                              NoItinerary,
3299                          [(ARMeh_sjlj_longjmp GPR:$src, GPR:$scratch)]>,
3300                                 Requires<[IsARM, IsDarwin]>;
3301 }
3302
3303 // eh.sjlj.dispatchsetup pseudo-instruction.
3304 // This pseudo is used for ARM, Thumb1 and Thumb2. Any differences are
3305 // handled when the pseudo is expanded (which happens before any passes
3306 // that need the instruction size).
3307 let isBarrier = 1, hasSideEffects = 1 in
3308 def Int_eh_sjlj_dispatchsetup :
3309  PseudoInst<(outs), (ins GPR:$src), NoItinerary,
3310             [(ARMeh_sjlj_dispatchsetup GPR:$src)]>,
3311               Requires<[IsDarwin]>;
3312
3313 //===----------------------------------------------------------------------===//
3314 // Non-Instruction Patterns
3315 //
3316
3317 // Large immediate handling.
3318
3319 // 32-bit immediate using two piece so_imms or movw + movt.
3320 // This is a single pseudo instruction, the benefit is that it can be remat'd
3321 // as a single unit instead of having to handle reg inputs.
3322 // FIXME: Remove this when we can do generalized remat.
3323 let isReMaterializable = 1, isMoveImm = 1 in
3324 def MOVi32imm : PseudoInst<(outs GPR:$dst), (ins i32imm:$src), IIC_iMOVix2,
3325                            [(set GPR:$dst, (arm_i32imm:$src))]>,
3326                            Requires<[IsARM]>;
3327
3328 // ConstantPool, GlobalAddress, and JumpTable
3329 def : ARMPat<(ARMWrapper  tglobaladdr :$dst), (LEApcrel tglobaladdr :$dst)>,
3330             Requires<[IsARM, DontUseMovt]>;
3331 def : ARMPat<(ARMWrapper  tconstpool  :$dst), (LEApcrel tconstpool  :$dst)>;
3332 def : ARMPat<(ARMWrapper  tglobaladdr :$dst), (MOVi32imm tglobaladdr :$dst)>,
3333             Requires<[IsARM, UseMovt]>;
3334 def : ARMPat<(ARMWrapperJT tjumptable:$dst, imm:$id),
3335              (LEApcrelJT tjumptable:$dst, imm:$id)>;
3336
3337 // TODO: add,sub,and, 3-instr forms?
3338
3339 // Tail calls
3340 def : ARMPat<(ARMtcret tcGPR:$dst),
3341           (TCRETURNri tcGPR:$dst)>, Requires<[IsDarwin]>;
3342
3343 def : ARMPat<(ARMtcret (i32 tglobaladdr:$dst)),
3344           (TCRETURNdi texternalsym:$dst)>, Requires<[IsDarwin]>;
3345
3346 def : ARMPat<(ARMtcret (i32 texternalsym:$dst)),
3347           (TCRETURNdi texternalsym:$dst)>, Requires<[IsDarwin]>;
3348
3349 def : ARMPat<(ARMtcret tcGPR:$dst),
3350           (TCRETURNriND tcGPR:$dst)>, Requires<[IsNotDarwin]>;
3351
3352 def : ARMPat<(ARMtcret (i32 tglobaladdr:$dst)),
3353           (TCRETURNdiND texternalsym:$dst)>, Requires<[IsNotDarwin]>;
3354
3355 def : ARMPat<(ARMtcret (i32 texternalsym:$dst)),
3356           (TCRETURNdiND texternalsym:$dst)>, Requires<[IsNotDarwin]>;
3357
3358 // Direct calls
3359 def : ARMPat<(ARMcall texternalsym:$func), (BL texternalsym:$func)>,
3360       Requires<[IsARM, IsNotDarwin]>;
3361 def : ARMPat<(ARMcall texternalsym:$func), (BLr9 texternalsym:$func)>,
3362       Requires<[IsARM, IsDarwin]>;
3363
3364 // zextload i1 -> zextload i8
3365 def : ARMPat<(zextloadi1 addrmode_imm12:$addr), (LDRBi12 addrmode_imm12:$addr)>;
3366 def : ARMPat<(zextloadi1 ldst_so_reg:$addr),    (LDRBrs ldst_so_reg:$addr)>;
3367
3368 // extload -> zextload
3369 def : ARMPat<(extloadi1 addrmode_imm12:$addr),  (LDRBi12 addrmode_imm12:$addr)>;
3370 def : ARMPat<(extloadi1 ldst_so_reg:$addr),     (LDRBrs ldst_so_reg:$addr)>;
3371 def : ARMPat<(extloadi8 addrmode_imm12:$addr),  (LDRBi12 addrmode_imm12:$addr)>;
3372 def : ARMPat<(extloadi8 ldst_so_reg:$addr),     (LDRBrs ldst_so_reg:$addr)>;
3373
3374 def : ARMPat<(extloadi16 addrmode3:$addr),  (LDRH addrmode3:$addr)>;
3375
3376 def : ARMPat<(extloadi8  addrmodepc:$addr), (PICLDRB addrmodepc:$addr)>;
3377 def : ARMPat<(extloadi16 addrmodepc:$addr), (PICLDRH addrmodepc:$addr)>;
3378
3379 // smul* and smla*
3380 def : ARMV5TEPat<(mul (sra (shl GPR:$a, (i32 16)), (i32 16)),
3381                       (sra (shl GPR:$b, (i32 16)), (i32 16))),
3382                  (SMULBB GPR:$a, GPR:$b)>;
3383 def : ARMV5TEPat<(mul sext_16_node:$a, sext_16_node:$b),
3384                  (SMULBB GPR:$a, GPR:$b)>;
3385 def : ARMV5TEPat<(mul (sra (shl GPR:$a, (i32 16)), (i32 16)),
3386                       (sra GPR:$b, (i32 16))),
3387                  (SMULBT GPR:$a, GPR:$b)>;
3388 def : ARMV5TEPat<(mul sext_16_node:$a, (sra GPR:$b, (i32 16))),
3389                  (SMULBT GPR:$a, GPR:$b)>;
3390 def : ARMV5TEPat<(mul (sra GPR:$a, (i32 16)),
3391                       (sra (shl GPR:$b, (i32 16)), (i32 16))),
3392                  (SMULTB GPR:$a, GPR:$b)>;
3393 def : ARMV5TEPat<(mul (sra GPR:$a, (i32 16)), sext_16_node:$b),
3394                 (SMULTB GPR:$a, GPR:$b)>;
3395 def : ARMV5TEPat<(sra (mul GPR:$a, (sra (shl GPR:$b, (i32 16)), (i32 16))),
3396                       (i32 16)),
3397                  (SMULWB GPR:$a, GPR:$b)>;
3398 def : ARMV5TEPat<(sra (mul GPR:$a, sext_16_node:$b), (i32 16)),
3399                  (SMULWB GPR:$a, GPR:$b)>;
3400
3401 def : ARMV5TEPat<(add GPR:$acc,
3402                       (mul (sra (shl GPR:$a, (i32 16)), (i32 16)),
3403                            (sra (shl GPR:$b, (i32 16)), (i32 16)))),
3404                  (SMLABB GPR:$a, GPR:$b, GPR:$acc)>;
3405 def : ARMV5TEPat<(add GPR:$acc,
3406                       (mul sext_16_node:$a, sext_16_node:$b)),
3407                  (SMLABB GPR:$a, GPR:$b, GPR:$acc)>;
3408 def : ARMV5TEPat<(add GPR:$acc,
3409                       (mul (sra (shl GPR:$a, (i32 16)), (i32 16)),
3410                            (sra GPR:$b, (i32 16)))),
3411                  (SMLABT GPR:$a, GPR:$b, GPR:$acc)>;
3412 def : ARMV5TEPat<(add GPR:$acc,
3413                       (mul sext_16_node:$a, (sra GPR:$b, (i32 16)))),
3414                  (SMLABT GPR:$a, GPR:$b, GPR:$acc)>;
3415 def : ARMV5TEPat<(add GPR:$acc,
3416                       (mul (sra GPR:$a, (i32 16)),
3417                            (sra (shl GPR:$b, (i32 16)), (i32 16)))),
3418                  (SMLATB GPR:$a, GPR:$b, GPR:$acc)>;
3419 def : ARMV5TEPat<(add GPR:$acc,
3420                       (mul (sra GPR:$a, (i32 16)), sext_16_node:$b)),
3421                  (SMLATB GPR:$a, GPR:$b, GPR:$acc)>;
3422 def : ARMV5TEPat<(add GPR:$acc,
3423                       (sra (mul GPR:$a, (sra (shl GPR:$b, (i32 16)), (i32 16))),
3424                            (i32 16))),
3425                  (SMLAWB GPR:$a, GPR:$b, GPR:$acc)>;
3426 def : ARMV5TEPat<(add GPR:$acc,
3427                       (sra (mul GPR:$a, sext_16_node:$b), (i32 16))),
3428                  (SMLAWB GPR:$a, GPR:$b, GPR:$acc)>;
3429
3430 //===----------------------------------------------------------------------===//
3431 // Thumb Support
3432 //
3433
3434 include "ARMInstrThumb.td"
3435
3436 //===----------------------------------------------------------------------===//
3437 // Thumb2 Support
3438 //
3439
3440 include "ARMInstrThumb2.td"
3441
3442 //===----------------------------------------------------------------------===//
3443 // Floating Point Support
3444 //
3445
3446 include "ARMInstrVFP.td"
3447
3448 //===----------------------------------------------------------------------===//
3449 // Advanced SIMD (NEON) Support
3450 //
3451
3452 include "ARMInstrNEON.td"
3453
3454 //===----------------------------------------------------------------------===//
3455 // Coprocessor Instructions.  For disassembly only.
3456 //
3457
3458 def CDP : ABI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3459             nohash_imm:$CRd, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3460             NoItinerary, "cdp", "\tp$cop, $opc1, cr$CRd, cr$CRn, cr$CRm, $opc2",
3461               [/* For disassembly only; pattern left blank */]> {
3462   let Inst{4} = 0;
3463 }
3464
3465 def CDP2 : ABXI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3466                nohash_imm:$CRd, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3467                NoItinerary, "cdp2\tp$cop, $opc1, cr$CRd, cr$CRn, cr$CRm, $opc2",
3468                [/* For disassembly only; pattern left blank */]> {
3469   let Inst{31-28} = 0b1111;
3470   let Inst{4} = 0;
3471 }
3472
3473 class ACI<dag oops, dag iops, string opc, string asm>
3474   : I<oops, iops, AddrModeNone, Size4Bytes, IndexModeNone, BrFrm, NoItinerary,
3475       opc, asm, "", [/* For disassembly only; pattern left blank */]> {
3476   let Inst{27-25} = 0b110;
3477 }
3478
3479 multiclass LdStCop<bits<4> op31_28, bit load, string opc> {
3480
3481   def _OFFSET : ACI<(outs),
3482       (ins nohash_imm:$cop, nohash_imm:$CRd, addrmode2:$addr),
3483       opc, "\tp$cop, cr$CRd, $addr"> {
3484     let Inst{31-28} = op31_28;
3485     let Inst{24} = 1; // P = 1
3486     let Inst{21} = 0; // W = 0
3487     let Inst{22} = 0; // D = 0
3488     let Inst{20} = load;
3489   }
3490
3491   def _PRE : ACI<(outs),
3492       (ins nohash_imm:$cop, nohash_imm:$CRd, addrmode2:$addr),
3493       opc, "\tp$cop, cr$CRd, $addr!"> {
3494     let Inst{31-28} = op31_28;
3495     let Inst{24} = 1; // P = 1
3496     let Inst{21} = 1; // W = 1
3497     let Inst{22} = 0; // D = 0
3498     let Inst{20} = load;
3499   }
3500
3501   def _POST : ACI<(outs),
3502       (ins nohash_imm:$cop, nohash_imm:$CRd, GPR:$base, am2offset:$offset),
3503       opc, "\tp$cop, cr$CRd, [$base], $offset"> {
3504     let Inst{31-28} = op31_28;
3505     let Inst{24} = 0; // P = 0
3506     let Inst{21} = 1; // W = 1
3507     let Inst{22} = 0; // D = 0
3508     let Inst{20} = load;
3509   }
3510
3511   def _OPTION : ACI<(outs),
3512       (ins nohash_imm:$cop, nohash_imm:$CRd, GPR:$base, i32imm:$option),
3513       opc, "\tp$cop, cr$CRd, [$base], $option"> {
3514     let Inst{31-28} = op31_28;
3515     let Inst{24} = 0; // P = 0
3516     let Inst{23} = 1; // U = 1
3517     let Inst{21} = 0; // W = 0
3518     let Inst{22} = 0; // D = 0
3519     let Inst{20} = load;
3520   }
3521
3522   def L_OFFSET : ACI<(outs),
3523       (ins nohash_imm:$cop, nohash_imm:$CRd, addrmode2:$addr),
3524       !strconcat(opc, "l"), "\tp$cop, cr$CRd, $addr"> {
3525     let Inst{31-28} = op31_28;
3526     let Inst{24} = 1; // P = 1
3527     let Inst{21} = 0; // W = 0
3528     let Inst{22} = 1; // D = 1
3529     let Inst{20} = load;
3530   }
3531
3532   def L_PRE : ACI<(outs),
3533       (ins nohash_imm:$cop, nohash_imm:$CRd, addrmode2:$addr),
3534       !strconcat(opc, "l"), "\tp$cop, cr$CRd, $addr!"> {
3535     let Inst{31-28} = op31_28;
3536     let Inst{24} = 1; // P = 1
3537     let Inst{21} = 1; // W = 1
3538     let Inst{22} = 1; // D = 1
3539     let Inst{20} = load;
3540   }
3541
3542   def L_POST : ACI<(outs),
3543       (ins nohash_imm:$cop, nohash_imm:$CRd, GPR:$base, am2offset:$offset),
3544       !strconcat(opc, "l"), "\tp$cop, cr$CRd, [$base], $offset"> {
3545     let Inst{31-28} = op31_28;
3546     let Inst{24} = 0; // P = 0
3547     let Inst{21} = 1; // W = 1
3548     let Inst{22} = 1; // D = 1
3549     let Inst{20} = load;
3550   }
3551
3552   def L_OPTION : ACI<(outs),
3553       (ins nohash_imm:$cop, nohash_imm:$CRd, GPR:$base, nohash_imm:$option),
3554       !strconcat(opc, "l"), "\tp$cop, cr$CRd, [$base], $option"> {
3555     let Inst{31-28} = op31_28;
3556     let Inst{24} = 0; // P = 0
3557     let Inst{23} = 1; // U = 1
3558     let Inst{21} = 0; // W = 0
3559     let Inst{22} = 1; // D = 1
3560     let Inst{20} = load;
3561   }
3562 }
3563
3564 defm LDC  : LdStCop<{?,?,?,?}, 1, "ldc">;
3565 defm LDC2 : LdStCop<0b1111,    1, "ldc2">;
3566 defm STC  : LdStCop<{?,?,?,?}, 0, "stc">;
3567 defm STC2 : LdStCop<0b1111,    0, "stc2">;
3568
3569 def MCR : ABI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3570               GPR:$Rt, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3571               NoItinerary, "mcr", "\tp$cop, $opc1, $Rt, cr$CRn, cr$CRm, $opc2",
3572               [/* For disassembly only; pattern left blank */]> {
3573   let Inst{20} = 0;
3574   let Inst{4} = 1;
3575 }
3576
3577 def MCR2 : ABXI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3578                 GPR:$Rt, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3579                 NoItinerary, "mcr2\tp$cop, $opc1, $Rt, cr$CRn, cr$CRm, $opc2",
3580                 [/* For disassembly only; pattern left blank */]> {
3581   let Inst{31-28} = 0b1111;
3582   let Inst{20} = 0;
3583   let Inst{4} = 1;
3584 }
3585
3586 def MRC : ABI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3587               GPR:$Rt, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3588               NoItinerary, "mrc", "\tp$cop, $opc1, $Rt, cr$CRn, cr$CRm, $opc2",
3589               [/* For disassembly only; pattern left blank */]> {
3590   let Inst{20} = 1;
3591   let Inst{4} = 1;
3592 }
3593
3594 def MRC2 : ABXI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3595                 GPR:$Rt, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3596                 NoItinerary, "mrc2\tp$cop, $opc1, $Rt, cr$CRn, cr$CRm, $opc2",
3597                 [/* For disassembly only; pattern left blank */]> {
3598   let Inst{31-28} = 0b1111;
3599   let Inst{20} = 1;
3600   let Inst{4} = 1;
3601 }
3602
3603 def MCRR : ABI<0b1100, (outs), (ins nohash_imm:$cop, i32imm:$opc,
3604                GPR:$Rt, GPR:$Rt2, nohash_imm:$CRm),
3605                NoItinerary, "mcrr", "\tp$cop, $opc, $Rt, $Rt2, cr$CRm",
3606                [/* For disassembly only; pattern left blank */]> {
3607   let Inst{23-20} = 0b0100;
3608 }
3609
3610 def MCRR2 : ABXI<0b1100, (outs), (ins nohash_imm:$cop, i32imm:$opc,
3611                  GPR:$Rt, GPR:$Rt2, nohash_imm:$CRm),
3612                  NoItinerary, "mcrr2\tp$cop, $opc, $Rt, $Rt2, cr$CRm",
3613                  [/* For disassembly only; pattern left blank */]> {
3614   let Inst{31-28} = 0b1111;
3615   let Inst{23-20} = 0b0100;
3616 }
3617
3618 def MRRC : ABI<0b1100, (outs), (ins nohash_imm:$cop, i32imm:$opc,
3619                GPR:$Rt, GPR:$Rt2, nohash_imm:$CRm),
3620                NoItinerary, "mrrc", "\tp$cop, $opc, $Rt, $Rt2, cr$CRm",
3621                [/* For disassembly only; pattern left blank */]> {
3622   let Inst{23-20} = 0b0101;
3623 }
3624
3625 def MRRC2 : ABXI<0b1100, (outs), (ins nohash_imm:$cop, i32imm:$opc,
3626                  GPR:$Rt, GPR:$Rt2, nohash_imm:$CRm),
3627                  NoItinerary, "mrrc2\tp$cop, $opc, $Rt, $Rt2, cr$CRm",
3628                  [/* For disassembly only; pattern left blank */]> {
3629   let Inst{31-28} = 0b1111;
3630   let Inst{23-20} = 0b0101;
3631 }
3632
3633 //===----------------------------------------------------------------------===//
3634 // Move between special register and ARM core register -- for disassembly only
3635 //
3636
3637 def MRS : ABI<0b0001,(outs GPR:$dst),(ins), NoItinerary, "mrs", "\t$dst, cpsr",
3638               [/* For disassembly only; pattern left blank */]> {
3639   let Inst{23-20} = 0b0000;
3640   let Inst{7-4} = 0b0000;
3641 }
3642
3643 def MRSsys : ABI<0b0001,(outs GPR:$dst),(ins), NoItinerary,"mrs","\t$dst, spsr",
3644               [/* For disassembly only; pattern left blank */]> {
3645   let Inst{23-20} = 0b0100;
3646   let Inst{7-4} = 0b0000;
3647 }
3648
3649 def MSR : ABI<0b0001, (outs), (ins GPR:$src, msr_mask:$mask), NoItinerary,
3650               "msr", "\tcpsr$mask, $src",
3651               [/* For disassembly only; pattern left blank */]> {
3652   let Inst{23-20} = 0b0010;
3653   let Inst{7-4} = 0b0000;
3654 }
3655
3656 def MSRi : ABI<0b0011, (outs), (ins so_imm:$a, msr_mask:$mask), NoItinerary,
3657               "msr", "\tcpsr$mask, $a",
3658               [/* For disassembly only; pattern left blank */]> {
3659   let Inst{23-20} = 0b0010;
3660   let Inst{7-4} = 0b0000;
3661 }
3662
3663 def MSRsys : ABI<0b0001, (outs), (ins GPR:$src, msr_mask:$mask), NoItinerary,
3664               "msr", "\tspsr$mask, $src",
3665               [/* For disassembly only; pattern left blank */]> {
3666   let Inst{23-20} = 0b0110;
3667   let Inst{7-4} = 0b0000;
3668 }
3669
3670 def MSRsysi : ABI<0b0011, (outs), (ins so_imm:$a, msr_mask:$mask), NoItinerary,
3671               "msr", "\tspsr$mask, $a",
3672               [/* For disassembly only; pattern left blank */]> {
3673   let Inst{23-20} = 0b0110;
3674   let Inst{7-4} = 0b0000;
3675 }