test/CodeGen/ARM/atomic-64bit.ll

   1 ; RUN: llc < %s -mtriple=armv7-apple-ios | FileCheck %s
   2 ; RUN: llc < %s -mtriple=thumbv7-none-linux-gnueabihf -verify-machineinstrs | FileCheck %s --check-prefix=CHECK-THUMB
   3
   4 define i64 @test1(i64* %ptr, i64 %val) {
   5 ; CHECK-LABEL: test1:
   6 ; CHECK: dmb {{ish$}}
   7 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
   8 ; CHECK: adds [[REG3:(r[0-9]?[02468])]], [[REG1]]
   9 ; CHECK: adc [[REG4:(r[0-9]?[13579])]], [[REG2]]
  10 ; CHECK: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
  11 ; CHECK: cmp
  12 ; CHECK: bne
  13 ; CHECK: dmb {{ish$}}
  14
  15 ; CHECK-THUMB-LABEL: test1:
  16 ; CHECK-THUMB: dmb {{ish$}}
  17 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
  18 ; CHECK-THUMB: adds.w [[REG3:[a-z0-9]+]], [[REG1]]
  19 ; CHECK-THUMB: adc.w [[REG4:[a-z0-9]+]], [[REG2]]
  20 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
  21 ; CHECK-THUMB: cmp
  22 ; CHECK-THUMB: bne
  23 ; CHECK-THUMB: dmb {{ish$}}
  24
  25   %r = atomicrmw add i64* %ptr, i64 %val seq_cst
  26   ret i64 %r
  27 }
  28
  29 define i64 @test2(i64* %ptr, i64 %val) {
  30 ; CHECK-LABEL: test2:
  31 ; CHECK: dmb {{ish$}}
  32 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
  33 ; CHECK: subs [[REG3:(r[0-9]?[02468])]], [[REG1]]
  34 ; CHECK: sbc [[REG4:(r[0-9]?[13579])]], [[REG2]]
  35 ; CHECK: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
  36 ; CHECK: cmp
  37 ; CHECK: bne
  38 ; CHECK: dmb {{ish$}}
  39
  40 ; CHECK-THUMB-LABEL: test2:
  41 ; CHECK-THUMB: dmb {{ish$}}
  42 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
  43 ; CHECK-THUMB: subs.w [[REG3:[a-z0-9]+]], [[REG1]]
  44 ; CHECK-THUMB: sbc.w [[REG4:[a-z0-9]+]], [[REG2]]
  45 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
  46 ; CHECK-THUMB: cmp
  47 ; CHECK-THUMB: bne
  48 ; CHECK-THUMB: dmb {{ish$}}
  49
  50   %r = atomicrmw sub i64* %ptr, i64 %val seq_cst
  51   ret i64 %r
  52 }
  53
  54 define i64 @test3(i64* %ptr, i64 %val) {
  55 ; CHECK-LABEL: test3:
  56 ; CHECK: dmb {{ish$}}
  57 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
  58 ; CHECK-DAG: and [[REG3:(r[0-9]?[02468])]], [[REG1]]
  59 ; CHECK-DAG: and [[REG4:(r[0-9]?[13579])]], [[REG2]]
  60 ; CHECK: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
  61 ; CHECK: cmp
  62 ; CHECK: bne
  63 ; CHECK: dmb {{ish$}}
  64
  65 ; CHECK-THUMB-LABEL: test3:
  66 ; CHECK-THUMB: dmb {{ish$}}
  67 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
  68 ; CHECK-THUMB-DAG: and.w [[REG3:[a-z0-9]+]], [[REG1]]
  69 ; CHECK-THUMB-DAG: and.w [[REG4:[a-z0-9]+]], [[REG2]]
  70 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
  71 ; CHECK-THUMB: cmp
  72 ; CHECK-THUMB: bne
  73 ; CHECK-THUMB: dmb {{ish$}}
  74
  75   %r = atomicrmw and i64* %ptr, i64 %val seq_cst
  76   ret i64 %r
  77 }
  78
  79 define i64 @test4(i64* %ptr, i64 %val) {
  80 ; CHECK-LABEL: test4:
  81 ; CHECK: dmb {{ish$}}
  82 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
  83 ; CHECK-DAG: orr [[REG3:(r[0-9]?[02468])]], [[REG1]]
  84 ; CHECK-DAG: orr [[REG4:(r[0-9]?[13579])]], [[REG2]]
  85 ; CHECK: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
  86 ; CHECK: cmp
  87 ; CHECK: bne
  88 ; CHECK: dmb {{ish$}}
  89
  90 ; CHECK-THUMB-LABEL: test4:
  91 ; CHECK-THUMB: dmb {{ish$}}
  92 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
  93 ; CHECK-THUMB-DAG: orr.w [[REG3:[a-z0-9]+]], [[REG1]]
  94 ; CHECK-THUMB-DAG: orr.w [[REG4:[a-z0-9]+]], [[REG2]]
  95 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
  96 ; CHECK-THUMB: cmp
  97 ; CHECK-THUMB: bne
  98 ; CHECK-THUMB: dmb {{ish$}}
  99
 100   %r = atomicrmw or i64* %ptr, i64 %val seq_cst
 101   ret i64 %r
 102 }
 103
 104 define i64 @test5(i64* %ptr, i64 %val) {
 105 ; CHECK-LABEL: test5:
 106 ; CHECK: dmb {{ish$}}
 107 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
 108 ; CHECK-DAG: eor [[REG3:(r[0-9]?[02468])]], [[REG1]]
 109 ; CHECK-DAG: eor [[REG4:(r[0-9]?[13579])]], [[REG2]]
 110 ; CHECK: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 111 ; CHECK: cmp
 112 ; CHECK: bne
 113 ; CHECK: dmb {{ish$}}
 114
 115 ; CHECK-THUMB-LABEL: test5:
 116 ; CHECK-THUMB: dmb {{ish$}}
 117 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
 118 ; CHECK-THUMB-DAG: eor.w [[REG3:[a-z0-9]+]], [[REG1]]
 119 ; CHECK-THUMB-DAG: eor.w [[REG4:[a-z0-9]+]], [[REG2]]
 120 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 121 ; CHECK-THUMB: cmp
 122 ; CHECK-THUMB: bne
 123 ; CHECK-THUMB: dmb {{ish$}}
 124
 125   %r = atomicrmw xor i64* %ptr, i64 %val seq_cst
 126   ret i64 %r
 127 }
 128
 129 define i64 @test6(i64* %ptr, i64 %val) {
 130 ; CHECK-LABEL: test6:
 131 ; CHECK: dmb {{ish$}}
 132 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
 133 ; CHECK: strexd {{[a-z0-9]+}}, {{r[0-9]?[02468]}}, {{r[0-9]?[13579]}}
 134 ; CHECK: cmp
 135 ; CHECK: bne
 136 ; CHECK: dmb {{ish$}}
 137
 138 ; CHECK-THUMB-LABEL: test6:
 139 ; CHECK-THUMB: dmb {{ish$}}
 140 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
 141 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, {{[a-z0-9]+}}, {{[a-z0-9]+}}
 142 ; CHECK-THUMB: cmp
 143 ; CHECK-THUMB: bne
 144 ; CHECK-THUMB: dmb {{ish$}}
 145
 146   %r = atomicrmw xchg i64* %ptr, i64 %val seq_cst
 147   ret i64 %r
 148 }
 149
 150 define i64 @test7(i64* %ptr, i64 %val1, i64 %val2) {
 151 ; CHECK-LABEL: test7:
 152 ; CHECK: dmb {{ish$}}
 153 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
 154 ; CHECK-DAG: eor     [[MISMATCH_LO:r[0-9]+]], [[REG1]], r1
 155 ; CHECK-DAG: eor     [[MISMATCH_HI:r[0-9]+]], [[REG2]], r2
 156 ; CHECK: orrs    {{r[0-9]+}}, [[MISMATCH_LO]], [[MISMATCH_HI]]
 157 ; CHECK: bne
 158 ; CHECK: strexd {{[a-z0-9]+}}, {{r[0-9]?[02468]}}, {{r[0-9]?[13579]}}
 159 ; CHECK: cmp
 160 ; CHECK: bne
 161 ; CHECK: dmb {{ish$}}
 162
 163 ; CHECK-THUMB-LABEL: test7:
 164 ; CHECK-THUMB: dmb {{ish$}}
 165 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
 166 ; CHECK-THUMB-DAG: eor.w     [[MISMATCH_LO:[a-z0-9]+]], [[REG1]], r2
 167 ; CHECK-THUMB-DAG: eor.w     [[MISMATCH_HI:[a-z0-9]+]], [[REG2]], r3
 168 ; CHECK-THUMB: orrs    [[MISMATCH_HI]], [[MISMATCH_LO]]
 169 ; CHECK-THUMB: bne
 170 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, {{[a-z0-9]+}}, {{[a-z0-9]+}}
 171 ; CHECK-THUMB: cmp
 172 ; CHECK-THUMB: bne
 173 ; CHECK-THUMB: dmb {{ish$}}
 174
 175   %r = cmpxchg i64* %ptr, i64 %val1, i64 %val2 seq_cst seq_cst
 176   ret i64 %r
 177 }
 178
 179 ; Compiles down to a single ldrexd
 180 define i64 @test8(i64* %ptr) {
 181 ; CHECK-LABEL: test8:
 182 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
 183 ; CHECK: dmb {{ish$}}
 184
 185 ; CHECK-THUMB-LABEL: test8:
 186 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
 187 ; CHECK-THUMB: dmb {{ish$}}
 188
 189   %r = load atomic i64* %ptr seq_cst, align 8
 190   ret i64 %r
 191 }
 192
 193 ; Compiles down to atomicrmw xchg; there really isn't any more efficient
 194 ; way to write it.
 195 define void @test9(i64* %ptr, i64 %val) {
 196 ; CHECK-LABEL: test9:
 197 ; CHECK: dmb {{ish$}}
 198 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
 199 ; CHECK: strexd {{[a-z0-9]+}}, {{r[0-9]?[02468]}}, {{r[0-9]?[13579]}}
 200 ; CHECK: cmp
 201 ; CHECK: bne
 202 ; CHECK: dmb {{ish$}}
 203
 204 ; CHECK-THUMB-LABEL: test9:
 205 ; CHECK-THUMB: dmb {{ish$}}
 206 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
 207 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, {{[a-z0-9]+}}, {{[a-z0-9]+}}
 208 ; CHECK-THUMB: cmp
 209 ; CHECK-THUMB: bne
 210 ; CHECK-THUMB: dmb {{ish$}}
 211
 212   store atomic i64 %val, i64* %ptr seq_cst, align 8
 213   ret void
 214 }
 215
 216 define i64 @test10(i64* %ptr, i64 %val) {
 217 ; CHECK-LABEL: test10:
 218 ; CHECK: dmb {{ish$}}
 219 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
 220 ; CHECK: mov     [[CARRY_LO:[a-z0-9]+]], #0
 221 ; CHECK: mov     [[CARRY_HI:[a-z0-9]+]], #0
 222 ; CHECK: mov     [[OUT_HI:[a-z0-9]+]], r2
 223 ; CHECK: cmp     [[REG1]], r1
 224 ; CHECK: movwls  [[CARRY_LO]], #1
 225 ; CHECK: cmp     [[REG2]], r2
 226 ; CHECK: movwle  [[CARRY_HI]], #1
 227 ; CHECK: moveq   [[CARRY_HI]], [[CARRY_LO]]
 228 ; CHECK: cmp     [[CARRY_HI]], #0
 229 ; CHECK: movne   [[OUT_HI]], [[REG2]]
 230 ; CHECK: mov     [[OUT_LO:[a-z0-9]+]], r1
 231 ; CHECK: movne   [[OUT_LO]], [[REG1]]
 232 ; CHECK: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 233 ; CHECK: cmp
 234 ; CHECK: bne
 235 ; CHECK: dmb {{ish$}}
 236
 237 ; CHECK-THUMB-LABEL: test10:
 238 ; CHECK-THUMB: dmb {{ish$}}
 239 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
 240 ; CHECK-THUMB: mov.w     [[CARRY_LO:[a-z0-9]+]], #0
 241 ; CHECK-THUMB: movs     [[CARRY_HI:[a-z0-9]+]], #0
 242 ; CHECK-THUMB: cmp     [[REG1]], r2
 243 ; CHECK-THUMB: movls.w  [[CARRY_LO]], #1
 244 ; CHECK-THUMB: cmp     [[REG2]], r3
 245 ; CHECK-THUMB: movle  [[CARRY_HI]], #1
 246 ; CHECK-THUMB: moveq   [[CARRY_HI]], [[CARRY_LO]]
 247 ; CHECK-THUMB: mov     [[OUT_HI:[a-z0-9]+]], r3
 248 ; CHECK-THUMB: cmp     [[CARRY_HI]], #0
 249 ; CHECK-THUMB: mov     [[OUT_LO:[a-z0-9]+]], r2
 250 ; CHECK-THUMB: movne   [[OUT_HI]], [[REG2]]
 251 ; CHECK-THUMB: movne   [[OUT_LO]], [[REG1]]
 252 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 253 ; CHECK-THUMB: cmp
 254 ; CHECK-THUMB: bne
 255 ; CHECK-THUMB: dmb {{ish$}}
 256
 257   %r = atomicrmw min i64* %ptr, i64 %val seq_cst
 258   ret i64 %r
 259 }
 260
 261 define i64 @test11(i64* %ptr, i64 %val) {
 262 ; CHECK-LABEL: test11:
 263 ; CHECK: dmb {{ish$}}
 264 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
 265 ; CHECK: mov     [[CARRY_LO:[a-z0-9]+]], #0
 266 ; CHECK: mov     [[CARRY_HI:[a-z0-9]+]], #0
 267 ; CHECK: mov     [[OUT_HI:[a-z0-9]+]], r2
 268 ; CHECK: cmp     [[REG1]], r1
 269 ; CHECK: movwls  [[CARRY_LO]], #1
 270 ; CHECK: cmp     [[REG2]], r2
 271 ; CHECK: movwls  [[CARRY_HI]], #1
 272 ; CHECK: moveq   [[CARRY_HI]], [[CARRY_LO]]
 273 ; CHECK: cmp     [[CARRY_HI]], #0
 274 ; CHECK: movne   [[OUT_HI]], [[REG2]]
 275 ; CHECK: mov     [[OUT_LO:[a-z0-9]+]], r1
 276 ; CHECK: movne   [[OUT_LO]], [[REG1]]
 277 ; CHECK: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 278 ; CHECK: cmp
 279 ; CHECK: bne
 280 ; CHECK: dmb {{ish$}}
 281
 282
 283 ; CHECK-THUMB-LABEL: test11:
 284 ; CHECK-THUMB: dmb {{ish$}}
 285 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
 286 ; CHECK-THUMB: mov.w     [[CARRY_LO:[a-z0-9]+]], #0
 287 ; CHECK-THUMB: movs     [[CARRY_HI:[a-z0-9]+]], #0
 288 ; CHECK-THUMB: cmp     [[REG1]], r2
 289 ; CHECK-THUMB: movls.w  [[CARRY_LO]], #1
 290 ; CHECK-THUMB: cmp     [[REG2]], r3
 291 ; CHECK-THUMB: movls  [[CARRY_HI]], #1
 292 ; CHECK-THUMB: moveq   [[CARRY_HI]], [[CARRY_LO]]
 293 ; CHECK-THUMB: mov     [[OUT_HI:[a-z0-9]+]], r3
 294 ; CHECK-THUMB: cmp     [[CARRY_HI]], #0
 295 ; CHECK-THUMB: mov     [[OUT_LO:[a-z0-9]+]], r2
 296 ; CHECK-THUMB: movne   [[OUT_HI]], [[REG2]]
 297 ; CHECK-THUMB: movne   [[OUT_LO]], [[REG1]]
 298 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 299 ; CHECK-THUMB: cmp
 300 ; CHECK-THUMB: bne
 301 ; CHECK-THUMB: dmb {{ish$}}
 302
 303   %r = atomicrmw umin i64* %ptr, i64 %val seq_cst
 304   ret i64 %r
 305 }
 306
 307 define i64 @test12(i64* %ptr, i64 %val) {
 308 ; CHECK-LABEL: test12:
 309 ; CHECK: dmb {{ish$}}
 310 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
 311 ; CHECK: mov     [[CARRY_LO:[a-z0-9]+]], #0
 312 ; CHECK: mov     [[CARRY_HI:[a-z0-9]+]], #0
 313 ; CHECK: mov     [[OUT_HI:[a-z0-9]+]], r2
 314 ; CHECK: cmp     [[REG1]], r1
 315 ; CHECK: movwhi  [[CARRY_LO]], #1
 316 ; CHECK: cmp     [[REG2]], r2
 317 ; CHECK: movwgt  [[CARRY_HI]], #1
 318 ; CHECK: moveq   [[CARRY_HI]], [[CARRY_LO]]
 319 ; CHECK: cmp     [[CARRY_HI]], #0
 320 ; CHECK: movne   [[OUT_HI]], [[REG2]]
 321 ; CHECK: mov     [[OUT_LO:[a-z0-9]+]], r1
 322 ; CHECK: movne   [[OUT_LO]], [[REG1]]
 323 ; CHECK: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 324 ; CHECK: cmp
 325 ; CHECK: bne
 326 ; CHECK: dmb {{ish$}}
 327
 328 ; CHECK-THUMB-LABEL: test12:
 329 ; CHECK-THUMB: dmb {{ish$}}
 330 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
 331 ; CHECK-THUMB: mov.w     [[CARRY_LO:[a-z0-9]+]], #0
 332 ; CHECK-THUMB: movs     [[CARRY_HI:[a-z0-9]+]], #0
 333 ; CHECK-THUMB: cmp     [[REG1]], r2
 334 ; CHECK-THUMB: movhi.w  [[CARRY_LO]], #1
 335 ; CHECK-THUMB: cmp     [[REG2]], r3
 336 ; CHECK-THUMB: movgt  [[CARRY_HI]], #1
 337 ; CHECK-THUMB: moveq   [[CARRY_HI]], [[CARRY_LO]]
 338 ; CHECK-THUMB: mov     [[OUT_HI:[a-z0-9]+]], r3
 339 ; CHECK-THUMB: cmp     [[CARRY_HI]], #0
 340 ; CHECK-THUMB: mov     [[OUT_LO:[a-z0-9]+]], r2
 341 ; CHECK-THUMB: movne   [[OUT_HI]], [[REG2]]
 342 ; CHECK-THUMB: movne   [[OUT_LO]], [[REG1]]
 343 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 344 ; CHECK-THUMB: cmp
 345 ; CHECK-THUMB: bne
 346 ; CHECK-THUMB: dmb {{ish$}}
 347
 348   %r = atomicrmw max i64* %ptr, i64 %val seq_cst
 349   ret i64 %r
 350 }
 351
 352 define i64 @test13(i64* %ptr, i64 %val) {
 353 ; CHECK-LABEL: test13:
 354 ; CHECK: dmb {{ish$}}
 355 ; CHECK: ldrexd [[REG1:(r[0-9]?[02468])]], [[REG2:(r[0-9]?[13579])]]
 356 ; CHECK: mov     [[CARRY_LO:[a-z0-9]+]], #0
 357 ; CHECK: mov     [[CARRY_HI:[a-z0-9]+]], #0
 358 ; CHECK: mov     [[OUT_HI:[a-z0-9]+]], r2
 359 ; CHECK: cmp     [[REG1]], r1
 360 ; CHECK: movwhi  [[CARRY_LO]], #1
 361 ; CHECK: cmp     [[REG2]], r2
 362 ; CHECK: movwhi  [[CARRY_HI]], #1
 363 ; CHECK: moveq   [[CARRY_HI]], [[CARRY_LO]]
 364 ; CHECK: cmp     [[CARRY_HI]], #0
 365 ; CHECK: movne   [[OUT_HI]], [[REG2]]
 366 ; CHECK: mov     [[OUT_LO:[a-z0-9]+]], r1
 367 ; CHECK: movne   [[OUT_LO]], [[REG1]]
 368 ; CHECK: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 369 ; CHECK: cmp
 370 ; CHECK: bne
 371 ; CHECK: dmb {{ish$}}
 372
 373 ; CHECK-THUMB-LABEL: test13:
 374 ; CHECK-THUMB: dmb {{ish$}}
 375 ; CHECK-THUMB: ldrexd [[REG1:[a-z0-9]+]], [[REG2:[a-z0-9]+]]
 376 ; CHECK-THUMB: mov.w     [[CARRY_LO:[a-z0-9]+]], #0
 377 ; CHECK-THUMB: movs     [[CARRY_HI:[a-z0-9]+]], #0
 378 ; CHECK-THUMB: cmp     [[REG1]], r2
 379 ; CHECK-THUMB: movhi.w  [[CARRY_LO]], #1
 380 ; CHECK-THUMB: cmp     [[REG2]], r3
 381 ; CHECK-THUMB: movhi  [[CARRY_HI]], #1
 382 ; CHECK-THUMB: moveq   [[CARRY_HI]], [[CARRY_LO]]
 383 ; CHECK-THUMB: mov     [[OUT_HI:[a-z0-9]+]], r3
 384 ; CHECK-THUMB: cmp     [[CARRY_HI]], #0
 385 ; CHECK-THUMB: mov     [[OUT_LO:[a-z0-9]+]], r2
 386 ; CHECK-THUMB: movne   [[OUT_HI]], [[REG2]]
 387 ; CHECK-THUMB: movne   [[OUT_LO]], [[REG1]]
 388 ; CHECK-THUMB: strexd {{[a-z0-9]+}}, [[REG3]], [[REG4]]
 389 ; CHECK-THUMB: cmp
 390 ; CHECK-THUMB: bne
 391 ; CHECK-THUMB: dmb {{ish$}}
 392   %r = atomicrmw umax i64* %ptr, i64 %val seq_cst
 393   ret i64 %r
 394 }
 395