test/CodeGen/X86/avx2-intrinsics-x86.ll

   1 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -march=x86 -mcpu=core-avx2 -mattr=avx2 | FileCheck %s
   2
   3 define <16 x i16> @test_x86_avx2_packssdw(<8 x i32> %a0, <8 x i32> %a1) {
   4   ; CHECK: vpackssdw
   5   %res = call <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
   6   ret <16 x i16> %res
   7 }
   8 declare <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32>, <8 x i32>) nounwind readnone
   9
  10
  11 define <32 x i8> @test_x86_avx2_packsswb(<16 x i16> %a0, <16 x i16> %a1) {
  12   ; CHECK: vpacksswb
  13   %res = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
  14   ret <32 x i8> %res
  15 }
  16 declare <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16>, <16 x i16>) nounwind readnone
  17
  18
  19 define <32 x i8> @test_x86_avx2_packuswb(<16 x i16> %a0, <16 x i16> %a1) {
  20   ; CHECK: vpackuswb
  21   %res = call <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
  22   ret <32 x i8> %res
  23 }
  24 declare <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16>, <16 x i16>) nounwind readnone
  25
  26
  27 define <32 x i8> @test_x86_avx2_padds_b(<32 x i8> %a0, <32 x i8> %a1) {
  28   ; CHECK: vpaddsb
  29   %res = call <32 x i8> @llvm.x86.avx2.padds.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  30   ret <32 x i8> %res
  31 }
  32 declare <32 x i8> @llvm.x86.avx2.padds.b(<32 x i8>, <32 x i8>) nounwind readnone
  33
  34
  35 define <16 x i16> @test_x86_avx2_padds_w(<16 x i16> %a0, <16 x i16> %a1) {
  36   ; CHECK: vpaddsw
  37   %res = call <16 x i16> @llvm.x86.avx2.padds.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  38   ret <16 x i16> %res
  39 }
  40 declare <16 x i16> @llvm.x86.avx2.padds.w(<16 x i16>, <16 x i16>) nounwind readnone
  41
  42
  43 define <32 x i8> @test_x86_avx2_paddus_b(<32 x i8> %a0, <32 x i8> %a1) {
  44   ; CHECK: vpaddusb
  45   %res = call <32 x i8> @llvm.x86.avx2.paddus.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  46   ret <32 x i8> %res
  47 }
  48 declare <32 x i8> @llvm.x86.avx2.paddus.b(<32 x i8>, <32 x i8>) nounwind readnone
  49
  50
  51 define <16 x i16> @test_x86_avx2_paddus_w(<16 x i16> %a0, <16 x i16> %a1) {
  52   ; CHECK: vpaddusw
  53   %res = call <16 x i16> @llvm.x86.avx2.paddus.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  54   ret <16 x i16> %res
  55 }
  56 declare <16 x i16> @llvm.x86.avx2.paddus.w(<16 x i16>, <16 x i16>) nounwind readnone
  57
  58
  59 define <32 x i8> @test_x86_avx2_pavg_b(<32 x i8> %a0, <32 x i8> %a1) {
  60   ; CHECK: vpavgb
  61   %res = call <32 x i8> @llvm.x86.avx2.pavg.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  62   ret <32 x i8> %res
  63 }
  64 declare <32 x i8> @llvm.x86.avx2.pavg.b(<32 x i8>, <32 x i8>) nounwind readnone
  65
  66
  67 define <16 x i16> @test_x86_avx2_pavg_w(<16 x i16> %a0, <16 x i16> %a1) {
  68   ; CHECK: vpavgw
  69   %res = call <16 x i16> @llvm.x86.avx2.pavg.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  70   ret <16 x i16> %res
  71 }
  72 declare <16 x i16> @llvm.x86.avx2.pavg.w(<16 x i16>, <16 x i16>) nounwind readnone
  73
  74
  75 define <8 x i32> @test_x86_avx2_pmadd_wd(<16 x i16> %a0, <16 x i16> %a1) {
  76   ; CHECK: vpmaddwd
  77   %res = call <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16> %a0, <16 x i16> %a1) ; <<8 x i32>> [#uses=1]
  78   ret <8 x i32> %res
  79 }
  80 declare <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16>, <16 x i16>) nounwind readnone
  81
  82
  83 define <16 x i16> @test_x86_avx2_pmaxs_w(<16 x i16> %a0, <16 x i16> %a1) {
  84   ; CHECK: vpmaxsw
  85   %res = call <16 x i16> @llvm.x86.avx2.pmaxs.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  86   ret <16 x i16> %res
  87 }
  88 declare <16 x i16> @llvm.x86.avx2.pmaxs.w(<16 x i16>, <16 x i16>) nounwind readnone
  89
  90
  91 define <32 x i8> @test_x86_avx2_pmaxu_b(<32 x i8> %a0, <32 x i8> %a1) {
  92   ; CHECK: vpmaxub
  93   %res = call <32 x i8> @llvm.x86.avx2.pmaxu.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  94   ret <32 x i8> %res
  95 }
  96 declare <32 x i8> @llvm.x86.avx2.pmaxu.b(<32 x i8>, <32 x i8>) nounwind readnone
  97
  98
  99 define <16 x i16> @test_x86_avx2_pmins_w(<16 x i16> %a0, <16 x i16> %a1) {
 100   ; CHECK: vpminsw
 101   %res = call <16 x i16> @llvm.x86.avx2.pmins.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 102   ret <16 x i16> %res
 103 }
 104 declare <16 x i16> @llvm.x86.avx2.pmins.w(<16 x i16>, <16 x i16>) nounwind readnone
 105
 106
 107 define <32 x i8> @test_x86_avx2_pminu_b(<32 x i8> %a0, <32 x i8> %a1) {
 108   ; CHECK: vpminub
 109   %res = call <32 x i8> @llvm.x86.avx2.pminu.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 110   ret <32 x i8> %res
 111 }
 112 declare <32 x i8> @llvm.x86.avx2.pminu.b(<32 x i8>, <32 x i8>) nounwind readnone
 113
 114
 115 define i32 @test_x86_avx2_pmovmskb(<32 x i8> %a0) {
 116   ; CHECK: vpmovmskb
 117   %res = call i32 @llvm.x86.avx2.pmovmskb(<32 x i8> %a0) ; <i32> [#uses=1]
 118   ret i32 %res
 119 }
 120 declare i32 @llvm.x86.avx2.pmovmskb(<32 x i8>) nounwind readnone
 121
 122
 123 define <16 x i16> @test_x86_avx2_pmulh_w(<16 x i16> %a0, <16 x i16> %a1) {
 124   ; CHECK: vpmulhw
 125   %res = call <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 126   ret <16 x i16> %res
 127 }
 128 declare <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16>, <16 x i16>) nounwind readnone
 129
 130
 131 define <16 x i16> @test_x86_avx2_pmulhu_w(<16 x i16> %a0, <16 x i16> %a1) {
 132   ; CHECK: vpmulhuw
 133   %res = call <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 134   ret <16 x i16> %res
 135 }
 136 declare <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16>, <16 x i16>) nounwind readnone
 137
 138
 139 define <4 x i64> @test_x86_avx2_pmulu_dq(<8 x i32> %a0, <8 x i32> %a1) {
 140   ; CHECK: vpmuludq
 141   %res = call <4 x i64> @llvm.x86.avx2.pmulu.dq(<8 x i32> %a0, <8 x i32> %a1) ; <<4 x i64>> [#uses=1]
 142   ret <4 x i64> %res
 143 }
 144 declare <4 x i64> @llvm.x86.avx2.pmulu.dq(<8 x i32>, <8 x i32>) nounwind readnone
 145
 146
 147 define <4 x i64> @test_x86_avx2_psad_bw(<32 x i8> %a0, <32 x i8> %a1) {
 148   ; CHECK: vpsadbw
 149   %res = call <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8> %a0, <32 x i8> %a1) ; <<4 x i64>> [#uses=1]
 150   ret <4 x i64> %res
 151 }
 152 declare <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8>, <32 x i8>) nounwind readnone
 153
 154
 155 define <8 x i32> @test_x86_avx2_psll_d(<8 x i32> %a0, <4 x i32> %a1) {
 156   ; CHECK: vpslld
 157   %res = call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 158   ret <8 x i32> %res
 159 }
 160 declare <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32>, <4 x i32>) nounwind readnone
 161
 162
 163 define <4 x i64> @test_x86_avx2_psll_dq(<4 x i64> %a0) {
 164   ; CHECK: vpslldq {{.*#+}} ymm0 = ymm0[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]
 165   %res = call <4 x i64> @llvm.x86.avx2.psll.dq(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 166   ret <4 x i64> %res
 167 }
 168 declare <4 x i64> @llvm.x86.avx2.psll.dq(<4 x i64>, i32) nounwind readnone
 169
 170
 171 define <4 x i64> @test_x86_avx2_psll_q(<4 x i64> %a0, <2 x i64> %a1) {
 172   ; CHECK: vpsllq
 173   %res = call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 174   ret <4 x i64> %res
 175 }
 176 declare <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64>, <2 x i64>) nounwind readnone
 177
 178
 179 define <16 x i16> @test_x86_avx2_psll_w(<16 x i16> %a0, <8 x i16> %a1) {
 180   ; CHECK: vpsllw
 181   %res = call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 182   ret <16 x i16> %res
 183 }
 184 declare <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16>, <8 x i16>) nounwind readnone
 185
 186
 187 define <8 x i32> @test_x86_avx2_pslli_d(<8 x i32> %a0) {
 188   ; CHECK: vpslld
 189   %res = call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 190   ret <8 x i32> %res
 191 }
 192 declare <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32>, i32) nounwind readnone
 193
 194
 195 define <4 x i64> @test_x86_avx2_pslli_q(<4 x i64> %a0) {
 196   ; CHECK: vpsllq
 197   %res = call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 198   ret <4 x i64> %res
 199 }
 200 declare <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64>, i32) nounwind readnone
 201
 202
 203 define <16 x i16> @test_x86_avx2_pslli_w(<16 x i16> %a0) {
 204   ; CHECK: vpsllw
 205   %res = call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 206   ret <16 x i16> %res
 207 }
 208 declare <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16>, i32) nounwind readnone
 209
 210
 211 define <8 x i32> @test_x86_avx2_psra_d(<8 x i32> %a0, <4 x i32> %a1) {
 212   ; CHECK: vpsrad
 213   %res = call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 214   ret <8 x i32> %res
 215 }
 216 declare <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32>, <4 x i32>) nounwind readnone
 217
 218
 219 define <16 x i16> @test_x86_avx2_psra_w(<16 x i16> %a0, <8 x i16> %a1) {
 220   ; CHECK: vpsraw
 221   %res = call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 222   ret <16 x i16> %res
 223 }
 224 declare <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16>, <8 x i16>) nounwind readnone
 225
 226
 227 define <8 x i32> @test_x86_avx2_psrai_d(<8 x i32> %a0) {
 228   ; CHECK: vpsrad
 229   %res = call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 230   ret <8 x i32> %res
 231 }
 232 declare <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32>, i32) nounwind readnone
 233
 234
 235 define <16 x i16> @test_x86_avx2_psrai_w(<16 x i16> %a0) {
 236   ; CHECK: vpsraw
 237   %res = call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 238   ret <16 x i16> %res
 239 }
 240 declare <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16>, i32) nounwind readnone
 241
 242
 243 define <8 x i32> @test_x86_avx2_psrl_d(<8 x i32> %a0, <4 x i32> %a1) {
 244   ; CHECK: vpsrld
 245   %res = call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 246   ret <8 x i32> %res
 247 }
 248 declare <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32>, <4 x i32>) nounwind readnone
 249
 250
 251 define <4 x i64> @test_x86_avx2_psrl_dq(<4 x i64> %a0) {
 252   ; CHECK: vpsrldq {{.*#+}} ymm0 = ymm0[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]
 253   %res = call <4 x i64> @llvm.x86.avx2.psrl.dq(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 254   ret <4 x i64> %res
 255 }
 256 declare <4 x i64> @llvm.x86.avx2.psrl.dq(<4 x i64>, i32) nounwind readnone
 257
 258
 259 define <4 x i64> @test_x86_avx2_psrl_q(<4 x i64> %a0, <2 x i64> %a1) {
 260   ; CHECK: vpsrlq
 261   %res = call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 262   ret <4 x i64> %res
 263 }
 264 declare <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64>, <2 x i64>) nounwind readnone
 265
 266
 267 define <16 x i16> @test_x86_avx2_psrl_w(<16 x i16> %a0, <8 x i16> %a1) {
 268   ; CHECK: vpsrlw
 269   %res = call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 270   ret <16 x i16> %res
 271 }
 272 declare <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16>, <8 x i16>) nounwind readnone
 273
 274
 275 define <8 x i32> @test_x86_avx2_psrli_d(<8 x i32> %a0) {
 276   ; CHECK: vpsrld
 277   %res = call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 278   ret <8 x i32> %res
 279 }
 280 declare <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32>, i32) nounwind readnone
 281
 282
 283 define <4 x i64> @test_x86_avx2_psrli_q(<4 x i64> %a0) {
 284   ; CHECK: vpsrlq
 285   %res = call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 286   ret <4 x i64> %res
 287 }
 288 declare <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64>, i32) nounwind readnone
 289
 290
 291 define <16 x i16> @test_x86_avx2_psrli_w(<16 x i16> %a0) {
 292   ; CHECK: vpsrlw
 293   %res = call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 294   ret <16 x i16> %res
 295 }
 296 declare <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16>, i32) nounwind readnone
 297
 298
 299 define <32 x i8> @test_x86_avx2_psubs_b(<32 x i8> %a0, <32 x i8> %a1) {
 300   ; CHECK: vpsubsb
 301   %res = call <32 x i8> @llvm.x86.avx2.psubs.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 302   ret <32 x i8> %res
 303 }
 304 declare <32 x i8> @llvm.x86.avx2.psubs.b(<32 x i8>, <32 x i8>) nounwind readnone
 305
 306
 307 define <16 x i16> @test_x86_avx2_psubs_w(<16 x i16> %a0, <16 x i16> %a1) {
 308   ; CHECK: vpsubsw
 309   %res = call <16 x i16> @llvm.x86.avx2.psubs.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 310   ret <16 x i16> %res
 311 }
 312 declare <16 x i16> @llvm.x86.avx2.psubs.w(<16 x i16>, <16 x i16>) nounwind readnone
 313
 314
 315 define <32 x i8> @test_x86_avx2_psubus_b(<32 x i8> %a0, <32 x i8> %a1) {
 316   ; CHECK: vpsubusb
 317   %res = call <32 x i8> @llvm.x86.avx2.psubus.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 318   ret <32 x i8> %res
 319 }
 320 declare <32 x i8> @llvm.x86.avx2.psubus.b(<32 x i8>, <32 x i8>) nounwind readnone
 321
 322
 323 define <16 x i16> @test_x86_avx2_psubus_w(<16 x i16> %a0, <16 x i16> %a1) {
 324   ; CHECK: vpsubusw
 325   %res = call <16 x i16> @llvm.x86.avx2.psubus.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 326   ret <16 x i16> %res
 327 }
 328 declare <16 x i16> @llvm.x86.avx2.psubus.w(<16 x i16>, <16 x i16>) nounwind readnone
 329
 330
 331 define <32 x i8> @test_x86_avx2_pabs_b(<32 x i8> %a0) {
 332   ; CHECK: vpabsb
 333   %res = call <32 x i8> @llvm.x86.avx2.pabs.b(<32 x i8> %a0) ; <<32 x i8>> [#uses=1]
 334   ret <32 x i8> %res
 335 }
 336 declare <32 x i8> @llvm.x86.avx2.pabs.b(<32 x i8>) nounwind readnone
 337
 338
 339 define <8 x i32> @test_x86_avx2_pabs_d(<8 x i32> %a0) {
 340   ; CHECK: vpabsd
 341   %res = call <8 x i32> @llvm.x86.avx2.pabs.d(<8 x i32> %a0) ; <<8 x i32>> [#uses=1]
 342   ret <8 x i32> %res
 343 }
 344 declare <8 x i32> @llvm.x86.avx2.pabs.d(<8 x i32>) nounwind readnone
 345
 346
 347 define <16 x i16> @test_x86_avx2_pabs_w(<16 x i16> %a0) {
 348   ; CHECK: vpabsw
 349   %res = call <16 x i16> @llvm.x86.avx2.pabs.w(<16 x i16> %a0) ; <<16 x i16>> [#uses=1]
 350   ret <16 x i16> %res
 351 }
 352 declare <16 x i16> @llvm.x86.avx2.pabs.w(<16 x i16>) nounwind readnone
 353
 354
 355 define <8 x i32> @test_x86_avx2_phadd_d(<8 x i32> %a0, <8 x i32> %a1) {
 356   ; CHECK: vphaddd
 357   %res = call <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 358   ret <8 x i32> %res
 359 }
 360 declare <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32>, <8 x i32>) nounwind readnone
 361
 362
 363 define <16 x i16> @test_x86_avx2_phadd_sw(<16 x i16> %a0, <16 x i16> %a1) {
 364   ; CHECK: vphaddsw
 365   %res = call <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 366   ret <16 x i16> %res
 367 }
 368 declare <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16>, <16 x i16>) nounwind readnone
 369
 370
 371 define <16 x i16> @test_x86_avx2_phadd_w(<16 x i16> %a0, <16 x i16> %a1) {
 372   ; CHECK: vphaddw
 373   %res = call <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 374   ret <16 x i16> %res
 375 }
 376 declare <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16>, <16 x i16>) nounwind readnone
 377
 378
 379 define <8 x i32> @test_x86_avx2_phsub_d(<8 x i32> %a0, <8 x i32> %a1) {
 380   ; CHECK: vphsubd
 381   %res = call <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 382   ret <8 x i32> %res
 383 }
 384 declare <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32>, <8 x i32>) nounwind readnone
 385
 386
 387 define <16 x i16> @test_x86_avx2_phsub_sw(<16 x i16> %a0, <16 x i16> %a1) {
 388   ; CHECK: vphsubsw
 389   %res = call <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 390   ret <16 x i16> %res
 391 }
 392 declare <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16>, <16 x i16>) nounwind readnone
 393
 394
 395 define <16 x i16> @test_x86_avx2_phsub_w(<16 x i16> %a0, <16 x i16> %a1) {
 396   ; CHECK: vphsubw
 397   %res = call <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 398   ret <16 x i16> %res
 399 }
 400 declare <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16>, <16 x i16>) nounwind readnone
 401
 402
 403 define <16 x i16> @test_x86_avx2_pmadd_ub_sw(<32 x i8> %a0, <32 x i8> %a1) {
 404   ; CHECK: vpmaddubsw
 405   %res = call <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i16>> [#uses=1]
 406   ret <16 x i16> %res
 407 }
 408 declare <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8>, <32 x i8>) nounwind readnone
 409
 410
 411 define <16 x i16> @test_x86_avx2_pmul_hr_sw(<16 x i16> %a0, <16 x i16> %a1) {
 412   ; CHECK: vpmulhrsw
 413   %res = call <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 414   ret <16 x i16> %res
 415 }
 416 declare <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16>, <16 x i16>) nounwind readnone
 417
 418
 419 define <32 x i8> @test_x86_avx2_pshuf_b(<32 x i8> %a0, <32 x i8> %a1) {
 420   ; CHECK: vpshufb
 421   %res = call <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i8>> [#uses=1]
 422   ret <32 x i8> %res
 423 }
 424 declare <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8>, <32 x i8>) nounwind readnone
 425
 426
 427 define <32 x i8> @test_x86_avx2_psign_b(<32 x i8> %a0, <32 x i8> %a1) {
 428   ; CHECK: vpsignb
 429   %res = call <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 430   ret <32 x i8> %res
 431 }
 432 declare <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8>, <32 x i8>) nounwind readnone
 433
 434
 435 define <8 x i32> @test_x86_avx2_psign_d(<8 x i32> %a0, <8 x i32> %a1) {
 436   ; CHECK: vpsignd
 437   %res = call <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32> %a0, <8 x i32> %a1) ; <<4 x i32>> [#uses=1]
 438   ret <8 x i32> %res
 439 }
 440 declare <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32>, <8 x i32>) nounwind readnone
 441
 442
 443 define <16 x i16> @test_x86_avx2_psign_w(<16 x i16> %a0, <16 x i16> %a1) {
 444   ; CHECK: vpsignw
 445   %res = call <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 446   ret <16 x i16> %res
 447 }
 448 declare <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16>, <16 x i16>) nounwind readnone
 449
 450
 451 define <4 x i64> @test_x86_avx2_movntdqa(i8* %a0) {
 452   ; CHECK: movl
 453   ; CHECK: vmovntdqa
 454   %res = call <4 x i64> @llvm.x86.avx2.movntdqa(i8* %a0) ; <<4 x i64>> [#uses=1]
 455   ret <4 x i64> %res
 456 }
 457 declare <4 x i64> @llvm.x86.avx2.movntdqa(i8*) nounwind readonly
 458
 459
 460 define <16 x i16> @test_x86_avx2_mpsadbw(<32 x i8> %a0, <32 x i8> %a1) {
 461   ; CHECK: vmpsadbw
 462   %res = call <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8> %a0, <32 x i8> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 463   ret <16 x i16> %res
 464 }
 465 declare <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8>, <32 x i8>, i8) nounwind readnone
 466
 467
 468 define <16 x i16> @test_x86_avx2_packusdw(<8 x i32> %a0, <8 x i32> %a1) {
 469   ; CHECK: vpackusdw
 470   %res = call <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
 471   ret <16 x i16> %res
 472 }
 473 declare <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32>, <8 x i32>) nounwind readnone
 474
 475
 476 define <32 x i8> @test_x86_avx2_pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) {
 477   ; CHECK: vpblendvb
 478   %res = call <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) ; <<32 x i8>> [#uses=1]
 479   ret <32 x i8> %res
 480 }
 481 declare <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8>, <32 x i8>, <32 x i8>) nounwind readnone
 482
 483
 484 define <16 x i16> @test_x86_avx2_pblendw(<16 x i16> %a0, <16 x i16> %a1) {
 485   ; CHECK: vpblendw
 486   %res = call <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16> %a0, <16 x i16> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 487   ret <16 x i16> %res
 488 }
 489 declare <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16>, <16 x i16>, i8) nounwind readnone
 490
 491
 492 define <32 x i8> @test_x86_avx2_pmaxsb(<32 x i8> %a0, <32 x i8> %a1) {
 493   ; CHECK: vpmaxsb
 494   %res = call <32 x i8> @llvm.x86.avx2.pmaxs.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 495   ret <32 x i8> %res
 496 }
 497 declare <32 x i8> @llvm.x86.avx2.pmaxs.b(<32 x i8>, <32 x i8>) nounwind readnone
 498
 499
 500 define <8 x i32> @test_x86_avx2_pmaxsd(<8 x i32> %a0, <8 x i32> %a1) {
 501   ; CHECK: vpmaxsd
 502   %res = call <8 x i32> @llvm.x86.avx2.pmaxs.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 503   ret <8 x i32> %res
 504 }
 505 declare <8 x i32> @llvm.x86.avx2.pmaxs.d(<8 x i32>, <8 x i32>) nounwind readnone
 506
 507
 508 define <8 x i32> @test_x86_avx2_pmaxud(<8 x i32> %a0, <8 x i32> %a1) {
 509   ; CHECK: vpmaxud
 510   %res = call <8 x i32> @llvm.x86.avx2.pmaxu.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 511   ret <8 x i32> %res
 512 }
 513 declare <8 x i32> @llvm.x86.avx2.pmaxu.d(<8 x i32>, <8 x i32>) nounwind readnone
 514
 515
 516 define <16 x i16> @test_x86_avx2_pmaxuw(<16 x i16> %a0, <16 x i16> %a1) {
 517   ; CHECK: vpmaxuw
 518   %res = call <16 x i16> @llvm.x86.avx2.pmaxu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 519   ret <16 x i16> %res
 520 }
 521 declare <16 x i16> @llvm.x86.avx2.pmaxu.w(<16 x i16>, <16 x i16>) nounwind readnone
 522
 523
 524 define <32 x i8> @test_x86_avx2_pminsb(<32 x i8> %a0, <32 x i8> %a1) {
 525   ; CHECK: vpminsb
 526   %res = call <32 x i8> @llvm.x86.avx2.pmins.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 527   ret <32 x i8> %res
 528 }
 529 declare <32 x i8> @llvm.x86.avx2.pmins.b(<32 x i8>, <32 x i8>) nounwind readnone
 530
 531
 532 define <8 x i32> @test_x86_avx2_pminsd(<8 x i32> %a0, <8 x i32> %a1) {
 533   ; CHECK: vpminsd
 534   %res = call <8 x i32> @llvm.x86.avx2.pmins.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 535   ret <8 x i32> %res
 536 }
 537 declare <8 x i32> @llvm.x86.avx2.pmins.d(<8 x i32>, <8 x i32>) nounwind readnone
 538
 539
 540 define <8 x i32> @test_x86_avx2_pminud(<8 x i32> %a0, <8 x i32> %a1) {
 541   ; CHECK: vpminud
 542   %res = call <8 x i32> @llvm.x86.avx2.pminu.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 543   ret <8 x i32> %res
 544 }
 545 declare <8 x i32> @llvm.x86.avx2.pminu.d(<8 x i32>, <8 x i32>) nounwind readnone
 546
 547
 548 define <16 x i16> @test_x86_avx2_pminuw(<16 x i16> %a0, <16 x i16> %a1) {
 549   ; CHECK: vpminuw
 550   %res = call <16 x i16> @llvm.x86.avx2.pminu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 551   ret <16 x i16> %res
 552 }
 553 declare <16 x i16> @llvm.x86.avx2.pminu.w(<16 x i16>, <16 x i16>) nounwind readnone
 554
 555
 556 define <8 x i32> @test_x86_avx2_pmovsxbd(<16 x i8> %a0) {
 557   ; CHECK: vpmovsxbd
 558   %res = call <8 x i32> @llvm.x86.avx2.pmovsxbd(<16 x i8> %a0) ; <<8 x i32>> [#uses=1]
 559   ret <8 x i32> %res
 560 }
 561 declare <8 x i32> @llvm.x86.avx2.pmovsxbd(<16 x i8>) nounwind readnone
 562
 563
 564 define <4 x i64> @test_x86_avx2_pmovsxbq(<16 x i8> %a0) {
 565   ; CHECK: vpmovsxbq
 566   %res = call <4 x i64> @llvm.x86.avx2.pmovsxbq(<16 x i8> %a0) ; <<4 x i64>> [#uses=1]
 567   ret <4 x i64> %res
 568 }
 569 declare <4 x i64> @llvm.x86.avx2.pmovsxbq(<16 x i8>) nounwind readnone
 570
 571
 572 define <16 x i16> @test_x86_avx2_pmovsxbw(<16 x i8> %a0) {
 573   ; CHECK: vpmovsxbw
 574   %res = call <16 x i16> @llvm.x86.avx2.pmovsxbw(<16 x i8> %a0) ; <<8 x i16>> [#uses=1]
 575   ret <16 x i16> %res
 576 }
 577 declare <16 x i16> @llvm.x86.avx2.pmovsxbw(<16 x i8>) nounwind readnone
 578
 579
 580 define <4 x i64> @test_x86_avx2_pmovsxdq(<4 x i32> %a0) {
 581   ; CHECK: vpmovsxdq
 582   %res = call <4 x i64> @llvm.x86.avx2.pmovsxdq(<4 x i32> %a0) ; <<4 x i64>> [#uses=1]
 583   ret <4 x i64> %res
 584 }
 585 declare <4 x i64> @llvm.x86.avx2.pmovsxdq(<4 x i32>) nounwind readnone
 586
 587
 588 define <8 x i32> @test_x86_avx2_pmovsxwd(<8 x i16> %a0) {
 589   ; CHECK: vpmovsxwd
 590   %res = call <8 x i32> @llvm.x86.avx2.pmovsxwd(<8 x i16> %a0) ; <<8 x i32>> [#uses=1]
 591   ret <8 x i32> %res
 592 }
 593 declare <8 x i32> @llvm.x86.avx2.pmovsxwd(<8 x i16>) nounwind readnone
 594
 595
 596 define <4 x i64> @test_x86_avx2_pmovsxwq(<8 x i16> %a0) {
 597   ; CHECK: vpmovsxwq
 598   %res = call <4 x i64> @llvm.x86.avx2.pmovsxwq(<8 x i16> %a0) ; <<4 x i64>> [#uses=1]
 599   ret <4 x i64> %res
 600 }
 601 declare <4 x i64> @llvm.x86.avx2.pmovsxwq(<8 x i16>) nounwind readnone
 602
 603
 604 define <8 x i32> @test_x86_avx2_pmovzxbd(<16 x i8> %a0) {
 605   ; CHECK: vpmovzxbd
 606   %res = call <8 x i32> @llvm.x86.avx2.pmovzxbd(<16 x i8> %a0) ; <<8 x i32>> [#uses=1]
 607   ret <8 x i32> %res
 608 }
 609 declare <8 x i32> @llvm.x86.avx2.pmovzxbd(<16 x i8>) nounwind readnone
 610
 611
 612 define <4 x i64> @test_x86_avx2_pmovzxbq(<16 x i8> %a0) {
 613   ; CHECK: vpmovzxbq
 614   %res = call <4 x i64> @llvm.x86.avx2.pmovzxbq(<16 x i8> %a0) ; <<4 x i64>> [#uses=1]
 615   ret <4 x i64> %res
 616 }
 617 declare <4 x i64> @llvm.x86.avx2.pmovzxbq(<16 x i8>) nounwind readnone
 618
 619
 620 define <16 x i16> @test_x86_avx2_pmovzxbw(<16 x i8> %a0) {
 621   ; CHECK: vpmovzxbw
 622   %res = call <16 x i16> @llvm.x86.avx2.pmovzxbw(<16 x i8> %a0) ; <<16 x i16>> [#uses=1]
 623   ret <16 x i16> %res
 624 }
 625 declare <16 x i16> @llvm.x86.avx2.pmovzxbw(<16 x i8>) nounwind readnone
 626
 627
 628 define <4 x i64> @test_x86_avx2_pmovzxdq(<4 x i32> %a0) {
 629   ; CHECK: vpmovzxdq
 630   %res = call <4 x i64> @llvm.x86.avx2.pmovzxdq(<4 x i32> %a0) ; <<4 x i64>> [#uses=1]
 631   ret <4 x i64> %res
 632 }
 633 declare <4 x i64> @llvm.x86.avx2.pmovzxdq(<4 x i32>) nounwind readnone
 634
 635
 636 define <8 x i32> @test_x86_avx2_pmovzxwd(<8 x i16> %a0) {
 637   ; CHECK: vpmovzxwd
 638   %res = call <8 x i32> @llvm.x86.avx2.pmovzxwd(<8 x i16> %a0) ; <<8 x i32>> [#uses=1]
 639   ret <8 x i32> %res
 640 }
 641 declare <8 x i32> @llvm.x86.avx2.pmovzxwd(<8 x i16>) nounwind readnone
 642
 643
 644 define <4 x i64> @test_x86_avx2_pmovzxwq(<8 x i16> %a0) {
 645   ; CHECK: vpmovzxwq
 646   %res = call <4 x i64> @llvm.x86.avx2.pmovzxwq(<8 x i16> %a0) ; <<4 x i64>> [#uses=1]
 647   ret <4 x i64> %res
 648 }
 649 declare <4 x i64> @llvm.x86.avx2.pmovzxwq(<8 x i16>) nounwind readnone
 650
 651
 652 define <4 x i64> @test_x86_avx2_pmul.dq(<8 x i32> %a0, <8 x i32> %a1) {
 653   ; CHECK: vpmuldq
 654   %res = call <4 x i64> @llvm.x86.avx2.pmul.dq(<8 x i32> %a0, <8 x i32> %a1) ; <<2 x i64>> [#uses=1]
 655   ret <4 x i64> %res
 656 }
 657 declare <4 x i64> @llvm.x86.avx2.pmul.dq(<8 x i32>, <8 x i32>) nounwind readnone
 658
 659
 660 define <4 x i64> @test_x86_avx2_vbroadcasti128(i8* %a0) {
 661   ; CHECK: vbroadcasti128
 662   %res = call <4 x i64> @llvm.x86.avx2.vbroadcasti128(i8* %a0) ; <<4 x i64>> [#uses=1]
 663   ret <4 x i64> %res
 664 }
 665 declare <4 x i64> @llvm.x86.avx2.vbroadcasti128(i8*) nounwind readonly
 666
 667 define <4 x double> @test_x86_avx2_vbroadcast_sd_pd_256(<2 x double> %a0) {
 668   ; CHECK: vbroadcastsd
 669   %res = call <4 x double> @llvm.x86.avx2.vbroadcast.sd.pd.256(<2 x double> %a0) ; <<4 x double>> [#uses=1]
 670   ret <4 x double> %res
 671 }
 672 declare <4 x double> @llvm.x86.avx2.vbroadcast.sd.pd.256(<2 x double>) nounwind readonly
 673
 674
 675 define <4 x float> @test_x86_avx2_vbroadcast_ss_ps(<4 x float> %a0) {
 676   ; CHECK: vbroadcastss
 677   %res = call <4 x float> @llvm.x86.avx2.vbroadcast.ss.ps(<4 x float> %a0) ; <<4 x float>> [#uses=1]
 678   ret <4 x float> %res
 679 }
 680 declare <4 x float> @llvm.x86.avx2.vbroadcast.ss.ps(<4 x float>) nounwind readonly
 681
 682
 683 define <8 x float> @test_x86_avx2_vbroadcast_ss_ps_256(<4 x float> %a0) {
 684   ; CHECK: vbroadcastss
 685   %res = call <8 x float> @llvm.x86.avx2.vbroadcast.ss.ps.256(<4 x float> %a0) ; <<8 x float>> [#uses=1]
 686   ret <8 x float> %res
 687 }
 688 declare <8 x float> @llvm.x86.avx2.vbroadcast.ss.ps.256(<4 x float>) nounwind readonly
 689
 690
 691 define <4 x i32> @test_x86_avx2_pblendd_128(<4 x i32> %a0, <4 x i32> %a1) {
 692   ; CHECK: vpblendd
 693   %res = call <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32> %a0, <4 x i32> %a1, i8 7) ; <<4 x i32>> [#uses=1]
 694   ret <4 x i32> %res
 695 }
 696 declare <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32>, <4 x i32>, i8) nounwind readnone
 697
 698
 699 define <8 x i32> @test_x86_avx2_pblendd_256(<8 x i32> %a0, <8 x i32> %a1) {
 700   ; CHECK: vpblendd
 701   %res = call <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32> %a0, <8 x i32> %a1, i8 7) ; <<8 x i32>> [#uses=1]
 702   ret <8 x i32> %res
 703 }
 704 declare <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32>, <8 x i32>, i8) nounwind readnone
 705
 706
 707 define <16 x i8> @test_x86_avx2_pbroadcastb_128(<16 x i8> %a0) {
 708   ; CHECK: vpbroadcastb
 709   %res = call <16 x i8> @llvm.x86.avx2.pbroadcastb.128(<16 x i8> %a0) ; <<16 x i8>> [#uses=1]
 710   ret <16 x i8> %res
 711 }
 712 declare <16 x i8> @llvm.x86.avx2.pbroadcastb.128(<16 x i8>) nounwind readonly
 713
 714
 715 define <32 x i8> @test_x86_avx2_pbroadcastb_256(<16 x i8> %a0) {
 716   ; CHECK: vpbroadcastb
 717   %res = call <32 x i8> @llvm.x86.avx2.pbroadcastb.256(<16 x i8> %a0) ; <<32 x i8>> [#uses=1]
 718   ret <32 x i8> %res
 719 }
 720 declare <32 x i8> @llvm.x86.avx2.pbroadcastb.256(<16 x i8>) nounwind readonly
 721
 722
 723 define <8 x i16> @test_x86_avx2_pbroadcastw_128(<8 x i16> %a0) {
 724   ; CHECK: vpbroadcastw
 725   %res = call <8 x i16> @llvm.x86.avx2.pbroadcastw.128(<8 x i16> %a0) ; <<8 x i16>> [#uses=1]
 726   ret <8 x i16> %res
 727 }
 728 declare <8 x i16> @llvm.x86.avx2.pbroadcastw.128(<8 x i16>) nounwind readonly
 729
 730
 731 define <16 x i16> @test_x86_avx2_pbroadcastw_256(<8 x i16> %a0) {
 732   ; CHECK: vpbroadcastw
 733   %res = call <16 x i16> @llvm.x86.avx2.pbroadcastw.256(<8 x i16> %a0) ; <<16 x i16>> [#uses=1]
 734   ret <16 x i16> %res
 735 }
 736 declare <16 x i16> @llvm.x86.avx2.pbroadcastw.256(<8 x i16>) nounwind readonly
 737
 738
 739 define <4 x i32> @test_x86_avx2_pbroadcastd_128(<4 x i32> %a0) {
 740   ; CHECK: vbroadcastss
 741   %res = call <4 x i32> @llvm.x86.avx2.pbroadcastd.128(<4 x i32> %a0) ; <<4 x i32>> [#uses=1]
 742   ret <4 x i32> %res
 743 }
 744 declare <4 x i32> @llvm.x86.avx2.pbroadcastd.128(<4 x i32>) nounwind readonly
 745
 746
 747 define <8 x i32> @test_x86_avx2_pbroadcastd_256(<4 x i32> %a0) {
 748   ; CHECK: vbroadcastss {{[^,]+}}, %ymm{{[0-9]+}}
 749   %res = call <8 x i32> @llvm.x86.avx2.pbroadcastd.256(<4 x i32> %a0) ; <<8 x i32>> [#uses=1]
 750   ret <8 x i32> %res
 751 }
 752 declare <8 x i32> @llvm.x86.avx2.pbroadcastd.256(<4 x i32>) nounwind readonly
 753
 754
 755 define <2 x i64> @test_x86_avx2_pbroadcastq_128(<2 x i64> %a0) {
 756   ; CHECK: vpbroadcastq
 757   %res = call <2 x i64> @llvm.x86.avx2.pbroadcastq.128(<2 x i64> %a0) ; <<2 x i64>> [#uses=1]
 758   ret <2 x i64> %res
 759 }
 760 declare <2 x i64> @llvm.x86.avx2.pbroadcastq.128(<2 x i64>) nounwind readonly
 761
 762
 763 define <4 x i64> @test_x86_avx2_pbroadcastq_256(<2 x i64> %a0) {
 764   ; CHECK: vbroadcastsd {{[^,]+}}, %ymm{{[0-9]+}}
 765   %res = call <4 x i64> @llvm.x86.avx2.pbroadcastq.256(<2 x i64> %a0) ; <<4 x i64>> [#uses=1]
 766   ret <4 x i64> %res
 767 }
 768 declare <4 x i64> @llvm.x86.avx2.pbroadcastq.256(<2 x i64>) nounwind readonly
 769
 770
 771 define <8 x i32> @test_x86_avx2_permd(<8 x i32> %a0, <8 x i32> %a1) {
 772   ; CHECK: vpermd
 773   %res = call <8 x i32> @llvm.x86.avx2.permd(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 774   ret <8 x i32> %res
 775 }
 776 declare <8 x i32> @llvm.x86.avx2.permd(<8 x i32>, <8 x i32>) nounwind readonly
 777
 778
 779 define <8 x float> @test_x86_avx2_permps(<8 x float> %a0, <8 x float> %a1) {
 780   ; CHECK: vpermps
 781   %res = call <8 x float> @llvm.x86.avx2.permps(<8 x float> %a0, <8 x float> %a1) ; <<8 x float>> [#uses=1]
 782   ret <8 x float> %res
 783 }
 784 declare <8 x float> @llvm.x86.avx2.permps(<8 x float>, <8 x float>) nounwind readonly
 785
 786
 787 define <4 x i64> @test_x86_avx2_vperm2i128(<4 x i64> %a0, <4 x i64> %a1) {
 788   ; CHECK: vperm2i128
 789   %res = call <4 x i64> @llvm.x86.avx2.vperm2i128(<4 x i64> %a0, <4 x i64> %a1, i8 1) ; <<4 x i64>> [#uses=1]
 790   ret <4 x i64> %res
 791 }
 792 declare <4 x i64> @llvm.x86.avx2.vperm2i128(<4 x i64>, <4 x i64>, i8) nounwind readonly
 793
 794
 795 define <2 x i64> @test_x86_avx2_vextracti128(<4 x i64> %a0) {
 796   ; CHECK: vextracti128
 797   %res = call <2 x i64> @llvm.x86.avx2.vextracti128(<4 x i64> %a0, i8 7) ; <<2 x i64>> [#uses=1]
 798   ret <2 x i64> %res
 799 }
 800 declare <2 x i64> @llvm.x86.avx2.vextracti128(<4 x i64>, i8) nounwind readnone
 801
 802
 803 define <4 x i64> @test_x86_avx2_vinserti128(<4 x i64> %a0, <2 x i64> %a1) {
 804   ; CHECK: vinserti128
 805   %res = call <4 x i64> @llvm.x86.avx2.vinserti128(<4 x i64> %a0, <2 x i64> %a1, i8 7) ; <<4 x i64>> [#uses=1]
 806   ret <4 x i64> %res
 807 }
 808 declare <4 x i64> @llvm.x86.avx2.vinserti128(<4 x i64>, <2 x i64>, i8) nounwind readnone
 809
 810
 811 define <2 x i64> @test_x86_avx2_maskload_q(i8* %a0, <2 x i64> %a1) {
 812   ; CHECK: vpmaskmovq
 813   %res = call <2 x i64> @llvm.x86.avx2.maskload.q(i8* %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 814   ret <2 x i64> %res
 815 }
 816 declare <2 x i64> @llvm.x86.avx2.maskload.q(i8*, <2 x i64>) nounwind readonly
 817
 818
 819 define <4 x i64> @test_x86_avx2_maskload_q_256(i8* %a0, <4 x i64> %a1) {
 820   ; CHECK: vpmaskmovq
 821   %res = call <4 x i64> @llvm.x86.avx2.maskload.q.256(i8* %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 822   ret <4 x i64> %res
 823 }
 824 declare <4 x i64> @llvm.x86.avx2.maskload.q.256(i8*, <4 x i64>) nounwind readonly
 825
 826
 827 define <4 x i32> @test_x86_avx2_maskload_d(i8* %a0, <4 x i32> %a1) {
 828   ; CHECK: vpmaskmovd
 829   %res = call <4 x i32> @llvm.x86.avx2.maskload.d(i8* %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 830   ret <4 x i32> %res
 831 }
 832 declare <4 x i32> @llvm.x86.avx2.maskload.d(i8*, <4 x i32>) nounwind readonly
 833
 834
 835 define <8 x i32> @test_x86_avx2_maskload_d_256(i8* %a0, <8 x i32> %a1) {
 836   ; CHECK: vpmaskmovd
 837   %res = call <8 x i32> @llvm.x86.avx2.maskload.d.256(i8* %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 838   ret <8 x i32> %res
 839 }
 840 declare <8 x i32> @llvm.x86.avx2.maskload.d.256(i8*, <8 x i32>) nounwind readonly
 841
 842
 843 define void @test_x86_avx2_maskstore_q(i8* %a0, <2 x i64> %a1, <2 x i64> %a2) {
 844   ; CHECK: vpmaskmovq
 845   call void @llvm.x86.avx2.maskstore.q(i8* %a0, <2 x i64> %a1, <2 x i64> %a2)
 846   ret void
 847 }
 848 declare void @llvm.x86.avx2.maskstore.q(i8*, <2 x i64>, <2 x i64>) nounwind
 849
 850
 851 define void @test_x86_avx2_maskstore_q_256(i8* %a0, <4 x i64> %a1, <4 x i64> %a2) {
 852   ; CHECK: vpmaskmovq
 853   call void @llvm.x86.avx2.maskstore.q.256(i8* %a0, <4 x i64> %a1, <4 x i64> %a2)
 854   ret void
 855 }
 856 declare void @llvm.x86.avx2.maskstore.q.256(i8*, <4 x i64>, <4 x i64>) nounwind
 857
 858
 859 define void @test_x86_avx2_maskstore_d(i8* %a0, <4 x i32> %a1, <4 x i32> %a2) {
 860   ; CHECK: vpmaskmovd
 861   call void @llvm.x86.avx2.maskstore.d(i8* %a0, <4 x i32> %a1, <4 x i32> %a2)
 862   ret void
 863 }
 864 declare void @llvm.x86.avx2.maskstore.d(i8*, <4 x i32>, <4 x i32>) nounwind
 865
 866
 867 define void @test_x86_avx2_maskstore_d_256(i8* %a0, <8 x i32> %a1, <8 x i32> %a2) {
 868   ; CHECK: vpmaskmovd
 869   call void @llvm.x86.avx2.maskstore.d.256(i8* %a0, <8 x i32> %a1, <8 x i32> %a2)
 870   ret void
 871 }
 872 declare void @llvm.x86.avx2.maskstore.d.256(i8*, <8 x i32>, <8 x i32>) nounwind
 873
 874
 875 define <4 x i32> @test_x86_avx2_psllv_d(<4 x i32> %a0, <4 x i32> %a1) {
 876   ; CHECK: vpsllvd
 877   %res = call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 878   ret <4 x i32> %res
 879 }
 880 declare <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32>, <4 x i32>) nounwind readnone
 881
 882
 883 define <8 x i32> @test_x86_avx2_psllv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
 884   ; CHECK: vpsllvd
 885   %res = call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 886   ret <8 x i32> %res
 887 }
 888 declare <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
 889
 890
 891 define <2 x i64> @test_x86_avx2_psllv_q(<2 x i64> %a0, <2 x i64> %a1) {
 892   ; CHECK: vpsllvq
 893   %res = call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 894   ret <2 x i64> %res
 895 }
 896 declare <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64>, <2 x i64>) nounwind readnone
 897
 898
 899 define <4 x i64> @test_x86_avx2_psllv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
 900   ; CHECK: vpsllvq
 901   %res = call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 902   ret <4 x i64> %res
 903 }
 904 declare <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
 905
 906
 907 define <4 x i32> @test_x86_avx2_psrlv_d(<4 x i32> %a0, <4 x i32> %a1) {
 908   ; CHECK: vpsrlvd
 909   %res = call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 910   ret <4 x i32> %res
 911 }
 912 declare <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32>, <4 x i32>) nounwind readnone
 913
 914
 915 define <8 x i32> @test_x86_avx2_psrlv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
 916   ; CHECK: vpsrlvd
 917   %res = call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 918   ret <8 x i32> %res
 919 }
 920 declare <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
 921
 922
 923 define <2 x i64> @test_x86_avx2_psrlv_q(<2 x i64> %a0, <2 x i64> %a1) {
 924   ; CHECK: vpsrlvq
 925   %res = call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 926   ret <2 x i64> %res
 927 }
 928 declare <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64>, <2 x i64>) nounwind readnone
 929
 930
 931 define <4 x i64> @test_x86_avx2_psrlv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
 932   ; CHECK: vpsrlvq
 933   %res = call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 934   ret <4 x i64> %res
 935 }
 936 declare <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
 937
 938
 939 define <4 x i32> @test_x86_avx2_psrav_d(<4 x i32> %a0, <4 x i32> %a1) {
 940   ; CHECK: vpsravd
 941   %res = call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 942   ret <4 x i32> %res
 943 }
 944 declare <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32>, <4 x i32>) nounwind readnone
 945
 946
 947 define <8 x i32> @test_x86_avx2_psrav_d_256(<8 x i32> %a0, <8 x i32> %a1) {
 948   ; CHECK: vpsravd
 949   %res = call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 950   ret <8 x i32> %res
 951 }
 952 declare <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32>, <8 x i32>) nounwind readnone
 953
 954 ; This is checked here because the execution dependency fix pass makes it hard to test in AVX mode since we don't have 256-bit integer instructions
 955 define void @test_x86_avx_storeu_dq_256(i8* %a0, <32 x i8> %a1) {
 956   ; CHECK: vmovdqu
 957   ; add operation forces the execution domain.
 958   %a2 = add <32 x i8> %a1, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 959   call void @llvm.x86.avx.storeu.dq.256(i8* %a0, <32 x i8> %a2)
 960   ret void
 961 }
 962 declare void @llvm.x86.avx.storeu.dq.256(i8*, <32 x i8>) nounwind
 963
 964 define <2 x double> @test_x86_avx2_gather_d_pd(<2 x double> %a0, i8* %a1,
 965                      <4 x i32> %idx, <2 x double> %mask) {
 966   ; CHECK: vgatherdpd
 967   %res = call <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double> %a0,
 968                             i8* %a1, <4 x i32> %idx, <2 x double> %mask, i8 2) ;
 969   ret <2 x double> %res
 970 }
 971 declare <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double>, i8*,
 972                       <4 x i32>, <2 x double>, i8) nounwind readonly
 973
 974 define <4 x double> @test_x86_avx2_gather_d_pd_256(<4 x double> %a0, i8* %a1,
 975                      <4 x i32> %idx, <4 x double> %mask) {
 976   ; CHECK: vgatherdpd
 977   %res = call <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double> %a0,
 978                             i8* %a1, <4 x i32> %idx, <4 x double> %mask, i8 2) ;
 979   ret <4 x double> %res
 980 }
 981 declare <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double>, i8*,
 982                       <4 x i32>, <4 x double>, i8) nounwind readonly
 983
 984 define <2 x double> @test_x86_avx2_gather_q_pd(<2 x double> %a0, i8* %a1,
 985                      <2 x i64> %idx, <2 x double> %mask) {
 986   ; CHECK: vgatherqpd
 987   %res = call <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double> %a0,
 988                             i8* %a1, <2 x i64> %idx, <2 x double> %mask, i8 2) ;
 989   ret <2 x double> %res
 990 }
 991 declare <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double>, i8*,
 992                       <2 x i64>, <2 x double>, i8) nounwind readonly
 993
 994 define <4 x double> @test_x86_avx2_gather_q_pd_256(<4 x double> %a0, i8* %a1,
 995                      <4 x i64> %idx, <4 x double> %mask) {
 996   ; CHECK: vgatherqpd
 997   %res = call <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double> %a0,
 998                             i8* %a1, <4 x i64> %idx, <4 x double> %mask, i8 2) ;
 999   ret <4 x double> %res
1000 }
1001 declare <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double>, i8*,
1002                       <4 x i64>, <4 x double>, i8) nounwind readonly
1003
1004 define <4 x float> @test_x86_avx2_gather_d_ps(<4 x float> %a0, i8* %a1,
1005                      <4 x i32> %idx, <4 x float> %mask) {
1006   ; CHECK: vgatherdps
1007   %res = call <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float> %a0,
1008                             i8* %a1, <4 x i32> %idx, <4 x float> %mask, i8 2) ;
1009   ret <4 x float> %res
1010 }
1011 declare <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float>, i8*,
1012                       <4 x i32>, <4 x float>, i8) nounwind readonly
1013
1014 define <8 x float> @test_x86_avx2_gather_d_ps_256(<8 x float> %a0, i8* %a1,
1015                      <8 x i32> %idx, <8 x float> %mask) {
1016   ; CHECK: vgatherdps
1017   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
1018                             i8* %a1, <8 x i32> %idx, <8 x float> %mask, i8 2) ;
1019   ret <8 x float> %res
1020 }
1021 declare <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float>, i8*,
1022                       <8 x i32>, <8 x float>, i8) nounwind readonly
1023
1024 define <4 x float> @test_x86_avx2_gather_q_ps(<4 x float> %a0, i8* %a1,
1025                      <2 x i64> %idx, <4 x float> %mask) {
1026   ; CHECK: vgatherqps
1027   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float> %a0,
1028                             i8* %a1, <2 x i64> %idx, <4 x float> %mask, i8 2) ;
1029   ret <4 x float> %res
1030 }
1031 declare <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float>, i8*,
1032                       <2 x i64>, <4 x float>, i8) nounwind readonly
1033
1034 define <4 x float> @test_x86_avx2_gather_q_ps_256(<4 x float> %a0, i8* %a1,
1035                      <4 x i64> %idx, <4 x float> %mask) {
1036   ; CHECK: vgatherqps
1037   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float> %a0,
1038                             i8* %a1, <4 x i64> %idx, <4 x float> %mask, i8 2) ;
1039   ret <4 x float> %res
1040 }
1041 declare <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float>, i8*,
1042                       <4 x i64>, <4 x float>, i8) nounwind readonly
1043
1044 define <2 x i64> @test_x86_avx2_gather_d_q(<2 x i64> %a0, i8* %a1,
1045                      <4 x i32> %idx, <2 x i64> %mask) {
1046   ; CHECK: vpgatherdq
1047   %res = call <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64> %a0,
1048                             i8* %a1, <4 x i32> %idx, <2 x i64> %mask, i8 2) ;
1049   ret <2 x i64> %res
1050 }
1051 declare <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64>, i8*,
1052                       <4 x i32>, <2 x i64>, i8) nounwind readonly
1053
1054 define <4 x i64> @test_x86_avx2_gather_d_q_256(<4 x i64> %a0, i8* %a1,
1055                      <4 x i32> %idx, <4 x i64> %mask) {
1056   ; CHECK: vpgatherdq
1057   %res = call <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64> %a0,
1058                             i8* %a1, <4 x i32> %idx, <4 x i64> %mask, i8 2) ;
1059   ret <4 x i64> %res
1060 }
1061 declare <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64>, i8*,
1062                       <4 x i32>, <4 x i64>, i8) nounwind readonly
1063
1064 define <2 x i64> @test_x86_avx2_gather_q_q(<2 x i64> %a0, i8* %a1,
1065                      <2 x i64> %idx, <2 x i64> %mask) {
1066   ; CHECK: vpgatherqq
1067   %res = call <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64> %a0,
1068                             i8* %a1, <2 x i64> %idx, <2 x i64> %mask, i8 2) ;
1069   ret <2 x i64> %res
1070 }
1071 declare <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64>, i8*,
1072                       <2 x i64>, <2 x i64>, i8) nounwind readonly
1073
1074 define <4 x i64> @test_x86_avx2_gather_q_q_256(<4 x i64> %a0, i8* %a1,
1075                      <4 x i64> %idx, <4 x i64> %mask) {
1076   ; CHECK: vpgatherqq
1077   %res = call <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64> %a0,
1078                             i8* %a1, <4 x i64> %idx, <4 x i64> %mask, i8 2) ;
1079   ret <4 x i64> %res
1080 }
1081 declare <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64>, i8*,
1082                       <4 x i64>, <4 x i64>, i8) nounwind readonly
1083
1084 define <4 x i32> @test_x86_avx2_gather_d_d(<4 x i32> %a0, i8* %a1,
1085                      <4 x i32> %idx, <4 x i32> %mask) {
1086   ; CHECK: vpgatherdd
1087   %res = call <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32> %a0,
1088                             i8* %a1, <4 x i32> %idx, <4 x i32> %mask, i8 2) ;
1089   ret <4 x i32> %res
1090 }
1091 declare <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32>, i8*,
1092                       <4 x i32>, <4 x i32>, i8) nounwind readonly
1093
1094 define <8 x i32> @test_x86_avx2_gather_d_d_256(<8 x i32> %a0, i8* %a1,
1095                      <8 x i32> %idx, <8 x i32> %mask) {
1096   ; CHECK: vpgatherdd
1097   %res = call <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32> %a0,
1098                             i8* %a1, <8 x i32> %idx, <8 x i32> %mask, i8 2) ;
1099   ret <8 x i32> %res
1100 }
1101 declare <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32>, i8*,
1102                       <8 x i32>, <8 x i32>, i8) nounwind readonly
1103
1104 define <4 x i32> @test_x86_avx2_gather_q_d(<4 x i32> %a0, i8* %a1,
1105                      <2 x i64> %idx, <4 x i32> %mask) {
1106   ; CHECK: vpgatherqd
1107   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32> %a0,
1108                             i8* %a1, <2 x i64> %idx, <4 x i32> %mask, i8 2) ;
1109   ret <4 x i32> %res
1110 }
1111 declare <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32>, i8*,
1112                       <2 x i64>, <4 x i32>, i8) nounwind readonly
1113
1114 define <4 x i32> @test_x86_avx2_gather_q_d_256(<4 x i32> %a0, i8* %a1,
1115                      <4 x i64> %idx, <4 x i32> %mask) {
1116   ; CHECK: vpgatherqd
1117   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32> %a0,
1118                             i8* %a1, <4 x i64> %idx, <4 x i32> %mask, i8 2) ;
1119   ret <4 x i32> %res
1120 }
1121 declare <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32>, i8*,
1122                       <4 x i64>, <4 x i32>, i8) nounwind readonly
1123
1124 ; PR13298
1125 define <8 x float>  @test_gather_mask(<8 x float> %a0, float* %a,
1126                                       <8 x i32> %idx, <8 x float> %mask,
1127                                       float* nocapture %out) {
1128 ; CHECK: test_gather_mask
1129 ; CHECK: vmovaps %ymm2, [[DEST:%.*]]
1130 ; CHECK: vgatherdps [[DEST]]
1131 ;; gather with mask
1132   %a_i8 = bitcast float* %a to i8*
1133   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
1134                            i8* %a_i8, <8 x i32> %idx, <8 x float> %mask, i8 4) ;
1135
1136 ;; for debugging, we'll just dump out the mask
1137   %out_ptr = bitcast float * %out to <8 x float> *
1138   store <8 x float> %mask, <8 x float> * %out_ptr, align 4
1139
1140   ret <8 x float> %res
1141 }