test/CodeGen/X86/avx512-gather-scatter-intrin.ll

   1 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -mcpu=knl | FileCheck %s
   2
   3 declare <16 x float> @llvm.x86.avx512.gather.dps.mask.512 (<16 x float>, i16, <16 x i32>, i8*, i32)
   4 declare void @llvm.x86.avx512.scatter.dps.mask.512 (i8*, i16, <16 x i32>, <16 x float>, i32)
   5 declare <8 x double> @llvm.x86.avx512.gather.dpd.mask.512 (<8 x double>, i8, <8 x i32>, i8*, i32)
   6 declare void @llvm.x86.avx512.scatter.dpd.mask.512 (i8*, i8, <8 x i32>, <8 x double>, i32)
   7
   8 declare <8 x float> @llvm.x86.avx512.gather.qps.mask.512 (<8 x float>, i8, <8 x i64>, i8*, i32)
   9 declare void @llvm.x86.avx512.scatter.qps.mask.512 (i8*, i8, <8 x i64>, <8 x float>, i32)
  10 declare <8 x double> @llvm.x86.avx512.gather.qpd.mask.512 (<8 x double>, i8, <8 x i64>, i8*, i32)
  11 declare void @llvm.x86.avx512.scatter.qpd.mask.512 (i8*, i8, <8 x i64>, <8 x double>, i32)
  12
  13 ;CHECK-LABEL: gather_mask_dps
  14 ;CHECK: kmovw
  15 ;CHECK: vgatherdps
  16 ;CHECK: vpadd
  17 ;CHECK: vscatterdps
  18 ;CHECK: ret
  19 define void @gather_mask_dps(<16 x i32> %ind, <16 x float> %src, i16 %mask, i8* %base, i8* %stbuf)  {
  20   %x = call <16 x float> @llvm.x86.avx512.gather.dps.mask.512 (<16 x float> %src, i16 %mask, <16 x i32>%ind, i8* %base, i32 4)
  21   %ind2 = add <16 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
  22   call void @llvm.x86.avx512.scatter.dps.mask.512 (i8* %stbuf, i16 %mask, <16 x i32>%ind2, <16 x float> %x, i32 4)
  23   ret void
  24 }
  25
  26 ;CHECK-LABEL: gather_mask_dpd
  27 ;CHECK: kmovw
  28 ;CHECK: vgatherdpd
  29 ;CHECK: vpadd
  30 ;CHECK: vscatterdpd
  31 ;CHECK: ret
  32 define void @gather_mask_dpd(<8 x i32> %ind, <8 x double> %src, i8 %mask, i8* %base, i8* %stbuf)  {
  33   %x = call <8 x double> @llvm.x86.avx512.gather.dpd.mask.512 (<8 x double> %src, i8 %mask, <8 x i32>%ind, i8* %base, i32 4)
  34   %ind2 = add <8 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
  35   call void @llvm.x86.avx512.scatter.dpd.mask.512 (i8* %stbuf, i8 %mask, <8 x i32>%ind2, <8 x double> %x, i32 4)
  36   ret void
  37 }
  38
  39 ;CHECK-LABEL: gather_mask_qps
  40 ;CHECK: kmovw
  41 ;CHECK: vgatherqps
  42 ;CHECK: vpadd
  43 ;CHECK: vscatterqps
  44 ;CHECK: ret
  45 define void @gather_mask_qps(<8 x i64> %ind, <8 x float> %src, i8 %mask, i8* %base, i8* %stbuf)  {
  46   %x = call <8 x float> @llvm.x86.avx512.gather.qps.mask.512 (<8 x float> %src, i8 %mask, <8 x i64>%ind, i8* %base, i32 4)
  47   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
  48   call void @llvm.x86.avx512.scatter.qps.mask.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind2, <8 x float> %x, i32 4)
  49   ret void
  50 }
  51
  52 ;CHECK-LABEL: gather_mask_qpd
  53 ;CHECK: kmovw
  54 ;CHECK: vgatherqpd
  55 ;CHECK: vpadd
  56 ;CHECK: vscatterqpd
  57 ;CHECK: ret
  58 define void @gather_mask_qpd(<8 x i64> %ind, <8 x double> %src, i8 %mask, i8* %base, i8* %stbuf)  {
  59   %x = call <8 x double> @llvm.x86.avx512.gather.qpd.mask.512 (<8 x double> %src, i8 %mask, <8 x i64>%ind, i8* %base, i32 4)
  60   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
  61   call void @llvm.x86.avx512.scatter.qpd.mask.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind2, <8 x double> %x, i32 4)
  62   ret void
  63 }
  64 ;;
  65 ;; Integer Gather/Scatter
  66 ;;
  67 declare <16 x i32> @llvm.x86.avx512.gather.dpi.mask.512 (<16 x i32>, i16, <16 x i32>, i8*, i32)
  68 declare void @llvm.x86.avx512.scatter.dpi.mask.512 (i8*, i16, <16 x i32>, <16 x i32>, i32)
  69 declare <8 x i64> @llvm.x86.avx512.gather.dpq.mask.512 (<8 x i64>, i8, <8 x i32>, i8*, i32)
  70 declare void @llvm.x86.avx512.scatter.dpq.mask.512 (i8*, i8, <8 x i32>, <8 x i64>, i32)
  71
  72 declare <8 x i32> @llvm.x86.avx512.gather.qpi.mask.512 (<8 x i32>, i8, <8 x i64>, i8*, i32)
  73 declare void @llvm.x86.avx512.scatter.qpi.mask.512 (i8*, i8, <8 x i64>, <8 x i32>, i32)
  74 declare <8 x i64> @llvm.x86.avx512.gather.qpq.mask.512 (<8 x i64>, i8, <8 x i64>, i8*, i32)
  75 declare void @llvm.x86.avx512.scatter.qpq.mask.512 (i8*, i8, <8 x i64>, <8 x i64>, i32)
  76
  77 ;CHECK-LABEL: gather_mask_dd
  78 ;CHECK: kmovw
  79 ;CHECK: vpgatherdd
  80 ;CHECK: vpadd
  81 ;CHECK: vpscatterdd
  82 ;CHECK: ret
  83 define void @gather_mask_dd(<16 x i32> %ind, <16 x i32> %src, i16 %mask, i8* %base, i8* %stbuf)  {
  84   %x = call <16 x i32> @llvm.x86.avx512.gather.dpi.mask.512 (<16 x i32> %src, i16 %mask, <16 x i32>%ind, i8* %base, i32 4)
  85   %ind2 = add <16 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
  86   call void @llvm.x86.avx512.scatter.dpi.mask.512 (i8* %stbuf, i16 %mask, <16 x i32>%ind2, <16 x i32> %x, i32 4)
  87   ret void
  88 }
  89
  90 ;CHECK-LABEL: gather_mask_qd
  91 ;CHECK: kmovw
  92 ;CHECK: vpgatherqd
  93 ;CHECK: vpadd
  94 ;CHECK: vpscatterqd
  95 ;CHECK: ret
  96 define void @gather_mask_qd(<8 x i64> %ind, <8 x i32> %src, i8 %mask, i8* %base, i8* %stbuf)  {
  97   %x = call <8 x i32> @llvm.x86.avx512.gather.qpi.mask.512 (<8 x i32> %src, i8 %mask, <8 x i64>%ind, i8* %base, i32 4)
  98   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
  99   call void @llvm.x86.avx512.scatter.qpi.mask.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind2, <8 x i32> %x, i32 4)
 100   ret void
 101 }
 102
 103 ;CHECK-LABEL: gather_mask_qq
 104 ;CHECK: kmovw
 105 ;CHECK: vpgatherqq
 106 ;CHECK: vpadd
 107 ;CHECK: vpscatterqq
 108 ;CHECK: ret
 109 define void @gather_mask_qq(<8 x i64> %ind, <8 x i64> %src, i8 %mask, i8* %base, i8* %stbuf)  {
 110   %x = call <8 x i64> @llvm.x86.avx512.gather.qpq.mask.512 (<8 x i64> %src, i8 %mask, <8 x i64>%ind, i8* %base, i32 4)
 111   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
 112   call void @llvm.x86.avx512.scatter.qpq.mask.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind2, <8 x i64> %x, i32 4)
 113   ret void
 114 }
 115
 116 ;CHECK-LABEL: gather_mask_dq
 117 ;CHECK: kmovw
 118 ;CHECK: vpgatherdq
 119 ;CHECK: vpadd
 120 ;CHECK: vpscatterdq
 121 ;CHECK: ret
 122 define void @gather_mask_dq(<8 x i32> %ind, <8 x i64> %src, i8 %mask, i8* %base, i8* %stbuf)  {
 123   %x = call <8 x i64> @llvm.x86.avx512.gather.dpq.mask.512 (<8 x i64> %src, i8 %mask, <8 x i32>%ind, i8* %base, i32 4)
 124   %ind2 = add <8 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 125   call void @llvm.x86.avx512.scatter.dpq.mask.512 (i8* %stbuf, i8 %mask, <8 x i32>%ind2, <8 x i64> %x, i32 4)
 126   ret void
 127 }
 128
 129 ;; FP Intinsics without masks
 130
 131 declare <16 x float> @llvm.x86.avx512.gather.dps.512 (<16 x i32>, i8*, i32)
 132 declare void @llvm.x86.avx512.scatter.dps.512 (i8*, <16 x i32>, <16 x float>, i32)
 133 declare <8 x float> @llvm.x86.avx512.gather.qps.512 (<8 x i64>, i8*, i32)
 134 declare void @llvm.x86.avx512.scatter.qps.512 (i8*, <8 x i64>, <8 x float>, i32)
 135 declare <8 x double> @llvm.x86.avx512.gather.qpd.512 (<8 x i64>, i8*, i32)
 136 declare void @llvm.x86.avx512.scatter.qpd.512 (i8*, <8 x i64>, <8 x double>, i32)
 137
 138 ;CHECK-LABEL: gather_dps
 139 ;CHECK: kxnorw
 140 ;CHECK: vgatherdps
 141 ;CHECK: vscatterdps
 142 ;CHECK: ret
 143 define void @gather_dps(<16 x i32> %ind, i8* %base, i8* %stbuf)  {
 144   %x = call <16 x float> @llvm.x86.avx512.gather.dps.512 (<16 x i32>%ind, i8* %base, i32 4)
 145   %ind2 = add <16 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 146   call void @llvm.x86.avx512.scatter.dps.512 (i8* %stbuf, <16 x i32>%ind2, <16 x float> %x, i32 4)
 147   ret void
 148 }
 149
 150 ;CHECK-LABEL: gather_qps
 151 ;CHECK: kxnorw
 152 ;CHECK: vgatherqps
 153 ;CHECK: vscatterqps
 154 ;CHECK: ret
 155 define void @gather_qps(<8 x i64> %ind, i8* %base, i8* %stbuf)  {
 156   %x = call <8 x float> @llvm.x86.avx512.gather.qps.512 (<8 x i64>%ind, i8* %base, i32 4)
 157   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
 158   call void @llvm.x86.avx512.scatter.qps.512 (i8* %stbuf, <8 x i64>%ind2, <8 x float> %x, i32 4)
 159   ret void
 160 }
 161
 162 ;CHECK-LABEL: gather_qpd
 163 ;CHECK: kxnorw
 164 ;CHECK: vgatherqpd
 165 ;CHECK: vpadd
 166 ;CHECK: vscatterqpd
 167 ;CHECK: ret
 168 define void @gather_qpd(<8 x i64> %ind, i8* %base, i8* %stbuf)  {
 169   %x = call <8 x double> @llvm.x86.avx512.gather.qpd.512 (<8 x i64>%ind, i8* %base, i32 4)
 170   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
 171   call void @llvm.x86.avx512.scatter.qpd.512 (i8* %stbuf, <8 x i64>%ind2, <8 x double> %x, i32 4)
 172   ret void
 173 }
 174
 175 ;; Integer Intinsics without masks
 176
 177 declare <16 x i32> @llvm.x86.avx512.gather.dpi.512 (<16 x i32>, i8*, i32)
 178 declare void @llvm.x86.avx512.scatter.dpi.512 (i8*, <16 x i32>, <16 x i32>, i32)
 179 declare <8 x i64> @llvm.x86.avx512.gather.dpq.512 (<8 x i32>, i8*, i32)
 180 declare void @llvm.x86.avx512.scatter.dpq.512 (i8*, <8 x i32>, <8 x i64>, i32)
 181
 182 declare <8 x i32> @llvm.x86.avx512.gather.qpi.512 (<8 x i64>, i8*, i32)
 183 declare void @llvm.x86.avx512.scatter.qpi.512 (i8*, <8 x i64>, <8 x i32>, i32)
 184 declare <8 x i64> @llvm.x86.avx512.gather.qpq.512 (<8 x i64>, i8*, i32)
 185 declare void @llvm.x86.avx512.scatter.qpq.512 (i8*, <8 x i64>, <8 x i64>, i32)
 186
 187 ;CHECK-LABEL: gather_dpi
 188 ;CHECK: kxnorw
 189 ;CHECK: vpgatherdd
 190 ;CHECK: vpscatterdd
 191 ;CHECK: ret
 192 define void @gather_dpi(<16 x i32> %ind, i8* %base, i8* %stbuf)  {
 193   %x = call <16 x i32> @llvm.x86.avx512.gather.dpi.512 (<16 x i32>%ind, i8* %base, i32 4)
 194   %ind2 = add <16 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 195   call void @llvm.x86.avx512.scatter.dpi.512 (i8* %stbuf, <16 x i32>%ind2, <16 x i32> %x, i32 4)
 196   ret void
 197 }
 198
 199 ;CHECK-LABEL: gather_qpq
 200 ;CHECK: vpxord  %zmm
 201 ;CHECK: kxnorw
 202 ;CHECK: vpgatherqq
 203 ;CHECK: vpadd
 204 ;CHECK: vpscatterqq
 205 ;CHECK: ret
 206 define void @gather_qpq(<8 x i64> %ind, i8* %base, i8* %stbuf)  {
 207   %x = call <8 x i64> @llvm.x86.avx512.gather.qpq.512 (<8 x i64>%ind, i8* %base, i32 4)
 208   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
 209   call void @llvm.x86.avx512.scatter.qpq.512 (i8* %stbuf, <8 x i64>%ind2, <8 x i64> %x, i32 4)
 210   ret void
 211 }
 212
 213 ;CHECK-LABEL: gather_qpi
 214 ;CHECK: vpxor %ymm
 215 ;CHECK: kxnorw
 216 ;CHECK: vpgatherqd
 217 ;CHECK: vpadd
 218 ;CHECK: vpscatterqd
 219 ;CHECK: ret
 220 define void @gather_qpi(<8 x i64> %ind, i8* %base, i8* %stbuf)  {
 221   %x = call <8 x i32> @llvm.x86.avx512.gather.qpi.512 (<8 x i64>%ind, i8* %base, i32 4)
 222   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
 223   call void @llvm.x86.avx512.scatter.qpi.512 (i8* %stbuf, <8 x i64>%ind2, <8 x i32> %x, i32 4)
 224   ret void
 225 }
 226
 227 ;CHECK-LABEL: gather_mask_dpd_execdomain
 228 ;CHECK: vgatherdpd
 229 ;CHECK: vmovapd
 230 ;CHECK: ret
 231 define void @gather_mask_dpd_execdomain(<8 x i32> %ind, <8 x double> %src, i8 %mask, i8* %base, <8 x double>* %stbuf)  {
 232   %x = call <8 x double> @llvm.x86.avx512.gather.dpd.mask.512 (<8 x double> %src, i8 %mask, <8 x i32>%ind, i8* %base, i32 4)
 233   store <8 x double> %x, <8 x double>* %stbuf
 234   ret void
 235 }
 236
 237 ;CHECK-LABEL: gather_mask_qpd_execdomain
 238 ;CHECK: vgatherqpd
 239 ;CHECK: vmovapd
 240 ;CHECK: ret
 241 define void @gather_mask_qpd_execdomain(<8 x i64> %ind, <8 x double> %src, i8 %mask, i8* %base, <8 x double>* %stbuf)  {
 242   %x = call <8 x double> @llvm.x86.avx512.gather.qpd.mask.512 (<8 x double> %src, i8 %mask, <8 x i64>%ind, i8* %base, i32 4)
 243   store <8 x double> %x, <8 x double>* %stbuf
 244   ret void
 245 }
 246
 247 ;CHECK-LABEL: gather_mask_dps_execdomain
 248 ;CHECK: vgatherdps
 249 ;CHECK: vmovaps
 250 ;CHECK: ret
 251 define <16 x float> @gather_mask_dps_execdomain(<16 x i32> %ind, <16 x float> %src, i16 %mask, i8* %base)  {
 252   %res = call <16 x float> @llvm.x86.avx512.gather.dps.mask.512 (<16 x float> %src, i16 %mask, <16 x i32>%ind, i8* %base, i32 4)
 253   ret <16 x float> %res;
 254 }
 255
 256 ;CHECK-LABEL: gather_mask_qps_execdomain
 257 ;CHECK: vgatherqps
 258 ;CHECK: vmovaps
 259 ;CHECK: ret
 260 define <8 x float> @gather_mask_qps_execdomain(<8 x i64> %ind, <8 x float> %src, i8 %mask, i8* %base)  {
 261   %res = call <8 x float> @llvm.x86.avx512.gather.qps.mask.512 (<8 x float> %src, i8 %mask, <8 x i64>%ind, i8* %base, i32 4)
 262   ret <8 x float> %res;
 263 }
 264
 265 ;CHECK-LABEL: scatter_mask_dpd_execdomain
 266 ;CHECK: vmovapd
 267 ;CHECK: vscatterdpd
 268 ;CHECK: ret
 269 define void @scatter_mask_dpd_execdomain(<8 x i32> %ind, <8 x double>* %src, i8 %mask, i8* %base, i8* %stbuf)  {
 270   %x = load <8 x double>* %src, align 64
 271   call void @llvm.x86.avx512.scatter.dpd.mask.512 (i8* %stbuf, i8 %mask, <8 x i32>%ind, <8 x double> %x, i32 4)
 272   ret void
 273 }
 274
 275 ;CHECK-LABEL: scatter_mask_qpd_execdomain
 276 ;CHECK: vmovapd
 277 ;CHECK: vscatterqpd
 278 ;CHECK: ret
 279 define void @scatter_mask_qpd_execdomain(<8 x i64> %ind, <8 x double>* %src, i8 %mask, i8* %base, i8* %stbuf)  {
 280   %x = load <8 x double>* %src, align 64
 281   call void @llvm.x86.avx512.scatter.qpd.mask.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind, <8 x double> %x, i32 4)
 282   ret void
 283 }
 284
 285 ;CHECK-LABEL: scatter_mask_dps_execdomain
 286 ;CHECK: vmovaps
 287 ;CHECK: vscatterdps
 288 ;CHECK: ret
 289 define void @scatter_mask_dps_execdomain(<16 x i32> %ind, <16 x float>* %src, i16 %mask, i8* %base, i8* %stbuf)  {
 290   %x = load <16 x float>* %src, align 64
 291   call void @llvm.x86.avx512.scatter.dps.mask.512 (i8* %stbuf, i16 %mask, <16 x i32>%ind, <16 x float> %x, i32 4)
 292   ret void
 293 }
 294
 295 ;CHECK-LABEL: scatter_mask_qps_execdomain
 296 ;CHECK: vmovaps
 297 ;CHECK: vscatterqps
 298 ;CHECK: ret
 299 define void @scatter_mask_qps_execdomain(<8 x i64> %ind, <8 x float>* %src, i8 %mask, i8* %base, i8* %stbuf)  {
 300   %x = load <8 x float>* %src, align 32
 301   call void @llvm.x86.avx512.scatter.qps.mask.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind, <8 x float> %x, i32 4)
 302   ret void
 303 }