1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX1
7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX2
9 ; Just one 32-bit run to make sure we do reasonable things for i64 shifts.
10 ; RUN: llc < %s -mtriple=i686-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=ALL --check-prefix=X32-SSE --check-prefix=X32-SSE2
16 define <2 x i64> @var_shift_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
17 ; SSE2-LABEL: var_shift_v2i64:
19 ; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1]
20 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
21 ; SSE2-NEXT: movdqa %xmm2, %xmm4
22 ; SSE2-NEXT: psrlq %xmm3, %xmm4
23 ; SSE2-NEXT: psrlq %xmm1, %xmm2
24 ; SSE2-NEXT: movsd {{.*#+}} xmm4 = xmm2[0],xmm4[1]
25 ; SSE2-NEXT: movdqa %xmm0, %xmm2
26 ; SSE2-NEXT: psrlq %xmm3, %xmm2
27 ; SSE2-NEXT: psrlq %xmm1, %xmm0
28 ; SSE2-NEXT: movsd {{.*#+}} xmm2 = xmm0[0],xmm2[1]
29 ; SSE2-NEXT: xorpd %xmm4, %xmm2
30 ; SSE2-NEXT: psubq %xmm4, %xmm2
31 ; SSE2-NEXT: movdqa %xmm2, %xmm0
34 ; SSE41-LABEL: var_shift_v2i64:
36 ; SSE41-NEXT: movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
37 ; SSE41-NEXT: movdqa %xmm2, %xmm3
38 ; SSE41-NEXT: psrlq %xmm1, %xmm3
39 ; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm1[2,3,0,1]
40 ; SSE41-NEXT: psrlq %xmm4, %xmm2
41 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
42 ; SSE41-NEXT: movdqa %xmm0, %xmm3
43 ; SSE41-NEXT: psrlq %xmm1, %xmm3
44 ; SSE41-NEXT: psrlq %xmm4, %xmm0
45 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm3[0,1,2,3],xmm0[4,5,6,7]
46 ; SSE41-NEXT: pxor %xmm2, %xmm0
47 ; SSE41-NEXT: psubq %xmm2, %xmm0
50 ; AVX1-LABEL: var_shift_v2i64:
52 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
53 ; AVX1-NEXT: vpsrlq %xmm1, %xmm2, %xmm3
54 ; AVX1-NEXT: vpshufd {{.*#+}} xmm4 = xmm1[2,3,0,1]
55 ; AVX1-NEXT: vpsrlq %xmm4, %xmm2, %xmm2
56 ; AVX1-NEXT: vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
57 ; AVX1-NEXT: vpsrlq %xmm1, %xmm0, %xmm1
58 ; AVX1-NEXT: vpsrlq %xmm4, %xmm0, %xmm0
59 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
60 ; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm0
61 ; AVX1-NEXT: vpsubq %xmm2, %xmm0, %xmm0
64 ; AVX2-LABEL: var_shift_v2i64:
66 ; AVX2-NEXT: vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
67 ; AVX2-NEXT: vpsrlvq %xmm1, %xmm2, %xmm3
68 ; AVX2-NEXT: vpxor %xmm2, %xmm0, %xmm0
69 ; AVX2-NEXT: vpsrlvq %xmm1, %xmm0, %xmm0
70 ; AVX2-NEXT: vpsubq %xmm3, %xmm0, %xmm0
73 ; XOP-LABEL: var_shift_v2i64:
75 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
76 ; XOP-NEXT: vpsubq %xmm1, %xmm2, %xmm1
77 ; XOP-NEXT: vpshaq %xmm1, %xmm0, %xmm0
80 ; X32-SSE-LABEL: var_shift_v2i64:
82 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
83 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm3 = [0,2147483648,0,2147483648]
84 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
85 ; X32-SSE-NEXT: psrlq %xmm2, %xmm4
86 ; X32-SSE-NEXT: movq {{.*#+}} xmm5 = xmm1[0],zero
87 ; X32-SSE-NEXT: psrlq %xmm5, %xmm3
88 ; X32-SSE-NEXT: movsd {{.*#+}} xmm4 = xmm3[0],xmm4[1]
89 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
90 ; X32-SSE-NEXT: psrlq %xmm2, %xmm1
91 ; X32-SSE-NEXT: psrlq %xmm5, %xmm0
92 ; X32-SSE-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
93 ; X32-SSE-NEXT: xorpd %xmm4, %xmm1
94 ; X32-SSE-NEXT: psubq %xmm4, %xmm1
95 ; X32-SSE-NEXT: movdqa %xmm1, %xmm0
97 %shift = ashr <2 x i64> %a, %b
101 define <4 x i32> @var_shift_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
102 ; SSE2-LABEL: var_shift_v4i32:
104 ; SSE2-NEXT: movdqa %xmm1, %xmm2
105 ; SSE2-NEXT: psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
106 ; SSE2-NEXT: movdqa %xmm0, %xmm3
107 ; SSE2-NEXT: psrad %xmm2, %xmm3
108 ; SSE2-NEXT: movdqa %xmm1, %xmm2
109 ; SSE2-NEXT: psrlq $32, %xmm2
110 ; SSE2-NEXT: movdqa %xmm0, %xmm4
111 ; SSE2-NEXT: psrad %xmm2, %xmm4
112 ; SSE2-NEXT: movsd {{.*#+}} xmm3 = xmm4[0],xmm3[1]
113 ; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
114 ; SSE2-NEXT: pxor %xmm3, %xmm3
115 ; SSE2-NEXT: movdqa %xmm1, %xmm4
116 ; SSE2-NEXT: punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm3[2],xmm4[3],xmm3[3]
117 ; SSE2-NEXT: movdqa %xmm0, %xmm5
118 ; SSE2-NEXT: psrad %xmm4, %xmm5
119 ; SSE2-NEXT: punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
120 ; SSE2-NEXT: psrad %xmm1, %xmm0
121 ; SSE2-NEXT: movsd {{.*#+}} xmm5 = xmm0[0],xmm5[1]
122 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm5[0,2,2,3]
123 ; SSE2-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1]
126 ; SSE41-LABEL: var_shift_v4i32:
128 ; SSE41-NEXT: movdqa %xmm1, %xmm2
129 ; SSE41-NEXT: psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
130 ; SSE41-NEXT: movdqa %xmm0, %xmm3
131 ; SSE41-NEXT: psrad %xmm2, %xmm3
132 ; SSE41-NEXT: movdqa %xmm1, %xmm2
133 ; SSE41-NEXT: psrlq $32, %xmm2
134 ; SSE41-NEXT: movdqa %xmm0, %xmm4
135 ; SSE41-NEXT: psrad %xmm2, %xmm4
136 ; SSE41-NEXT: pblendw {{.*#+}} xmm4 = xmm4[0,1,2,3],xmm3[4,5,6,7]
137 ; SSE41-NEXT: pxor %xmm2, %xmm2
138 ; SSE41-NEXT: pmovzxdq {{.*#+}} xmm3 = xmm1[0],zero,xmm1[1],zero
139 ; SSE41-NEXT: punpckhdq {{.*#+}} xmm1 = xmm1[2],xmm2[2],xmm1[3],xmm2[3]
140 ; SSE41-NEXT: movdqa %xmm0, %xmm2
141 ; SSE41-NEXT: psrad %xmm1, %xmm2
142 ; SSE41-NEXT: psrad %xmm3, %xmm0
143 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
144 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm4[2,3],xmm0[4,5],xmm4[6,7]
147 ; AVX1-LABEL: var_shift_v4i32:
149 ; AVX1-NEXT: vpsrldq {{.*#+}} xmm2 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
150 ; AVX1-NEXT: vpsrad %xmm2, %xmm0, %xmm2
151 ; AVX1-NEXT: vpsrlq $32, %xmm1, %xmm3
152 ; AVX1-NEXT: vpsrad %xmm3, %xmm0, %xmm3
153 ; AVX1-NEXT: vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
154 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
155 ; AVX1-NEXT: vpunpckhdq {{.*#+}} xmm3 = xmm1[2],xmm3[2],xmm1[3],xmm3[3]
156 ; AVX1-NEXT: vpsrad %xmm3, %xmm0, %xmm3
157 ; AVX1-NEXT: vpmovzxdq {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero
158 ; AVX1-NEXT: vpsrad %xmm1, %xmm0, %xmm0
159 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm3[4,5,6,7]
160 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
163 ; AVX2-LABEL: var_shift_v4i32:
165 ; AVX2-NEXT: vpsravd %xmm1, %xmm0, %xmm0
168 ; XOPAVX1-LABEL: var_shift_v4i32:
170 ; XOPAVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
171 ; XOPAVX1-NEXT: vpsubd %xmm1, %xmm2, %xmm1
172 ; XOPAVX1-NEXT: vpshad %xmm1, %xmm0, %xmm0
175 ; XOPAVX2-LABEL: var_shift_v4i32:
177 ; XOPAVX2-NEXT: vpsravd %xmm1, %xmm0, %xmm0
180 ; X32-SSE-LABEL: var_shift_v4i32:
182 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
183 ; X32-SSE-NEXT: psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
184 ; X32-SSE-NEXT: movdqa %xmm0, %xmm3
185 ; X32-SSE-NEXT: psrad %xmm2, %xmm3
186 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
187 ; X32-SSE-NEXT: psrlq $32, %xmm2
188 ; X32-SSE-NEXT: movdqa %xmm0, %xmm4
189 ; X32-SSE-NEXT: psrad %xmm2, %xmm4
190 ; X32-SSE-NEXT: movsd {{.*#+}} xmm3 = xmm4[0],xmm3[1]
191 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
192 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
193 ; X32-SSE-NEXT: movdqa %xmm1, %xmm4
194 ; X32-SSE-NEXT: punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm3[2],xmm4[3],xmm3[3]
195 ; X32-SSE-NEXT: movdqa %xmm0, %xmm5
196 ; X32-SSE-NEXT: psrad %xmm4, %xmm5
197 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
198 ; X32-SSE-NEXT: psrad %xmm1, %xmm0
199 ; X32-SSE-NEXT: movsd {{.*#+}} xmm5 = xmm0[0],xmm5[1]
200 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm5[0,2,2,3]
201 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1]
203 %shift = ashr <4 x i32> %a, %b
207 define <8 x i16> @var_shift_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
208 ; SSE2-LABEL: var_shift_v8i16:
210 ; SSE2-NEXT: psllw $12, %xmm1
211 ; SSE2-NEXT: movdqa %xmm1, %xmm2
212 ; SSE2-NEXT: psraw $15, %xmm2
213 ; SSE2-NEXT: movdqa %xmm2, %xmm3
214 ; SSE2-NEXT: pandn %xmm0, %xmm3
215 ; SSE2-NEXT: psraw $8, %xmm0
216 ; SSE2-NEXT: pand %xmm2, %xmm0
217 ; SSE2-NEXT: por %xmm3, %xmm0
218 ; SSE2-NEXT: paddw %xmm1, %xmm1
219 ; SSE2-NEXT: movdqa %xmm1, %xmm2
220 ; SSE2-NEXT: psraw $15, %xmm2
221 ; SSE2-NEXT: movdqa %xmm2, %xmm3
222 ; SSE2-NEXT: pandn %xmm0, %xmm3
223 ; SSE2-NEXT: psraw $4, %xmm0
224 ; SSE2-NEXT: pand %xmm2, %xmm0
225 ; SSE2-NEXT: por %xmm3, %xmm0
226 ; SSE2-NEXT: paddw %xmm1, %xmm1
227 ; SSE2-NEXT: movdqa %xmm1, %xmm2
228 ; SSE2-NEXT: psraw $15, %xmm2
229 ; SSE2-NEXT: movdqa %xmm2, %xmm3
230 ; SSE2-NEXT: pandn %xmm0, %xmm3
231 ; SSE2-NEXT: psraw $2, %xmm0
232 ; SSE2-NEXT: pand %xmm2, %xmm0
233 ; SSE2-NEXT: por %xmm3, %xmm0
234 ; SSE2-NEXT: paddw %xmm1, %xmm1
235 ; SSE2-NEXT: psraw $15, %xmm1
236 ; SSE2-NEXT: movdqa %xmm1, %xmm2
237 ; SSE2-NEXT: pandn %xmm0, %xmm2
238 ; SSE2-NEXT: psraw $1, %xmm0
239 ; SSE2-NEXT: pand %xmm1, %xmm0
240 ; SSE2-NEXT: por %xmm2, %xmm0
243 ; SSE41-LABEL: var_shift_v8i16:
245 ; SSE41-NEXT: movdqa %xmm0, %xmm2
246 ; SSE41-NEXT: movdqa %xmm1, %xmm0
247 ; SSE41-NEXT: psllw $12, %xmm0
248 ; SSE41-NEXT: psllw $4, %xmm1
249 ; SSE41-NEXT: por %xmm0, %xmm1
250 ; SSE41-NEXT: movdqa %xmm1, %xmm3
251 ; SSE41-NEXT: paddw %xmm3, %xmm3
252 ; SSE41-NEXT: movdqa %xmm2, %xmm4
253 ; SSE41-NEXT: psraw $8, %xmm4
254 ; SSE41-NEXT: movdqa %xmm1, %xmm0
255 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
256 ; SSE41-NEXT: movdqa %xmm2, %xmm1
257 ; SSE41-NEXT: psraw $4, %xmm1
258 ; SSE41-NEXT: movdqa %xmm3, %xmm0
259 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
260 ; SSE41-NEXT: movdqa %xmm2, %xmm1
261 ; SSE41-NEXT: psraw $2, %xmm1
262 ; SSE41-NEXT: paddw %xmm3, %xmm3
263 ; SSE41-NEXT: movdqa %xmm3, %xmm0
264 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
265 ; SSE41-NEXT: movdqa %xmm2, %xmm1
266 ; SSE41-NEXT: psraw $1, %xmm1
267 ; SSE41-NEXT: paddw %xmm3, %xmm3
268 ; SSE41-NEXT: movdqa %xmm3, %xmm0
269 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
270 ; SSE41-NEXT: movdqa %xmm2, %xmm0
273 ; AVX1-LABEL: var_shift_v8i16:
275 ; AVX1-NEXT: vpsllw $12, %xmm1, %xmm2
276 ; AVX1-NEXT: vpsllw $4, %xmm1, %xmm1
277 ; AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1
278 ; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm2
279 ; AVX1-NEXT: vpsraw $8, %xmm0, %xmm3
280 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
281 ; AVX1-NEXT: vpsraw $4, %xmm0, %xmm1
282 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
283 ; AVX1-NEXT: vpsraw $2, %xmm0, %xmm1
284 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
285 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
286 ; AVX1-NEXT: vpsraw $1, %xmm0, %xmm1
287 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
288 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
291 ; AVX2-LABEL: var_shift_v8i16:
293 ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
294 ; AVX2-NEXT: vpmovsxwd %xmm0, %ymm0
295 ; AVX2-NEXT: vpsravd %ymm1, %ymm0, %ymm0
296 ; AVX2-NEXT: vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,20,21,24,25,28,29],zero,zero,zero,zero,zero,zero,zero,zero
297 ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
298 ; AVX2-NEXT: vzeroupper
301 ; XOP-LABEL: var_shift_v8i16:
303 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
304 ; XOP-NEXT: vpsubw %xmm1, %xmm2, %xmm1
305 ; XOP-NEXT: vpshaw %xmm1, %xmm0, %xmm0
308 ; X32-SSE-LABEL: var_shift_v8i16:
310 ; X32-SSE-NEXT: psllw $12, %xmm1
311 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
312 ; X32-SSE-NEXT: psraw $15, %xmm2
313 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
314 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
315 ; X32-SSE-NEXT: psraw $8, %xmm0
316 ; X32-SSE-NEXT: pand %xmm2, %xmm0
317 ; X32-SSE-NEXT: por %xmm3, %xmm0
318 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
319 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
320 ; X32-SSE-NEXT: psraw $15, %xmm2
321 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
322 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
323 ; X32-SSE-NEXT: psraw $4, %xmm0
324 ; X32-SSE-NEXT: pand %xmm2, %xmm0
325 ; X32-SSE-NEXT: por %xmm3, %xmm0
326 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
327 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
328 ; X32-SSE-NEXT: psraw $15, %xmm2
329 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
330 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
331 ; X32-SSE-NEXT: psraw $2, %xmm0
332 ; X32-SSE-NEXT: pand %xmm2, %xmm0
333 ; X32-SSE-NEXT: por %xmm3, %xmm0
334 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
335 ; X32-SSE-NEXT: psraw $15, %xmm1
336 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
337 ; X32-SSE-NEXT: pandn %xmm0, %xmm2
338 ; X32-SSE-NEXT: psraw $1, %xmm0
339 ; X32-SSE-NEXT: pand %xmm1, %xmm0
340 ; X32-SSE-NEXT: por %xmm2, %xmm0
342 %shift = ashr <8 x i16> %a, %b
346 define <16 x i8> @var_shift_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
347 ; SSE2-LABEL: var_shift_v16i8:
349 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
350 ; SSE2-NEXT: psllw $5, %xmm1
351 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm1[8],xmm4[9],xmm1[9],xmm4[10],xmm1[10],xmm4[11],xmm1[11],xmm4[12],xmm1[12],xmm4[13],xmm1[13],xmm4[14],xmm1[14],xmm4[15],xmm1[15]
352 ; SSE2-NEXT: pxor %xmm3, %xmm3
353 ; SSE2-NEXT: pxor %xmm5, %xmm5
354 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
355 ; SSE2-NEXT: movdqa %xmm5, %xmm6
356 ; SSE2-NEXT: pandn %xmm2, %xmm6
357 ; SSE2-NEXT: psraw $4, %xmm2
358 ; SSE2-NEXT: pand %xmm5, %xmm2
359 ; SSE2-NEXT: por %xmm6, %xmm2
360 ; SSE2-NEXT: paddw %xmm4, %xmm4
361 ; SSE2-NEXT: pxor %xmm5, %xmm5
362 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
363 ; SSE2-NEXT: movdqa %xmm5, %xmm6
364 ; SSE2-NEXT: pandn %xmm2, %xmm6
365 ; SSE2-NEXT: psraw $2, %xmm2
366 ; SSE2-NEXT: pand %xmm5, %xmm2
367 ; SSE2-NEXT: por %xmm6, %xmm2
368 ; SSE2-NEXT: paddw %xmm4, %xmm4
369 ; SSE2-NEXT: pxor %xmm5, %xmm5
370 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
371 ; SSE2-NEXT: movdqa %xmm5, %xmm4
372 ; SSE2-NEXT: pandn %xmm2, %xmm4
373 ; SSE2-NEXT: psraw $1, %xmm2
374 ; SSE2-NEXT: pand %xmm5, %xmm2
375 ; SSE2-NEXT: por %xmm4, %xmm2
376 ; SSE2-NEXT: psrlw $8, %xmm2
377 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
378 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
379 ; SSE2-NEXT: pxor %xmm4, %xmm4
380 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm4
381 ; SSE2-NEXT: movdqa %xmm4, %xmm5
382 ; SSE2-NEXT: pandn %xmm0, %xmm5
383 ; SSE2-NEXT: psraw $4, %xmm0
384 ; SSE2-NEXT: pand %xmm4, %xmm0
385 ; SSE2-NEXT: por %xmm5, %xmm0
386 ; SSE2-NEXT: paddw %xmm1, %xmm1
387 ; SSE2-NEXT: pxor %xmm4, %xmm4
388 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm4
389 ; SSE2-NEXT: movdqa %xmm4, %xmm5
390 ; SSE2-NEXT: pandn %xmm0, %xmm5
391 ; SSE2-NEXT: psraw $2, %xmm0
392 ; SSE2-NEXT: pand %xmm4, %xmm0
393 ; SSE2-NEXT: por %xmm5, %xmm0
394 ; SSE2-NEXT: paddw %xmm1, %xmm1
395 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm3
396 ; SSE2-NEXT: movdqa %xmm3, %xmm1
397 ; SSE2-NEXT: pandn %xmm0, %xmm1
398 ; SSE2-NEXT: psraw $1, %xmm0
399 ; SSE2-NEXT: pand %xmm3, %xmm0
400 ; SSE2-NEXT: por %xmm1, %xmm0
401 ; SSE2-NEXT: psrlw $8, %xmm0
402 ; SSE2-NEXT: packuswb %xmm2, %xmm0
405 ; SSE41-LABEL: var_shift_v16i8:
407 ; SSE41-NEXT: movdqa %xmm0, %xmm2
408 ; SSE41-NEXT: psllw $5, %xmm1
409 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
410 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm3 = xmm3[8],xmm2[8],xmm3[9],xmm2[9],xmm3[10],xmm2[10],xmm3[11],xmm2[11],xmm3[12],xmm2[12],xmm3[13],xmm2[13],xmm3[14],xmm2[14],xmm3[15],xmm2[15]
411 ; SSE41-NEXT: movdqa %xmm3, %xmm4
412 ; SSE41-NEXT: psraw $4, %xmm4
413 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
414 ; SSE41-NEXT: movdqa %xmm3, %xmm4
415 ; SSE41-NEXT: psraw $2, %xmm4
416 ; SSE41-NEXT: paddw %xmm0, %xmm0
417 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
418 ; SSE41-NEXT: movdqa %xmm3, %xmm4
419 ; SSE41-NEXT: psraw $1, %xmm4
420 ; SSE41-NEXT: paddw %xmm0, %xmm0
421 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
422 ; SSE41-NEXT: psrlw $8, %xmm3
423 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
424 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
425 ; SSE41-NEXT: movdqa %xmm1, %xmm2
426 ; SSE41-NEXT: psraw $4, %xmm2
427 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
428 ; SSE41-NEXT: movdqa %xmm1, %xmm2
429 ; SSE41-NEXT: psraw $2, %xmm2
430 ; SSE41-NEXT: paddw %xmm0, %xmm0
431 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
432 ; SSE41-NEXT: movdqa %xmm1, %xmm2
433 ; SSE41-NEXT: psraw $1, %xmm2
434 ; SSE41-NEXT: paddw %xmm0, %xmm0
435 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
436 ; SSE41-NEXT: psrlw $8, %xmm1
437 ; SSE41-NEXT: packuswb %xmm3, %xmm1
438 ; SSE41-NEXT: movdqa %xmm1, %xmm0
441 ; AVX-LABEL: var_shift_v16i8:
443 ; AVX-NEXT: vpsllw $5, %xmm1, %xmm1
444 ; AVX-NEXT: vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
445 ; AVX-NEXT: vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
446 ; AVX-NEXT: vpsraw $4, %xmm3, %xmm4
447 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
448 ; AVX-NEXT: vpsraw $2, %xmm3, %xmm4
449 ; AVX-NEXT: vpaddw %xmm2, %xmm2, %xmm2
450 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
451 ; AVX-NEXT: vpsraw $1, %xmm3, %xmm4
452 ; AVX-NEXT: vpaddw %xmm2, %xmm2, %xmm2
453 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
454 ; AVX-NEXT: vpsrlw $8, %xmm2, %xmm2
455 ; AVX-NEXT: vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
456 ; AVX-NEXT: vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
457 ; AVX-NEXT: vpsraw $4, %xmm0, %xmm3
458 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
459 ; AVX-NEXT: vpsraw $2, %xmm0, %xmm3
460 ; AVX-NEXT: vpaddw %xmm1, %xmm1, %xmm1
461 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
462 ; AVX-NEXT: vpsraw $1, %xmm0, %xmm3
463 ; AVX-NEXT: vpaddw %xmm1, %xmm1, %xmm1
464 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
465 ; AVX-NEXT: vpsrlw $8, %xmm0, %xmm0
466 ; AVX-NEXT: vpackuswb %xmm2, %xmm0, %xmm0
469 ; XOP-LABEL: var_shift_v16i8:
471 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
472 ; XOP-NEXT: vpsubb %xmm1, %xmm2, %xmm1
473 ; XOP-NEXT: vpshab %xmm1, %xmm0, %xmm0
476 ; X32-SSE-LABEL: var_shift_v16i8:
478 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
479 ; X32-SSE-NEXT: psllw $5, %xmm1
480 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm1[8],xmm4[9],xmm1[9],xmm4[10],xmm1[10],xmm4[11],xmm1[11],xmm4[12],xmm1[12],xmm4[13],xmm1[13],xmm4[14],xmm1[14],xmm4[15],xmm1[15]
481 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
482 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
483 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
484 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
485 ; X32-SSE-NEXT: pandn %xmm2, %xmm6
486 ; X32-SSE-NEXT: psraw $4, %xmm2
487 ; X32-SSE-NEXT: pand %xmm5, %xmm2
488 ; X32-SSE-NEXT: por %xmm6, %xmm2
489 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
490 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
491 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
492 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
493 ; X32-SSE-NEXT: pandn %xmm2, %xmm6
494 ; X32-SSE-NEXT: psraw $2, %xmm2
495 ; X32-SSE-NEXT: pand %xmm5, %xmm2
496 ; X32-SSE-NEXT: por %xmm6, %xmm2
497 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
498 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
499 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
500 ; X32-SSE-NEXT: movdqa %xmm5, %xmm4
501 ; X32-SSE-NEXT: pandn %xmm2, %xmm4
502 ; X32-SSE-NEXT: psraw $1, %xmm2
503 ; X32-SSE-NEXT: pand %xmm5, %xmm2
504 ; X32-SSE-NEXT: por %xmm4, %xmm2
505 ; X32-SSE-NEXT: psrlw $8, %xmm2
506 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
507 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
508 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
509 ; X32-SSE-NEXT: pcmpgtw %xmm1, %xmm4
510 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
511 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
512 ; X32-SSE-NEXT: psraw $4, %xmm0
513 ; X32-SSE-NEXT: pand %xmm4, %xmm0
514 ; X32-SSE-NEXT: por %xmm5, %xmm0
515 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
516 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
517 ; X32-SSE-NEXT: pcmpgtw %xmm1, %xmm4
518 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
519 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
520 ; X32-SSE-NEXT: psraw $2, %xmm0
521 ; X32-SSE-NEXT: pand %xmm4, %xmm0
522 ; X32-SSE-NEXT: por %xmm5, %xmm0
523 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
524 ; X32-SSE-NEXT: pcmpgtw %xmm1, %xmm3
525 ; X32-SSE-NEXT: movdqa %xmm3, %xmm1
526 ; X32-SSE-NEXT: pandn %xmm0, %xmm1
527 ; X32-SSE-NEXT: psraw $1, %xmm0
528 ; X32-SSE-NEXT: pand %xmm3, %xmm0
529 ; X32-SSE-NEXT: por %xmm1, %xmm0
530 ; X32-SSE-NEXT: psrlw $8, %xmm0
531 ; X32-SSE-NEXT: packuswb %xmm2, %xmm0
533 %shift = ashr <16 x i8> %a, %b
538 ; Uniform Variable Shifts
541 define <2 x i64> @splatvar_shift_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
542 ; SSE-LABEL: splatvar_shift_v2i64:
544 ; SSE-NEXT: movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
545 ; SSE-NEXT: psrlq %xmm1, %xmm2
546 ; SSE-NEXT: psrlq %xmm1, %xmm0
547 ; SSE-NEXT: pxor %xmm2, %xmm0
548 ; SSE-NEXT: psubq %xmm2, %xmm0
551 ; AVX-LABEL: splatvar_shift_v2i64:
553 ; AVX-NEXT: vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
554 ; AVX-NEXT: vpsrlq %xmm1, %xmm2, %xmm2
555 ; AVX-NEXT: vpsrlq %xmm1, %xmm0, %xmm0
556 ; AVX-NEXT: vpxor %xmm2, %xmm0, %xmm0
557 ; AVX-NEXT: vpsubq %xmm2, %xmm0, %xmm0
560 ; XOPAVX1-LABEL: splatvar_shift_v2i64:
562 ; XOPAVX1-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[0,1,0,1]
563 ; XOPAVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
564 ; XOPAVX1-NEXT: vpsubq %xmm1, %xmm2, %xmm1
565 ; XOPAVX1-NEXT: vpshaq %xmm1, %xmm0, %xmm0
568 ; XOPAVX2-LABEL: splatvar_shift_v2i64:
570 ; XOPAVX2-NEXT: vpbroadcastq %xmm1, %xmm1
571 ; XOPAVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
572 ; XOPAVX2-NEXT: vpsubq %xmm1, %xmm2, %xmm1
573 ; XOPAVX2-NEXT: vpshaq %xmm1, %xmm0, %xmm0
576 ; X32-SSE-LABEL: splatvar_shift_v2i64:
578 ; X32-SSE-NEXT: movq {{.*#+}} xmm1 = xmm1[0],zero
579 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm2 = [0,2147483648,0,2147483648]
580 ; X32-SSE-NEXT: psrlq %xmm1, %xmm2
581 ; X32-SSE-NEXT: psrlq %xmm1, %xmm0
582 ; X32-SSE-NEXT: pxor %xmm2, %xmm0
583 ; X32-SSE-NEXT: psubq %xmm2, %xmm0
585 %splat = shufflevector <2 x i64> %b, <2 x i64> undef, <2 x i32> zeroinitializer
586 %shift = ashr <2 x i64> %a, %splat
590 define <4 x i32> @splatvar_shift_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
591 ; SSE2-LABEL: splatvar_shift_v4i32:
593 ; SSE2-NEXT: xorps %xmm2, %xmm2
594 ; SSE2-NEXT: movss {{.*#+}} xmm2 = xmm1[0],xmm2[1,2,3]
595 ; SSE2-NEXT: psrad %xmm2, %xmm0
598 ; SSE41-LABEL: splatvar_shift_v4i32:
600 ; SSE41-NEXT: pxor %xmm2, %xmm2
601 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3,4,5,6,7]
602 ; SSE41-NEXT: psrad %xmm2, %xmm0
605 ; AVX-LABEL: splatvar_shift_v4i32:
607 ; AVX-NEXT: vpxor %xmm2, %xmm2, %xmm2
608 ; AVX-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
609 ; AVX-NEXT: vpsrad %xmm1, %xmm0, %xmm0
612 ; XOP-LABEL: splatvar_shift_v4i32:
614 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
615 ; XOP-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
616 ; XOP-NEXT: vpsrad %xmm1, %xmm0, %xmm0
619 ; X32-SSE-LABEL: splatvar_shift_v4i32:
621 ; X32-SSE-NEXT: xorps %xmm2, %xmm2
622 ; X32-SSE-NEXT: movss {{.*#+}} xmm2 = xmm1[0],xmm2[1,2,3]
623 ; X32-SSE-NEXT: psrad %xmm2, %xmm0
625 %splat = shufflevector <4 x i32> %b, <4 x i32> undef, <4 x i32> zeroinitializer
626 %shift = ashr <4 x i32> %a, %splat
630 define <8 x i16> @splatvar_shift_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
631 ; SSE2-LABEL: splatvar_shift_v8i16:
633 ; SSE2-NEXT: movd %xmm1, %eax
634 ; SSE2-NEXT: movzwl %ax, %eax
635 ; SSE2-NEXT: movd %eax, %xmm1
636 ; SSE2-NEXT: psraw %xmm1, %xmm0
639 ; SSE41-LABEL: splatvar_shift_v8i16:
641 ; SSE41-NEXT: pxor %xmm2, %xmm2
642 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm1[0],xmm2[1,2,3,4,5,6,7]
643 ; SSE41-NEXT: psraw %xmm2, %xmm0
646 ; AVX-LABEL: splatvar_shift_v8i16:
648 ; AVX-NEXT: vpxor %xmm2, %xmm2, %xmm2
649 ; AVX-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0],xmm2[1,2,3,4,5,6,7]
650 ; AVX-NEXT: vpsraw %xmm1, %xmm0, %xmm0
653 ; XOP-LABEL: splatvar_shift_v8i16:
655 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
656 ; XOP-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0],xmm2[1,2,3,4,5,6,7]
657 ; XOP-NEXT: vpsraw %xmm1, %xmm0, %xmm0
660 ; X32-SSE-LABEL: splatvar_shift_v8i16:
662 ; X32-SSE-NEXT: movd %xmm1, %eax
663 ; X32-SSE-NEXT: movzwl %ax, %eax
664 ; X32-SSE-NEXT: movd %eax, %xmm1
665 ; X32-SSE-NEXT: psraw %xmm1, %xmm0
667 %splat = shufflevector <8 x i16> %b, <8 x i16> undef, <8 x i32> zeroinitializer
668 %shift = ashr <8 x i16> %a, %splat
672 define <16 x i8> @splatvar_shift_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
673 ; SSE2-LABEL: splatvar_shift_v16i8:
675 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
676 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,1,0,3]
677 ; SSE2-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,0,0,0,4,5,6,7]
678 ; SSE2-NEXT: pshufhw {{.*#+}} xmm3 = xmm1[0,1,2,3,4,4,4,4]
679 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
680 ; SSE2-NEXT: psllw $5, %xmm3
681 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm3[8],xmm4[9],xmm3[9],xmm4[10],xmm3[10],xmm4[11],xmm3[11],xmm4[12],xmm3[12],xmm4[13],xmm3[13],xmm4[14],xmm3[14],xmm4[15],xmm3[15]
682 ; SSE2-NEXT: pxor %xmm2, %xmm2
683 ; SSE2-NEXT: pxor %xmm5, %xmm5
684 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
685 ; SSE2-NEXT: movdqa %xmm5, %xmm6
686 ; SSE2-NEXT: pandn %xmm1, %xmm6
687 ; SSE2-NEXT: psraw $4, %xmm1
688 ; SSE2-NEXT: pand %xmm5, %xmm1
689 ; SSE2-NEXT: por %xmm6, %xmm1
690 ; SSE2-NEXT: paddw %xmm4, %xmm4
691 ; SSE2-NEXT: pxor %xmm5, %xmm5
692 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
693 ; SSE2-NEXT: movdqa %xmm5, %xmm6
694 ; SSE2-NEXT: pandn %xmm1, %xmm6
695 ; SSE2-NEXT: psraw $2, %xmm1
696 ; SSE2-NEXT: pand %xmm5, %xmm1
697 ; SSE2-NEXT: por %xmm6, %xmm1
698 ; SSE2-NEXT: paddw %xmm4, %xmm4
699 ; SSE2-NEXT: pxor %xmm5, %xmm5
700 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
701 ; SSE2-NEXT: movdqa %xmm5, %xmm4
702 ; SSE2-NEXT: pandn %xmm1, %xmm4
703 ; SSE2-NEXT: psraw $1, %xmm1
704 ; SSE2-NEXT: pand %xmm5, %xmm1
705 ; SSE2-NEXT: por %xmm4, %xmm1
706 ; SSE2-NEXT: psrlw $8, %xmm1
707 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
708 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm3 = xmm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
709 ; SSE2-NEXT: pxor %xmm4, %xmm4
710 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm4
711 ; SSE2-NEXT: movdqa %xmm4, %xmm5
712 ; SSE2-NEXT: pandn %xmm0, %xmm5
713 ; SSE2-NEXT: psraw $4, %xmm0
714 ; SSE2-NEXT: pand %xmm4, %xmm0
715 ; SSE2-NEXT: por %xmm5, %xmm0
716 ; SSE2-NEXT: paddw %xmm3, %xmm3
717 ; SSE2-NEXT: pxor %xmm4, %xmm4
718 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm4
719 ; SSE2-NEXT: movdqa %xmm4, %xmm5
720 ; SSE2-NEXT: pandn %xmm0, %xmm5
721 ; SSE2-NEXT: psraw $2, %xmm0
722 ; SSE2-NEXT: pand %xmm4, %xmm0
723 ; SSE2-NEXT: por %xmm5, %xmm0
724 ; SSE2-NEXT: paddw %xmm3, %xmm3
725 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm2
726 ; SSE2-NEXT: movdqa %xmm2, %xmm3
727 ; SSE2-NEXT: pandn %xmm0, %xmm3
728 ; SSE2-NEXT: psraw $1, %xmm0
729 ; SSE2-NEXT: pand %xmm2, %xmm0
730 ; SSE2-NEXT: por %xmm3, %xmm0
731 ; SSE2-NEXT: psrlw $8, %xmm0
732 ; SSE2-NEXT: packuswb %xmm1, %xmm0
735 ; SSE41-LABEL: splatvar_shift_v16i8:
737 ; SSE41-NEXT: movdqa %xmm0, %xmm2
738 ; SSE41-NEXT: pxor %xmm0, %xmm0
739 ; SSE41-NEXT: pshufb %xmm0, %xmm1
740 ; SSE41-NEXT: psllw $5, %xmm1
741 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
742 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm3 = xmm3[8],xmm2[8],xmm3[9],xmm2[9],xmm3[10],xmm2[10],xmm3[11],xmm2[11],xmm3[12],xmm2[12],xmm3[13],xmm2[13],xmm3[14],xmm2[14],xmm3[15],xmm2[15]
743 ; SSE41-NEXT: movdqa %xmm3, %xmm4
744 ; SSE41-NEXT: psraw $4, %xmm4
745 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
746 ; SSE41-NEXT: movdqa %xmm3, %xmm4
747 ; SSE41-NEXT: psraw $2, %xmm4
748 ; SSE41-NEXT: paddw %xmm0, %xmm0
749 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
750 ; SSE41-NEXT: movdqa %xmm3, %xmm4
751 ; SSE41-NEXT: psraw $1, %xmm4
752 ; SSE41-NEXT: paddw %xmm0, %xmm0
753 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
754 ; SSE41-NEXT: psrlw $8, %xmm3
755 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
756 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
757 ; SSE41-NEXT: movdqa %xmm1, %xmm2
758 ; SSE41-NEXT: psraw $4, %xmm2
759 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
760 ; SSE41-NEXT: movdqa %xmm1, %xmm2
761 ; SSE41-NEXT: psraw $2, %xmm2
762 ; SSE41-NEXT: paddw %xmm0, %xmm0
763 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
764 ; SSE41-NEXT: movdqa %xmm1, %xmm2
765 ; SSE41-NEXT: psraw $1, %xmm2
766 ; SSE41-NEXT: paddw %xmm0, %xmm0
767 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
768 ; SSE41-NEXT: psrlw $8, %xmm1
769 ; SSE41-NEXT: packuswb %xmm3, %xmm1
770 ; SSE41-NEXT: movdqa %xmm1, %xmm0
773 ; AVX1-LABEL: splatvar_shift_v16i8:
775 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
776 ; AVX1-NEXT: vpshufb %xmm2, %xmm1, %xmm1
777 ; AVX1-NEXT: vpsllw $5, %xmm1, %xmm1
778 ; AVX1-NEXT: vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
779 ; AVX1-NEXT: vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
780 ; AVX1-NEXT: vpsraw $4, %xmm3, %xmm4
781 ; AVX1-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
782 ; AVX1-NEXT: vpsraw $2, %xmm3, %xmm4
783 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
784 ; AVX1-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
785 ; AVX1-NEXT: vpsraw $1, %xmm3, %xmm4
786 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
787 ; AVX1-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
788 ; AVX1-NEXT: vpsrlw $8, %xmm2, %xmm2
789 ; AVX1-NEXT: vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
790 ; AVX1-NEXT: vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
791 ; AVX1-NEXT: vpsraw $4, %xmm0, %xmm3
792 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
793 ; AVX1-NEXT: vpsraw $2, %xmm0, %xmm3
794 ; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm1
795 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
796 ; AVX1-NEXT: vpsraw $1, %xmm0, %xmm3
797 ; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm1
798 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
799 ; AVX1-NEXT: vpsrlw $8, %xmm0, %xmm0
800 ; AVX1-NEXT: vpackuswb %xmm2, %xmm0, %xmm0
803 ; AVX2-LABEL: splatvar_shift_v16i8:
805 ; AVX2-NEXT: vpbroadcastb %xmm1, %xmm1
806 ; AVX2-NEXT: vpsllw $5, %xmm1, %xmm1
807 ; AVX2-NEXT: vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
808 ; AVX2-NEXT: vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
809 ; AVX2-NEXT: vpsraw $4, %xmm3, %xmm4
810 ; AVX2-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
811 ; AVX2-NEXT: vpsraw $2, %xmm3, %xmm4
812 ; AVX2-NEXT: vpaddw %xmm2, %xmm2, %xmm2
813 ; AVX2-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
814 ; AVX2-NEXT: vpsraw $1, %xmm3, %xmm4
815 ; AVX2-NEXT: vpaddw %xmm2, %xmm2, %xmm2
816 ; AVX2-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
817 ; AVX2-NEXT: vpsrlw $8, %xmm2, %xmm2
818 ; AVX2-NEXT: vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
819 ; AVX2-NEXT: vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
820 ; AVX2-NEXT: vpsraw $4, %xmm0, %xmm3
821 ; AVX2-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
822 ; AVX2-NEXT: vpsraw $2, %xmm0, %xmm3
823 ; AVX2-NEXT: vpaddw %xmm1, %xmm1, %xmm1
824 ; AVX2-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
825 ; AVX2-NEXT: vpsraw $1, %xmm0, %xmm3
826 ; AVX2-NEXT: vpaddw %xmm1, %xmm1, %xmm1
827 ; AVX2-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
828 ; AVX2-NEXT: vpsrlw $8, %xmm0, %xmm0
829 ; AVX2-NEXT: vpackuswb %xmm2, %xmm0, %xmm0
832 ; XOPAVX1-LABEL: splatvar_shift_v16i8:
834 ; XOPAVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
835 ; XOPAVX1-NEXT: vpshufb %xmm2, %xmm1, %xmm1
836 ; XOPAVX1-NEXT: vpsubb %xmm1, %xmm2, %xmm1
837 ; XOPAVX1-NEXT: vpshab %xmm1, %xmm0, %xmm0
840 ; XOPAVX2-LABEL: splatvar_shift_v16i8:
842 ; XOPAVX2-NEXT: vpbroadcastb %xmm1, %xmm1
843 ; XOPAVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
844 ; XOPAVX2-NEXT: vpsubb %xmm1, %xmm2, %xmm1
845 ; XOPAVX2-NEXT: vpshab %xmm1, %xmm0, %xmm0
848 ; X32-SSE-LABEL: splatvar_shift_v16i8:
850 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
851 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,1,0,3]
852 ; X32-SSE-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,0,0,0,4,5,6,7]
853 ; X32-SSE-NEXT: pshufhw {{.*#+}} xmm3 = xmm1[0,1,2,3,4,4,4,4]
854 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
855 ; X32-SSE-NEXT: psllw $5, %xmm3
856 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm3[8],xmm4[9],xmm3[9],xmm4[10],xmm3[10],xmm4[11],xmm3[11],xmm4[12],xmm3[12],xmm4[13],xmm3[13],xmm4[14],xmm3[14],xmm4[15],xmm3[15]
857 ; X32-SSE-NEXT: pxor %xmm2, %xmm2
858 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
859 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
860 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
861 ; X32-SSE-NEXT: pandn %xmm1, %xmm6
862 ; X32-SSE-NEXT: psraw $4, %xmm1
863 ; X32-SSE-NEXT: pand %xmm5, %xmm1
864 ; X32-SSE-NEXT: por %xmm6, %xmm1
865 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
866 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
867 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
868 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
869 ; X32-SSE-NEXT: pandn %xmm1, %xmm6
870 ; X32-SSE-NEXT: psraw $2, %xmm1
871 ; X32-SSE-NEXT: pand %xmm5, %xmm1
872 ; X32-SSE-NEXT: por %xmm6, %xmm1
873 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
874 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
875 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
876 ; X32-SSE-NEXT: movdqa %xmm5, %xmm4
877 ; X32-SSE-NEXT: pandn %xmm1, %xmm4
878 ; X32-SSE-NEXT: psraw $1, %xmm1
879 ; X32-SSE-NEXT: pand %xmm5, %xmm1
880 ; X32-SSE-NEXT: por %xmm4, %xmm1
881 ; X32-SSE-NEXT: psrlw $8, %xmm1
882 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
883 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm3 = xmm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
884 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
885 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm4
886 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
887 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
888 ; X32-SSE-NEXT: psraw $4, %xmm0
889 ; X32-SSE-NEXT: pand %xmm4, %xmm0
890 ; X32-SSE-NEXT: por %xmm5, %xmm0
891 ; X32-SSE-NEXT: paddw %xmm3, %xmm3
892 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
893 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm4
894 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
895 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
896 ; X32-SSE-NEXT: psraw $2, %xmm0
897 ; X32-SSE-NEXT: pand %xmm4, %xmm0
898 ; X32-SSE-NEXT: por %xmm5, %xmm0
899 ; X32-SSE-NEXT: paddw %xmm3, %xmm3
900 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm2
901 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
902 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
903 ; X32-SSE-NEXT: psraw $1, %xmm0
904 ; X32-SSE-NEXT: pand %xmm2, %xmm0
905 ; X32-SSE-NEXT: por %xmm3, %xmm0
906 ; X32-SSE-NEXT: psrlw $8, %xmm0
907 ; X32-SSE-NEXT: packuswb %xmm1, %xmm0
909 %splat = shufflevector <16 x i8> %b, <16 x i8> undef, <16 x i32> zeroinitializer
910 %shift = ashr <16 x i8> %a, %splat
918 define <2 x i64> @constant_shift_v2i64(<2 x i64> %a) nounwind {
919 ; SSE2-LABEL: constant_shift_v2i64:
921 ; SSE2-NEXT: movdqa %xmm0, %xmm1
922 ; SSE2-NEXT: psrlq $7, %xmm1
923 ; SSE2-NEXT: psrlq $1, %xmm0
924 ; SSE2-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
925 ; SSE2-NEXT: movapd {{.*#+}} xmm0 = [4611686018427387904,72057594037927936]
926 ; SSE2-NEXT: xorpd %xmm0, %xmm1
927 ; SSE2-NEXT: psubq %xmm0, %xmm1
928 ; SSE2-NEXT: movdqa %xmm1, %xmm0
931 ; SSE41-LABEL: constant_shift_v2i64:
933 ; SSE41-NEXT: movdqa %xmm0, %xmm1
934 ; SSE41-NEXT: psrlq $7, %xmm1
935 ; SSE41-NEXT: psrlq $1, %xmm0
936 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
937 ; SSE41-NEXT: movdqa {{.*#+}} xmm1 = [4611686018427387904,72057594037927936]
938 ; SSE41-NEXT: pxor %xmm1, %xmm0
939 ; SSE41-NEXT: psubq %xmm1, %xmm0
942 ; AVX1-LABEL: constant_shift_v2i64:
944 ; AVX1-NEXT: vpsrlq $7, %xmm0, %xmm1
945 ; AVX1-NEXT: vpsrlq $1, %xmm0, %xmm0
946 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
947 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm1 = [4611686018427387904,72057594037927936]
948 ; AVX1-NEXT: vpxor %xmm1, %xmm0, %xmm0
949 ; AVX1-NEXT: vpsubq %xmm1, %xmm0, %xmm0
952 ; AVX2-LABEL: constant_shift_v2i64:
954 ; AVX2-NEXT: vpsrlvq {{.*}}(%rip), %xmm0, %xmm0
955 ; AVX2-NEXT: vmovdqa {{.*#+}} xmm1 = [4611686018427387904,72057594037927936]
956 ; AVX2-NEXT: vpxor %xmm1, %xmm0, %xmm0
957 ; AVX2-NEXT: vpsubq %xmm1, %xmm0, %xmm0
960 ; XOP-LABEL: constant_shift_v2i64:
962 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
963 ; XOP-NEXT: vpsubq {{.*}}(%rip), %xmm1, %xmm1
964 ; XOP-NEXT: vpshaq %xmm1, %xmm0, %xmm0
967 ; X32-SSE-LABEL: constant_shift_v2i64:
969 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm1 = [0,2147483648,0,2147483648]
970 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
971 ; X32-SSE-NEXT: psrlq $7, %xmm2
972 ; X32-SSE-NEXT: psrlq $1, %xmm1
973 ; X32-SSE-NEXT: movsd {{.*#+}} xmm2 = xmm1[0],xmm2[1]
974 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
975 ; X32-SSE-NEXT: psrlq $7, %xmm1
976 ; X32-SSE-NEXT: psrlq $1, %xmm0
977 ; X32-SSE-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
978 ; X32-SSE-NEXT: xorpd %xmm2, %xmm1
979 ; X32-SSE-NEXT: psubq %xmm2, %xmm1
980 ; X32-SSE-NEXT: movdqa %xmm1, %xmm0
982 %shift = ashr <2 x i64> %a, <i64 1, i64 7>
986 define <4 x i32> @constant_shift_v4i32(<4 x i32> %a) nounwind {
987 ; SSE2-LABEL: constant_shift_v4i32:
989 ; SSE2-NEXT: movdqa %xmm0, %xmm1
990 ; SSE2-NEXT: psrad $7, %xmm1
991 ; SSE2-NEXT: movdqa %xmm0, %xmm2
992 ; SSE2-NEXT: psrad $5, %xmm2
993 ; SSE2-NEXT: movsd {{.*#+}} xmm1 = xmm2[0],xmm1[1]
994 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
995 ; SSE2-NEXT: movdqa %xmm0, %xmm2
996 ; SSE2-NEXT: psrad $6, %xmm2
997 ; SSE2-NEXT: psrad $4, %xmm0
998 ; SSE2-NEXT: movsd {{.*#+}} xmm2 = xmm0[0],xmm2[1]
999 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm2[0,2,2,3]
1000 ; SSE2-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1003 ; SSE41-LABEL: constant_shift_v4i32:
1005 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1006 ; SSE41-NEXT: psrad $7, %xmm1
1007 ; SSE41-NEXT: movdqa %xmm0, %xmm2
1008 ; SSE41-NEXT: psrad $5, %xmm2
1009 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1010 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1011 ; SSE41-NEXT: psrad $6, %xmm1
1012 ; SSE41-NEXT: psrad $4, %xmm0
1013 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
1014 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1017 ; AVX1-LABEL: constant_shift_v4i32:
1019 ; AVX1-NEXT: vpsrad $7, %xmm0, %xmm1
1020 ; AVX1-NEXT: vpsrad $5, %xmm0, %xmm2
1021 ; AVX1-NEXT: vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1022 ; AVX1-NEXT: vpsrad $6, %xmm0, %xmm2
1023 ; AVX1-NEXT: vpsrad $4, %xmm0, %xmm0
1024 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
1025 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1028 ; AVX2-LABEL: constant_shift_v4i32:
1030 ; AVX2-NEXT: vpsravd {{.*}}(%rip), %xmm0, %xmm0
1033 ; XOPAVX1-LABEL: constant_shift_v4i32:
1035 ; XOPAVX1-NEXT: vpshad {{.*}}(%rip), %xmm0, %xmm0
1036 ; XOPAVX1-NEXT: retq
1038 ; XOPAVX2-LABEL: constant_shift_v4i32:
1040 ; XOPAVX2-NEXT: vpsravd {{.*}}(%rip), %xmm0, %xmm0
1041 ; XOPAVX2-NEXT: retq
1043 ; X32-SSE-LABEL: constant_shift_v4i32:
1045 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
1046 ; X32-SSE-NEXT: psrad $7, %xmm1
1047 ; X32-SSE-NEXT: movdqa %xmm0, %xmm2
1048 ; X32-SSE-NEXT: psrad $5, %xmm2
1049 ; X32-SSE-NEXT: movsd {{.*#+}} xmm1 = xmm2[0],xmm1[1]
1050 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1051 ; X32-SSE-NEXT: movdqa %xmm0, %xmm2
1052 ; X32-SSE-NEXT: psrad $6, %xmm2
1053 ; X32-SSE-NEXT: psrad $4, %xmm0
1054 ; X32-SSE-NEXT: movsd {{.*#+}} xmm2 = xmm0[0],xmm2[1]
1055 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm2[0,2,2,3]
1056 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1057 ; X32-SSE-NEXT: retl
1058 %shift = ashr <4 x i32> %a, <i32 4, i32 5, i32 6, i32 7>
1059 ret <4 x i32> %shift
1062 define <8 x i16> @constant_shift_v8i16(<8 x i16> %a) nounwind {
1063 ; SSE2-LABEL: constant_shift_v8i16:
1065 ; SSE2-NEXT: movdqa %xmm0, %xmm1
1066 ; SSE2-NEXT: psraw $4, %xmm1
1067 ; SSE2-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
1068 ; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm1[0,2,2,3]
1069 ; SSE2-NEXT: psraw $2, %xmm1
1070 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm1[1,3,2,3]
1071 ; SSE2-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
1072 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [65535,0,65535,0,65535,0,65535,0]
1073 ; SSE2-NEXT: movdqa %xmm2, %xmm1
1074 ; SSE2-NEXT: pand %xmm0, %xmm1
1075 ; SSE2-NEXT: psraw $1, %xmm2
1076 ; SSE2-NEXT: pandn %xmm2, %xmm0
1077 ; SSE2-NEXT: por %xmm1, %xmm0
1080 ; SSE41-LABEL: constant_shift_v8i16:
1082 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1083 ; SSE41-NEXT: movdqa %xmm1, %xmm2
1084 ; SSE41-NEXT: psraw $8, %xmm2
1085 ; SSE41-NEXT: movaps {{.*#+}} xmm0 = [0,4112,8224,12336,16448,20560,24672,28784]
1086 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
1087 ; SSE41-NEXT: movdqa %xmm1, %xmm2
1088 ; SSE41-NEXT: psraw $4, %xmm2
1089 ; SSE41-NEXT: movaps {{.*#+}} xmm0 = [0,8224,16448,24672,32896,41120,49344,57568]
1090 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
1091 ; SSE41-NEXT: movdqa %xmm1, %xmm2
1092 ; SSE41-NEXT: psraw $2, %xmm2
1093 ; SSE41-NEXT: movaps {{.*#+}} xmm0 = [0,16448,32896,49344,256,16704,33152,49600]
1094 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
1095 ; SSE41-NEXT: movdqa %xmm1, %xmm2
1096 ; SSE41-NEXT: psraw $1, %xmm2
1097 ; SSE41-NEXT: movaps {{.*#+}} xmm0 = [0,32896,256,33152,512,33408,768,33664]
1098 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
1099 ; SSE41-NEXT: movdqa %xmm1, %xmm0
1102 ; AVX1-LABEL: constant_shift_v8i16:
1104 ; AVX1-NEXT: vpsraw $8, %xmm0, %xmm1
1105 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [0,4112,8224,12336,16448,20560,24672,28784]
1106 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
1107 ; AVX1-NEXT: vpsraw $4, %xmm0, %xmm1
1108 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [0,8224,16448,24672,32896,41120,49344,57568]
1109 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
1110 ; AVX1-NEXT: vpsraw $2, %xmm0, %xmm1
1111 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [0,16448,32896,49344,256,16704,33152,49600]
1112 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
1113 ; AVX1-NEXT: vpsraw $1, %xmm0, %xmm1
1114 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [0,32896,256,33152,512,33408,768,33664]
1115 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
1118 ; AVX2-LABEL: constant_shift_v8i16:
1120 ; AVX2-NEXT: vpmovsxwd %xmm0, %ymm0
1121 ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm1 = mem[0],zero,mem[1],zero,mem[2],zero,mem[3],zero,mem[4],zero,mem[5],zero,mem[6],zero,mem[7],zero
1122 ; AVX2-NEXT: vpsravd %ymm1, %ymm0, %ymm0
1123 ; AVX2-NEXT: vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,20,21,24,25,28,29],zero,zero,zero,zero,zero,zero,zero,zero
1124 ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
1125 ; AVX2-NEXT: vzeroupper
1128 ; XOP-LABEL: constant_shift_v8i16:
1130 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
1131 ; XOP-NEXT: vpsubw {{.*}}(%rip), %xmm1, %xmm1
1132 ; XOP-NEXT: vpshaw %xmm1, %xmm0, %xmm0
1135 ; X32-SSE-LABEL: constant_shift_v8i16:
1137 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
1138 ; X32-SSE-NEXT: psraw $4, %xmm1
1139 ; X32-SSE-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
1140 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm2 = xmm1[0,2,2,3]
1141 ; X32-SSE-NEXT: psraw $2, %xmm1
1142 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm1[1,3,2,3]
1143 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
1144 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm0 = [65535,0,65535,0,65535,0,65535,0]
1145 ; X32-SSE-NEXT: movdqa %xmm2, %xmm1
1146 ; X32-SSE-NEXT: pand %xmm0, %xmm1
1147 ; X32-SSE-NEXT: psraw $1, %xmm2
1148 ; X32-SSE-NEXT: pandn %xmm2, %xmm0
1149 ; X32-SSE-NEXT: por %xmm1, %xmm0
1150 ; X32-SSE-NEXT: retl
1151 %shift = ashr <8 x i16> %a, <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
1152 ret <8 x i16> %shift
1155 define <16 x i8> @constant_shift_v16i8(<16 x i8> %a) nounwind {
1156 ; SSE2-LABEL: constant_shift_v16i8:
1158 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
1159 ; SSE2-NEXT: movdqa {{.*#+}} xmm3 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
1160 ; SSE2-NEXT: psllw $5, %xmm3
1161 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm3[8],xmm4[9],xmm3[9],xmm4[10],xmm3[10],xmm4[11],xmm3[11],xmm4[12],xmm3[12],xmm4[13],xmm3[13],xmm4[14],xmm3[14],xmm4[15],xmm3[15]
1162 ; SSE2-NEXT: pxor %xmm2, %xmm2
1163 ; SSE2-NEXT: pxor %xmm5, %xmm5
1164 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
1165 ; SSE2-NEXT: movdqa %xmm5, %xmm6
1166 ; SSE2-NEXT: pandn %xmm1, %xmm6
1167 ; SSE2-NEXT: psraw $4, %xmm1
1168 ; SSE2-NEXT: pand %xmm5, %xmm1
1169 ; SSE2-NEXT: por %xmm6, %xmm1
1170 ; SSE2-NEXT: paddw %xmm4, %xmm4
1171 ; SSE2-NEXT: pxor %xmm5, %xmm5
1172 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
1173 ; SSE2-NEXT: movdqa %xmm5, %xmm6
1174 ; SSE2-NEXT: pandn %xmm1, %xmm6
1175 ; SSE2-NEXT: psraw $2, %xmm1
1176 ; SSE2-NEXT: pand %xmm5, %xmm1
1177 ; SSE2-NEXT: por %xmm6, %xmm1
1178 ; SSE2-NEXT: paddw %xmm4, %xmm4
1179 ; SSE2-NEXT: pxor %xmm5, %xmm5
1180 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
1181 ; SSE2-NEXT: movdqa %xmm5, %xmm4
1182 ; SSE2-NEXT: pandn %xmm1, %xmm4
1183 ; SSE2-NEXT: psraw $1, %xmm1
1184 ; SSE2-NEXT: pand %xmm5, %xmm1
1185 ; SSE2-NEXT: por %xmm4, %xmm1
1186 ; SSE2-NEXT: psrlw $8, %xmm1
1187 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1188 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm3 = xmm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1189 ; SSE2-NEXT: pxor %xmm4, %xmm4
1190 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm4
1191 ; SSE2-NEXT: movdqa %xmm4, %xmm5
1192 ; SSE2-NEXT: pandn %xmm0, %xmm5
1193 ; SSE2-NEXT: psraw $4, %xmm0
1194 ; SSE2-NEXT: pand %xmm4, %xmm0
1195 ; SSE2-NEXT: por %xmm5, %xmm0
1196 ; SSE2-NEXT: paddw %xmm3, %xmm3
1197 ; SSE2-NEXT: pxor %xmm4, %xmm4
1198 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm4
1199 ; SSE2-NEXT: movdqa %xmm4, %xmm5
1200 ; SSE2-NEXT: pandn %xmm0, %xmm5
1201 ; SSE2-NEXT: psraw $2, %xmm0
1202 ; SSE2-NEXT: pand %xmm4, %xmm0
1203 ; SSE2-NEXT: por %xmm5, %xmm0
1204 ; SSE2-NEXT: paddw %xmm3, %xmm3
1205 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm2
1206 ; SSE2-NEXT: movdqa %xmm2, %xmm3
1207 ; SSE2-NEXT: pandn %xmm0, %xmm3
1208 ; SSE2-NEXT: psraw $1, %xmm0
1209 ; SSE2-NEXT: pand %xmm2, %xmm0
1210 ; SSE2-NEXT: por %xmm3, %xmm0
1211 ; SSE2-NEXT: psrlw $8, %xmm0
1212 ; SSE2-NEXT: packuswb %xmm1, %xmm0
1215 ; SSE41-LABEL: constant_shift_v16i8:
1217 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1218 ; SSE41-NEXT: movdqa {{.*#+}} xmm3 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
1219 ; SSE41-NEXT: psllw $5, %xmm3
1220 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm3[8],xmm0[9],xmm3[9],xmm0[10],xmm3[10],xmm0[11],xmm3[11],xmm0[12],xmm3[12],xmm0[13],xmm3[13],xmm0[14],xmm3[14],xmm0[15],xmm3[15]
1221 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm1[8],xmm2[9],xmm1[9],xmm2[10],xmm1[10],xmm2[11],xmm1[11],xmm2[12],xmm1[12],xmm2[13],xmm1[13],xmm2[14],xmm1[14],xmm2[15],xmm1[15]
1222 ; SSE41-NEXT: movdqa %xmm2, %xmm4
1223 ; SSE41-NEXT: psraw $4, %xmm4
1224 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
1225 ; SSE41-NEXT: movdqa %xmm2, %xmm4
1226 ; SSE41-NEXT: psraw $2, %xmm4
1227 ; SSE41-NEXT: paddw %xmm0, %xmm0
1228 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
1229 ; SSE41-NEXT: movdqa %xmm2, %xmm4
1230 ; SSE41-NEXT: psraw $1, %xmm4
1231 ; SSE41-NEXT: paddw %xmm0, %xmm0
1232 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
1233 ; SSE41-NEXT: psrlw $8, %xmm2
1234 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
1235 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1236 ; SSE41-NEXT: movdqa %xmm1, %xmm3
1237 ; SSE41-NEXT: psraw $4, %xmm3
1238 ; SSE41-NEXT: pblendvb %xmm3, %xmm1
1239 ; SSE41-NEXT: movdqa %xmm1, %xmm3
1240 ; SSE41-NEXT: psraw $2, %xmm3
1241 ; SSE41-NEXT: paddw %xmm0, %xmm0
1242 ; SSE41-NEXT: pblendvb %xmm3, %xmm1
1243 ; SSE41-NEXT: movdqa %xmm1, %xmm3
1244 ; SSE41-NEXT: psraw $1, %xmm3
1245 ; SSE41-NEXT: paddw %xmm0, %xmm0
1246 ; SSE41-NEXT: pblendvb %xmm3, %xmm1
1247 ; SSE41-NEXT: psrlw $8, %xmm1
1248 ; SSE41-NEXT: packuswb %xmm2, %xmm1
1249 ; SSE41-NEXT: movdqa %xmm1, %xmm0
1252 ; AVX-LABEL: constant_shift_v16i8:
1254 ; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
1255 ; AVX-NEXT: vpsllw $5, %xmm1, %xmm1
1256 ; AVX-NEXT: vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
1257 ; AVX-NEXT: vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1258 ; AVX-NEXT: vpsraw $4, %xmm3, %xmm4
1259 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
1260 ; AVX-NEXT: vpsraw $2, %xmm3, %xmm4
1261 ; AVX-NEXT: vpaddw %xmm2, %xmm2, %xmm2
1262 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
1263 ; AVX-NEXT: vpsraw $1, %xmm3, %xmm4
1264 ; AVX-NEXT: vpaddw %xmm2, %xmm2, %xmm2
1265 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
1266 ; AVX-NEXT: vpsrlw $8, %xmm2, %xmm2
1267 ; AVX-NEXT: vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
1268 ; AVX-NEXT: vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1269 ; AVX-NEXT: vpsraw $4, %xmm0, %xmm3
1270 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
1271 ; AVX-NEXT: vpsraw $2, %xmm0, %xmm3
1272 ; AVX-NEXT: vpaddw %xmm1, %xmm1, %xmm1
1273 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
1274 ; AVX-NEXT: vpsraw $1, %xmm0, %xmm3
1275 ; AVX-NEXT: vpaddw %xmm1, %xmm1, %xmm1
1276 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
1277 ; AVX-NEXT: vpsrlw $8, %xmm0, %xmm0
1278 ; AVX-NEXT: vpackuswb %xmm2, %xmm0, %xmm0
1281 ; XOP-LABEL: constant_shift_v16i8:
1283 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
1284 ; XOP-NEXT: vpsubb {{.*}}(%rip), %xmm1, %xmm1
1285 ; XOP-NEXT: vpshab %xmm1, %xmm0, %xmm0
1288 ; X32-SSE-LABEL: constant_shift_v16i8:
1290 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
1291 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm3 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
1292 ; X32-SSE-NEXT: psllw $5, %xmm3
1293 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm3[8],xmm4[9],xmm3[9],xmm4[10],xmm3[10],xmm4[11],xmm3[11],xmm4[12],xmm3[12],xmm4[13],xmm3[13],xmm4[14],xmm3[14],xmm4[15],xmm3[15]
1294 ; X32-SSE-NEXT: pxor %xmm2, %xmm2
1295 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
1296 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
1297 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
1298 ; X32-SSE-NEXT: pandn %xmm1, %xmm6
1299 ; X32-SSE-NEXT: psraw $4, %xmm1
1300 ; X32-SSE-NEXT: pand %xmm5, %xmm1
1301 ; X32-SSE-NEXT: por %xmm6, %xmm1
1302 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
1303 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
1304 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
1305 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
1306 ; X32-SSE-NEXT: pandn %xmm1, %xmm6
1307 ; X32-SSE-NEXT: psraw $2, %xmm1
1308 ; X32-SSE-NEXT: pand %xmm5, %xmm1
1309 ; X32-SSE-NEXT: por %xmm6, %xmm1
1310 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
1311 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
1312 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
1313 ; X32-SSE-NEXT: movdqa %xmm5, %xmm4
1314 ; X32-SSE-NEXT: pandn %xmm1, %xmm4
1315 ; X32-SSE-NEXT: psraw $1, %xmm1
1316 ; X32-SSE-NEXT: pand %xmm5, %xmm1
1317 ; X32-SSE-NEXT: por %xmm4, %xmm1
1318 ; X32-SSE-NEXT: psrlw $8, %xmm1
1319 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1320 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm3 = xmm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1321 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
1322 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm4
1323 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
1324 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
1325 ; X32-SSE-NEXT: psraw $4, %xmm0
1326 ; X32-SSE-NEXT: pand %xmm4, %xmm0
1327 ; X32-SSE-NEXT: por %xmm5, %xmm0
1328 ; X32-SSE-NEXT: paddw %xmm3, %xmm3
1329 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
1330 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm4
1331 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
1332 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
1333 ; X32-SSE-NEXT: psraw $2, %xmm0
1334 ; X32-SSE-NEXT: pand %xmm4, %xmm0
1335 ; X32-SSE-NEXT: por %xmm5, %xmm0
1336 ; X32-SSE-NEXT: paddw %xmm3, %xmm3
1337 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm2
1338 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
1339 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
1340 ; X32-SSE-NEXT: psraw $1, %xmm0
1341 ; X32-SSE-NEXT: pand %xmm2, %xmm0
1342 ; X32-SSE-NEXT: por %xmm3, %xmm0
1343 ; X32-SSE-NEXT: psrlw $8, %xmm0
1344 ; X32-SSE-NEXT: packuswb %xmm1, %xmm0
1345 ; X32-SSE-NEXT: retl
1346 %shift = ashr <16 x i8> %a, <i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0>
1347 ret <16 x i8> %shift
1351 ; Uniform Constant Shifts
1354 define <2 x i64> @splatconstant_shift_v2i64(<2 x i64> %a) nounwind {
1355 ; SSE2-LABEL: splatconstant_shift_v2i64:
1357 ; SSE2-NEXT: movdqa %xmm0, %xmm1
1358 ; SSE2-NEXT: psrad $7, %xmm1
1359 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1360 ; SSE2-NEXT: psrlq $7, %xmm0
1361 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1362 ; SSE2-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1365 ; SSE41-LABEL: splatconstant_shift_v2i64:
1367 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1368 ; SSE41-NEXT: psrad $7, %xmm1
1369 ; SSE41-NEXT: psrlq $7, %xmm0
1370 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1373 ; AVX1-LABEL: splatconstant_shift_v2i64:
1375 ; AVX1-NEXT: vpsrad $7, %xmm0, %xmm1
1376 ; AVX1-NEXT: vpsrlq $7, %xmm0, %xmm0
1377 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1380 ; AVX2-LABEL: splatconstant_shift_v2i64:
1382 ; AVX2-NEXT: vpsrad $7, %xmm0, %xmm1
1383 ; AVX2-NEXT: vpsrlq $7, %xmm0, %xmm0
1384 ; AVX2-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
1387 ; XOP-LABEL: splatconstant_shift_v2i64:
1389 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
1390 ; XOP-NEXT: vpsubq {{.*}}(%rip), %xmm1, %xmm1
1391 ; XOP-NEXT: vpshaq %xmm1, %xmm0, %xmm0
1394 ; X32-SSE-LABEL: splatconstant_shift_v2i64:
1396 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
1397 ; X32-SSE-NEXT: psrad $7, %xmm1
1398 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1399 ; X32-SSE-NEXT: psrlq $7, %xmm0
1400 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1401 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1402 ; X32-SSE-NEXT: retl
1403 %shift = ashr <2 x i64> %a, <i64 7, i64 7>
1404 ret <2 x i64> %shift
1407 define <4 x i32> @splatconstant_shift_v4i32(<4 x i32> %a) nounwind {
1408 ; SSE-LABEL: splatconstant_shift_v4i32:
1410 ; SSE-NEXT: psrad $5, %xmm0
1413 ; AVX-LABEL: splatconstant_shift_v4i32:
1415 ; AVX-NEXT: vpsrad $5, %xmm0, %xmm0
1418 ; XOP-LABEL: splatconstant_shift_v4i32:
1420 ; XOP-NEXT: vpsrad $5, %xmm0, %xmm0
1423 ; X32-SSE-LABEL: splatconstant_shift_v4i32:
1425 ; X32-SSE-NEXT: psrad $5, %xmm0
1426 ; X32-SSE-NEXT: retl
1427 %shift = ashr <4 x i32> %a, <i32 5, i32 5, i32 5, i32 5>
1428 ret <4 x i32> %shift
1431 define <8 x i16> @splatconstant_shift_v8i16(<8 x i16> %a) nounwind {
1432 ; SSE-LABEL: splatconstant_shift_v8i16:
1434 ; SSE-NEXT: psraw $3, %xmm0
1437 ; AVX-LABEL: splatconstant_shift_v8i16:
1439 ; AVX-NEXT: vpsraw $3, %xmm0, %xmm0
1442 ; XOP-LABEL: splatconstant_shift_v8i16:
1444 ; XOP-NEXT: vpsraw $3, %xmm0, %xmm0
1447 ; X32-SSE-LABEL: splatconstant_shift_v8i16:
1449 ; X32-SSE-NEXT: psraw $3, %xmm0
1450 ; X32-SSE-NEXT: retl
1451 %shift = ashr <8 x i16> %a, <i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3>
1452 ret <8 x i16> %shift
1455 define <16 x i8> @splatconstant_shift_v16i8(<16 x i8> %a) nounwind {
1456 ; SSE-LABEL: splatconstant_shift_v16i8:
1458 ; SSE-NEXT: psrlw $3, %xmm0
1459 ; SSE-NEXT: pand {{.*}}(%rip), %xmm0
1460 ; SSE-NEXT: movdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
1461 ; SSE-NEXT: pxor %xmm1, %xmm0
1462 ; SSE-NEXT: psubb %xmm1, %xmm0
1465 ; AVX-LABEL: splatconstant_shift_v16i8:
1467 ; AVX-NEXT: vpsrlw $3, %xmm0, %xmm0
1468 ; AVX-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0
1469 ; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
1470 ; AVX-NEXT: vpxor %xmm1, %xmm0, %xmm0
1471 ; AVX-NEXT: vpsubb %xmm1, %xmm0, %xmm0
1474 ; XOP-LABEL: splatconstant_shift_v16i8:
1476 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
1477 ; XOP-NEXT: vpsubb {{.*}}(%rip), %xmm1, %xmm1
1478 ; XOP-NEXT: vpshab %xmm1, %xmm0, %xmm0
1481 ; X32-SSE-LABEL: splatconstant_shift_v16i8:
1483 ; X32-SSE-NEXT: psrlw $3, %xmm0
1484 ; X32-SSE-NEXT: pand .LCPI15_0, %xmm0
1485 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
1486 ; X32-SSE-NEXT: pxor %xmm1, %xmm0
1487 ; X32-SSE-NEXT: psubb %xmm1, %xmm0
1488 ; X32-SSE-NEXT: retl
1489 %shift = ashr <16 x i8> %a, <i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3>
1490 ret <16 x i8> %shift