1 ; RUN: opt < %s -loop-vectorize -dce -instcombine -licm -S | FileCheck %s
3 target datalayout = "e-p:64:64:64-i1:8:8-i8:8:8-i16:16:16-i32:32:32-i64:64:64-f32:32:32-f64:64:64-v64:64:64-v128:128:128-a0:0:64-s0:64:64-f80:128:128-n8:16:32:64-S128"
4 target triple = "x86_64-apple-macosx10.8.0"
6 @b = common global [2048 x i32] zeroinitializer, align 16
7 @c = common global [2048 x i32] zeroinitializer, align 16
8 @a = common global [2048 x i32] zeroinitializer, align 16
9 @G = common global [32 x [1024 x i32]] zeroinitializer, align 16
10 @ub = common global [1024 x i32] zeroinitializer, align 16
11 @uc = common global [1024 x i32] zeroinitializer, align 16
12 @d = common global [2048 x i32] zeroinitializer, align 16
13 @fa = common global [1024 x float] zeroinitializer, align 16
14 @fb = common global [1024 x float] zeroinitializer, align 16
15 @ic = common global [1024 x i32] zeroinitializer, align 16
16 @da = common global [1024 x float] zeroinitializer, align 16
17 @db = common global [1024 x float] zeroinitializer, align 16
18 @dc = common global [1024 x float] zeroinitializer, align 16
19 @dd = common global [1024 x float] zeroinitializer, align 16
20 @dj = common global [1024 x i32] zeroinitializer, align 16
23 ;CHECK: load <4 x i32>
25 ;CHECK: store <4 x i32>
27 define void @example1() nounwind uwtable ssp {
30 ; <label>:1 ; preds = %1, %0
31 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
32 %2 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv
33 %3 = load i32* %2, align 4
34 %4 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %indvars.iv
35 %5 = load i32* %4, align 4
36 %6 = add nsw i32 %5, %3
37 %7 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
38 store i32 %6, i32* %7, align 4
39 %indvars.iv.next = add i64 %indvars.iv, 1
40 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
41 %exitcond = icmp eq i32 %lftr.wideiv, 256
42 br i1 %exitcond, label %8, label %1
44 ; <label>:8 ; preds = %1
49 ;CHECK: store <4 x i32>
51 define void @example2(i32 %n, i32 %x) nounwind uwtable ssp {
52 %1 = icmp sgt i32 %n, 0
53 br i1 %1, label %.lr.ph5, label %.preheader
55 ..preheader_crit_edge: ; preds = %.lr.ph5
56 %phitmp = sext i32 %n to i64
59 .preheader: ; preds = %..preheader_crit_edge, %0
60 %i.0.lcssa = phi i64 [ %phitmp, %..preheader_crit_edge ], [ 0, %0 ]
61 %2 = icmp eq i32 %n, 0
62 br i1 %2, label %._crit_edge, label %.lr.ph
64 .lr.ph5: ; preds = %0, %.lr.ph5
65 %indvars.iv6 = phi i64 [ %indvars.iv.next7, %.lr.ph5 ], [ 0, %0 ]
66 %3 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv6
67 store i32 %x, i32* %3, align 4
68 %indvars.iv.next7 = add i64 %indvars.iv6, 1
69 %lftr.wideiv = trunc i64 %indvars.iv.next7 to i32
70 %exitcond = icmp eq i32 %lftr.wideiv, %n
71 br i1 %exitcond, label %..preheader_crit_edge, label %.lr.ph5
73 .lr.ph: ; preds = %.preheader, %.lr.ph
74 %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ %i.0.lcssa, %.preheader ]
75 %.02 = phi i32 [ %4, %.lr.ph ], [ %n, %.preheader ]
76 %4 = add nsw i32 %.02, -1
77 %5 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv
78 %6 = load i32* %5, align 4
79 %7 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %indvars.iv
80 %8 = load i32* %7, align 4
82 %10 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
83 store i32 %9, i32* %10, align 4
84 %indvars.iv.next = add i64 %indvars.iv, 1
85 %11 = icmp eq i32 %4, 0
86 br i1 %11, label %._crit_edge, label %.lr.ph
88 ._crit_edge: ; preds = %.lr.ph, %.preheader
92 ; We can't vectorize this loop because it has non constant loop bounds.
96 define void @example3(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
97 %1 = icmp eq i32 %n, 0
98 br i1 %1, label %._crit_edge, label %.lr.ph
100 .lr.ph: ; preds = %0, %.lr.ph
101 %.05 = phi i32 [ %2, %.lr.ph ], [ %n, %0 ]
102 %.014 = phi i32* [ %5, %.lr.ph ], [ %p, %0 ]
103 %.023 = phi i32* [ %3, %.lr.ph ], [ %q, %0 ]
104 %2 = add nsw i32 %.05, -1
105 %3 = getelementptr inbounds i32* %.023, i64 1
106 %4 = load i32* %.023, align 16
107 %5 = getelementptr inbounds i32* %.014, i64 1
108 store i32 %4, i32* %.014, align 16
109 %6 = icmp eq i32 %2, 0
110 br i1 %6, label %._crit_edge, label %.lr.ph
112 ._crit_edge: ; preds = %.lr.ph, %0
117 ;CHECK: load <4 x i32>
119 define void @example4(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
120 %1 = add nsw i32 %n, -1
121 %2 = icmp eq i32 %n, 0
122 br i1 %2, label %.preheader4, label %.lr.ph10
124 .preheader4: ; preds = %0
125 %3 = icmp sgt i32 %1, 0
126 br i1 %3, label %.lr.ph6, label %._crit_edge
128 .lr.ph10: ; preds = %0, %.lr.ph10
129 %4 = phi i32 [ %9, %.lr.ph10 ], [ %1, %0 ]
130 %.018 = phi i32* [ %8, %.lr.ph10 ], [ %p, %0 ]
131 %.027 = phi i32* [ %5, %.lr.ph10 ], [ %q, %0 ]
132 %5 = getelementptr inbounds i32* %.027, i64 1
133 %6 = load i32* %.027, align 16
134 %7 = add nsw i32 %6, 5
135 %8 = getelementptr inbounds i32* %.018, i64 1
136 store i32 %7, i32* %.018, align 16
137 %9 = add nsw i32 %4, -1
138 %10 = icmp eq i32 %4, 0
139 br i1 %10, label %._crit_edge, label %.lr.ph10
141 .preheader: ; preds = %.lr.ph6
142 br i1 %3, label %.lr.ph, label %._crit_edge
144 .lr.ph6: ; preds = %.preheader4, %.lr.ph6
145 %indvars.iv11 = phi i64 [ %indvars.iv.next12, %.lr.ph6 ], [ 0, %.preheader4 ]
146 %indvars.iv.next12 = add i64 %indvars.iv11, 1
147 %11 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv.next12
148 %12 = load i32* %11, align 4
149 %13 = add nsw i64 %indvars.iv11, 3
150 %14 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %13
151 %15 = load i32* %14, align 4
152 %16 = add nsw i32 %15, %12
153 %17 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv11
154 store i32 %16, i32* %17, align 4
155 %lftr.wideiv13 = trunc i64 %indvars.iv.next12 to i32
156 %exitcond14 = icmp eq i32 %lftr.wideiv13, %1
157 br i1 %exitcond14, label %.preheader, label %.lr.ph6
159 .lr.ph: ; preds = %.preheader, %.lr.ph
160 %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ 0, %.preheader ]
161 %18 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
162 %19 = load i32* %18, align 4
163 %20 = icmp sgt i32 %19, 4
164 %21 = select i1 %20, i32 4, i32 0
165 %22 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv
166 store i32 %21, i32* %22, align 4
167 %indvars.iv.next = add i64 %indvars.iv, 1
168 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
169 %exitcond = icmp eq i32 %lftr.wideiv, %1
170 br i1 %exitcond, label %._crit_edge, label %.lr.ph
172 ._crit_edge: ; preds = %.lr.ph10, %.preheader4, %.lr.ph, %.preheader
177 ;CHECK: store <4 x i32>
179 define void @example8(i32 %x) nounwind uwtable ssp {
182 .preheader: ; preds = %3, %0
183 %indvars.iv3 = phi i64 [ 0, %0 ], [ %indvars.iv.next4, %3 ]
186 ; <label>:1 ; preds = %1, %.preheader
187 %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %1 ]
188 %2 = getelementptr inbounds [32 x [1024 x i32]]* @G, i64 0, i64 %indvars.iv3, i64 %indvars.iv
189 store i32 %x, i32* %2, align 4
190 %indvars.iv.next = add i64 %indvars.iv, 1
191 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
192 %exitcond = icmp eq i32 %lftr.wideiv, 1024
193 br i1 %exitcond, label %3, label %1
195 ; <label>:3 ; preds = %1
196 %indvars.iv.next4 = add i64 %indvars.iv3, 1
197 %lftr.wideiv5 = trunc i64 %indvars.iv.next4 to i32
198 %exitcond6 = icmp eq i32 %lftr.wideiv5, 32
199 br i1 %exitcond6, label %4, label %.preheader
201 ; <label>:4 ; preds = %3
206 ;CHECK: phi <4 x i32>
208 define i32 @example9() nounwind uwtable readonly ssp {
211 ; <label>:1 ; preds = %1, %0
212 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
213 %diff.01 = phi i32 [ 0, %0 ], [ %7, %1 ]
214 %2 = getelementptr inbounds [1024 x i32]* @ub, i64 0, i64 %indvars.iv
215 %3 = load i32* %2, align 4
216 %4 = getelementptr inbounds [1024 x i32]* @uc, i64 0, i64 %indvars.iv
217 %5 = load i32* %4, align 4
218 %6 = add i32 %3, %diff.01
220 %indvars.iv.next = add i64 %indvars.iv, 1
221 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
222 %exitcond = icmp eq i32 %lftr.wideiv, 1024
223 br i1 %exitcond, label %8, label %1
225 ; <label>:8 ; preds = %1
230 ;CHECK: load <4 x i16>
231 ;CHECK: add <4 x i16>
232 ;CHECK: store <4 x i16>
234 define void @example10a(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
237 ; <label>:1 ; preds = %1, %0
238 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
239 %2 = getelementptr inbounds i32* %ib, i64 %indvars.iv
240 %3 = load i32* %2, align 4
241 %4 = getelementptr inbounds i32* %ic, i64 %indvars.iv
242 %5 = load i32* %4, align 4
243 %6 = add nsw i32 %5, %3
244 %7 = getelementptr inbounds i32* %ia, i64 %indvars.iv
245 store i32 %6, i32* %7, align 4
246 %8 = getelementptr inbounds i16* %sb, i64 %indvars.iv
247 %9 = load i16* %8, align 2
248 %10 = getelementptr inbounds i16* %sc, i64 %indvars.iv
249 %11 = load i16* %10, align 2
250 %12 = add i16 %11, %9
251 %13 = getelementptr inbounds i16* %sa, i64 %indvars.iv
252 store i16 %12, i16* %13, align 2
253 %indvars.iv.next = add i64 %indvars.iv, 1
254 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
255 %exitcond = icmp eq i32 %lftr.wideiv, 1024
256 br i1 %exitcond, label %14, label %1
258 ; <label>:14 ; preds = %1
263 ;CHECK: load <4 x i16>
264 ;CHECK: sext <4 x i16>
265 ;CHECK: store <4 x i32>
267 define void @example10b(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
270 ; <label>:1 ; preds = %1, %0
271 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
272 %2 = getelementptr inbounds i16* %sb, i64 %indvars.iv
273 %3 = load i16* %2, align 2
274 %4 = sext i16 %3 to i32
275 %5 = getelementptr inbounds i32* %ia, i64 %indvars.iv
276 store i32 %4, i32* %5, align 4
277 %indvars.iv.next = add i64 %indvars.iv, 1
278 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
279 %exitcond = icmp eq i32 %lftr.wideiv, 1024
280 br i1 %exitcond, label %6, label %1
282 ; <label>:6 ; preds = %1
291 ;CHECK: insertelement
292 ;CHECK: insertelement
293 ;CHECK: insertelement
294 ;CHECK: insertelement
296 define void @example11() nounwind uwtable ssp {
299 ; <label>:1 ; preds = %1, %0
300 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
301 %2 = shl nsw i64 %indvars.iv, 1
303 %4 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %3
304 %5 = load i32* %4, align 4
305 %6 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %3
306 %7 = load i32* %6, align 4
307 %8 = mul nsw i32 %7, %5
308 %9 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %2
309 %10 = load i32* %9, align 8
310 %11 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %2
311 %12 = load i32* %11, align 8
312 %13 = mul nsw i32 %12, %10
313 %14 = sub nsw i32 %8, %13
314 %15 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
315 store i32 %14, i32* %15, align 4
316 %16 = mul nsw i32 %7, %10
317 %17 = mul nsw i32 %12, %5
318 %18 = add nsw i32 %17, %16
319 %19 = getelementptr inbounds [2048 x i32]* @d, i64 0, i64 %indvars.iv
320 store i32 %18, i32* %19, align 4
321 %indvars.iv.next = add i64 %indvars.iv, 1
322 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
323 %exitcond = icmp eq i32 %lftr.wideiv, 512
324 br i1 %exitcond, label %20, label %1
326 ; <label>:20 ; preds = %1
331 ;CHECK: trunc <4 x i64>
332 ;CHECK: store <4 x i32>
334 define void @example12() nounwind uwtable ssp {
337 ; <label>:1 ; preds = %1, %0
338 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
339 %2 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
340 %3 = trunc i64 %indvars.iv to i32
341 store i32 %3, i32* %2, align 4
342 %indvars.iv.next = add i64 %indvars.iv, 1
343 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
344 %exitcond = icmp eq i32 %lftr.wideiv, 1024
345 br i1 %exitcond, label %4, label %1
347 ; <label>:4 ; preds = %1
351 ; Can't vectorize because of reductions.
353 ;CHECK-NOT: <4 x i32>
355 define void @example13(i32** nocapture %A, i32** nocapture %B, i32* nocapture %out) nounwind uwtable ssp {
358 .preheader: ; preds = %14, %0
359 %indvars.iv4 = phi i64 [ 0, %0 ], [ %indvars.iv.next5, %14 ]
360 %1 = getelementptr inbounds i32** %A, i64 %indvars.iv4
361 %2 = load i32** %1, align 8
362 %3 = getelementptr inbounds i32** %B, i64 %indvars.iv4
363 %4 = load i32** %3, align 8
366 ; <label>:5 ; preds = %.preheader, %5
367 %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %5 ]
368 %diff.02 = phi i32 [ 0, %.preheader ], [ %11, %5 ]
369 %6 = getelementptr inbounds i32* %2, i64 %indvars.iv
370 %7 = load i32* %6, align 4
371 %8 = getelementptr inbounds i32* %4, i64 %indvars.iv
372 %9 = load i32* %8, align 4
373 %10 = add i32 %7, %diff.02
374 %11 = sub i32 %10, %9
375 %indvars.iv.next = add i64 %indvars.iv, 8
376 %12 = trunc i64 %indvars.iv.next to i32
377 %13 = icmp slt i32 %12, 1024
378 br i1 %13, label %5, label %14
380 ; <label>:14 ; preds = %5
381 %15 = getelementptr inbounds i32* %out, i64 %indvars.iv4
382 store i32 %11, i32* %15, align 4
383 %indvars.iv.next5 = add i64 %indvars.iv4, 1
384 %lftr.wideiv = trunc i64 %indvars.iv.next5 to i32
385 %exitcond = icmp eq i32 %lftr.wideiv, 32
386 br i1 %exitcond, label %16, label %.preheader
388 ; <label>:16 ; preds = %14
392 ; Can't vectorize because of reductions.
394 ;CHECK-NOT: <4 x i32>
396 define void @example14(i32** nocapture %in, i32** nocapture %coeff, i32* nocapture %out) nounwind uwtable ssp {
400 .preheader: ; preds = %11, %.preheader3
401 %indvars.iv7 = phi i64 [ 0, %.preheader3 ], [ %indvars.iv.next8, %11 ]
402 %sum.05 = phi i32 [ 0, %.preheader3 ], [ %10, %11 ]
405 ; <label>:0 ; preds = %0, %.preheader
406 %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %0 ]
407 %sum.12 = phi i32 [ %sum.05, %.preheader ], [ %10, %0 ]
408 %1 = getelementptr inbounds i32** %in, i64 %indvars.iv
409 %2 = load i32** %1, align 8
410 %3 = getelementptr inbounds i32* %2, i64 %indvars.iv7
411 %4 = load i32* %3, align 4
412 %5 = getelementptr inbounds i32** %coeff, i64 %indvars.iv
413 %6 = load i32** %5, align 8
414 %7 = getelementptr inbounds i32* %6, i64 %indvars.iv7
415 %8 = load i32* %7, align 4
416 %9 = mul nsw i32 %8, %4
417 %10 = add nsw i32 %9, %sum.12
418 %indvars.iv.next = add i64 %indvars.iv, 1
419 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
420 %exitcond = icmp eq i32 %lftr.wideiv, 1024
421 br i1 %exitcond, label %11, label %0
423 ; <label>:11 ; preds = %0
424 %indvars.iv.next8 = add i64 %indvars.iv7, 1
425 %lftr.wideiv9 = trunc i64 %indvars.iv.next8 to i32
426 %exitcond10 = icmp eq i32 %lftr.wideiv9, 32
427 br i1 %exitcond10, label %.preheader3.1, label %.preheader
429 .preheader3.1: ; preds = %11
430 store i32 %10, i32* %out, align 4
431 br label %.preheader.1
433 .preheader.1: ; preds = %24, %.preheader3.1
434 %indvars.iv7.1 = phi i64 [ 0, %.preheader3.1 ], [ %indvars.iv.next8.1, %24 ]
435 %sum.05.1 = phi i32 [ 0, %.preheader3.1 ], [ %23, %24 ]
438 ; <label>:12 ; preds = %12, %.preheader.1
439 %indvars.iv.1 = phi i64 [ 0, %.preheader.1 ], [ %13, %12 ]
440 %sum.12.1 = phi i32 [ %sum.05.1, %.preheader.1 ], [ %23, %12 ]
441 %13 = add nsw i64 %indvars.iv.1, 1
442 %14 = getelementptr inbounds i32** %in, i64 %13
443 %15 = load i32** %14, align 8
444 %16 = getelementptr inbounds i32* %15, i64 %indvars.iv7.1
445 %17 = load i32* %16, align 4
446 %18 = getelementptr inbounds i32** %coeff, i64 %indvars.iv.1
447 %19 = load i32** %18, align 8
448 %20 = getelementptr inbounds i32* %19, i64 %indvars.iv7.1
449 %21 = load i32* %20, align 4
450 %22 = mul nsw i32 %21, %17
451 %23 = add nsw i32 %22, %sum.12.1
452 %lftr.wideiv.1 = trunc i64 %13 to i32
453 %exitcond.1 = icmp eq i32 %lftr.wideiv.1, 1024
454 br i1 %exitcond.1, label %24, label %12
456 ; <label>:24 ; preds = %12
457 %indvars.iv.next8.1 = add i64 %indvars.iv7.1, 1
458 %lftr.wideiv9.1 = trunc i64 %indvars.iv.next8.1 to i32
459 %exitcond10.1 = icmp eq i32 %lftr.wideiv9.1, 32
460 br i1 %exitcond10.1, label %.preheader3.2, label %.preheader.1
462 .preheader3.2: ; preds = %24
463 %25 = getelementptr inbounds i32* %out, i64 1
464 store i32 %23, i32* %25, align 4
465 br label %.preheader.2
467 .preheader.2: ; preds = %38, %.preheader3.2
468 %indvars.iv7.2 = phi i64 [ 0, %.preheader3.2 ], [ %indvars.iv.next8.2, %38 ]
469 %sum.05.2 = phi i32 [ 0, %.preheader3.2 ], [ %37, %38 ]
472 ; <label>:26 ; preds = %26, %.preheader.2
473 %indvars.iv.2 = phi i64 [ 0, %.preheader.2 ], [ %indvars.iv.next.2, %26 ]
474 %sum.12.2 = phi i32 [ %sum.05.2, %.preheader.2 ], [ %37, %26 ]
475 %27 = add nsw i64 %indvars.iv.2, 2
476 %28 = getelementptr inbounds i32** %in, i64 %27
477 %29 = load i32** %28, align 8
478 %30 = getelementptr inbounds i32* %29, i64 %indvars.iv7.2
479 %31 = load i32* %30, align 4
480 %32 = getelementptr inbounds i32** %coeff, i64 %indvars.iv.2
481 %33 = load i32** %32, align 8
482 %34 = getelementptr inbounds i32* %33, i64 %indvars.iv7.2
483 %35 = load i32* %34, align 4
484 %36 = mul nsw i32 %35, %31
485 %37 = add nsw i32 %36, %sum.12.2
486 %indvars.iv.next.2 = add i64 %indvars.iv.2, 1
487 %lftr.wideiv.2 = trunc i64 %indvars.iv.next.2 to i32
488 %exitcond.2 = icmp eq i32 %lftr.wideiv.2, 1024
489 br i1 %exitcond.2, label %38, label %26
491 ; <label>:38 ; preds = %26
492 %indvars.iv.next8.2 = add i64 %indvars.iv7.2, 1
493 %lftr.wideiv9.2 = trunc i64 %indvars.iv.next8.2 to i32
494 %exitcond10.2 = icmp eq i32 %lftr.wideiv9.2, 32
495 br i1 %exitcond10.2, label %.preheader3.3, label %.preheader.2
497 .preheader3.3: ; preds = %38
498 %39 = getelementptr inbounds i32* %out, i64 2
499 store i32 %37, i32* %39, align 4
500 br label %.preheader.3
502 .preheader.3: ; preds = %52, %.preheader3.3
503 %indvars.iv7.3 = phi i64 [ 0, %.preheader3.3 ], [ %indvars.iv.next8.3, %52 ]
504 %sum.05.3 = phi i32 [ 0, %.preheader3.3 ], [ %51, %52 ]
507 ; <label>:40 ; preds = %40, %.preheader.3
508 %indvars.iv.3 = phi i64 [ 0, %.preheader.3 ], [ %indvars.iv.next.3, %40 ]
509 %sum.12.3 = phi i32 [ %sum.05.3, %.preheader.3 ], [ %51, %40 ]
510 %41 = add nsw i64 %indvars.iv.3, 3
511 %42 = getelementptr inbounds i32** %in, i64 %41
512 %43 = load i32** %42, align 8
513 %44 = getelementptr inbounds i32* %43, i64 %indvars.iv7.3
514 %45 = load i32* %44, align 4
515 %46 = getelementptr inbounds i32** %coeff, i64 %indvars.iv.3
516 %47 = load i32** %46, align 8
517 %48 = getelementptr inbounds i32* %47, i64 %indvars.iv7.3
518 %49 = load i32* %48, align 4
519 %50 = mul nsw i32 %49, %45
520 %51 = add nsw i32 %50, %sum.12.3
521 %indvars.iv.next.3 = add i64 %indvars.iv.3, 1
522 %lftr.wideiv.3 = trunc i64 %indvars.iv.next.3 to i32
523 %exitcond.3 = icmp eq i32 %lftr.wideiv.3, 1024
524 br i1 %exitcond.3, label %52, label %40
526 ; <label>:52 ; preds = %40
527 %indvars.iv.next8.3 = add i64 %indvars.iv7.3, 1
528 %lftr.wideiv9.3 = trunc i64 %indvars.iv.next8.3 to i32
529 %exitcond10.3 = icmp eq i32 %lftr.wideiv9.3, 32
530 br i1 %exitcond10.3, label %53, label %.preheader.3
532 ; <label>:53 ; preds = %52
533 %54 = getelementptr inbounds i32* %out, i64 3
534 store i32 %51, i32* %54, align 4
538 ; Can't vectorize because the src and dst pointers are not disjoint.
540 ;CHECK-NOT: <4 x i32>
542 define i32 @example21(i32* nocapture %b, i32 %n) nounwind uwtable readonly ssp {
543 %1 = icmp sgt i32 %n, 0
544 br i1 %1, label %.lr.ph, label %._crit_edge
547 %2 = sext i32 %n to i64
550 ; <label>:3 ; preds = %.lr.ph, %3
551 %indvars.iv = phi i64 [ %2, %.lr.ph ], [ %indvars.iv.next, %3 ]
552 %a.02 = phi i32 [ 0, %.lr.ph ], [ %6, %3 ]
553 %indvars.iv.next = add i64 %indvars.iv, -1
554 %4 = getelementptr inbounds i32* %b, i64 %indvars.iv.next
555 %5 = load i32* %4, align 4
556 %6 = add nsw i32 %5, %a.02
557 %7 = trunc i64 %indvars.iv.next to i32
558 %8 = icmp sgt i32 %7, 0
559 br i1 %8, label %3, label %._crit_edge
561 ._crit_edge: ; preds = %3, %0
562 %a.0.lcssa = phi i32 [ 0, %0 ], [ %6, %3 ]
566 ; Can't vectorize because there are multiple PHIs.
568 ;CHECK-NOT: <4 x i32>
570 define void @example23(i16* nocapture %src, i32* nocapture %dst) nounwind uwtable ssp {
573 ; <label>:1 ; preds = %1, %0
574 %.04 = phi i16* [ %src, %0 ], [ %2, %1 ]
575 %.013 = phi i32* [ %dst, %0 ], [ %6, %1 ]
576 %i.02 = phi i32 [ 0, %0 ], [ %7, %1 ]
577 %2 = getelementptr inbounds i16* %.04, i64 1
578 %3 = load i16* %.04, align 2
579 %4 = zext i16 %3 to i32
580 %5 = shl nuw nsw i32 %4, 7
581 %6 = getelementptr inbounds i32* %.013, i64 1
582 store i32 %5, i32* %.013, align 4
583 %7 = add nsw i32 %i.02, 1
584 %exitcond = icmp eq i32 %7, 256
585 br i1 %exitcond, label %8, label %1
587 ; <label>:8 ; preds = %1
592 ;CHECK: shufflevector <4 x i16>
594 define void @example24(i16 signext %x, i16 signext %y) nounwind uwtable ssp {
597 ; <label>:1 ; preds = %1, %0
598 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
599 %2 = getelementptr inbounds [1024 x float]* @fa, i64 0, i64 %indvars.iv
600 %3 = load float* %2, align 4
601 %4 = getelementptr inbounds [1024 x float]* @fb, i64 0, i64 %indvars.iv
602 %5 = load float* %4, align 4
603 %6 = fcmp olt float %3, %5
604 %x.y = select i1 %6, i16 %x, i16 %y
605 %7 = sext i16 %x.y to i32
606 %8 = getelementptr inbounds [1024 x i32]* @ic, i64 0, i64 %indvars.iv
607 store i32 %7, i32* %8, align 4
608 %indvars.iv.next = add i64 %indvars.iv, 1
609 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
610 %exitcond = icmp eq i32 %lftr.wideiv, 1024
611 br i1 %exitcond, label %9, label %1
613 ; <label>:9 ; preds = %1
619 ;CHECK: zext <4 x i1>
621 define void @example25() nounwind uwtable ssp {
624 ; <label>:1 ; preds = %1, %0
625 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
626 %2 = getelementptr inbounds [1024 x float]* @da, i64 0, i64 %indvars.iv
627 %3 = load float* %2, align 4
628 %4 = getelementptr inbounds [1024 x float]* @db, i64 0, i64 %indvars.iv
629 %5 = load float* %4, align 4
630 %6 = fcmp olt float %3, %5
631 %7 = getelementptr inbounds [1024 x float]* @dc, i64 0, i64 %indvars.iv
632 %8 = load float* %7, align 4
633 %9 = getelementptr inbounds [1024 x float]* @dd, i64 0, i64 %indvars.iv
634 %10 = load float* %9, align 4
635 %11 = fcmp olt float %8, %10
637 %13 = zext i1 %12 to i32
638 %14 = getelementptr inbounds [1024 x i32]* @dj, i64 0, i64 %indvars.iv
639 store i32 %13, i32* %14, align 4
640 %indvars.iv.next = add i64 %indvars.iv, 1
641 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
642 %exitcond = icmp eq i32 %lftr.wideiv, 1024
643 br i1 %exitcond, label %15, label %1
645 ; <label>:15 ; preds = %1