1 ; RUN: opt < %s -loop-vectorize -force-vector-width=4 -force-vector-unroll=1 -dce -instcombine -licm -S | FileCheck %s
2 ; RUN: opt < %s -loop-vectorize -force-vector-width=4 -force-vector-unroll=4 -dce -instcombine -licm -S | FileCheck %s -check-prefix=UNROLL
4 target datalayout = "e-p:64:64:64-i1:8:8-i8:8:8-i16:16:16-i32:32:32-i64:64:64-f32:32:32-f64:64:64-v64:64:64-v128:128:128-a0:0:64-s0:64:64-f80:128:128-n8:16:32:64-S128"
5 target triple = "x86_64-apple-macosx10.8.0"
7 @b = common global [2048 x i32] zeroinitializer, align 16
8 @c = common global [2048 x i32] zeroinitializer, align 16
9 @a = common global [2048 x i32] zeroinitializer, align 16
10 @G = common global [32 x [1024 x i32]] zeroinitializer, align 16
11 @ub = common global [1024 x i32] zeroinitializer, align 16
12 @uc = common global [1024 x i32] zeroinitializer, align 16
13 @d = common global [2048 x i32] zeroinitializer, align 16
14 @fa = common global [1024 x float] zeroinitializer, align 16
15 @fb = common global [1024 x float] zeroinitializer, align 16
16 @ic = common global [1024 x i32] zeroinitializer, align 16
17 @da = common global [1024 x float] zeroinitializer, align 16
18 @db = common global [1024 x float] zeroinitializer, align 16
19 @dc = common global [1024 x float] zeroinitializer, align 16
20 @dd = common global [1024 x float] zeroinitializer, align 16
21 @dj = common global [1024 x i32] zeroinitializer, align 16
24 ;CHECK: load <4 x i32>
25 ;CHECK: add nsw <4 x i32>
26 ;CHECK: store <4 x i32>
29 ;UNROLL: load <4 x i32>
30 ;UNROLL: load <4 x i32>
31 ;UNROLL: load <4 x i32>
32 ;UNROLL: load <4 x i32>
33 ;UNROLL: add nsw <4 x i32>
34 ;UNROLL: add nsw <4 x i32>
35 ;UNROLL: add nsw <4 x i32>
36 ;UNROLL: add nsw <4 x i32>
37 ;UNROLL: store <4 x i32>
38 ;UNROLL: store <4 x i32>
39 ;UNROLL: store <4 x i32>
40 ;UNROLL: store <4 x i32>
42 define void @example1() nounwind uwtable ssp {
45 ; <label>:1 ; preds = %1, %0
46 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
47 %2 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv
48 %3 = load i32* %2, align 4
49 %4 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %indvars.iv
50 %5 = load i32* %4, align 4
51 %6 = add nsw i32 %5, %3
52 %7 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
53 store i32 %6, i32* %7, align 4
54 %indvars.iv.next = add i64 %indvars.iv, 1
55 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
56 %exitcond = icmp eq i32 %lftr.wideiv, 256
57 br i1 %exitcond, label %8, label %1
59 ; <label>:8 ; preds = %1
64 ;CHECK: store <4 x i32>
67 ;UNROLL: store <4 x i32>
68 ;UNROLL: store <4 x i32>
69 ;UNROLL: store <4 x i32>
70 ;UNROLL: store <4 x i32>
72 define void @example2(i32 %n, i32 %x) nounwind uwtable ssp {
73 %1 = icmp sgt i32 %n, 0
74 br i1 %1, label %.lr.ph5, label %.preheader
76 ..preheader_crit_edge: ; preds = %.lr.ph5
77 %phitmp = sext i32 %n to i64
80 .preheader: ; preds = %..preheader_crit_edge, %0
81 %i.0.lcssa = phi i64 [ %phitmp, %..preheader_crit_edge ], [ 0, %0 ]
82 %2 = icmp eq i32 %n, 0
83 br i1 %2, label %._crit_edge, label %.lr.ph
85 .lr.ph5: ; preds = %0, %.lr.ph5
86 %indvars.iv6 = phi i64 [ %indvars.iv.next7, %.lr.ph5 ], [ 0, %0 ]
87 %3 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv6
88 store i32 %x, i32* %3, align 4
89 %indvars.iv.next7 = add i64 %indvars.iv6, 1
90 %lftr.wideiv = trunc i64 %indvars.iv.next7 to i32
91 %exitcond = icmp eq i32 %lftr.wideiv, %n
92 br i1 %exitcond, label %..preheader_crit_edge, label %.lr.ph5
94 .lr.ph: ; preds = %.preheader, %.lr.ph
95 %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ %i.0.lcssa, %.preheader ]
96 %.02 = phi i32 [ %4, %.lr.ph ], [ %n, %.preheader ]
97 %4 = add nsw i32 %.02, -1
98 %5 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv
99 %6 = load i32* %5, align 4
100 %7 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %indvars.iv
101 %8 = load i32* %7, align 4
103 %10 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
104 store i32 %9, i32* %10, align 4
105 %indvars.iv.next = add i64 %indvars.iv, 1
106 %11 = icmp eq i32 %4, 0
107 br i1 %11, label %._crit_edge, label %.lr.ph
109 ._crit_edge: ; preds = %.lr.ph, %.preheader
122 define void @example3(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
123 %1 = icmp eq i32 %n, 0
124 br i1 %1, label %._crit_edge, label %.lr.ph
126 .lr.ph: ; preds = %0, %.lr.ph
127 %.05 = phi i32 [ %2, %.lr.ph ], [ %n, %0 ]
128 %.014 = phi i32* [ %5, %.lr.ph ], [ %p, %0 ]
129 %.023 = phi i32* [ %3, %.lr.ph ], [ %q, %0 ]
130 %2 = add nsw i32 %.05, -1
131 %3 = getelementptr inbounds i32* %.023, i64 1
132 %4 = load i32* %.023, align 16
133 %5 = getelementptr inbounds i32* %.014, i64 1
134 store i32 %4, i32* %.014, align 16
135 %6 = icmp eq i32 %2, 0
136 br i1 %6, label %._crit_edge, label %.lr.ph
138 ._crit_edge: ; preds = %.lr.ph, %0
143 ;CHECK: load <4 x i32>
146 ;UNROLL: load <4 x i32>
147 ;UNROLL: load <4 x i32>
148 ;UNROLL: load <4 x i32>
149 ;UNROLL: load <4 x i32>
151 define void @example4(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
152 %1 = add nsw i32 %n, -1
153 %2 = icmp eq i32 %n, 0
154 br i1 %2, label %.preheader4, label %.lr.ph10
156 .preheader4: ; preds = %0
157 %3 = icmp sgt i32 %1, 0
158 br i1 %3, label %.lr.ph6, label %._crit_edge
160 .lr.ph10: ; preds = %0, %.lr.ph10
161 %4 = phi i32 [ %9, %.lr.ph10 ], [ %1, %0 ]
162 %.018 = phi i32* [ %8, %.lr.ph10 ], [ %p, %0 ]
163 %.027 = phi i32* [ %5, %.lr.ph10 ], [ %q, %0 ]
164 %5 = getelementptr inbounds i32* %.027, i64 1
165 %6 = load i32* %.027, align 16
166 %7 = add nsw i32 %6, 5
167 %8 = getelementptr inbounds i32* %.018, i64 1
168 store i32 %7, i32* %.018, align 16
169 %9 = add nsw i32 %4, -1
170 %10 = icmp eq i32 %4, 0
171 br i1 %10, label %._crit_edge, label %.lr.ph10
173 .preheader: ; preds = %.lr.ph6
174 br i1 %3, label %.lr.ph, label %._crit_edge
176 .lr.ph6: ; preds = %.preheader4, %.lr.ph6
177 %indvars.iv11 = phi i64 [ %indvars.iv.next12, %.lr.ph6 ], [ 0, %.preheader4 ]
178 %indvars.iv.next12 = add i64 %indvars.iv11, 1
179 %11 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv.next12
180 %12 = load i32* %11, align 4
181 %13 = add nsw i64 %indvars.iv11, 3
182 %14 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %13
183 %15 = load i32* %14, align 4
184 %16 = add nsw i32 %15, %12
185 %17 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv11
186 store i32 %16, i32* %17, align 4
187 %lftr.wideiv13 = trunc i64 %indvars.iv.next12 to i32
188 %exitcond14 = icmp eq i32 %lftr.wideiv13, %1
189 br i1 %exitcond14, label %.preheader, label %.lr.ph6
191 .lr.ph: ; preds = %.preheader, %.lr.ph
192 %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ 0, %.preheader ]
193 %18 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
194 %19 = load i32* %18, align 4
195 %20 = icmp sgt i32 %19, 4
196 %21 = select i1 %20, i32 4, i32 0
197 %22 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %indvars.iv
198 store i32 %21, i32* %22, align 4
199 %indvars.iv.next = add i64 %indvars.iv, 1
200 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
201 %exitcond = icmp eq i32 %lftr.wideiv, %1
202 br i1 %exitcond, label %._crit_edge, label %.lr.ph
204 ._crit_edge: ; preds = %.lr.ph10, %.preheader4, %.lr.ph, %.preheader
209 ;CHECK: store <4 x i32>
212 ;UNROLL: store <4 x i32>
213 ;UNROLL: store <4 x i32>
214 ;UNROLL: store <4 x i32>
215 ;UNROLL: store <4 x i32>
217 define void @example8(i32 %x) nounwind uwtable ssp {
220 .preheader: ; preds = %3, %0
221 %indvars.iv3 = phi i64 [ 0, %0 ], [ %indvars.iv.next4, %3 ]
224 ; <label>:1 ; preds = %1, %.preheader
225 %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %1 ]
226 %2 = getelementptr inbounds [32 x [1024 x i32]]* @G, i64 0, i64 %indvars.iv3, i64 %indvars.iv
227 store i32 %x, i32* %2, align 4
228 %indvars.iv.next = add i64 %indvars.iv, 1
229 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
230 %exitcond = icmp eq i32 %lftr.wideiv, 1024
231 br i1 %exitcond, label %3, label %1
233 ; <label>:3 ; preds = %1
234 %indvars.iv.next4 = add i64 %indvars.iv3, 1
235 %lftr.wideiv5 = trunc i64 %indvars.iv.next4 to i32
236 %exitcond6 = icmp eq i32 %lftr.wideiv5, 32
237 br i1 %exitcond6, label %4, label %.preheader
239 ; <label>:4 ; preds = %3
244 ;CHECK-NOT: phi <4 x i32>
246 define i32 @example9() nounwind uwtable readonly ssp {
249 ; <label>:1 ; preds = %1, %0
250 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
251 %diff.01 = phi i32 [ 0, %0 ], [ %7, %1 ]
252 %2 = getelementptr inbounds [1024 x i32]* @ub, i64 0, i64 %indvars.iv
253 %3 = load i32* %2, align 4
254 %4 = getelementptr inbounds [1024 x i32]* @uc, i64 0, i64 %indvars.iv
255 %5 = load i32* %4, align 4
256 %6 = add i32 %3, %diff.01
258 %indvars.iv.next = add i64 %indvars.iv, 1
259 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
260 %exitcond = icmp eq i32 %lftr.wideiv, 1024
261 br i1 %exitcond, label %8, label %1
263 ; <label>:8 ; preds = %1
268 ;CHECK: load <4 x i32>
269 ;CHECK: add nsw <4 x i32>
270 ;CHECK: load <4 x i16>
271 ;CHECK: add <4 x i16>
272 ;CHECK: store <4 x i16>
274 define void @example10a(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
277 ; <label>:1 ; preds = %1, %0
278 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
279 %2 = getelementptr inbounds i32* %ib, i64 %indvars.iv
280 %3 = load i32* %2, align 4
281 %4 = getelementptr inbounds i32* %ic, i64 %indvars.iv
282 %5 = load i32* %4, align 4
283 %6 = add nsw i32 %5, %3
284 %7 = getelementptr inbounds i32* %ia, i64 %indvars.iv
285 store i32 %6, i32* %7, align 4
286 %8 = getelementptr inbounds i16* %sb, i64 %indvars.iv
287 %9 = load i16* %8, align 2
288 %10 = getelementptr inbounds i16* %sc, i64 %indvars.iv
289 %11 = load i16* %10, align 2
290 %12 = add i16 %11, %9
291 %13 = getelementptr inbounds i16* %sa, i64 %indvars.iv
292 store i16 %12, i16* %13, align 2
293 %indvars.iv.next = add i64 %indvars.iv, 1
294 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
295 %exitcond = icmp eq i32 %lftr.wideiv, 1024
296 br i1 %exitcond, label %14, label %1
298 ; <label>:14 ; preds = %1
303 ;CHECK: load <4 x i16>
304 ;CHECK: sext <4 x i16>
305 ;CHECK: store <4 x i32>
307 define void @example10b(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
310 ; <label>:1 ; preds = %1, %0
311 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
312 %2 = getelementptr inbounds i16* %sb, i64 %indvars.iv
313 %3 = load i16* %2, align 2
314 %4 = sext i16 %3 to i32
315 %5 = getelementptr inbounds i32* %ia, i64 %indvars.iv
316 store i32 %4, i32* %5, align 4
317 %indvars.iv.next = add i64 %indvars.iv, 1
318 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
319 %exitcond = icmp eq i32 %lftr.wideiv, 1024
320 br i1 %exitcond, label %6, label %1
322 ; <label>:6 ; preds = %1
331 ;CHECK: insertelement
332 ;CHECK: insertelement
333 ;CHECK: insertelement
334 ;CHECK: insertelement
336 define void @example11() nounwind uwtable ssp {
339 ; <label>:1 ; preds = %1, %0
340 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
341 %2 = shl nsw i64 %indvars.iv, 1
343 %4 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %3
344 %5 = load i32* %4, align 4
345 %6 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %3
346 %7 = load i32* %6, align 4
347 %8 = mul nsw i32 %7, %5
348 %9 = getelementptr inbounds [2048 x i32]* @b, i64 0, i64 %2
349 %10 = load i32* %9, align 8
350 %11 = getelementptr inbounds [2048 x i32]* @c, i64 0, i64 %2
351 %12 = load i32* %11, align 8
352 %13 = mul nsw i32 %12, %10
353 %14 = sub nsw i32 %8, %13
354 %15 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
355 store i32 %14, i32* %15, align 4
356 %16 = mul nsw i32 %7, %10
357 %17 = mul nsw i32 %12, %5
358 %18 = add nsw i32 %17, %16
359 %19 = getelementptr inbounds [2048 x i32]* @d, i64 0, i64 %indvars.iv
360 store i32 %18, i32* %19, align 4
361 %indvars.iv.next = add i64 %indvars.iv, 1
362 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
363 %exitcond = icmp eq i32 %lftr.wideiv, 512
364 br i1 %exitcond, label %20, label %1
366 ; <label>:20 ; preds = %1
372 ;CHECK: store <4 x i32>
374 define void @example12() nounwind uwtable ssp {
377 ; <label>:1 ; preds = %1, %0
378 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
379 %2 = getelementptr inbounds [2048 x i32]* @a, i64 0, i64 %indvars.iv
380 %3 = trunc i64 %indvars.iv to i32
381 store i32 %3, i32* %2, align 4
382 %indvars.iv.next = add i64 %indvars.iv, 1
383 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
384 %exitcond = icmp eq i32 %lftr.wideiv, 1024
385 br i1 %exitcond, label %4, label %1
387 ; <label>:4 ; preds = %1
391 ; Can't vectorize because of reductions.
393 ;CHECK-NOT: <4 x i32>
395 define void @example13(i32** nocapture %A, i32** nocapture %B, i32* nocapture %out) nounwind uwtable ssp {
398 .preheader: ; preds = %14, %0
399 %indvars.iv4 = phi i64 [ 0, %0 ], [ %indvars.iv.next5, %14 ]
400 %1 = getelementptr inbounds i32** %A, i64 %indvars.iv4
401 %2 = load i32** %1, align 8
402 %3 = getelementptr inbounds i32** %B, i64 %indvars.iv4
403 %4 = load i32** %3, align 8
406 ; <label>:5 ; preds = %.preheader, %5
407 %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %5 ]
408 %diff.02 = phi i32 [ 0, %.preheader ], [ %11, %5 ]
409 %6 = getelementptr inbounds i32* %2, i64 %indvars.iv
410 %7 = load i32* %6, align 4
411 %8 = getelementptr inbounds i32* %4, i64 %indvars.iv
412 %9 = load i32* %8, align 4
413 %10 = add i32 %7, %diff.02
414 %11 = sub i32 %10, %9
415 %indvars.iv.next = add i64 %indvars.iv, 8
416 %12 = trunc i64 %indvars.iv.next to i32
417 %13 = icmp slt i32 %12, 1024
418 br i1 %13, label %5, label %14
420 ; <label>:14 ; preds = %5
421 %15 = getelementptr inbounds i32* %out, i64 %indvars.iv4
422 store i32 %11, i32* %15, align 4
423 %indvars.iv.next5 = add i64 %indvars.iv4, 1
424 %lftr.wideiv = trunc i64 %indvars.iv.next5 to i32
425 %exitcond = icmp eq i32 %lftr.wideiv, 32
426 br i1 %exitcond, label %16, label %.preheader
428 ; <label>:16 ; preds = %14
436 define void @example14(i32** nocapture %in, i32** nocapture %coeff, i32* nocapture %out) nounwind uwtable ssp {
440 .preheader: ; preds = %11, %.preheader3
441 %indvars.iv7 = phi i64 [ 0, %.preheader3 ], [ %indvars.iv.next8, %11 ]
442 %sum.05 = phi i32 [ 0, %.preheader3 ], [ %10, %11 ]
445 ; <label>:0 ; preds = %0, %.preheader
446 %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %0 ]
447 %sum.12 = phi i32 [ %sum.05, %.preheader ], [ %10, %0 ]
448 %1 = getelementptr inbounds i32** %in, i64 %indvars.iv
449 %2 = load i32** %1, align 8
450 %3 = getelementptr inbounds i32* %2, i64 %indvars.iv7
451 %4 = load i32* %3, align 4
452 %5 = getelementptr inbounds i32** %coeff, i64 %indvars.iv
453 %6 = load i32** %5, align 8
454 %7 = getelementptr inbounds i32* %6, i64 %indvars.iv7
455 %8 = load i32* %7, align 4
456 %9 = mul nsw i32 %8, %4
457 %10 = add nsw i32 %9, %sum.12
458 %indvars.iv.next = add i64 %indvars.iv, 1
459 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
460 %exitcond = icmp eq i32 %lftr.wideiv, 1024
461 br i1 %exitcond, label %11, label %0
463 ; <label>:11 ; preds = %0
464 %indvars.iv.next8 = add i64 %indvars.iv7, 1
465 %lftr.wideiv9 = trunc i64 %indvars.iv.next8 to i32
466 %exitcond10 = icmp eq i32 %lftr.wideiv9, 32
467 br i1 %exitcond10, label %.preheader3.1, label %.preheader
469 .preheader3.1: ; preds = %11
470 store i32 %10, i32* %out, align 4
471 br label %.preheader.1
473 .preheader.1: ; preds = %24, %.preheader3.1
474 %indvars.iv7.1 = phi i64 [ 0, %.preheader3.1 ], [ %indvars.iv.next8.1, %24 ]
475 %sum.05.1 = phi i32 [ 0, %.preheader3.1 ], [ %23, %24 ]
478 ; <label>:12 ; preds = %12, %.preheader.1
479 %indvars.iv.1 = phi i64 [ 0, %.preheader.1 ], [ %13, %12 ]
480 %sum.12.1 = phi i32 [ %sum.05.1, %.preheader.1 ], [ %23, %12 ]
481 %13 = add nsw i64 %indvars.iv.1, 1
482 %14 = getelementptr inbounds i32** %in, i64 %13
483 %15 = load i32** %14, align 8
484 %16 = getelementptr inbounds i32* %15, i64 %indvars.iv7.1
485 %17 = load i32* %16, align 4
486 %18 = getelementptr inbounds i32** %coeff, i64 %indvars.iv.1
487 %19 = load i32** %18, align 8
488 %20 = getelementptr inbounds i32* %19, i64 %indvars.iv7.1
489 %21 = load i32* %20, align 4
490 %22 = mul nsw i32 %21, %17
491 %23 = add nsw i32 %22, %sum.12.1
492 %lftr.wideiv.1 = trunc i64 %13 to i32
493 %exitcond.1 = icmp eq i32 %lftr.wideiv.1, 1024
494 br i1 %exitcond.1, label %24, label %12
496 ; <label>:24 ; preds = %12
497 %indvars.iv.next8.1 = add i64 %indvars.iv7.1, 1
498 %lftr.wideiv9.1 = trunc i64 %indvars.iv.next8.1 to i32
499 %exitcond10.1 = icmp eq i32 %lftr.wideiv9.1, 32
500 br i1 %exitcond10.1, label %.preheader3.2, label %.preheader.1
502 .preheader3.2: ; preds = %24
503 %25 = getelementptr inbounds i32* %out, i64 1
504 store i32 %23, i32* %25, align 4
505 br label %.preheader.2
507 .preheader.2: ; preds = %38, %.preheader3.2
508 %indvars.iv7.2 = phi i64 [ 0, %.preheader3.2 ], [ %indvars.iv.next8.2, %38 ]
509 %sum.05.2 = phi i32 [ 0, %.preheader3.2 ], [ %37, %38 ]
512 ; <label>:26 ; preds = %26, %.preheader.2
513 %indvars.iv.2 = phi i64 [ 0, %.preheader.2 ], [ %indvars.iv.next.2, %26 ]
514 %sum.12.2 = phi i32 [ %sum.05.2, %.preheader.2 ], [ %37, %26 ]
515 %27 = add nsw i64 %indvars.iv.2, 2
516 %28 = getelementptr inbounds i32** %in, i64 %27
517 %29 = load i32** %28, align 8
518 %30 = getelementptr inbounds i32* %29, i64 %indvars.iv7.2
519 %31 = load i32* %30, align 4
520 %32 = getelementptr inbounds i32** %coeff, i64 %indvars.iv.2
521 %33 = load i32** %32, align 8
522 %34 = getelementptr inbounds i32* %33, i64 %indvars.iv7.2
523 %35 = load i32* %34, align 4
524 %36 = mul nsw i32 %35, %31
525 %37 = add nsw i32 %36, %sum.12.2
526 %indvars.iv.next.2 = add i64 %indvars.iv.2, 1
527 %lftr.wideiv.2 = trunc i64 %indvars.iv.next.2 to i32
528 %exitcond.2 = icmp eq i32 %lftr.wideiv.2, 1024
529 br i1 %exitcond.2, label %38, label %26
531 ; <label>:38 ; preds = %26
532 %indvars.iv.next8.2 = add i64 %indvars.iv7.2, 1
533 %lftr.wideiv9.2 = trunc i64 %indvars.iv.next8.2 to i32
534 %exitcond10.2 = icmp eq i32 %lftr.wideiv9.2, 32
535 br i1 %exitcond10.2, label %.preheader3.3, label %.preheader.2
537 .preheader3.3: ; preds = %38
538 %39 = getelementptr inbounds i32* %out, i64 2
539 store i32 %37, i32* %39, align 4
540 br label %.preheader.3
542 .preheader.3: ; preds = %52, %.preheader3.3
543 %indvars.iv7.3 = phi i64 [ 0, %.preheader3.3 ], [ %indvars.iv.next8.3, %52 ]
544 %sum.05.3 = phi i32 [ 0, %.preheader3.3 ], [ %51, %52 ]
547 ; <label>:40 ; preds = %40, %.preheader.3
548 %indvars.iv.3 = phi i64 [ 0, %.preheader.3 ], [ %indvars.iv.next.3, %40 ]
549 %sum.12.3 = phi i32 [ %sum.05.3, %.preheader.3 ], [ %51, %40 ]
550 %41 = add nsw i64 %indvars.iv.3, 3
551 %42 = getelementptr inbounds i32** %in, i64 %41
552 %43 = load i32** %42, align 8
553 %44 = getelementptr inbounds i32* %43, i64 %indvars.iv7.3
554 %45 = load i32* %44, align 4
555 %46 = getelementptr inbounds i32** %coeff, i64 %indvars.iv.3
556 %47 = load i32** %46, align 8
557 %48 = getelementptr inbounds i32* %47, i64 %indvars.iv7.3
558 %49 = load i32* %48, align 4
559 %50 = mul nsw i32 %49, %45
560 %51 = add nsw i32 %50, %sum.12.3
561 %indvars.iv.next.3 = add i64 %indvars.iv.3, 1
562 %lftr.wideiv.3 = trunc i64 %indvars.iv.next.3 to i32
563 %exitcond.3 = icmp eq i32 %lftr.wideiv.3, 1024
564 br i1 %exitcond.3, label %52, label %40
566 ; <label>:52 ; preds = %40
567 %indvars.iv.next8.3 = add i64 %indvars.iv7.3, 1
568 %lftr.wideiv9.3 = trunc i64 %indvars.iv.next8.3 to i32
569 %exitcond10.3 = icmp eq i32 %lftr.wideiv9.3, 32
570 br i1 %exitcond10.3, label %53, label %.preheader.3
572 ; <label>:53 ; preds = %52
573 %54 = getelementptr inbounds i32* %out, i64 3
574 store i32 %51, i32* %54, align 4
579 ;CHECK: load <4 x i32>
580 ;CHECK: shufflevector {{.*}} <i32 3, i32 2, i32 1, i32 0>
582 define i32 @example21(i32* nocapture %b, i32 %n) nounwind uwtable readonly ssp {
583 %1 = icmp sgt i32 %n, 0
584 br i1 %1, label %.lr.ph, label %._crit_edge
587 %2 = sext i32 %n to i64
590 ; <label>:3 ; preds = %.lr.ph, %3
591 %indvars.iv = phi i64 [ %2, %.lr.ph ], [ %indvars.iv.next, %3 ]
592 %a.02 = phi i32 [ 0, %.lr.ph ], [ %6, %3 ]
593 %indvars.iv.next = add i64 %indvars.iv, -1
594 %4 = getelementptr inbounds i32* %b, i64 %indvars.iv.next
595 %5 = load i32* %4, align 4
596 %6 = add nsw i32 %5, %a.02
597 %7 = trunc i64 %indvars.iv.next to i32
598 %8 = icmp sgt i32 %7, 0
599 br i1 %8, label %3, label %._crit_edge
601 ._crit_edge: ; preds = %3, %0
602 %a.0.lcssa = phi i32 [ 0, %0 ], [ %6, %3 ]
609 define void @example23(i16* nocapture %src, i32* nocapture %dst) nounwind uwtable ssp {
612 ; <label>:1 ; preds = %1, %0
613 %.04 = phi i16* [ %src, %0 ], [ %2, %1 ]
614 %.013 = phi i32* [ %dst, %0 ], [ %6, %1 ]
615 %i.02 = phi i32 [ 0, %0 ], [ %7, %1 ]
616 %2 = getelementptr inbounds i16* %.04, i64 1
617 %3 = load i16* %.04, align 2
618 %4 = zext i16 %3 to i32
619 %5 = shl nuw nsw i32 %4, 7
620 %6 = getelementptr inbounds i32* %.013, i64 1
621 store i32 %5, i32* %.013, align 4
622 %7 = add nsw i32 %i.02, 1
623 %exitcond = icmp eq i32 %7, 256
624 br i1 %exitcond, label %8, label %1
626 ; <label>:8 ; preds = %1
631 ;CHECK: shufflevector <4 x i16>
633 define void @example24(i16 signext %x, i16 signext %y) nounwind uwtable ssp {
636 ; <label>:1 ; preds = %1, %0
637 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
638 %2 = getelementptr inbounds [1024 x float]* @fa, i64 0, i64 %indvars.iv
639 %3 = load float* %2, align 4
640 %4 = getelementptr inbounds [1024 x float]* @fb, i64 0, i64 %indvars.iv
641 %5 = load float* %4, align 4
642 %6 = fcmp olt float %3, %5
643 %x.y = select i1 %6, i16 %x, i16 %y
644 %7 = sext i16 %x.y to i32
645 %8 = getelementptr inbounds [1024 x i32]* @ic, i64 0, i64 %indvars.iv
646 store i32 %7, i32* %8, align 4
647 %indvars.iv.next = add i64 %indvars.iv, 1
648 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
649 %exitcond = icmp eq i32 %lftr.wideiv, 1024
650 br i1 %exitcond, label %9, label %1
652 ; <label>:9 ; preds = %1
658 ;CHECK: zext <4 x i1>
660 define void @example25() nounwind uwtable ssp {
663 ; <label>:1 ; preds = %1, %0
664 %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
665 %2 = getelementptr inbounds [1024 x float]* @da, i64 0, i64 %indvars.iv
666 %3 = load float* %2, align 4
667 %4 = getelementptr inbounds [1024 x float]* @db, i64 0, i64 %indvars.iv
668 %5 = load float* %4, align 4
669 %6 = fcmp olt float %3, %5
670 %7 = getelementptr inbounds [1024 x float]* @dc, i64 0, i64 %indvars.iv
671 %8 = load float* %7, align 4
672 %9 = getelementptr inbounds [1024 x float]* @dd, i64 0, i64 %indvars.iv
673 %10 = load float* %9, align 4
674 %11 = fcmp olt float %8, %10
676 %13 = zext i1 %12 to i32
677 %14 = getelementptr inbounds [1024 x i32]* @dj, i64 0, i64 %indvars.iv
678 store i32 %13, i32* %14, align 4
679 %indvars.iv.next = add i64 %indvars.iv, 1
680 %lftr.wideiv = trunc i64 %indvars.iv.next to i32
681 %exitcond = icmp eq i32 %lftr.wideiv, 1024
682 br i1 %exitcond, label %15, label %1
684 ; <label>:15 ; preds = %1