5bf85d482bd974fce51c715d0f94aa8a8d509198
[oota-llvm.git] / lib / Target / ARM / ARMISelLowering.h
1 //===-- ARMISelLowering.h - ARM DAG Lowering Interface ----------*- C++ -*-===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines the interfaces that ARM uses to lower LLVM code into a
11 // selection DAG.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #ifndef ARMISELLOWERING_H
16 #define ARMISELLOWERING_H
17
18 #include "ARMSubtarget.h"
19 #include "llvm/Target/TargetLowering.h"
20 #include "llvm/Target/TargetRegisterInfo.h"
21 #include "llvm/CodeGen/FastISel.h"
22 #include "llvm/CodeGen/SelectionDAG.h"
23 #include "llvm/CodeGen/CallingConvLower.h"
24 #include <vector>
25
26 namespace llvm {
27   class ARMConstantPoolValue;
28
29   namespace ARMISD {
30     // ARM Specific DAG Nodes
31     enum NodeType {
32       // Start the numbering where the builtin ops and target ops leave off.
33       FIRST_NUMBER = ISD::BUILTIN_OP_END,
34
35       Wrapper,      // Wrapper - A wrapper node for TargetConstantPool,
36                     // TargetExternalSymbol, and TargetGlobalAddress.
37       WrapperDYN,   // WrapperDYN - A wrapper node for TargetGlobalAddress in
38                     // DYN mode.
39       WrapperPIC,   // WrapperPIC - A wrapper node for TargetGlobalAddress in
40                     // PIC mode.
41       WrapperJT,    // WrapperJT - A wrapper node for TargetJumpTable
42
43       CALL,         // Function call.
44       CALL_PRED,    // Function call that's predicable.
45       CALL_NOLINK,  // Function call with branch not branch-and-link.
46       tCALL,        // Thumb function call.
47       BRCOND,       // Conditional branch.
48       BR_JT,        // Jumptable branch.
49       BR2_JT,       // Jumptable branch (2 level - jumptable entry is a jump).
50       RET_FLAG,     // Return with a flag operand.
51
52       PIC_ADD,      // Add with a PC operand and a PIC label.
53
54       CMP,          // ARM compare instructions.
55       CMPZ,         // ARM compare that sets only Z flag.
56       CMPFP,        // ARM VFP compare instruction, sets FPSCR.
57       CMPFPw0,      // ARM VFP compare against zero instruction, sets FPSCR.
58       FMSTAT,       // ARM fmstat instruction.
59       CMOV,         // ARM conditional move instructions.
60
61       BCC_i64,
62
63       RBIT,         // ARM bitreverse instruction
64
65       FTOSI,        // FP to sint within a FP register.
66       FTOUI,        // FP to uint within a FP register.
67       SITOF,        // sint to FP within a FP register.
68       UITOF,        // uint to FP within a FP register.
69
70       SRL_FLAG,     // V,Flag = srl_flag X -> srl X, 1 + save carry out.
71       SRA_FLAG,     // V,Flag = sra_flag X -> sra X, 1 + save carry out.
72       RRX,          // V = RRX X, Flag     -> srl X, 1 + shift in carry flag.
73
74       ADDC,         // Add with carry
75       ADDE,         // Add using carry
76       SUBC,         // Sub with carry
77       SUBE,         // Sub using carry
78
79       VMOVRRD,      // double to two gprs.
80       VMOVDRR,      // Two gprs to double.
81
82       EH_SJLJ_SETJMP,         // SjLj exception handling setjmp.
83       EH_SJLJ_LONGJMP,        // SjLj exception handling longjmp.
84       EH_SJLJ_DISPATCHSETUP,  // SjLj exception handling dispatch setup.
85
86       TC_RETURN,    // Tail call return pseudo.
87
88       THREAD_POINTER,
89
90       DYN_ALLOC,    // Dynamic allocation on the stack.
91
92       MEMBARRIER,   // Memory barrier (DMB)
93       MEMBARRIER_MCR, // Memory barrier (MCR)
94
95       PRELOAD,      // Preload
96
97       VCEQ,         // Vector compare equal.
98       VCEQZ,        // Vector compare equal to zero.
99       VCGE,         // Vector compare greater than or equal.
100       VCGEZ,        // Vector compare greater than or equal to zero.
101       VCLEZ,        // Vector compare less than or equal to zero.
102       VCGEU,        // Vector compare unsigned greater than or equal.
103       VCGT,         // Vector compare greater than.
104       VCGTZ,        // Vector compare greater than zero.
105       VCLTZ,        // Vector compare less than zero.
106       VCGTU,        // Vector compare unsigned greater than.
107       VTST,         // Vector test bits.
108
109       // Vector shift by immediate:
110       VSHL,         // ...left
111       VSHRs,        // ...right (signed)
112       VSHRu,        // ...right (unsigned)
113       VSHLLs,       // ...left long (signed)
114       VSHLLu,       // ...left long (unsigned)
115       VSHLLi,       // ...left long (with maximum shift count)
116       VSHRN,        // ...right narrow
117
118       // Vector rounding shift by immediate:
119       VRSHRs,       // ...right (signed)
120       VRSHRu,       // ...right (unsigned)
121       VRSHRN,       // ...right narrow
122
123       // Vector saturating shift by immediate:
124       VQSHLs,       // ...left (signed)
125       VQSHLu,       // ...left (unsigned)
126       VQSHLsu,      // ...left (signed to unsigned)
127       VQSHRNs,      // ...right narrow (signed)
128       VQSHRNu,      // ...right narrow (unsigned)
129       VQSHRNsu,     // ...right narrow (signed to unsigned)
130
131       // Vector saturating rounding shift by immediate:
132       VQRSHRNs,     // ...right narrow (signed)
133       VQRSHRNu,     // ...right narrow (unsigned)
134       VQRSHRNsu,    // ...right narrow (signed to unsigned)
135
136       // Vector shift and insert:
137       VSLI,         // ...left
138       VSRI,         // ...right
139
140       // Vector get lane (VMOV scalar to ARM core register)
141       // (These are used for 8- and 16-bit element types only.)
142       VGETLANEu,    // zero-extend vector extract element
143       VGETLANEs,    // sign-extend vector extract element
144
145       // Vector move immediate and move negated immediate:
146       VMOVIMM,
147       VMVNIMM,
148
149       // Vector duplicate:
150       VDUP,
151       VDUPLANE,
152
153       // Vector shuffles:
154       VEXT,         // extract
155       VREV64,       // reverse elements within 64-bit doublewords
156       VREV32,       // reverse elements within 32-bit words
157       VREV16,       // reverse elements within 16-bit halfwords
158       VZIP,         // zip (interleave)
159       VUZP,         // unzip (deinterleave)
160       VTRN,         // transpose
161       VTBL1,        // 1-register shuffle with mask
162       VTBL2,        // 2-register shuffle with mask
163
164       // Vector multiply long:
165       VMULLs,       // ...signed
166       VMULLu,       // ...unsigned
167
168       // Operands of the standard BUILD_VECTOR node are not legalized, which
169       // is fine if BUILD_VECTORs are always lowered to shuffles or other
170       // operations, but for ARM some BUILD_VECTORs are legal as-is and their
171       // operands need to be legalized.  Define an ARM-specific version of
172       // BUILD_VECTOR for this purpose.
173       BUILD_VECTOR,
174
175       // Floating-point max and min:
176       FMAX,
177       FMIN,
178
179       // Bit-field insert
180       BFI,
181
182       // Vector OR with immediate
183       VORRIMM,
184       // Vector AND with NOT of immediate
185       VBICIMM,
186
187       // Vector bitwise select
188       VBSL,
189
190       // Vector load N-element structure to all lanes:
191       VLD2DUP = ISD::FIRST_TARGET_MEMORY_OPCODE,
192       VLD3DUP,
193       VLD4DUP,
194
195       // NEON loads with post-increment base updates:
196       VLD1_UPD,
197       VLD2_UPD,
198       VLD3_UPD,
199       VLD4_UPD,
200       VLD2LN_UPD,
201       VLD3LN_UPD,
202       VLD4LN_UPD,
203       VLD2DUP_UPD,
204       VLD3DUP_UPD,
205       VLD4DUP_UPD,
206
207       // NEON stores with post-increment base updates:
208       VST1_UPD,
209       VST2_UPD,
210       VST3_UPD,
211       VST4_UPD,
212       VST2LN_UPD,
213       VST3LN_UPD,
214       VST4LN_UPD,
215
216       // 64-bit atomic ops (value split into two registers)
217       ATOMADD64_DAG,
218       ATOMSUB64_DAG,
219       ATOMOR64_DAG,
220       ATOMXOR64_DAG,
221       ATOMAND64_DAG,
222       ATOMNAND64_DAG,
223       ATOMSWAP64_DAG,
224       ATOMCMPXCHG64_DAG
225     };
226   }
227
228   /// Define some predicates that are used for node matching.
229   namespace ARM {
230     /// getVFPf32Imm / getVFPf64Imm - If the given fp immediate can be
231     /// materialized with a VMOV.f32 / VMOV.f64 (i.e. fconsts / fconstd)
232     /// instruction, returns its 8-bit integer representation. Otherwise,
233     /// returns -1.
234     int getVFPf32Imm(const APFloat &FPImm);
235     int getVFPf64Imm(const APFloat &FPImm);
236     bool isBitFieldInvertedMask(unsigned v);
237   }
238
239   //===--------------------------------------------------------------------===//
240   //  ARMTargetLowering - ARM Implementation of the TargetLowering interface
241
242   class ARMTargetLowering : public TargetLowering {
243   public:
244     explicit ARMTargetLowering(TargetMachine &TM);
245
246     virtual unsigned getJumpTableEncoding(void) const;
247
248     virtual SDValue LowerOperation(SDValue Op, SelectionDAG &DAG) const;
249
250     /// ReplaceNodeResults - Replace the results of node with an illegal result
251     /// type with new values built out of custom code.
252     ///
253     virtual void ReplaceNodeResults(SDNode *N, SmallVectorImpl<SDValue>&Results,
254                                     SelectionDAG &DAG) const;
255
256     virtual const char *getTargetNodeName(unsigned Opcode) const;
257
258     virtual MachineBasicBlock *
259       EmitInstrWithCustomInserter(MachineInstr *MI,
260                                   MachineBasicBlock *MBB) const;
261
262     virtual void
263     AdjustInstrPostInstrSelection(MachineInstr *MI, SDNode *Node) const;
264
265     SDValue PerformCMOVCombine(SDNode *N, SelectionDAG &DAG) const;
266     virtual SDValue PerformDAGCombine(SDNode *N, DAGCombinerInfo &DCI) const;
267
268     bool isDesirableToTransformToIntegerOp(unsigned Opc, EVT VT) const;
269
270     /// allowsUnalignedMemoryAccesses - Returns true if the target allows
271     /// unaligned memory accesses. of the specified type.
272     /// FIXME: Add getOptimalMemOpType to implement memcpy with NEON?
273     virtual bool allowsUnalignedMemoryAccesses(EVT VT) const;
274
275     /// isLegalAddressingMode - Return true if the addressing mode represented
276     /// by AM is legal for this target, for a load/store of the specified type.
277     virtual bool isLegalAddressingMode(const AddrMode &AM, Type *Ty)const;
278     bool isLegalT2ScaledAddressingMode(const AddrMode &AM, EVT VT) const;
279
280     /// isLegalICmpImmediate - Return true if the specified immediate is legal
281     /// icmp immediate, that is the target has icmp instructions which can
282     /// compare a register against the immediate without having to materialize
283     /// the immediate into a register.
284     virtual bool isLegalICmpImmediate(int64_t Imm) const;
285
286     /// isLegalAddImmediate - Return true if the specified immediate is legal
287     /// add immediate, that is the target has add instructions which can
288     /// add a register and the immediate without having to materialize
289     /// the immediate into a register.
290     virtual bool isLegalAddImmediate(int64_t Imm) const;
291
292     /// getPreIndexedAddressParts - returns true by value, base pointer and
293     /// offset pointer and addressing mode by reference if the node's address
294     /// can be legally represented as pre-indexed load / store address.
295     virtual bool getPreIndexedAddressParts(SDNode *N, SDValue &Base,
296                                            SDValue &Offset,
297                                            ISD::MemIndexedMode &AM,
298                                            SelectionDAG &DAG) const;
299
300     /// getPostIndexedAddressParts - returns true by value, base pointer and
301     /// offset pointer and addressing mode by reference if this node can be
302     /// combined with a load / store to form a post-indexed load / store.
303     virtual bool getPostIndexedAddressParts(SDNode *N, SDNode *Op,
304                                             SDValue &Base, SDValue &Offset,
305                                             ISD::MemIndexedMode &AM,
306                                             SelectionDAG &DAG) const;
307
308     virtual void computeMaskedBitsForTargetNode(const SDValue Op,
309                                                 const APInt &Mask,
310                                                 APInt &KnownZero,
311                                                 APInt &KnownOne,
312                                                 const SelectionDAG &DAG,
313                                                 unsigned Depth) const;
314
315
316     virtual bool ExpandInlineAsm(CallInst *CI) const;
317
318     ConstraintType getConstraintType(const std::string &Constraint) const;
319
320     /// Examine constraint string and operand type and determine a weight value.
321     /// The operand object must already have been set up with the operand type.
322     ConstraintWeight getSingleConstraintMatchWeight(
323       AsmOperandInfo &info, const char *constraint) const;
324
325     std::pair<unsigned, const TargetRegisterClass*>
326       getRegForInlineAsmConstraint(const std::string &Constraint,
327                                    EVT VT) const;
328
329     /// LowerAsmOperandForConstraint - Lower the specified operand into the Ops
330     /// vector.  If it is invalid, don't add anything to Ops. If hasMemory is
331     /// true it means one of the asm constraint of the inline asm instruction
332     /// being processed is 'm'.
333     virtual void LowerAsmOperandForConstraint(SDValue Op,
334                                               std::string &Constraint,
335                                               std::vector<SDValue> &Ops,
336                                               SelectionDAG &DAG) const;
337
338     const ARMSubtarget* getSubtarget() const {
339       return Subtarget;
340     }
341
342     /// getRegClassFor - Return the register class that should be used for the
343     /// specified value type.
344     virtual TargetRegisterClass *getRegClassFor(EVT VT) const;
345
346     /// getMaximalGlobalOffset - Returns the maximal possible offset which can
347     /// be used for loads / stores from the global.
348     virtual unsigned getMaximalGlobalOffset() const;
349
350     /// createFastISel - This method returns a target specific FastISel object,
351     /// or null if the target does not support "fast" ISel.
352     virtual FastISel *createFastISel(FunctionLoweringInfo &funcInfo) const;
353
354     Sched::Preference getSchedulingPreference(SDNode *N) const;
355
356     bool isShuffleMaskLegal(const SmallVectorImpl<int> &M, EVT VT) const;
357     bool isOffsetFoldingLegal(const GlobalAddressSDNode *GA) const;
358
359     /// isFPImmLegal - Returns true if the target can instruction select the
360     /// specified FP immediate natively. If false, the legalizer will
361     /// materialize the FP immediate as a load from a constant pool.
362     virtual bool isFPImmLegal(const APFloat &Imm, EVT VT) const;
363
364     virtual bool getTgtMemIntrinsic(IntrinsicInfo &Info,
365                                     const CallInst &I,
366                                     unsigned Intrinsic) const;
367   protected:
368     std::pair<const TargetRegisterClass*, uint8_t>
369     findRepresentativeClass(EVT VT) const;
370
371   private:
372     /// Subtarget - Keep a pointer to the ARMSubtarget around so that we can
373     /// make the right decision when generating code for different targets.
374     const ARMSubtarget *Subtarget;
375
376     const TargetRegisterInfo *RegInfo;
377
378     const InstrItineraryData *Itins;
379
380     /// ARMPCLabelIndex - Keep track of the number of ARM PC labels created.
381     ///
382     unsigned ARMPCLabelIndex;
383
384     void addTypeForNEON(EVT VT, EVT PromotedLdStVT, EVT PromotedBitwiseVT);
385     void addDRTypeForNEON(EVT VT);
386     void addQRTypeForNEON(EVT VT);
387
388     typedef SmallVector<std::pair<unsigned, SDValue>, 8> RegsToPassVector;
389     void PassF64ArgInRegs(DebugLoc dl, SelectionDAG &DAG,
390                           SDValue Chain, SDValue &Arg,
391                           RegsToPassVector &RegsToPass,
392                           CCValAssign &VA, CCValAssign &NextVA,
393                           SDValue &StackPtr,
394                           SmallVector<SDValue, 8> &MemOpChains,
395                           ISD::ArgFlagsTy Flags) const;
396     SDValue GetF64FormalArgument(CCValAssign &VA, CCValAssign &NextVA,
397                                  SDValue &Root, SelectionDAG &DAG,
398                                  DebugLoc dl) const;
399
400     CCAssignFn *CCAssignFnForNode(CallingConv::ID CC, bool Return,
401                                   bool isVarArg) const;
402     SDValue LowerMemOpCallTo(SDValue Chain, SDValue StackPtr, SDValue Arg,
403                              DebugLoc dl, SelectionDAG &DAG,
404                              const CCValAssign &VA,
405                              ISD::ArgFlagsTy Flags) const;
406     SDValue LowerEH_SJLJ_SETJMP(SDValue Op, SelectionDAG &DAG) const;
407     SDValue LowerEH_SJLJ_LONGJMP(SDValue Op, SelectionDAG &DAG) const;
408     SDValue LowerEH_SJLJ_DISPATCHSETUP(SDValue Op, SelectionDAG &DAG) const;
409     SDValue LowerINTRINSIC_WO_CHAIN(SDValue Op, SelectionDAG &DAG,
410                                     const ARMSubtarget *Subtarget) const;
411     SDValue LowerBlockAddress(SDValue Op, SelectionDAG &DAG) const;
412     SDValue LowerGlobalAddressDarwin(SDValue Op, SelectionDAG &DAG) const;
413     SDValue LowerGlobalAddressELF(SDValue Op, SelectionDAG &DAG) const;
414     SDValue LowerGlobalTLSAddress(SDValue Op, SelectionDAG &DAG) const;
415     SDValue LowerToTLSGeneralDynamicModel(GlobalAddressSDNode *GA,
416                                             SelectionDAG &DAG) const;
417     SDValue LowerToTLSExecModels(GlobalAddressSDNode *GA,
418                                    SelectionDAG &DAG) const;
419     SDValue LowerGLOBAL_OFFSET_TABLE(SDValue Op, SelectionDAG &DAG) const;
420     SDValue LowerBR_JT(SDValue Op, SelectionDAG &DAG) const;
421     SDValue LowerSELECT(SDValue Op, SelectionDAG &DAG) const;
422     SDValue LowerSELECT_CC(SDValue Op, SelectionDAG &DAG) const;
423     SDValue LowerBR_CC(SDValue Op, SelectionDAG &DAG) const;
424     SDValue LowerFCOPYSIGN(SDValue Op, SelectionDAG &DAG) const;
425     SDValue LowerRETURNADDR(SDValue Op, SelectionDAG &DAG) const;
426     SDValue LowerFRAMEADDR(SDValue Op, SelectionDAG &DAG) const;
427     SDValue LowerShiftRightParts(SDValue Op, SelectionDAG &DAG) const;
428     SDValue LowerShiftLeftParts(SDValue Op, SelectionDAG &DAG) const;
429     SDValue LowerFLT_ROUNDS_(SDValue Op, SelectionDAG &DAG) const;
430     SDValue LowerBUILD_VECTOR(SDValue Op, SelectionDAG &DAG,
431                               const ARMSubtarget *ST) const;
432
433     SDValue ReconstructShuffle(SDValue Op, SelectionDAG &DAG) const;
434
435     SDValue LowerCallResult(SDValue Chain, SDValue InFlag,
436                             CallingConv::ID CallConv, bool isVarArg,
437                             const SmallVectorImpl<ISD::InputArg> &Ins,
438                             DebugLoc dl, SelectionDAG &DAG,
439                             SmallVectorImpl<SDValue> &InVals) const;
440
441     virtual SDValue
442       LowerFormalArguments(SDValue Chain,
443                            CallingConv::ID CallConv, bool isVarArg,
444                            const SmallVectorImpl<ISD::InputArg> &Ins,
445                            DebugLoc dl, SelectionDAG &DAG,
446                            SmallVectorImpl<SDValue> &InVals) const;
447
448     void VarArgStyleRegisters(CCState &CCInfo, SelectionDAG &DAG,
449                               DebugLoc dl, SDValue &Chain, unsigned ArgOffset)
450       const;
451
452     void computeRegArea(CCState &CCInfo, MachineFunction &MF,
453                         unsigned &VARegSize, unsigned &VARegSaveSize) const;
454
455     virtual SDValue
456       LowerCall(SDValue Chain, SDValue Callee,
457                 CallingConv::ID CallConv, bool isVarArg,
458                 bool &isTailCall,
459                 const SmallVectorImpl<ISD::OutputArg> &Outs,
460                 const SmallVectorImpl<SDValue> &OutVals,
461                 const SmallVectorImpl<ISD::InputArg> &Ins,
462                 DebugLoc dl, SelectionDAG &DAG,
463                 SmallVectorImpl<SDValue> &InVals) const;
464
465     /// HandleByVal - Target-specific cleanup for ByVal support.
466     virtual void HandleByVal(CCState *, unsigned &) const;
467
468     /// IsEligibleForTailCallOptimization - Check whether the call is eligible
469     /// for tail call optimization. Targets which want to do tail call
470     /// optimization should implement this function.
471     bool IsEligibleForTailCallOptimization(SDValue Callee,
472                                            CallingConv::ID CalleeCC,
473                                            bool isVarArg,
474                                            bool isCalleeStructRet,
475                                            bool isCallerStructRet,
476                                     const SmallVectorImpl<ISD::OutputArg> &Outs,
477                                     const SmallVectorImpl<SDValue> &OutVals,
478                                     const SmallVectorImpl<ISD::InputArg> &Ins,
479                                            SelectionDAG& DAG) const;
480     virtual SDValue
481       LowerReturn(SDValue Chain,
482                   CallingConv::ID CallConv, bool isVarArg,
483                   const SmallVectorImpl<ISD::OutputArg> &Outs,
484                   const SmallVectorImpl<SDValue> &OutVals,
485                   DebugLoc dl, SelectionDAG &DAG) const;
486
487     virtual bool isUsedByReturnOnly(SDNode *N) const;
488
489     virtual bool mayBeEmittedAsTailCall(CallInst *CI) const;
490
491     SDValue getARMCmp(SDValue LHS, SDValue RHS, ISD::CondCode CC,
492                       SDValue &ARMcc, SelectionDAG &DAG, DebugLoc dl) const;
493     SDValue getVFPCmp(SDValue LHS, SDValue RHS,
494                       SelectionDAG &DAG, DebugLoc dl) const;
495     SDValue duplicateCmp(SDValue Cmp, SelectionDAG &DAG) const;
496
497     SDValue OptimizeVFPBrcond(SDValue Op, SelectionDAG &DAG) const;
498
499     MachineBasicBlock *EmitAtomicCmpSwap(MachineInstr *MI,
500                                          MachineBasicBlock *BB,
501                                          unsigned Size) const;
502     MachineBasicBlock *EmitAtomicBinary(MachineInstr *MI,
503                                         MachineBasicBlock *BB,
504                                         unsigned Size,
505                                         unsigned BinOpcode) const;
506     MachineBasicBlock *EmitAtomicBinary64(MachineInstr *MI,
507                                           MachineBasicBlock *BB,
508                                           unsigned Op1,
509                                           unsigned Op2,
510                                           bool NeedsCarry = false,
511                                           bool IsCmpxchg = false) const;
512     MachineBasicBlock * EmitAtomicBinaryMinMax(MachineInstr *MI,
513                                                MachineBasicBlock *BB,
514                                                unsigned Size,
515                                                bool signExtend,
516                                                ARMCC::CondCodes Cond) const;
517
518     bool RemapAddSubWithFlags(MachineInstr *MI, MachineBasicBlock *BB) const;
519   };
520
521   enum NEONModImmType {
522     VMOVModImm,
523     VMVNModImm,
524     OtherModImm
525   };
526
527
528   namespace ARM {
529     FastISel *createFastISel(FunctionLoweringInfo &funcInfo);
530   }
531 }
532
533 #endif  // ARMISELLOWERING_H