Match tblgen changes.
[oota-llvm.git] / lib / Target / Alpha / AlphaISelDAGToDAG.cpp
1 //===-- AlphaISelDAGToDAG.cpp - Alpha pattern matching inst selector ------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file was developed by Andrew Lenharth and is distributed under
6 // the University of Illinois Open Source License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines a pattern matching instruction selector for Alpha,
11 // converting from a legalized dag to a Alpha dag.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #include "Alpha.h"
16 #include "AlphaTargetMachine.h"
17 #include "AlphaISelLowering.h"
18 #include "llvm/CodeGen/MachineInstrBuilder.h"
19 #include "llvm/CodeGen/MachineFrameInfo.h"
20 #include "llvm/CodeGen/MachineFunction.h"
21 #include "llvm/CodeGen/SSARegMap.h"
22 #include "llvm/CodeGen/SelectionDAG.h"
23 #include "llvm/CodeGen/SelectionDAGISel.h"
24 #include "llvm/Target/TargetOptions.h"
25 #include "llvm/ADT/Statistic.h"
26 #include "llvm/Constants.h"
27 #include "llvm/GlobalValue.h"
28 #include "llvm/Intrinsics.h"
29 #include "llvm/Support/Debug.h"
30 #include "llvm/Support/MathExtras.h"
31 #include <algorithm>
32 #include <iostream>
33 #include <queue>
34 #include <set>
35 using namespace llvm;
36
37 namespace {
38
39   //===--------------------------------------------------------------------===//
40   /// AlphaDAGToDAGISel - Alpha specific code to select Alpha machine
41   /// instructions for SelectionDAG operations.
42   class AlphaDAGToDAGISel : public SelectionDAGISel {
43     AlphaTargetLowering AlphaLowering;
44
45     static const int64_t IMM_LOW  = -32768;
46     static const int64_t IMM_HIGH = 32767;
47     static const int64_t IMM_MULT = 65536;
48     static const int64_t IMM_FULLHIGH = IMM_HIGH + IMM_HIGH * IMM_MULT;
49     static const int64_t IMM_FULLLOW = IMM_LOW + IMM_LOW  * IMM_MULT;
50
51     static int64_t get_ldah16(int64_t x) {
52       int64_t y = x / IMM_MULT;
53       if (x % IMM_MULT > IMM_HIGH)
54         ++y;
55       return y;
56     }
57
58     static int64_t get_lda16(int64_t x) {
59       return x - get_ldah16(x) * IMM_MULT;
60     }
61
62     static uint64_t get_zapImm(uint64_t x) {
63       unsigned int build = 0;
64       for(int i = 0; i < 8; ++i)
65         {
66           if ((x & 0x00FF) == 0x00FF)
67             build |= 1 << i;
68           else if ((x & 0x00FF) != 0)
69             { build = 0; break; }
70           x >>= 8;
71         }
72       return build;
73     }
74
75     static uint64_t getNearPower2(uint64_t x) {
76       if (!x) return 0;
77       unsigned at = CountLeadingZeros_64(x);
78       uint64_t complow = 1 << (63 - at);
79       uint64_t comphigh = 1 << (64 - at);
80       //std::cerr << x << ":" << complow << ":" << comphigh << "\n";
81       if (abs(complow - x) <= abs(comphigh - x))
82         return complow;
83       else
84         return comphigh;
85     }
86
87     static bool isFPZ(SDOperand N) {
88       ConstantFPSDNode *CN = dyn_cast<ConstantFPSDNode>(N);
89       return (CN && (CN->isExactlyValue(+0.0) || CN->isExactlyValue(-0.0)));
90     }
91     static bool isFPZn(SDOperand N) {
92       ConstantFPSDNode *CN = dyn_cast<ConstantFPSDNode>(N);
93       return (CN && CN->isExactlyValue(-0.0));
94     }
95     static bool isFPZp(SDOperand N) {
96       ConstantFPSDNode *CN = dyn_cast<ConstantFPSDNode>(N);
97       return (CN && CN->isExactlyValue(+0.0));
98     }
99
100   public:
101     AlphaDAGToDAGISel(TargetMachine &TM)
102       : SelectionDAGISel(AlphaLowering), AlphaLowering(TM) 
103     {}
104
105     /// getI64Imm - Return a target constant with the specified value, of type
106     /// i64.
107     inline SDOperand getI64Imm(int64_t Imm) {
108       return CurDAG->getTargetConstant(Imm, MVT::i64);
109     }
110
111     // Select - Convert the specified operand from a target-independent to a
112     // target-specific node if it hasn't already been changed.
113     SDNode *Select(SDOperand &Result, SDOperand Op);
114     
115     /// InstructionSelectBasicBlock - This callback is invoked by
116     /// SelectionDAGISel when it has created a SelectionDAG for us to codegen.
117     virtual void InstructionSelectBasicBlock(SelectionDAG &DAG);
118     
119     virtual const char *getPassName() const {
120       return "Alpha DAG->DAG Pattern Instruction Selection";
121     } 
122
123     /// SelectInlineAsmMemoryOperand - Implement addressing mode selection for
124     /// inline asm expressions.
125     virtual bool SelectInlineAsmMemoryOperand(const SDOperand &Op,
126                                               char ConstraintCode,
127                                               std::vector<SDOperand> &OutOps,
128                                               SelectionDAG &DAG) {
129       SDOperand Op0;
130       switch (ConstraintCode) {
131       default: return true;
132       case 'm':   // memory
133         Op0 = Op;
134         AddToISelQueue(Op0);
135         break;
136       }
137       
138       OutOps.push_back(Op0);
139       return false;
140     }
141     
142 // Include the pieces autogenerated from the target description.
143 #include "AlphaGenDAGISel.inc"
144     
145 private:
146     SDOperand getGlobalBaseReg();
147     SDOperand getGlobalRetAddr();
148     SDOperand SelectCALL(SDOperand Op);
149
150   };
151 }
152
153 /// getGlobalBaseReg - Output the instructions required to put the
154 /// GOT address into a register.
155 ///
156 SDOperand AlphaDAGToDAGISel::getGlobalBaseReg() {
157   return CurDAG->getCopyFromReg(CurDAG->getEntryNode(), 
158                                 AlphaLowering.getVRegGP(), 
159                                 MVT::i64);
160 }
161
162 /// getRASaveReg - Grab the return address
163 ///
164 SDOperand AlphaDAGToDAGISel::getGlobalRetAddr() {
165   return CurDAG->getCopyFromReg(CurDAG->getEntryNode(),
166                                 AlphaLowering.getVRegRA(), 
167                                 MVT::i64);
168 }
169
170 /// InstructionSelectBasicBlock - This callback is invoked by
171 /// SelectionDAGISel when it has created a SelectionDAG for us to codegen.
172 void AlphaDAGToDAGISel::InstructionSelectBasicBlock(SelectionDAG &DAG) {
173   DEBUG(BB->dump());
174   
175   // Select target instructions for the DAG.
176   DAG.setRoot(SelectRoot(DAG.getRoot()));
177   DAG.RemoveDeadNodes();
178   
179   // Emit machine code to BB. 
180   ScheduleAndEmitDAG(DAG);
181 }
182
183 // Select - Convert the specified operand from a target-independent to a
184 // target-specific node if it hasn't already been changed.
185 SDNode *AlphaDAGToDAGISel::Select(SDOperand &Result, SDOperand Op) {
186   SDNode *N = Op.Val;
187   if (N->getOpcode() >= ISD::BUILTIN_OP_END &&
188       N->getOpcode() < AlphaISD::FIRST_NUMBER) {
189     Result = Op;
190     return NULL;   // Already selected.
191   }
192
193   switch (N->getOpcode()) {
194   default: break;
195   case AlphaISD::CALL:
196     Result = SelectCALL(Op);
197     return NULL;
198
199   case ISD::FrameIndex: {
200     int FI = cast<FrameIndexSDNode>(N)->getIndex();
201     return CurDAG->SelectNodeTo(N, Alpha::LDA, MVT::i64,
202                                 CurDAG->getTargetFrameIndex(FI, MVT::i32),
203                                 getI64Imm(0)).Val;
204   }
205   case AlphaISD::GlobalBaseReg: 
206     Result = getGlobalBaseReg();
207     ReplaceUses(Op, Result);
208     return NULL;
209   case AlphaISD::GlobalRetAddr:
210     Result = getGlobalRetAddr();
211     ReplaceUses(Op, Result);
212     return NULL;
213   
214   case AlphaISD::DivCall: {
215     SDOperand Chain = CurDAG->getEntryNode();
216     SDOperand N0 = Op.getOperand(0);
217     SDOperand N1 = Op.getOperand(1);
218     SDOperand N2 = Op.getOperand(2);
219     AddToISelQueue(N0);
220     AddToISelQueue(N1);
221     AddToISelQueue(N2);
222     Chain = CurDAG->getCopyToReg(Chain, Alpha::R24, N1, 
223                                  SDOperand(0,0));
224     Chain = CurDAG->getCopyToReg(Chain, Alpha::R25, N2, 
225                                  Chain.getValue(1));
226     Chain = CurDAG->getCopyToReg(Chain, Alpha::R27, N0, 
227                                  Chain.getValue(1));
228     SDNode *CNode =
229       CurDAG->getTargetNode(Alpha::JSRs, MVT::Other, MVT::Flag, 
230                             Chain, Chain.getValue(1));
231     Chain = CurDAG->getCopyFromReg(Chain, Alpha::R27, MVT::i64, 
232                                   SDOperand(CNode, 1));
233     return CurDAG->SelectNodeTo(N, Alpha::BIS, MVT::i64, Chain, Chain).Val;
234   }
235
236   case ISD::READCYCLECOUNTER: {
237     SDOperand Chain = N->getOperand(0);
238     AddToISelQueue(Chain); //Select chain
239     Result = SDOperand(CurDAG->getTargetNode(Alpha::RPCC, MVT::i64, MVT::Other,
240                                              Chain), Op.ResNo);
241     return Result.Val;
242   }
243
244   case ISD::Constant: {
245     uint64_t uval = cast<ConstantSDNode>(N)->getValue();
246     
247     if (uval == 0) {
248       Result = CurDAG->getCopyFromReg(CurDAG->getEntryNode(), Alpha::R31,
249                                       MVT::i64);
250       ReplaceUses(Op, Result);
251       return NULL;
252     }
253
254     int64_t val = (int64_t)uval;
255     int32_t val32 = (int32_t)val;
256     if (val <= IMM_HIGH + IMM_HIGH * IMM_MULT &&
257         val >= IMM_LOW  + IMM_LOW  * IMM_MULT)
258       break; //(LDAH (LDA))
259     if ((uval >> 32) == 0 && //empty upper bits
260         val32 <= IMM_HIGH + IMM_HIGH * IMM_MULT)
261       //        val32 >= IMM_LOW  + IMM_LOW  * IMM_MULT) //always true
262       break; //(zext (LDAH (LDA)))
263     //Else use the constant pool
264     MachineConstantPool *CP = BB->getParent()->getConstantPool();
265     ConstantUInt *C =
266       ConstantUInt::get(Type::getPrimitiveType(Type::ULongTyID) , uval);
267     SDOperand CPI = CurDAG->getTargetConstantPool(C, MVT::i64);
268     SDNode *Tmp = CurDAG->getTargetNode(Alpha::LDAHr, MVT::i64, CPI,
269                                         getGlobalBaseReg());
270     return CurDAG->SelectNodeTo(N, Alpha::LDQr, MVT::i64, MVT::Other, 
271                             CPI, SDOperand(Tmp, 0), CurDAG->getEntryNode()).Val;
272   }
273   case ISD::TargetConstantFP: {
274     ConstantFPSDNode *CN = cast<ConstantFPSDNode>(N);
275     bool isDouble = N->getValueType(0) == MVT::f64;
276     MVT::ValueType T = isDouble ? MVT::f64 : MVT::f32;
277     if (CN->isExactlyValue(+0.0)) {
278       return CurDAG->SelectNodeTo(N, isDouble ? Alpha::CPYST : Alpha::CPYSS,
279                                   T, CurDAG->getRegister(Alpha::F31, T),
280                                   CurDAG->getRegister(Alpha::F31, T)).Val;
281     } else if ( CN->isExactlyValue(-0.0)) {
282       return CurDAG->SelectNodeTo(N, isDouble ? Alpha::CPYSNT : Alpha::CPYSNS,
283                                   T, CurDAG->getRegister(Alpha::F31, T),
284                                   CurDAG->getRegister(Alpha::F31, T)).Val;
285     } else {
286       abort();
287     }
288     break;
289   }
290
291   case ISD::SETCC:
292     if (MVT::isFloatingPoint(N->getOperand(0).Val->getValueType(0))) {
293       unsigned Opc = Alpha::WTF;
294       ISD::CondCode CC = cast<CondCodeSDNode>(N->getOperand(2))->get();
295       bool rev = false;
296       bool isNE = false;
297       switch(CC) {
298       default: DEBUG(N->dump()); assert(0 && "Unknown FP comparison!");
299       case ISD::SETEQ: case ISD::SETOEQ: case ISD::SETUEQ: Opc = Alpha::CMPTEQ; break;
300       case ISD::SETLT: case ISD::SETOLT: case ISD::SETULT: Opc = Alpha::CMPTLT; break;
301       case ISD::SETLE: case ISD::SETOLE: case ISD::SETULE: Opc = Alpha::CMPTLE; break;
302       case ISD::SETGT: case ISD::SETOGT: case ISD::SETUGT: Opc = Alpha::CMPTLT; rev = true; break;
303       case ISD::SETGE: case ISD::SETOGE: case ISD::SETUGE: Opc = Alpha::CMPTLE; rev = true; break;
304       case ISD::SETNE: case ISD::SETONE: case ISD::SETUNE: Opc = Alpha::CMPTEQ; isNE = true; break;
305       };
306       SDOperand tmp1 = N->getOperand(0);
307       SDOperand tmp2 = N->getOperand(1);
308       AddToISelQueue(tmp1);
309       AddToISelQueue(tmp2);
310       SDNode *cmp = CurDAG->getTargetNode(Opc, MVT::f64, 
311                                           rev?tmp2:tmp1,
312                                           rev?tmp1:tmp2);
313       if (isNE) 
314         cmp = CurDAG->getTargetNode(Alpha::CMPTEQ, MVT::f64, SDOperand(cmp, 0), 
315                                     CurDAG->getRegister(Alpha::F31, MVT::f64));
316       
317       SDOperand LD;
318       if (AlphaLowering.hasITOF()) {
319         LD = CurDAG->getNode(AlphaISD::FTOIT_, MVT::i64, SDOperand(cmp, 0));
320       } else {
321         int FrameIdx =
322           CurDAG->getMachineFunction().getFrameInfo()->CreateStackObject(8, 8);
323         SDOperand FI = CurDAG->getFrameIndex(FrameIdx, MVT::i64);
324         SDOperand ST =
325           SDOperand(CurDAG->getTargetNode(Alpha::STT, MVT::Other, 
326                                           SDOperand(cmp, 0), FI,
327                                           CurDAG->getRegister(Alpha::R31, MVT::i64)), 0);
328         LD = SDOperand(CurDAG->getTargetNode(Alpha::LDQ, MVT::i64, FI, 
329                                              CurDAG->getRegister(Alpha::R31, MVT::i64),
330                                              ST), 0);
331       }
332       Result = SDOperand(CurDAG->getTargetNode(Alpha::CMPULT, MVT::i64, 
333                                                CurDAG->getRegister(Alpha::R31, MVT::i64),
334                                                LD), 0);
335       return Result.Val;
336     }
337     break;
338
339   case ISD::SELECT:
340     if (MVT::isFloatingPoint(N->getValueType(0)) &&
341         (N->getOperand(0).getOpcode() != ISD::SETCC ||
342          !MVT::isFloatingPoint(N->getOperand(0).getOperand(1).getValueType()))) {
343       //This should be the condition not covered by the Patterns
344       //FIXME: Don't have SelectCode die, but rather return something testable
345       // so that things like this can be caught in fall though code
346       //move int to fp
347       bool isDouble = N->getValueType(0) == MVT::f64;
348       SDOperand LD;
349       SDOperand cond = N->getOperand(0);
350       SDOperand TV = N->getOperand(1);
351       SDOperand FV = N->getOperand(2);
352       AddToISelQueue(cond);
353       AddToISelQueue(TV);
354       AddToISelQueue(FV);
355       
356       if (AlphaLowering.hasITOF()) {
357         LD = CurDAG->getNode(AlphaISD::ITOFT_, MVT::f64, cond);
358       } else {
359         int FrameIdx =
360           CurDAG->getMachineFunction().getFrameInfo()->CreateStackObject(8, 8);
361         SDOperand FI = CurDAG->getFrameIndex(FrameIdx, MVT::i64);
362         SDOperand ST =
363           SDOperand(CurDAG->getTargetNode(Alpha::STQ, MVT::Other,
364                                           cond, FI, CurDAG->getRegister(Alpha::R31, MVT::i64)), 0);
365         LD = SDOperand(CurDAG->getTargetNode(Alpha::LDT, MVT::f64, FI,
366                                              CurDAG->getRegister(Alpha::R31, MVT::i64),
367                                              ST), 0);
368       }
369       Result = SDOperand(CurDAG->getTargetNode(isDouble?Alpha::FCMOVNET:Alpha::FCMOVNES,
370                                                MVT::f64, FV, TV, LD), 0);
371       return Result.Val;
372     }
373     break;
374
375   case ISD::AND: {
376     ConstantSDNode* SC = NULL;
377     ConstantSDNode* MC = NULL;
378     if (N->getOperand(0).getOpcode() == ISD::SRL &&
379         (MC = dyn_cast<ConstantSDNode>(N->getOperand(1))) &&
380         (SC = dyn_cast<ConstantSDNode>(N->getOperand(0).getOperand(1))))
381       {
382         uint64_t sval = SC->getValue();
383         uint64_t mval = MC->getValue();
384         if (get_zapImm(mval)) //the result is a zap, let the autogened stuff deal
385           break;
386         // given mask X, and shift S, we want to see if there is any zap in the mask
387         // if we play around with the botton S bits
388         uint64_t dontcare = (~0ULL) >> (64 - sval);
389         uint64_t mask = mval << sval;
390
391         if (get_zapImm(mask | dontcare))
392           mask = mask | dontcare;
393
394         if (get_zapImm(mask)) {
395           AddToISelQueue(N->getOperand(0).getOperand(0));
396           SDOperand Z = 
397             SDOperand(CurDAG->getTargetNode(Alpha::ZAPNOTi, MVT::i64,
398                                             N->getOperand(0).getOperand(0),
399                                             getI64Imm(get_zapImm(mask))), 0);
400           Result = SDOperand(CurDAG->getTargetNode(Alpha::SRL, MVT::i64, Z, 
401                                                    getI64Imm(sval)), 0);
402           return Result.Val;
403         }
404       }
405     break;
406   }
407
408   }
409
410   return SelectCode(Result, Op);
411 }
412
413 SDOperand AlphaDAGToDAGISel::SelectCALL(SDOperand Op) {
414   //TODO: add flag stuff to prevent nondeturministic breakage!
415
416   SDNode *N = Op.Val;
417   SDOperand Chain = N->getOperand(0);
418   SDOperand Addr = N->getOperand(1);
419   SDOperand InFlag(0,0);  // Null incoming flag value.
420   AddToISelQueue(Chain);
421
422    std::vector<SDOperand> CallOperands;
423    std::vector<MVT::ValueType> TypeOperands;
424   
425    //grab the arguments
426    for(int i = 2, e = N->getNumOperands(); i < e; ++i) {
427      TypeOperands.push_back(N->getOperand(i).getValueType());
428      AddToISelQueue(N->getOperand(i));
429      CallOperands.push_back(N->getOperand(i));
430    }
431    int count = N->getNumOperands() - 2;
432
433    static const unsigned args_int[] = {Alpha::R16, Alpha::R17, Alpha::R18,
434                                        Alpha::R19, Alpha::R20, Alpha::R21};
435    static const unsigned args_float[] = {Alpha::F16, Alpha::F17, Alpha::F18,
436                                          Alpha::F19, Alpha::F20, Alpha::F21};
437    
438    for (int i = 6; i < count; ++i) {
439      unsigned Opc = Alpha::WTF;
440      if (MVT::isInteger(TypeOperands[i])) {
441        Opc = Alpha::STQ;
442      } else if (TypeOperands[i] == MVT::f32) {
443        Opc = Alpha::STS;
444      } else if (TypeOperands[i] == MVT::f64) {
445        Opc = Alpha::STT;
446      } else
447        assert(0 && "Unknown operand"); 
448      Chain = SDOperand(CurDAG->getTargetNode(Opc, MVT::Other, CallOperands[i], 
449                                              getI64Imm((i - 6) * 8), 
450                                              CurDAG->getCopyFromReg(Chain, Alpha::R30, MVT::i64),
451                                              Chain), 0);
452    }
453    for (int i = 0; i < std::min(6, count); ++i) {
454      if (MVT::isInteger(TypeOperands[i])) {
455        Chain = CurDAG->getCopyToReg(Chain, args_int[i], CallOperands[i], InFlag);
456        InFlag = Chain.getValue(1);
457      } else if (TypeOperands[i] == MVT::f32 || TypeOperands[i] == MVT::f64) {
458        Chain = CurDAG->getCopyToReg(Chain, args_float[i], CallOperands[i], InFlag);
459        InFlag = Chain.getValue(1);
460      } else
461        assert(0 && "Unknown operand"); 
462    }
463
464    // Finally, once everything is in registers to pass to the call, emit the
465    // call itself.
466    if (Addr.getOpcode() == AlphaISD::GPRelLo) {
467      SDOperand GOT = getGlobalBaseReg();
468      Chain = CurDAG->getCopyToReg(Chain, Alpha::R29, GOT, InFlag);
469      InFlag = Chain.getValue(1);
470      Chain = SDOperand(CurDAG->getTargetNode(Alpha::BSR, MVT::Other, MVT::Flag, 
471                                              Addr.getOperand(0), Chain, InFlag), 0);
472    } else {
473      AddToISelQueue(Addr);
474      Chain = CurDAG->getCopyToReg(Chain, Alpha::R27, Addr, InFlag);
475      InFlag = Chain.getValue(1);
476      Chain = SDOperand(CurDAG->getTargetNode(Alpha::JSR, MVT::Other, MVT::Flag, 
477                                              Chain, InFlag), 0);
478    }
479    InFlag = Chain.getValue(1);
480
481    std::vector<SDOperand> CallResults;
482   
483    switch (N->getValueType(0)) {
484    default: assert(0 && "Unexpected ret value!");
485      case MVT::Other: break;
486    case MVT::i64:
487      Chain = CurDAG->getCopyFromReg(Chain, Alpha::R0, MVT::i64, InFlag).getValue(1);
488      CallResults.push_back(Chain.getValue(0));
489      break;
490    case MVT::f32:
491      Chain = CurDAG->getCopyFromReg(Chain, Alpha::F0, MVT::f32, InFlag).getValue(1);
492      CallResults.push_back(Chain.getValue(0));
493      break;
494    case MVT::f64:
495      Chain = CurDAG->getCopyFromReg(Chain, Alpha::F0, MVT::f64, InFlag).getValue(1);
496      CallResults.push_back(Chain.getValue(0));
497      break;
498    }
499
500    CallResults.push_back(Chain);
501    for (unsigned i = 0, e = CallResults.size(); i != e; ++i)
502      ReplaceUses(Op.getValue(i), CallResults[i]);
503    return CallResults[Op.ResNo];
504 }
505
506
507 /// createAlphaISelDag - This pass converts a legalized DAG into a 
508 /// Alpha-specific DAG, ready for instruction scheduling.
509 ///
510 FunctionPass *llvm::createAlphaISelDag(TargetMachine &TM) {
511   return new AlphaDAGToDAGISel(TM);
512 }