Misc. SSE2 intrinsics: clflush, lfench, mfence
[oota-llvm.git] / lib / Target / Alpha / AlphaISelDAGToDAG.cpp
1 //===-- AlphaISelDAGToDAG.cpp - Alpha pattern matching inst selector ------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file was developed by Andrew Lenharth and is distributed under
6 // the University of Illinois Open Source License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines a pattern matching instruction selector for Alpha,
11 // converting from a legalized dag to a Alpha dag.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #include "Alpha.h"
16 #include "AlphaTargetMachine.h"
17 #include "AlphaISelLowering.h"
18 #include "llvm/CodeGen/MachineInstrBuilder.h"
19 #include "llvm/CodeGen/MachineFrameInfo.h"
20 #include "llvm/CodeGen/MachineFunction.h"
21 #include "llvm/CodeGen/SSARegMap.h"
22 #include "llvm/CodeGen/SelectionDAG.h"
23 #include "llvm/CodeGen/SelectionDAGISel.h"
24 #include "llvm/Target/TargetOptions.h"
25 #include "llvm/ADT/Statistic.h"
26 #include "llvm/Constants.h"
27 #include "llvm/GlobalValue.h"
28 #include "llvm/Intrinsics.h"
29 #include "llvm/Support/Debug.h"
30 #include "llvm/Support/MathExtras.h"
31 #include <algorithm>
32 #include <iostream>
33 #include <set>
34 using namespace llvm;
35
36 namespace {
37
38   //===--------------------------------------------------------------------===//
39   /// AlphaDAGToDAGISel - Alpha specific code to select Alpha machine
40   /// instructions for SelectionDAG operations.
41   class AlphaDAGToDAGISel : public SelectionDAGISel {
42     AlphaTargetLowering AlphaLowering;
43
44     static const int64_t IMM_LOW  = -32768;
45     static const int64_t IMM_HIGH = 32767;
46     static const int64_t IMM_MULT = 65536;
47     static const int64_t IMM_FULLHIGH = IMM_HIGH + IMM_HIGH * IMM_MULT;
48     static const int64_t IMM_FULLLOW = IMM_LOW + IMM_LOW  * IMM_MULT;
49
50     static int64_t get_ldah16(int64_t x) {
51       int64_t y = x / IMM_MULT;
52       if (x % IMM_MULT > IMM_HIGH)
53         ++y;
54       return y;
55     }
56
57     static int64_t get_lda16(int64_t x) {
58       return x - get_ldah16(x) * IMM_MULT;
59     }
60
61     static uint64_t get_zapImm(uint64_t x) {
62       unsigned int build = 0;
63       for(int i = 0; i < 8; ++i)
64         {
65           if ((x & 0x00FF) == 0x00FF)
66             build |= 1 << i;
67           else if ((x & 0x00FF) != 0)
68             { build = 0; break; }
69           x >>= 8;
70         }
71       return build;
72     }
73
74     static uint64_t getNearPower2(uint64_t x) {
75       if (!x) return 0;
76       unsigned at = CountLeadingZeros_64(x);
77       uint64_t complow = 1 << (63 - at);
78       uint64_t comphigh = 1 << (64 - at);
79       //std::cerr << x << ":" << complow << ":" << comphigh << "\n";
80       if (abs(complow - x) <= abs(comphigh - x))
81         return complow;
82       else
83         return comphigh;
84     }
85
86     static bool isFPZ(SDOperand N) {
87       ConstantFPSDNode *CN = dyn_cast<ConstantFPSDNode>(N);
88       return (CN && (CN->isExactlyValue(+0.0) || CN->isExactlyValue(-0.0)));
89     }
90     static bool isFPZn(SDOperand N) {
91       ConstantFPSDNode *CN = dyn_cast<ConstantFPSDNode>(N);
92       return (CN && CN->isExactlyValue(-0.0));
93     }
94     static bool isFPZp(SDOperand N) {
95       ConstantFPSDNode *CN = dyn_cast<ConstantFPSDNode>(N);
96       return (CN && CN->isExactlyValue(+0.0));
97     }
98
99   public:
100     AlphaDAGToDAGISel(TargetMachine &TM)
101       : SelectionDAGISel(AlphaLowering), AlphaLowering(TM) 
102     {}
103
104     /// getI64Imm - Return a target constant with the specified value, of type
105     /// i64.
106     inline SDOperand getI64Imm(int64_t Imm) {
107       return CurDAG->getTargetConstant(Imm, MVT::i64);
108     }
109
110     // Select - Convert the specified operand from a target-independent to a
111     // target-specific node if it hasn't already been changed.
112     void Select(SDOperand &Result, SDOperand Op);
113     
114     /// InstructionSelectBasicBlock - This callback is invoked by
115     /// SelectionDAGISel when it has created a SelectionDAG for us to codegen.
116     virtual void InstructionSelectBasicBlock(SelectionDAG &DAG);
117     
118     virtual const char *getPassName() const {
119       return "Alpha DAG->DAG Pattern Instruction Selection";
120     } 
121
122 // Include the pieces autogenerated from the target description.
123 #include "AlphaGenDAGISel.inc"
124     
125 private:
126     SDOperand getGlobalBaseReg();
127     SDOperand getRASaveReg();
128     SDOperand SelectCALL(SDOperand Op);
129
130   };
131 }
132
133 /// getGlobalBaseReg - Output the instructions required to put the
134 /// GOT address into a register.
135 ///
136 SDOperand AlphaDAGToDAGISel::getGlobalBaseReg() {
137   return CurDAG->getCopyFromReg(CurDAG->getEntryNode(), 
138                                 AlphaLowering.getVRegGP(), 
139                                 MVT::i64);
140 }
141
142 /// getRASaveReg - Grab the return address
143 ///
144 SDOperand AlphaDAGToDAGISel::getRASaveReg() {
145   return CurDAG->getCopyFromReg(CurDAG->getEntryNode(),
146                                 AlphaLowering.getVRegRA(), 
147                                 MVT::i64);
148 }
149
150 /// InstructionSelectBasicBlock - This callback is invoked by
151 /// SelectionDAGISel when it has created a SelectionDAG for us to codegen.
152 void AlphaDAGToDAGISel::InstructionSelectBasicBlock(SelectionDAG &DAG) {
153   DEBUG(BB->dump());
154   
155   // Select target instructions for the DAG.
156   DAG.setRoot(SelectRoot(DAG.getRoot()));
157   CodeGenMap.clear();
158   DAG.RemoveDeadNodes();
159   
160   // Emit machine code to BB. 
161   ScheduleAndEmitDAG(DAG);
162 }
163
164 // Select - Convert the specified operand from a target-independent to a
165 // target-specific node if it hasn't already been changed.
166 void AlphaDAGToDAGISel::Select(SDOperand &Result, SDOperand Op) {
167   SDNode *N = Op.Val;
168   if (N->getOpcode() >= ISD::BUILTIN_OP_END &&
169       N->getOpcode() < AlphaISD::FIRST_NUMBER) {
170     Result = Op;
171     return;   // Already selected.
172   }
173
174   // If this has already been converted, use it.
175   std::map<SDOperand, SDOperand>::iterator CGMI = CodeGenMap.find(Op);
176   if (CGMI != CodeGenMap.end()) {
177     Result = CGMI->second;
178     return;
179   }
180
181   switch (N->getOpcode()) {
182   default: break;
183   case AlphaISD::CALL:
184     Result = SelectCALL(Op);
185     return;
186
187   case ISD::FrameIndex: {
188     int FI = cast<FrameIndexSDNode>(N)->getIndex();
189     Result = CurDAG->SelectNodeTo(N, Alpha::LDA, MVT::i64,
190                                   CurDAG->getTargetFrameIndex(FI, MVT::i32),
191                                   getI64Imm(0));
192     return;
193   }
194   case AlphaISD::GlobalBaseReg: 
195     Result = getGlobalBaseReg();
196     return;
197   
198   case AlphaISD::DivCall: {
199     SDOperand Chain = CurDAG->getEntryNode();
200     SDOperand N0, N1, N2;
201     Select(N0, Op.getOperand(0));
202     Select(N1, Op.getOperand(1));
203     Select(N2, Op.getOperand(2));
204     Chain = CurDAG->getCopyToReg(Chain, Alpha::R24, N1, 
205                                  SDOperand(0,0));
206     Chain = CurDAG->getCopyToReg(Chain, Alpha::R25, N2, 
207                                  Chain.getValue(1));
208     Chain = CurDAG->getCopyToReg(Chain, Alpha::R27, N0, 
209                                  Chain.getValue(1));
210     SDNode *CNode =
211       CurDAG->getTargetNode(Alpha::JSRs, MVT::Other, MVT::Flag, 
212                             Chain, Chain.getValue(1));
213     Chain = CurDAG->getCopyFromReg(Chain, Alpha::R27, MVT::i64, 
214                                   SDOperand(CNode, 1));
215     Result = CurDAG->SelectNodeTo(N, Alpha::BIS, MVT::i64, Chain, Chain);
216     return;
217   }
218
219   case ISD::READCYCLECOUNTER: {
220     SDOperand Chain;
221     Select(Chain, N->getOperand(0)); //Select chain
222     Result = CurDAG->SelectNodeTo(N, Alpha::RPCC, MVT::i64, Chain);
223     return;
224   }
225
226   case ISD::RET: {
227     SDOperand Chain;
228     Select(Chain, N->getOperand(0));     // Token chain.
229     SDOperand InFlag(0,0);
230
231     if (N->getNumOperands() == 2) {
232       SDOperand Val;
233       Select(Val, N->getOperand(1));
234       if (N->getOperand(1).getValueType() == MVT::i64) {
235         Chain = CurDAG->getCopyToReg(Chain, Alpha::R0, Val, InFlag);
236         InFlag = Chain.getValue(1);
237       } else if (N->getOperand(1).getValueType() == MVT::f64 ||
238                  N->getOperand(1).getValueType() == MVT::f32) {
239         Chain = CurDAG->getCopyToReg(Chain, Alpha::F0, Val, InFlag);
240         InFlag = Chain.getValue(1);
241       }
242     }
243     Chain = CurDAG->getCopyToReg(Chain, Alpha::R26, getRASaveReg(), InFlag);
244     InFlag = Chain.getValue(1);
245     
246     // Finally, select this to a ret instruction.
247     Result = CurDAG->SelectNodeTo(N, Alpha::RETDAG, MVT::Other, Chain, InFlag);
248     return;
249   }
250   case ISD::Constant: {
251     uint64_t uval = cast<ConstantSDNode>(N)->getValue();
252     
253     if (uval == 0) {
254       Result = CurDAG->getCopyFromReg(CurDAG->getEntryNode(), Alpha::R31,
255                                       MVT::i64);
256       return;
257     }
258
259     int64_t val = (int64_t)uval;
260     int32_t val32 = (int32_t)val;
261     if (val <= IMM_HIGH + IMM_HIGH * IMM_MULT &&
262         val >= IMM_LOW  + IMM_LOW  * IMM_MULT)
263       break; //(LDAH (LDA))
264     if ((uval >> 32) == 0 && //empty upper bits
265         val32 <= IMM_HIGH + IMM_HIGH * IMM_MULT)
266       //        val32 >= IMM_LOW  + IMM_LOW  * IMM_MULT) //always true
267       break; //(zext (LDAH (LDA)))
268     //Else use the constant pool
269     MachineConstantPool *CP = BB->getParent()->getConstantPool();
270     ConstantUInt *C =
271       ConstantUInt::get(Type::getPrimitiveType(Type::ULongTyID) , uval);
272     SDOperand CPI = CurDAG->getTargetConstantPool(C, MVT::i64);
273     SDNode *Tmp = CurDAG->getTargetNode(Alpha::LDAHr, MVT::i64, CPI,
274                                         getGlobalBaseReg());
275     Result = CurDAG->SelectNodeTo(N, Alpha::LDQr, MVT::i64, MVT::Other, 
276                                   CPI, SDOperand(Tmp, 0), CurDAG->getEntryNode());
277     return;
278   }
279   case ISD::TargetConstantFP: {
280     ConstantFPSDNode *CN = cast<ConstantFPSDNode>(N);
281     bool isDouble = N->getValueType(0) == MVT::f64;
282     MVT::ValueType T = isDouble ? MVT::f64 : MVT::f32;
283     if (CN->isExactlyValue(+0.0)) {
284       Result = CurDAG->SelectNodeTo(N, isDouble ? Alpha::CPYST : Alpha::CPYSS,
285                                     T, CurDAG->getRegister(Alpha::F31, T),
286                                     CurDAG->getRegister(Alpha::F31, T));
287       return;
288     } else if ( CN->isExactlyValue(-0.0)) {
289       Result = CurDAG->SelectNodeTo(N, isDouble ? Alpha::CPYSNT : Alpha::CPYSNS,
290                                     T, CurDAG->getRegister(Alpha::F31, T),
291                                     CurDAG->getRegister(Alpha::F31, T));
292       return;
293     } else {
294       abort();
295     }
296     break;
297   }
298
299   case ISD::SETCC:
300     if (MVT::isFloatingPoint(N->getOperand(0).Val->getValueType(0))) {
301       unsigned Opc = Alpha::WTF;
302       ISD::CondCode CC = cast<CondCodeSDNode>(N->getOperand(2))->get();
303       bool rev = false;
304       bool isNE = false;
305       switch(CC) {
306       default: N->dump(); assert(0 && "Unknown FP comparison!");
307       case ISD::SETEQ: Opc = Alpha::CMPTEQ; break;
308       case ISD::SETLT: Opc = Alpha::CMPTLT; break;
309       case ISD::SETLE: Opc = Alpha::CMPTLE; break;
310       case ISD::SETGT: Opc = Alpha::CMPTLT; rev = true; break;
311       case ISD::SETGE: Opc = Alpha::CMPTLE; rev = true; break;
312       case ISD::SETNE: Opc = Alpha::CMPTEQ; isNE = true; break;
313       };
314       SDOperand tmp1, tmp2;
315       Select(tmp1, N->getOperand(0));
316       Select(tmp2, N->getOperand(1));
317       SDNode *cmp = CurDAG->getTargetNode(Opc, MVT::f64, 
318                                           rev?tmp2:tmp1,
319                                           rev?tmp1:tmp2);
320       if (isNE) 
321         cmp = CurDAG->getTargetNode(Alpha::CMPTEQ, MVT::f64, SDOperand(cmp, 0), 
322                                     CurDAG->getRegister(Alpha::F31, MVT::f64));
323       
324       SDOperand LD;
325       if (AlphaLowering.hasITOF()) {
326         LD = CurDAG->getNode(AlphaISD::FTOIT_, MVT::i64, SDOperand(cmp, 0));
327       } else {
328         int FrameIdx =
329           CurDAG->getMachineFunction().getFrameInfo()->CreateStackObject(8, 8);
330         SDOperand FI = CurDAG->getFrameIndex(FrameIdx, MVT::i64);
331         SDOperand ST =
332           SDOperand(CurDAG->getTargetNode(Alpha::STT, MVT::Other, 
333                                           SDOperand(cmp, 0), FI,
334                                           CurDAG->getRegister(Alpha::R31, MVT::i64)), 0);
335         LD = SDOperand(CurDAG->getTargetNode(Alpha::LDQ, MVT::i64, FI, 
336                                              CurDAG->getRegister(Alpha::R31, MVT::i64),
337                                              ST), 0);
338       }
339       Result = SDOperand(CurDAG->getTargetNode(Alpha::CMPULT, MVT::i64, 
340                                                CurDAG->getRegister(Alpha::R31, MVT::i64),
341                                                LD), 0);
342       return;
343     }
344     break;
345
346   case ISD::SELECT:
347     if (MVT::isFloatingPoint(N->getValueType(0)) &&
348         (N->getOperand(0).getOpcode() != ISD::SETCC ||
349          !MVT::isFloatingPoint(N->getOperand(0).getOperand(1).getValueType()))) {
350       //This should be the condition not covered by the Patterns
351       //FIXME: Don't have SelectCode die, but rather return something testable
352       // so that things like this can be caught in fall though code
353       //move int to fp
354       bool isDouble = N->getValueType(0) == MVT::f64;
355       SDOperand LD, cond, TV, FV;
356       Select(cond, N->getOperand(0));
357       Select(TV, N->getOperand(1));
358       Select(FV, N->getOperand(2));
359       
360       if (AlphaLowering.hasITOF()) {
361         LD = CurDAG->getNode(AlphaISD::ITOFT_, MVT::f64, cond);
362       } else {
363         int FrameIdx =
364           CurDAG->getMachineFunction().getFrameInfo()->CreateStackObject(8, 8);
365         SDOperand FI = CurDAG->getFrameIndex(FrameIdx, MVT::i64);
366         SDOperand ST =
367           SDOperand(CurDAG->getTargetNode(Alpha::STQ, MVT::Other,
368                                           cond, FI, CurDAG->getRegister(Alpha::R31, MVT::i64)), 0);
369         LD = SDOperand(CurDAG->getTargetNode(Alpha::LDT, MVT::f64, FI,
370                                              CurDAG->getRegister(Alpha::R31, MVT::i64),
371                                              ST), 0);
372       }
373       Result = SDOperand(CurDAG->getTargetNode(isDouble?Alpha::FCMOVNET:Alpha::FCMOVNES,
374                                                MVT::f64, FV, TV, LD), 0);
375       return;
376     }
377     break;
378
379   case ISD::AND: {
380     ConstantSDNode* SC;
381     ConstantSDNode* MC;
382     if (N->getOperand(0).getOpcode() == ISD::SRL &&
383         (MC = dyn_cast<ConstantSDNode>(N->getOperand(1))) &&
384         (SC = dyn_cast<ConstantSDNode>(N->getOperand(0).getOperand(1))))
385       {
386         uint64_t sval = SC->getValue();
387         uint64_t mval = MC->getValue();
388         if (get_zapImm(mval)) //the result is a zap, let the autogened stuff deal
389           break;
390         // given mask X, and shift S, we want to see if there is any zap in the mask
391         // if we play around with the botton S bits
392         uint64_t dontcare = (~0ULL) >> (64 - sval);
393         uint64_t mask = mval << sval;
394
395         if (get_zapImm(mask | dontcare))
396           mask = mask | dontcare;
397
398         if (get_zapImm(mask)) {
399           SDOperand Src;
400           Select(Src, N->getOperand(0).getOperand(0));
401           SDOperand Z = 
402             SDOperand(CurDAG->getTargetNode(Alpha::ZAPNOTi, MVT::i64, Src, 
403                                             getI64Imm(get_zapImm(mask))), 0);
404           Result = SDOperand(CurDAG->getTargetNode(Alpha::SRL, MVT::i64, Z, 
405                                                    getI64Imm(sval)), 0);
406           return;
407         }
408       }
409     break;
410   }
411
412   }
413
414   SelectCode(Result, Op);
415 }
416
417 SDOperand AlphaDAGToDAGISel::SelectCALL(SDOperand Op) {
418   //TODO: add flag stuff to prevent nondeturministic breakage!
419
420   SDNode *N = Op.Val;
421   SDOperand Chain;
422   SDOperand Addr = N->getOperand(1);
423   SDOperand InFlag(0,0);  // Null incoming flag value.
424   Select(Chain, N->getOperand(0));
425
426    std::vector<SDOperand> CallOperands;
427    std::vector<MVT::ValueType> TypeOperands;
428   
429    //grab the arguments
430    for(int i = 2, e = N->getNumOperands(); i < e; ++i) {
431      SDOperand Tmp;
432      TypeOperands.push_back(N->getOperand(i).getValueType());
433      Select(Tmp, N->getOperand(i));
434      CallOperands.push_back(Tmp);
435    }
436    int count = N->getNumOperands() - 2;
437
438    static const unsigned args_int[] = {Alpha::R16, Alpha::R17, Alpha::R18,
439                                        Alpha::R19, Alpha::R20, Alpha::R21};
440    static const unsigned args_float[] = {Alpha::F16, Alpha::F17, Alpha::F18,
441                                          Alpha::F19, Alpha::F20, Alpha::F21};
442    
443    for (int i = 6; i < count; ++i) {
444      unsigned Opc = Alpha::WTF;
445      if (MVT::isInteger(TypeOperands[i])) {
446        Opc = Alpha::STQ;
447      } else if (TypeOperands[i] == MVT::f32) {
448        Opc = Alpha::STS;
449      } else if (TypeOperands[i] == MVT::f64) {
450        Opc = Alpha::STT;
451      } else
452        assert(0 && "Unknown operand"); 
453      Chain = SDOperand(CurDAG->getTargetNode(Opc, MVT::Other, CallOperands[i], 
454                                              getI64Imm((i - 6) * 8), 
455                                              CurDAG->getCopyFromReg(Chain, Alpha::R30, MVT::i64),
456                                              Chain), 0);
457    }
458    for (int i = 0; i < std::min(6, count); ++i) {
459      if (MVT::isInteger(TypeOperands[i])) {
460        Chain = CurDAG->getCopyToReg(Chain, args_int[i], CallOperands[i], InFlag);
461        InFlag = Chain.getValue(1);
462      } else if (TypeOperands[i] == MVT::f32 || TypeOperands[i] == MVT::f64) {
463        Chain = CurDAG->getCopyToReg(Chain, args_float[i], CallOperands[i], InFlag);
464        InFlag = Chain.getValue(1);
465      } else
466        assert(0 && "Unknown operand"); 
467    }
468
469
470    // Finally, once everything is in registers to pass to the call, emit the
471    // call itself.
472    if (Addr.getOpcode() == AlphaISD::GPRelLo) {
473      SDOperand GOT = getGlobalBaseReg();
474      Chain = CurDAG->getCopyToReg(Chain, Alpha::R29, GOT, InFlag);
475      InFlag = Chain.getValue(1);
476      Chain = SDOperand(CurDAG->getTargetNode(Alpha::BSR, MVT::Other, MVT::Flag, 
477                                              Addr.getOperand(0), Chain, InFlag), 0);
478    } else {
479      Select(Addr, Addr);
480      Chain = CurDAG->getCopyToReg(Chain, Alpha::R27, Addr, InFlag);
481      InFlag = Chain.getValue(1);
482      Chain = SDOperand(CurDAG->getTargetNode(Alpha::JSR, MVT::Other, MVT::Flag, 
483                                              Chain, InFlag), 0);
484    }
485    InFlag = Chain.getValue(1);
486
487    std::vector<SDOperand> CallResults;
488   
489    switch (N->getValueType(0)) {
490    default: assert(0 && "Unexpected ret value!");
491      case MVT::Other: break;
492    case MVT::i64:
493      Chain = CurDAG->getCopyFromReg(Chain, Alpha::R0, MVT::i64, InFlag).getValue(1);
494      CallResults.push_back(Chain.getValue(0));
495      break;
496    case MVT::f32:
497      Chain = CurDAG->getCopyFromReg(Chain, Alpha::F0, MVT::f32, InFlag).getValue(1);
498      CallResults.push_back(Chain.getValue(0));
499      break;
500    case MVT::f64:
501      Chain = CurDAG->getCopyFromReg(Chain, Alpha::F0, MVT::f64, InFlag).getValue(1);
502      CallResults.push_back(Chain.getValue(0));
503      break;
504    }
505
506    CallResults.push_back(Chain);
507    for (unsigned i = 0, e = CallResults.size(); i != e; ++i)
508      CodeGenMap[Op.getValue(i)] = CallResults[i];
509    return CallResults[Op.ResNo];
510 }
511
512
513 /// createAlphaISelDag - This pass converts a legalized DAG into a 
514 /// Alpha-specific DAG, ready for instruction scheduling.
515 ///
516 FunctionPass *llvm::createAlphaISelDag(TargetMachine &TM) {
517   return new AlphaDAGToDAGISel(TM);
518 }