Remove the need to cache the subtarget in the R600 TargetRegisterInfo
[oota-llvm.git] / lib / Target / R600 / SIRegisterInfo.cpp
1 //===-- SIRegisterInfo.cpp - SI Register Information ---------------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 /// \file
11 /// \brief SI implementation of the TargetRegisterInfo class.
12 //
13 //===----------------------------------------------------------------------===//
14
15
16 #include "SIRegisterInfo.h"
17 #include "SIInstrInfo.h"
18 #include "SIMachineFunctionInfo.h"
19 #include "llvm/CodeGen/MachineFrameInfo.h"
20 #include "llvm/CodeGen/MachineInstrBuilder.h"
21 #include "llvm/CodeGen/RegisterScavenging.h"
22 #include "llvm/IR/Function.h"
23 #include "llvm/IR/LLVMContext.h"
24
25 using namespace llvm;
26
27 SIRegisterInfo::SIRegisterInfo() : AMDGPURegisterInfo() {}
28
29 BitVector SIRegisterInfo::getReservedRegs(const MachineFunction &MF) const {
30   BitVector Reserved(getNumRegs());
31   Reserved.set(AMDGPU::EXEC);
32
33   // EXEC_LO and EXEC_HI could be allocated and used as regular register,
34   // but this seems likely to result in bugs, so I'm marking them as reserved.
35   Reserved.set(AMDGPU::EXEC_LO);
36   Reserved.set(AMDGPU::EXEC_HI);
37
38   Reserved.set(AMDGPU::INDIRECT_BASE_ADDR);
39   Reserved.set(AMDGPU::FLAT_SCR);
40   Reserved.set(AMDGPU::FLAT_SCR_LO);
41   Reserved.set(AMDGPU::FLAT_SCR_HI);
42
43   // Reserve some VGPRs to use as temp registers in case we have to spill VGPRs
44   Reserved.set(AMDGPU::VGPR255);
45   Reserved.set(AMDGPU::VGPR254);
46
47   // Tonga and Iceland can only allocate a fixed number of SGPRs due
48   // to a hw bug.
49   if (MF.getSubtarget<AMDGPUSubtarget>().hasSGPRInitBug()) {
50     unsigned NumSGPRs = AMDGPU::SGPR_32RegClass.getNumRegs();
51     // Reserve some SGPRs for FLAT_SCRATCH and VCC (4 SGPRs).
52     // Assume XNACK_MASK is unused.
53     unsigned Limit = AMDGPUSubtarget::FIXED_SGPR_COUNT_FOR_INIT_BUG - 4;
54
55     for (unsigned i = Limit; i < NumSGPRs; ++i) {
56       unsigned Reg = AMDGPU::SGPR_32RegClass.getRegister(i);
57       MCRegAliasIterator R = MCRegAliasIterator(Reg, this, true);
58
59       for (; R.isValid(); ++R)
60         Reserved.set(*R);
61     }
62   }
63
64   return Reserved;
65 }
66
67 unsigned SIRegisterInfo::getRegPressureSetLimit(const MachineFunction &MF,
68                                                 unsigned Idx) const {
69
70   const AMDGPUSubtarget &STI = MF.getSubtarget<AMDGPUSubtarget>();
71   // FIXME: We should adjust the max number of waves based on LDS size.
72   unsigned SGPRLimit = getNumSGPRsAllowed(STI.getGeneration(),
73                                           STI.getMaxWavesPerCU());
74   unsigned VGPRLimit = getNumVGPRsAllowed(STI.getMaxWavesPerCU());
75
76   for (regclass_iterator I = regclass_begin(), E = regclass_end();
77        I != E; ++I) {
78
79     unsigned NumSubRegs = std::max((int)(*I)->getSize() / 4, 1);
80     unsigned Limit;
81
82     if (isSGPRClass(*I)) {
83       Limit = SGPRLimit / NumSubRegs;
84     } else {
85       Limit = VGPRLimit / NumSubRegs;
86     }
87
88     const int *Sets = getRegClassPressureSets(*I);
89     assert(Sets);
90     for (unsigned i = 0; Sets[i] != -1; ++i) {
91             if (Sets[i] == (int)Idx)
92         return Limit;
93     }
94   }
95   return 256;
96 }
97
98 bool SIRegisterInfo::requiresRegisterScavenging(const MachineFunction &Fn) const {
99   return Fn.getFrameInfo()->hasStackObjects();
100 }
101
102 static unsigned getNumSubRegsForSpillOp(unsigned Op) {
103
104   switch (Op) {
105   case AMDGPU::SI_SPILL_S512_SAVE:
106   case AMDGPU::SI_SPILL_S512_RESTORE:
107   case AMDGPU::SI_SPILL_V512_SAVE:
108   case AMDGPU::SI_SPILL_V512_RESTORE:
109     return 16;
110   case AMDGPU::SI_SPILL_S256_SAVE:
111   case AMDGPU::SI_SPILL_S256_RESTORE:
112   case AMDGPU::SI_SPILL_V256_SAVE:
113   case AMDGPU::SI_SPILL_V256_RESTORE:
114     return 8;
115   case AMDGPU::SI_SPILL_S128_SAVE:
116   case AMDGPU::SI_SPILL_S128_RESTORE:
117   case AMDGPU::SI_SPILL_V128_SAVE:
118   case AMDGPU::SI_SPILL_V128_RESTORE:
119     return 4;
120   case AMDGPU::SI_SPILL_V96_SAVE:
121   case AMDGPU::SI_SPILL_V96_RESTORE:
122     return 3;
123   case AMDGPU::SI_SPILL_S64_SAVE:
124   case AMDGPU::SI_SPILL_S64_RESTORE:
125   case AMDGPU::SI_SPILL_V64_SAVE:
126   case AMDGPU::SI_SPILL_V64_RESTORE:
127     return 2;
128   case AMDGPU::SI_SPILL_S32_SAVE:
129   case AMDGPU::SI_SPILL_S32_RESTORE:
130   case AMDGPU::SI_SPILL_V32_SAVE:
131   case AMDGPU::SI_SPILL_V32_RESTORE:
132     return 1;
133   default: llvm_unreachable("Invalid spill opcode");
134   }
135 }
136
137 void SIRegisterInfo::buildScratchLoadStore(MachineBasicBlock::iterator MI,
138                                            unsigned LoadStoreOp,
139                                            unsigned Value,
140                                            unsigned ScratchRsrcReg,
141                                            unsigned ScratchOffset,
142                                            int64_t Offset,
143                                            RegScavenger *RS) const {
144
145   MachineBasicBlock *MBB = MI->getParent();
146   const MachineFunction *MF = MI->getParent()->getParent();
147   const SIInstrInfo *TII =
148       static_cast<const SIInstrInfo *>(MF->getSubtarget().getInstrInfo());
149   LLVMContext &Ctx = MF->getFunction()->getContext();
150   DebugLoc DL = MI->getDebugLoc();
151   bool IsLoad = TII->get(LoadStoreOp).mayLoad();
152
153   bool RanOutOfSGPRs = false;
154   unsigned SOffset = ScratchOffset;
155
156   unsigned NumSubRegs = getNumSubRegsForSpillOp(MI->getOpcode());
157   unsigned Size = NumSubRegs * 4;
158
159   if (!isUInt<12>(Offset + Size)) {
160     SOffset = RS->scavengeRegister(&AMDGPU::SGPR_32RegClass, MI, 0);
161     if (SOffset == AMDGPU::NoRegister) {
162       RanOutOfSGPRs = true;
163       SOffset = AMDGPU::SGPR0;
164     }
165     BuildMI(*MBB, MI, DL, TII->get(AMDGPU::S_ADD_U32), SOffset)
166             .addReg(ScratchOffset)
167             .addImm(Offset);
168     Offset = 0;
169   }
170
171   if (RanOutOfSGPRs)
172     Ctx.emitError("Ran out of SGPRs for spilling VGPRS");
173
174   for (unsigned i = 0, e = NumSubRegs; i != e; ++i, Offset += 4) {
175     unsigned SubReg = NumSubRegs > 1 ?
176         getPhysRegSubReg(Value, &AMDGPU::VGPR_32RegClass, i) :
177         Value;
178     bool IsKill = (i == e - 1);
179
180     BuildMI(*MBB, MI, DL, TII->get(LoadStoreOp))
181             .addReg(SubReg, getDefRegState(IsLoad))
182             .addReg(ScratchRsrcReg, getKillRegState(IsKill))
183             .addReg(SOffset)
184             .addImm(Offset)
185             .addImm(0) // glc
186             .addImm(0) // slc
187             .addImm(0) // tfe
188             .addReg(Value, RegState::Implicit | getDefRegState(IsLoad));
189   }
190 }
191
192 void SIRegisterInfo::eliminateFrameIndex(MachineBasicBlock::iterator MI,
193                                         int SPAdj, unsigned FIOperandNum,
194                                         RegScavenger *RS) const {
195   MachineFunction *MF = MI->getParent()->getParent();
196   MachineBasicBlock *MBB = MI->getParent();
197   SIMachineFunctionInfo *MFI = MF->getInfo<SIMachineFunctionInfo>();
198   MachineFrameInfo *FrameInfo = MF->getFrameInfo();
199   const SIInstrInfo *TII =
200       static_cast<const SIInstrInfo *>(MF->getSubtarget().getInstrInfo());
201   DebugLoc DL = MI->getDebugLoc();
202
203   MachineOperand &FIOp = MI->getOperand(FIOperandNum);
204   int Index = MI->getOperand(FIOperandNum).getIndex();
205
206   switch (MI->getOpcode()) {
207     // SGPR register spill
208     case AMDGPU::SI_SPILL_S512_SAVE:
209     case AMDGPU::SI_SPILL_S256_SAVE:
210     case AMDGPU::SI_SPILL_S128_SAVE:
211     case AMDGPU::SI_SPILL_S64_SAVE:
212     case AMDGPU::SI_SPILL_S32_SAVE: {
213       unsigned NumSubRegs = getNumSubRegsForSpillOp(MI->getOpcode());
214
215       for (unsigned i = 0, e = NumSubRegs; i < e; ++i) {
216         unsigned SubReg = getPhysRegSubReg(MI->getOperand(0).getReg(),
217                                            &AMDGPU::SGPR_32RegClass, i);
218         struct SIMachineFunctionInfo::SpilledReg Spill =
219             MFI->getSpilledReg(MF, Index, i);
220
221         if (Spill.VGPR == AMDGPU::NoRegister) {
222            LLVMContext &Ctx = MF->getFunction()->getContext();
223            Ctx.emitError("Ran out of VGPRs for spilling SGPR");
224         }
225
226         BuildMI(*MBB, MI, DL,
227                 TII->getMCOpcodeFromPseudo(AMDGPU::V_WRITELANE_B32),
228                 Spill.VGPR)
229                 .addReg(SubReg)
230                 .addImm(Spill.Lane);
231
232       }
233       MI->eraseFromParent();
234       break;
235     }
236
237     // SGPR register restore
238     case AMDGPU::SI_SPILL_S512_RESTORE:
239     case AMDGPU::SI_SPILL_S256_RESTORE:
240     case AMDGPU::SI_SPILL_S128_RESTORE:
241     case AMDGPU::SI_SPILL_S64_RESTORE:
242     case AMDGPU::SI_SPILL_S32_RESTORE: {
243       unsigned NumSubRegs = getNumSubRegsForSpillOp(MI->getOpcode());
244
245       for (unsigned i = 0, e = NumSubRegs; i < e; ++i) {
246         unsigned SubReg = getPhysRegSubReg(MI->getOperand(0).getReg(),
247                                            &AMDGPU::SGPR_32RegClass, i);
248         bool isM0 = SubReg == AMDGPU::M0;
249         struct SIMachineFunctionInfo::SpilledReg Spill =
250             MFI->getSpilledReg(MF, Index, i);
251
252         if (Spill.VGPR == AMDGPU::NoRegister) {
253            LLVMContext &Ctx = MF->getFunction()->getContext();
254            Ctx.emitError("Ran out of VGPRs for spilling SGPR");
255         }
256
257         if (isM0)
258           SubReg = RS->scavengeRegister(&AMDGPU::SGPR_32RegClass, MI, 0);
259
260         BuildMI(*MBB, MI, DL,
261                 TII->getMCOpcodeFromPseudo(AMDGPU::V_READLANE_B32),
262                 SubReg)
263                 .addReg(Spill.VGPR)
264                 .addImm(Spill.Lane)
265                 .addReg(MI->getOperand(0).getReg(), RegState::ImplicitDefine);
266         if (isM0) {
267           BuildMI(*MBB, MI, DL, TII->get(AMDGPU::S_MOV_B32), AMDGPU::M0)
268                   .addReg(SubReg);
269         }
270       }
271       TII->insertNOPs(MI, 3);
272       MI->eraseFromParent();
273       break;
274     }
275
276     // VGPR register spill
277     case AMDGPU::SI_SPILL_V512_SAVE:
278     case AMDGPU::SI_SPILL_V256_SAVE:
279     case AMDGPU::SI_SPILL_V128_SAVE:
280     case AMDGPU::SI_SPILL_V96_SAVE:
281     case AMDGPU::SI_SPILL_V64_SAVE:
282     case AMDGPU::SI_SPILL_V32_SAVE:
283       buildScratchLoadStore(MI, AMDGPU::BUFFER_STORE_DWORD_OFFSET,
284             TII->getNamedOperand(*MI, AMDGPU::OpName::src)->getReg(),
285             TII->getNamedOperand(*MI, AMDGPU::OpName::scratch_rsrc)->getReg(),
286             TII->getNamedOperand(*MI, AMDGPU::OpName::scratch_offset)->getReg(),
287              FrameInfo->getObjectOffset(Index), RS);
288       MI->eraseFromParent();
289       break;
290     case AMDGPU::SI_SPILL_V32_RESTORE:
291     case AMDGPU::SI_SPILL_V64_RESTORE:
292     case AMDGPU::SI_SPILL_V96_RESTORE:
293     case AMDGPU::SI_SPILL_V128_RESTORE:
294     case AMDGPU::SI_SPILL_V256_RESTORE:
295     case AMDGPU::SI_SPILL_V512_RESTORE: {
296       buildScratchLoadStore(MI, AMDGPU::BUFFER_LOAD_DWORD_OFFSET,
297             TII->getNamedOperand(*MI, AMDGPU::OpName::dst)->getReg(),
298             TII->getNamedOperand(*MI, AMDGPU::OpName::scratch_rsrc)->getReg(),
299             TII->getNamedOperand(*MI, AMDGPU::OpName::scratch_offset)->getReg(),
300             FrameInfo->getObjectOffset(Index), RS);
301       MI->eraseFromParent();
302       break;
303     }
304
305     default: {
306       int64_t Offset = FrameInfo->getObjectOffset(Index);
307       FIOp.ChangeToImmediate(Offset);
308       if (!TII->isImmOperandLegal(MI, FIOperandNum, FIOp)) {
309         unsigned TmpReg = RS->scavengeRegister(&AMDGPU::VGPR_32RegClass, MI, SPAdj);
310         BuildMI(*MBB, MI, MI->getDebugLoc(),
311                 TII->get(AMDGPU::V_MOV_B32_e32), TmpReg)
312                 .addImm(Offset);
313         FIOp.ChangeToRegister(TmpReg, false, false, true);
314       }
315     }
316   }
317 }
318
319 const TargetRegisterClass * SIRegisterInfo::getCFGStructurizerRegClass(
320                                                                    MVT VT) const {
321   switch(VT.SimpleTy) {
322     default:
323     case MVT::i32: return &AMDGPU::VGPR_32RegClass;
324   }
325 }
326
327 unsigned SIRegisterInfo::getHWRegIndex(unsigned Reg) const {
328   return getEncodingValue(Reg) & 0xff;
329 }
330
331 const TargetRegisterClass *SIRegisterInfo::getPhysRegClass(unsigned Reg) const {
332   assert(!TargetRegisterInfo::isVirtualRegister(Reg));
333
334   static const TargetRegisterClass *BaseClasses[] = {
335     &AMDGPU::VGPR_32RegClass,
336     &AMDGPU::SReg_32RegClass,
337     &AMDGPU::VReg_64RegClass,
338     &AMDGPU::SReg_64RegClass,
339     &AMDGPU::VReg_96RegClass,
340     &AMDGPU::VReg_128RegClass,
341     &AMDGPU::SReg_128RegClass,
342     &AMDGPU::VReg_256RegClass,
343     &AMDGPU::SReg_256RegClass,
344     &AMDGPU::VReg_512RegClass
345   };
346
347   for (const TargetRegisterClass *BaseClass : BaseClasses) {
348     if (BaseClass->contains(Reg)) {
349       return BaseClass;
350     }
351   }
352   return nullptr;
353 }
354
355 bool SIRegisterInfo::hasVGPRs(const TargetRegisterClass *RC) const {
356   return getCommonSubClass(&AMDGPU::VGPR_32RegClass, RC) ||
357          getCommonSubClass(&AMDGPU::VReg_64RegClass, RC) ||
358          getCommonSubClass(&AMDGPU::VReg_96RegClass, RC) ||
359          getCommonSubClass(&AMDGPU::VReg_128RegClass, RC) ||
360          getCommonSubClass(&AMDGPU::VReg_256RegClass, RC) ||
361          getCommonSubClass(&AMDGPU::VReg_512RegClass, RC);
362 }
363
364 const TargetRegisterClass *SIRegisterInfo::getEquivalentVGPRClass(
365                                          const TargetRegisterClass *SRC) const {
366     if (hasVGPRs(SRC)) {
367       return SRC;
368     } else if (SRC == &AMDGPU::SCCRegRegClass) {
369       return &AMDGPU::VCCRegRegClass;
370     } else if (getCommonSubClass(SRC, &AMDGPU::SGPR_32RegClass)) {
371       return &AMDGPU::VGPR_32RegClass;
372     } else if (getCommonSubClass(SRC, &AMDGPU::SGPR_64RegClass)) {
373       return &AMDGPU::VReg_64RegClass;
374     } else if (getCommonSubClass(SRC, &AMDGPU::SReg_128RegClass)) {
375       return &AMDGPU::VReg_128RegClass;
376     } else if (getCommonSubClass(SRC, &AMDGPU::SReg_256RegClass)) {
377       return &AMDGPU::VReg_256RegClass;
378     } else if (getCommonSubClass(SRC, &AMDGPU::SReg_512RegClass)) {
379       return &AMDGPU::VReg_512RegClass;
380     }
381     return nullptr;
382 }
383
384 const TargetRegisterClass *SIRegisterInfo::getSubRegClass(
385                          const TargetRegisterClass *RC, unsigned SubIdx) const {
386   if (SubIdx == AMDGPU::NoSubRegister)
387     return RC;
388
389   // If this register has a sub-register, we can safely assume it is a 32-bit
390   // register, because all of SI's sub-registers are 32-bit.
391   if (isSGPRClass(RC)) {
392     return &AMDGPU::SGPR_32RegClass;
393   } else {
394     return &AMDGPU::VGPR_32RegClass;
395   }
396 }
397
398 unsigned SIRegisterInfo::getPhysRegSubReg(unsigned Reg,
399                                           const TargetRegisterClass *SubRC,
400                                           unsigned Channel) const {
401
402   switch (Reg) {
403     case AMDGPU::VCC:
404       switch(Channel) {
405         case 0: return AMDGPU::VCC_LO;
406         case 1: return AMDGPU::VCC_HI;
407         default: llvm_unreachable("Invalid SubIdx for VCC");
408       }
409
410   case AMDGPU::FLAT_SCR:
411     switch (Channel) {
412     case 0:
413       return AMDGPU::FLAT_SCR_LO;
414     case 1:
415       return AMDGPU::FLAT_SCR_HI;
416     default:
417       llvm_unreachable("Invalid SubIdx for FLAT_SCR");
418     }
419     break;
420
421   case AMDGPU::EXEC:
422     switch (Channel) {
423     case 0:
424       return AMDGPU::EXEC_LO;
425     case 1:
426       return AMDGPU::EXEC_HI;
427     default:
428       llvm_unreachable("Invalid SubIdx for EXEC");
429     }
430     break;
431   }
432
433   const TargetRegisterClass *RC = getPhysRegClass(Reg);
434   // 32-bit registers don't have sub-registers, so we can just return the
435   // Reg.  We need to have this check here, because the calculation below
436   // using getHWRegIndex() will fail with special 32-bit registers like
437   // VCC_LO, VCC_HI, EXEC_LO, EXEC_HI and M0.
438   if (RC->getSize() == 4) {
439     assert(Channel == 0);
440     return Reg;
441   }
442
443   unsigned Index = getHWRegIndex(Reg);
444   return SubRC->getRegister(Index + Channel);
445 }
446
447 bool SIRegisterInfo::opCanUseLiteralConstant(unsigned OpType) const {
448   return OpType == AMDGPU::OPERAND_REG_IMM32;
449 }
450
451 bool SIRegisterInfo::opCanUseInlineConstant(unsigned OpType) const {
452   if (opCanUseLiteralConstant(OpType))
453     return true;
454
455   return OpType == AMDGPU::OPERAND_REG_INLINE_C;
456 }
457
458 unsigned SIRegisterInfo::getPreloadedValue(const MachineFunction &MF,
459                                            enum PreloadedValue Value) const {
460
461   const SIMachineFunctionInfo *MFI = MF.getInfo<SIMachineFunctionInfo>();
462   switch (Value) {
463   case SIRegisterInfo::TGID_X:
464     return AMDGPU::SReg_32RegClass.getRegister(MFI->NumUserSGPRs + 0);
465   case SIRegisterInfo::TGID_Y:
466     return AMDGPU::SReg_32RegClass.getRegister(MFI->NumUserSGPRs + 1);
467   case SIRegisterInfo::TGID_Z:
468     return AMDGPU::SReg_32RegClass.getRegister(MFI->NumUserSGPRs + 2);
469   case SIRegisterInfo::SCRATCH_WAVE_OFFSET:
470     if (MFI->getShaderType() != ShaderType::COMPUTE)
471       return MFI->ScratchOffsetReg;
472     return AMDGPU::SReg_32RegClass.getRegister(MFI->NumUserSGPRs + 4);
473   case SIRegisterInfo::SCRATCH_PTR:
474     return AMDGPU::SGPR2_SGPR3;
475   case SIRegisterInfo::INPUT_PTR:
476     return AMDGPU::SGPR0_SGPR1;
477   case SIRegisterInfo::TIDIG_X:
478     return AMDGPU::VGPR0;
479   case SIRegisterInfo::TIDIG_Y:
480     return AMDGPU::VGPR1;
481   case SIRegisterInfo::TIDIG_Z:
482     return AMDGPU::VGPR2;
483   }
484   llvm_unreachable("unexpected preloaded value type");
485 }
486
487 /// \brief Returns a register that is not used at any point in the function.
488 ///        If all registers are used, then this function will return
489 //         AMDGPU::NoRegister.
490 unsigned SIRegisterInfo::findUnusedRegister(const MachineRegisterInfo &MRI,
491                                            const TargetRegisterClass *RC) const {
492
493   for (TargetRegisterClass::iterator I = RC->begin(), E = RC->end();
494        I != E; ++I) {
495     if (!MRI.isPhysRegUsed(*I))
496       return *I;
497   }
498   return AMDGPU::NoRegister;
499 }
500
501 unsigned SIRegisterInfo::getNumVGPRsAllowed(unsigned WaveCount) const {
502   switch(WaveCount) {
503     case 10: return 24;
504     case 9:  return 28;
505     case 8:  return 32;
506     case 7:  return 36;
507     case 6:  return 40;
508     case 5:  return 48;
509     case 4:  return 64;
510     case 3:  return 84;
511     case 2:  return 128;
512     default: return 256;
513   }
514 }
515
516 unsigned SIRegisterInfo::getNumSGPRsAllowed(AMDGPUSubtarget::Generation gen,
517                                             unsigned WaveCount) const {
518   if (gen >= AMDGPUSubtarget::VOLCANIC_ISLANDS) {
519     switch (WaveCount) {
520       case 10: return 80;
521       case 9:  return 80;
522       case 8:  return 96;
523       default: return 102;
524     }
525   } else {
526     switch(WaveCount) {
527       case 10: return 48;
528       case 9:  return 56;
529       case 8:  return 64;
530       case 7:  return 72;
531       case 6:  return 80;
532       case 5:  return 96;
533       default: return 103;
534     }
535   }
536 }