Initialize HasPOPCNT.
[oota-llvm.git] / lib / MC / MCAssembler.cpp
1 //===- lib/MC/MCAssembler.cpp - Assembler Backend Implementation ----------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9
10 #define DEBUG_TYPE "assembler"
11 #include "llvm/MC/MCAssembler.h"
12 #include "llvm/MC/MCAsmLayout.h"
13 #include "llvm/MC/MCCodeEmitter.h"
14 #include "llvm/MC/MCExpr.h"
15 #include "llvm/MC/MCObjectWriter.h"
16 #include "llvm/MC/MCSection.h"
17 #include "llvm/MC/MCSymbol.h"
18 #include "llvm/MC/MCValue.h"
19 #include "llvm/MC/MCDwarf.h"
20 #include "llvm/ADT/OwningPtr.h"
21 #include "llvm/ADT/Statistic.h"
22 #include "llvm/ADT/StringExtras.h"
23 #include "llvm/ADT/Twine.h"
24 #include "llvm/Support/Debug.h"
25 #include "llvm/Support/ErrorHandling.h"
26 #include "llvm/Support/raw_ostream.h"
27 #include "llvm/Target/TargetRegistry.h"
28 #include "llvm/Target/TargetAsmBackend.h"
29
30 #include <vector>
31 using namespace llvm;
32
33 namespace {
34 namespace stats {
35 STATISTIC(EmittedFragments, "Number of emitted assembler fragments");
36 STATISTIC(EvaluateFixup, "Number of evaluated fixups");
37 STATISTIC(FragmentLayouts, "Number of fragment layouts");
38 STATISTIC(ObjectBytes, "Number of emitted object file bytes");
39 STATISTIC(RelaxationSteps, "Number of assembler layout and relaxation steps");
40 STATISTIC(RelaxedInstructions, "Number of relaxed instructions");
41 STATISTIC(SectionLayouts, "Number of section layouts");
42 }
43 }
44
45 // FIXME FIXME FIXME: There are number of places in this file where we convert
46 // what is a 64-bit assembler value used for computation into a value in the
47 // object file, which may truncate it. We should detect that truncation where
48 // invalid and report errors back.
49
50 /* *** */
51
52 MCAsmLayout::MCAsmLayout(MCAssembler &Asm)
53   : Assembler(Asm), LastValidFragment(0)
54  {
55   // Compute the section layout order. Virtual sections must go last.
56   for (MCAssembler::iterator it = Asm.begin(), ie = Asm.end(); it != ie; ++it)
57     if (!it->getSection().isVirtualSection())
58       SectionOrder.push_back(&*it);
59   for (MCAssembler::iterator it = Asm.begin(), ie = Asm.end(); it != ie; ++it)
60     if (it->getSection().isVirtualSection())
61       SectionOrder.push_back(&*it);
62 }
63
64 bool MCAsmLayout::isSectionUpToDate(const MCSectionData *SD) const {
65   // The first section is always up-to-date.
66   unsigned Index = SD->getLayoutOrder();
67   if (!Index)
68     return true;
69
70   // Otherwise, sections are always implicitly computed when the preceeding
71   // fragment is layed out.
72   const MCSectionData *Prev = getSectionOrder()[Index - 1];
73   return isFragmentUpToDate(&(Prev->getFragmentList().back()));
74 }
75
76 bool MCAsmLayout::isFragmentUpToDate(const MCFragment *F) const {
77   return (LastValidFragment &&
78           F->getLayoutOrder() <= LastValidFragment->getLayoutOrder());
79 }
80
81 void MCAsmLayout::Invalidate(MCFragment *F) {
82   // If this fragment wasn't already up-to-date, we don't need to do anything.
83   if (!isFragmentUpToDate(F))
84     return;
85
86   // Otherwise, reset the last valid fragment to the predecessor of the
87   // invalidated fragment.
88   LastValidFragment = F->getPrevNode();
89   if (!LastValidFragment) {
90     unsigned Index = F->getParent()->getLayoutOrder();
91     if (Index != 0) {
92       MCSectionData *Prev = getSectionOrder()[Index - 1];
93       LastValidFragment = &(Prev->getFragmentList().back());
94     }
95   }
96 }
97
98 void MCAsmLayout::EnsureValid(const MCFragment *F) const {
99   // Advance the layout position until the fragment is up-to-date.
100   while (!isFragmentUpToDate(F)) {
101     // Advance to the next fragment.
102     MCFragment *Cur = LastValidFragment;
103     if (Cur)
104       Cur = Cur->getNextNode();
105     if (!Cur) {
106       unsigned NextIndex = 0;
107       if (LastValidFragment)
108         NextIndex = LastValidFragment->getParent()->getLayoutOrder() + 1;
109       Cur = SectionOrder[NextIndex]->begin();
110     }
111
112     const_cast<MCAsmLayout*>(this)->LayoutFragment(Cur);
113   }
114 }
115
116 void MCAsmLayout::ReplaceFragment(MCFragment *Src, MCFragment *Dst) {
117   MCSectionData *SD = Src->getParent();
118
119   // Insert Dst immediately before Src
120   SD->getFragmentList().insert(Src, Dst);
121
122   // Set the data fragment's layout data.
123   Dst->setParent(Src->getParent());
124   Dst->setAtom(Src->getAtom());
125
126   Dst->Offset = Src->Offset;
127   Dst->EffectiveSize = Src->EffectiveSize;
128
129   // Remove Src, but don't delete it yet.
130   SD->getFragmentList().remove(Src);
131 }
132
133 void MCAsmLayout::CoalesceFragments(MCFragment *Src, MCFragment *Dst) {
134   assert(Src->getPrevNode() == Dst);
135   Dst->EffectiveSize += Src->EffectiveSize;
136   // Remove Src, but don't delete it yet.
137   Src->getParent()->getFragmentList().remove(Src);
138 }
139
140 uint64_t MCAsmLayout::getFragmentAddress(const MCFragment *F) const {
141   assert(F->getParent() && "Missing section()!");
142   return getSectionAddress(F->getParent()) + getFragmentOffset(F);
143 }
144
145 uint64_t MCAsmLayout::getFragmentEffectiveSize(const MCFragment *F) const {
146   EnsureValid(F);
147   assert(F->EffectiveSize != ~UINT64_C(0) && "Address not set!");
148   return F->EffectiveSize;
149 }
150
151 uint64_t MCAsmLayout::getFragmentOffset(const MCFragment *F) const {
152   EnsureValid(F);
153   assert(F->Offset != ~UINT64_C(0) && "Address not set!");
154   return F->Offset;
155 }
156
157 uint64_t MCAsmLayout::getSymbolAddress(const MCSymbolData *SD) const {
158   assert(SD->getFragment() && "Invalid getAddress() on undefined symbol!");
159   return getFragmentAddress(SD->getFragment()) + SD->getOffset();
160 }
161
162 uint64_t MCAsmLayout::getSectionAddress(const MCSectionData *SD) const {
163   EnsureValid(SD->begin());
164   assert(SD->Address != ~UINT64_C(0) && "Address not set!");
165   return SD->Address;
166 }
167
168 uint64_t MCAsmLayout::getSectionAddressSize(const MCSectionData *SD) const {
169   // The size is the last fragment's end offset.
170   const MCFragment &F = SD->getFragmentList().back();
171   return getFragmentOffset(&F) + getFragmentEffectiveSize(&F);
172 }
173
174 uint64_t MCAsmLayout::getSectionFileSize(const MCSectionData *SD) const {
175   // Virtual sections have no file size.
176   if (SD->getSection().isVirtualSection())
177     return 0;
178
179   // Otherwise, the file size is the same as the address space size.
180   return getSectionAddressSize(SD);
181 }
182
183 uint64_t MCAsmLayout::getSectionSize(const MCSectionData *SD) const {
184   // The logical size is the address space size minus any tail padding.
185   uint64_t Size = getSectionAddressSize(SD);
186   const MCAlignFragment *AF =
187     dyn_cast<MCAlignFragment>(&(SD->getFragmentList().back()));
188   if (AF && AF->hasOnlyAlignAddress())
189     Size -= getFragmentEffectiveSize(AF);
190
191   return Size;
192 }
193
194 /* *** */
195
196 MCFragment::MCFragment() : Kind(FragmentType(~0)) {
197 }
198
199 MCFragment::~MCFragment() {
200 }
201
202 MCFragment::MCFragment(FragmentType _Kind, MCSectionData *_Parent)
203   : Kind(_Kind), Parent(_Parent), Atom(0), Offset(~UINT64_C(0)),
204     EffectiveSize(~UINT64_C(0))
205 {
206   if (Parent)
207     Parent->getFragmentList().push_back(this);
208 }
209
210 /* *** */
211
212 MCSectionData::MCSectionData() : Section(0) {}
213
214 MCSectionData::MCSectionData(const MCSection &_Section, MCAssembler *A)
215   : Section(&_Section),
216     Alignment(1),
217     Address(~UINT64_C(0)),
218     HasInstructions(false)
219 {
220   if (A)
221     A->getSectionList().push_back(this);
222 }
223
224 /* *** */
225
226 MCSymbolData::MCSymbolData() : Symbol(0) {}
227
228 MCSymbolData::MCSymbolData(const MCSymbol &_Symbol, MCFragment *_Fragment,
229                            uint64_t _Offset, MCAssembler *A)
230   : Symbol(&_Symbol), Fragment(_Fragment), Offset(_Offset),
231     IsExternal(false), IsPrivateExtern(false),
232     CommonSize(0), SymbolSize(0), CommonAlign(0),
233     Flags(0), Index(0)
234 {
235   if (A)
236     A->getSymbolList().push_back(this);
237 }
238
239 /* *** */
240
241 MCAssembler::MCAssembler(MCContext &_Context, TargetAsmBackend &_Backend,
242                          MCCodeEmitter &_Emitter, bool _PadSectionToAlignment,
243                          raw_ostream &_OS)
244   : Context(_Context), Backend(_Backend), Emitter(_Emitter),
245     OS(_OS), RelaxAll(false), SubsectionsViaSymbols(false),
246     PadSectionToAlignment(_PadSectionToAlignment)
247 {
248 }
249
250 MCAssembler::~MCAssembler() {
251 }
252
253 bool MCAssembler::isSymbolLinkerVisible(const MCSymbol &Symbol) const {
254   // Non-temporary labels should always be visible to the linker.
255   if (!Symbol.isTemporary())
256     return true;
257
258   // Absolute temporary labels are never visible.
259   if (!Symbol.isInSection())
260     return false;
261
262   // Otherwise, check if the section requires symbols even for temporary labels.
263   return getBackend().doesSectionRequireSymbols(Symbol.getSection());
264 }
265
266 const MCSymbolData *MCAssembler::getAtom(const MCSymbolData *SD) const {
267   // Linker visible symbols define atoms.
268   if (isSymbolLinkerVisible(SD->getSymbol()))
269     return SD;
270
271   // Absolute and undefined symbols have no defining atom.
272   if (!SD->getFragment())
273     return 0;
274
275   // Non-linker visible symbols in sections which can't be atomized have no
276   // defining atom.
277   if (!getBackend().isSectionAtomizable(
278         SD->getFragment()->getParent()->getSection()))
279     return 0;
280
281   // Otherwise, return the atom for the containing fragment.
282   return SD->getFragment()->getAtom();
283 }
284
285 bool MCAssembler::EvaluateFixup(const MCObjectWriter &Writer,
286                                 const MCAsmLayout &Layout,
287                                 const MCFixup &Fixup, const MCFragment *DF,
288                                 MCValue &Target, uint64_t &Value) const {
289   ++stats::EvaluateFixup;
290
291   if (!Fixup.getValue()->EvaluateAsRelocatable(Target, &Layout))
292     report_fatal_error("expected relocatable expression");
293
294   // FIXME: How do non-scattered symbols work in ELF? I presume the linker
295   // doesn't support small relocations, but then under what criteria does the
296   // assembler allow symbol differences?
297
298   Value = Target.getConstant();
299
300   bool IsPCRel = Emitter.getFixupKindInfo(
301     Fixup.getKind()).Flags & MCFixupKindInfo::FKF_IsPCRel;
302   bool IsResolved = true;
303   if (const MCSymbolRefExpr *A = Target.getSymA()) {
304     const MCSymbol &Sym = A->getSymbol().AliasedSymbol();
305     if (Sym.isDefined())
306       Value += Layout.getSymbolAddress(&getSymbolData(Sym));
307     else
308       IsResolved = false;
309   }
310   if (const MCSymbolRefExpr *B = Target.getSymB()) {
311     const MCSymbol &Sym = B->getSymbol().AliasedSymbol();
312     if (Sym.isDefined())
313       Value -= Layout.getSymbolAddress(&getSymbolData(Sym));
314     else
315       IsResolved = false;
316   }
317
318   if (IsResolved)
319     IsResolved = Writer.IsFixupFullyResolved(*this, Target, IsPCRel, DF);
320
321   if (IsPCRel)
322     Value -= Layout.getFragmentAddress(DF) + Fixup.getOffset();
323
324   return IsResolved;
325 }
326
327 uint64_t MCAssembler::ComputeFragmentSize(const MCFragment &F,
328                                           uint64_t SectionAddress,
329                                           uint64_t FragmentOffset) const {
330   switch (F.getKind()) {
331   case MCFragment::FT_Data:
332     return cast<MCDataFragment>(F).getContents().size();
333   case MCFragment::FT_Fill:
334     return cast<MCFillFragment>(F).getSize();
335   case MCFragment::FT_Inst:
336     return cast<MCInstFragment>(F).getInstSize();
337
338   case MCFragment::FT_LEB:
339     return cast<MCLEBFragment>(F).getContents().size();
340
341   case MCFragment::FT_Align: {
342     const MCAlignFragment &AF = cast<MCAlignFragment>(F);
343
344     assert((!AF.hasOnlyAlignAddress() || !AF.getNextNode()) &&
345            "Invalid OnlyAlignAddress bit, not the last fragment!");
346
347     uint64_t Size = OffsetToAlignment(SectionAddress + FragmentOffset,
348                                       AF.getAlignment());
349
350     // Honor MaxBytesToEmit.
351     if (Size > AF.getMaxBytesToEmit())
352       return 0;
353
354     return Size;
355   }
356
357   case MCFragment::FT_Org:
358     return cast<MCOrgFragment>(F).getSize();
359
360   case MCFragment::FT_Dwarf:
361     return cast<MCDwarfLineAddrFragment>(F).getContents().size();
362   }
363
364   assert(0 && "invalid fragment kind");
365   return 0;
366 }
367
368 void MCAsmLayout::LayoutFile() {
369   // Initialize the first section and set the valid fragment layout point. All
370   // actual layout computations are done lazily.
371   LastValidFragment = 0;
372   if (!getSectionOrder().empty())
373     getSectionOrder().front()->Address = 0;
374 }
375
376 void MCAsmLayout::LayoutFragment(MCFragment *F) {
377   MCFragment *Prev = F->getPrevNode();
378
379   // We should never try to recompute something which is up-to-date.
380   assert(!isFragmentUpToDate(F) && "Attempt to recompute up-to-date fragment!");
381   // We should never try to compute the fragment layout if the section isn't
382   // up-to-date.
383   assert(isSectionUpToDate(F->getParent()) &&
384          "Attempt to compute fragment before it's section!");
385   // We should never try to compute the fragment layout if it's predecessor
386   // isn't up-to-date.
387   assert((!Prev || isFragmentUpToDate(Prev)) &&
388          "Attempt to compute fragment before it's predecessor!");
389
390   ++stats::FragmentLayouts;
391
392   // Compute the fragment start address.
393   uint64_t StartAddress = F->getParent()->Address;
394   uint64_t Address = StartAddress;
395   if (Prev)
396     Address += Prev->Offset + Prev->EffectiveSize;
397
398   // Compute fragment offset and size.
399   F->Offset = Address - StartAddress;
400   F->EffectiveSize = getAssembler().ComputeFragmentSize(*F, StartAddress,
401                                                         F->Offset);
402   LastValidFragment = F;
403
404   // If this is the last fragment in a section, update the next section address.
405   if (!F->getNextNode()) {
406     unsigned NextIndex = F->getParent()->getLayoutOrder() + 1;
407     if (NextIndex != getSectionOrder().size())
408       LayoutSection(getSectionOrder()[NextIndex]);
409   }
410 }
411
412 void MCAsmLayout::LayoutSection(MCSectionData *SD) {
413   unsigned SectionOrderIndex = SD->getLayoutOrder();
414
415   ++stats::SectionLayouts;
416
417   // Compute the section start address.
418   uint64_t StartAddress = 0;
419   if (SectionOrderIndex) {
420     MCSectionData *Prev = getSectionOrder()[SectionOrderIndex - 1];
421     StartAddress = getSectionAddress(Prev) + getSectionAddressSize(Prev);
422   }
423
424   // Honor the section alignment requirements.
425   StartAddress = RoundUpToAlignment(StartAddress, SD->getAlignment());
426
427   // Set the section address.
428   SD->Address = StartAddress;
429 }
430
431 /// WriteFragmentData - Write the \arg F data to the output file.
432 static void WriteFragmentData(const MCAssembler &Asm, const MCAsmLayout &Layout,
433                               const MCFragment &F, MCObjectWriter *OW) {
434   uint64_t Start = OW->getStream().tell();
435   (void) Start;
436
437   ++stats::EmittedFragments;
438
439   // FIXME: Embed in fragments instead?
440   uint64_t FragmentSize = Layout.getFragmentEffectiveSize(&F);
441   switch (F.getKind()) {
442   case MCFragment::FT_Align: {
443     MCAlignFragment &AF = cast<MCAlignFragment>(F);
444     uint64_t Count = FragmentSize / AF.getValueSize();
445
446     assert(AF.getValueSize() && "Invalid virtual align in concrete fragment!");
447
448     // FIXME: This error shouldn't actually occur (the front end should emit
449     // multiple .align directives to enforce the semantics it wants), but is
450     // severe enough that we want to report it. How to handle this?
451     if (Count * AF.getValueSize() != FragmentSize)
452       report_fatal_error("undefined .align directive, value size '" +
453                         Twine(AF.getValueSize()) +
454                         "' is not a divisor of padding size '" +
455                         Twine(FragmentSize) + "'");
456
457     // See if we are aligning with nops, and if so do that first to try to fill
458     // the Count bytes.  Then if that did not fill any bytes or there are any
459     // bytes left to fill use the the Value and ValueSize to fill the rest.
460     // If we are aligning with nops, ask that target to emit the right data.
461     if (AF.hasEmitNops()) {
462       if (!Asm.getBackend().WriteNopData(Count, OW))
463         report_fatal_error("unable to write nop sequence of " +
464                           Twine(Count) + " bytes");
465       break;
466     }
467
468     // Otherwise, write out in multiples of the value size.
469     for (uint64_t i = 0; i != Count; ++i) {
470       switch (AF.getValueSize()) {
471       default:
472         assert(0 && "Invalid size!");
473       case 1: OW->Write8 (uint8_t (AF.getValue())); break;
474       case 2: OW->Write16(uint16_t(AF.getValue())); break;
475       case 4: OW->Write32(uint32_t(AF.getValue())); break;
476       case 8: OW->Write64(uint64_t(AF.getValue())); break;
477       }
478     }
479     break;
480   }
481
482   case MCFragment::FT_Data: {
483     MCDataFragment &DF = cast<MCDataFragment>(F);
484     assert(FragmentSize == DF.getContents().size() && "Invalid size!");
485     OW->WriteBytes(DF.getContents().str());
486     break;
487   }
488
489   case MCFragment::FT_Fill: {
490     MCFillFragment &FF = cast<MCFillFragment>(F);
491
492     assert(FF.getValueSize() && "Invalid virtual align in concrete fragment!");
493
494     for (uint64_t i = 0, e = FF.getSize() / FF.getValueSize(); i != e; ++i) {
495       switch (FF.getValueSize()) {
496       default:
497         assert(0 && "Invalid size!");
498       case 1: OW->Write8 (uint8_t (FF.getValue())); break;
499       case 2: OW->Write16(uint16_t(FF.getValue())); break;
500       case 4: OW->Write32(uint32_t(FF.getValue())); break;
501       case 8: OW->Write64(uint64_t(FF.getValue())); break;
502       }
503     }
504     break;
505   }
506
507   case MCFragment::FT_Inst:
508     llvm_unreachable("unexpected inst fragment after lowering");
509     break;
510
511   case MCFragment::FT_LEB: {
512     MCLEBFragment &LF = cast<MCLEBFragment>(F);
513     OW->WriteBytes(LF.getContents().str());
514     break;
515   }
516
517   case MCFragment::FT_Org: {
518     MCOrgFragment &OF = cast<MCOrgFragment>(F);
519
520     for (uint64_t i = 0, e = FragmentSize; i != e; ++i)
521       OW->Write8(uint8_t(OF.getValue()));
522
523     break;
524   }
525
526   case MCFragment::FT_Dwarf: {
527     const MCDwarfLineAddrFragment &OF = cast<MCDwarfLineAddrFragment>(F);
528     OW->WriteBytes(OF.getContents().str());
529     break;
530   }
531   }
532
533   assert(OW->getStream().tell() - Start == FragmentSize);
534 }
535
536 void MCAssembler::WriteSectionData(const MCSectionData *SD,
537                                    const MCAsmLayout &Layout,
538                                    MCObjectWriter *OW) const {
539   // Ignore virtual sections.
540   if (SD->getSection().isVirtualSection()) {
541     assert(Layout.getSectionFileSize(SD) == 0 && "Invalid size for section!");
542
543     // Check that contents are only things legal inside a virtual section.
544     for (MCSectionData::const_iterator it = SD->begin(),
545            ie = SD->end(); it != ie; ++it) {
546       switch (it->getKind()) {
547       default:
548         assert(0 && "Invalid fragment in virtual section!");
549       case MCFragment::FT_Data: {
550         // Check that we aren't trying to write a non-zero contents (or fixups)
551         // into a virtual section. This is to support clients which use standard
552         // directives to fill the contents of virtual sections.
553         MCDataFragment &DF = cast<MCDataFragment>(*it);
554         assert(DF.fixup_begin() == DF.fixup_end() &&
555                "Cannot have fixups in virtual section!");
556         for (unsigned i = 0, e = DF.getContents().size(); i != e; ++i)
557           assert(DF.getContents()[i] == 0 &&
558                  "Invalid data value for virtual section!");
559         break;
560       }
561       case MCFragment::FT_Align:
562         // Check that we aren't trying to write a non-zero value into a virtual
563         // section.
564         assert((!cast<MCAlignFragment>(it)->getValueSize() ||
565                 !cast<MCAlignFragment>(it)->getValue()) &&
566                "Invalid align in virtual section!");
567         break;
568       case MCFragment::FT_Fill:
569         assert(!cast<MCFillFragment>(it)->getValueSize() &&
570                "Invalid fill in virtual section!");
571         break;
572       }
573     }
574
575     return;
576   }
577
578   uint64_t Start = OW->getStream().tell();
579   (void) Start;
580
581   for (MCSectionData::const_iterator it = SD->begin(),
582          ie = SD->end(); it != ie; ++it)
583     WriteFragmentData(*this, Layout, *it, OW);
584
585   assert(OW->getStream().tell() - Start == Layout.getSectionFileSize(SD));
586 }
587
588 void MCAssembler::Finish(MCObjectWriter *Writer) {
589   DEBUG_WITH_TYPE("mc-dump", {
590       llvm::errs() << "assembler backend - pre-layout\n--\n";
591       dump(); });
592
593   // Create the layout object.
594   MCAsmLayout Layout(*this);
595
596   // Insert additional align fragments for concrete sections to explicitly pad
597   // the previous section to match their alignment requirements. This is for
598   // 'gas' compatibility, it shouldn't strictly be necessary.
599   if (PadSectionToAlignment) {
600     for (unsigned i = 1, e = Layout.getSectionOrder().size(); i < e; ++i) {
601       MCSectionData *SD = Layout.getSectionOrder()[i];
602
603       // Ignore sections without alignment requirements.
604       unsigned Align = SD->getAlignment();
605       if (Align <= 1)
606         continue;
607
608       // Ignore virtual sections, they don't cause file size modifications.
609       if (SD->getSection().isVirtualSection())
610         continue;
611
612       // Otherwise, create a new align fragment at the end of the previous
613       // section.
614       MCAlignFragment *AF = new MCAlignFragment(Align, 0, 1, Align,
615                                                 Layout.getSectionOrder()[i - 1]);
616       AF->setOnlyAlignAddress(true);
617     }
618   }
619
620   // Create dummy fragments and assign section ordinals.
621   unsigned SectionIndex = 0;
622   for (MCAssembler::iterator it = begin(), ie = end(); it != ie; ++it) {
623     // Create dummy fragments to eliminate any empty sections, this simplifies
624     // layout.
625     if (it->getFragmentList().empty())
626       new MCDataFragment(it);
627
628     it->setOrdinal(SectionIndex++);
629   }
630
631   // Assign layout order indices to sections and fragments.
632   unsigned FragmentIndex = 0;
633   for (unsigned i = 0, e = Layout.getSectionOrder().size(); i != e; ++i) {
634     MCSectionData *SD = Layout.getSectionOrder()[i];
635     SD->setLayoutOrder(i);
636
637     for (MCSectionData::iterator it2 = SD->begin(),
638            ie2 = SD->end(); it2 != ie2; ++it2)
639       it2->setLayoutOrder(FragmentIndex++);
640   }
641
642   llvm::OwningPtr<MCObjectWriter> OwnWriter(0);
643   if (Writer == 0) {
644     //no custom Writer_ : create the default one life-managed by OwningPtr
645     OwnWriter.reset(getBackend().createObjectWriter(OS));
646     Writer = OwnWriter.get();
647     if (!Writer)
648       report_fatal_error("unable to create object writer!");
649   }
650
651   // Layout until everything fits.
652   while (LayoutOnce(*Writer, Layout))
653     continue;
654
655   DEBUG_WITH_TYPE("mc-dump", {
656       llvm::errs() << "assembler backend - post-relaxation\n--\n";
657       dump(); });
658
659   // Finalize the layout, including fragment lowering.
660   FinishLayout(Layout);
661
662   DEBUG_WITH_TYPE("mc-dump", {
663       llvm::errs() << "assembler backend - final-layout\n--\n";
664       dump(); });
665
666   uint64_t StartOffset = OS.tell();
667
668   // Allow the object writer a chance to perform post-layout binding (for
669   // example, to set the index fields in the symbol data).
670   Writer->ExecutePostLayoutBinding(*this);
671
672   // Evaluate and apply the fixups, generating relocation entries as necessary.
673   for (MCAssembler::iterator it = begin(), ie = end(); it != ie; ++it) {
674     for (MCSectionData::iterator it2 = it->begin(),
675            ie2 = it->end(); it2 != ie2; ++it2) {
676       MCDataFragment *DF = dyn_cast<MCDataFragment>(it2);
677       if (!DF)
678         continue;
679
680       for (MCDataFragment::fixup_iterator it3 = DF->fixup_begin(),
681              ie3 = DF->fixup_end(); it3 != ie3; ++it3) {
682         MCFixup &Fixup = *it3;
683
684         // Evaluate the fixup.
685         MCValue Target;
686         uint64_t FixedValue;
687         if (!EvaluateFixup(*Writer, Layout, Fixup, DF, Target, FixedValue)) {
688           // The fixup was unresolved, we need a relocation. Inform the object
689           // writer of the relocation, and give it an opportunity to adjust the
690           // fixup value if need be.
691           Writer->RecordRelocation(*this, Layout, DF, Fixup, Target,FixedValue);
692         }
693
694         getBackend().ApplyFixup(Fixup, *DF, FixedValue);
695       }
696     }
697   }
698
699   // Write the object file.
700   Writer->WriteObject(*this, Layout);
701
702   stats::ObjectBytes += OS.tell() - StartOffset;
703 }
704
705 bool MCAssembler::FixupNeedsRelaxation(const MCObjectWriter &Writer,
706                                        const MCFixup &Fixup,
707                                        const MCFragment *DF,
708                                        const MCAsmLayout &Layout) const {
709   if (getRelaxAll())
710     return true;
711
712   // If we cannot resolve the fixup value, it requires relaxation.
713   MCValue Target;
714   uint64_t Value;
715   if (!EvaluateFixup(Writer, Layout, Fixup, DF, Target, Value))
716     return true;
717
718   // Otherwise, relax if the value is too big for a (signed) i8.
719   //
720   // FIXME: This is target dependent!
721   return int64_t(Value) != int64_t(int8_t(Value));
722 }
723
724 bool MCAssembler::FragmentNeedsRelaxation(const MCObjectWriter &Writer,
725                                           const MCInstFragment *IF,
726                                           const MCAsmLayout &Layout) const {
727   // If this inst doesn't ever need relaxation, ignore it. This occurs when we
728   // are intentionally pushing out inst fragments, or because we relaxed a
729   // previous instruction to one that doesn't need relaxation.
730   if (!getBackend().MayNeedRelaxation(IF->getInst()))
731     return false;
732
733   for (MCInstFragment::const_fixup_iterator it = IF->fixup_begin(),
734          ie = IF->fixup_end(); it != ie; ++it)
735     if (FixupNeedsRelaxation(Writer, *it, IF, Layout))
736       return true;
737
738   return false;
739 }
740
741 bool MCAssembler::RelaxInstruction(const MCObjectWriter &Writer,
742                                    MCAsmLayout &Layout,
743                                    MCInstFragment &IF) {
744   if (!FragmentNeedsRelaxation(Writer, &IF, Layout))
745     return false;
746
747   ++stats::RelaxedInstructions;
748
749   // FIXME-PERF: We could immediately lower out instructions if we can tell
750   // they are fully resolved, to avoid retesting on later passes.
751
752   // Relax the fragment.
753
754   MCInst Relaxed;
755   getBackend().RelaxInstruction(IF.getInst(), Relaxed);
756
757   // Encode the new instruction.
758   //
759   // FIXME-PERF: If it matters, we could let the target do this. It can
760   // probably do so more efficiently in many cases.
761   SmallVector<MCFixup, 4> Fixups;
762   SmallString<256> Code;
763   raw_svector_ostream VecOS(Code);
764   getEmitter().EncodeInstruction(Relaxed, VecOS, Fixups);
765   VecOS.flush();
766
767   // Update the instruction fragment.
768   IF.setInst(Relaxed);
769   IF.getCode() = Code;
770   IF.getFixups().clear();
771   // FIXME: Eliminate copy.
772   for (unsigned i = 0, e = Fixups.size(); i != e; ++i)
773     IF.getFixups().push_back(Fixups[i]);
774
775   return true;
776 }
777
778 bool MCAssembler::RelaxOrg(const MCObjectWriter &Writer,
779                            MCAsmLayout &Layout,
780                            MCOrgFragment &OF) {
781   int64_t TargetLocation;
782   if (!OF.getOffset().EvaluateAsAbsolute(TargetLocation, &Layout))
783     report_fatal_error("expected assembly-time absolute expression");
784
785   // FIXME: We need a way to communicate this error.
786   uint64_t FragmentOffset = Layout.getFragmentOffset(&OF);
787   int64_t Offset = TargetLocation - FragmentOffset;
788   if (Offset < 0 || Offset >= 0x40000000)
789     report_fatal_error("invalid .org offset '" + Twine(TargetLocation) +
790                        "' (at offset '" + Twine(FragmentOffset) + "')");
791
792   unsigned OldSize = OF.getSize();
793   OF.setSize(Offset);
794   return OldSize != OF.getSize();
795 }
796
797 bool MCAssembler::RelaxLEB(const MCObjectWriter &Writer,
798                            MCAsmLayout &Layout,
799                            MCLEBFragment &LF) {
800   int64_t Value = 0;
801   uint64_t OldSize = LF.getContents().size();
802   LF.getValue().EvaluateAsAbsolute(Value, &Layout);
803   SmallString<8> &Data = LF.getContents();
804   Data.clear();
805   raw_svector_ostream OSE(Data);
806   if (LF.isSigned())
807     MCObjectWriter::EncodeSLEB128(Value, OSE);
808   else
809     MCObjectWriter::EncodeULEB128(Value, OSE);
810   OSE.flush();
811   return OldSize != LF.getContents().size();
812 }
813
814 bool MCAssembler::RelaxDwarfLineAddr(const MCObjectWriter &Writer,
815                                      MCAsmLayout &Layout,
816                                      MCDwarfLineAddrFragment &DF) {
817   int64_t AddrDelta = 0;
818   uint64_t OldSize = DF.getContents().size();
819   DF.getAddrDelta().EvaluateAsAbsolute(AddrDelta, &Layout);
820   int64_t LineDelta;
821   LineDelta = DF.getLineDelta();
822   SmallString<8> &Data = DF.getContents();
823   Data.clear();
824   raw_svector_ostream OSE(Data);
825   MCDwarfLineAddr::Encode(LineDelta, AddrDelta, OSE);
826   OSE.flush();
827   return OldSize != Data.size();
828 }
829
830 bool MCAssembler::LayoutOnce(const MCObjectWriter &Writer,
831                              MCAsmLayout &Layout) {
832   ++stats::RelaxationSteps;
833
834   // Layout the sections in order.
835   Layout.LayoutFile();
836
837   // Scan for fragments that need relaxation.
838   bool WasRelaxed = false;
839   for (iterator it = begin(), ie = end(); it != ie; ++it) {
840     MCSectionData &SD = *it;
841
842     for (MCSectionData::iterator it2 = SD.begin(),
843            ie2 = SD.end(); it2 != ie2; ++it2) {
844       // Check if this is an fragment that needs relaxation.
845       bool relaxedFrag = false;
846       switch(it2->getKind()) {
847       default:
848         break;
849       case MCFragment::FT_Inst:
850         relaxedFrag = RelaxInstruction(Writer, Layout,
851                                        *cast<MCInstFragment>(it2));
852         break;
853       case MCFragment::FT_Org:
854         relaxedFrag = RelaxOrg(Writer, Layout, *cast<MCOrgFragment>(it2));
855         break;
856       case MCFragment::FT_Dwarf:
857         relaxedFrag = RelaxDwarfLineAddr(Writer, Layout,
858                                          *cast<MCDwarfLineAddrFragment>(it2));
859         break;
860       case MCFragment::FT_LEB:
861         relaxedFrag = RelaxLEB(Writer, Layout, *cast<MCLEBFragment>(it2));
862         break;
863       }
864       // Update the layout, and remember that we relaxed.
865       if (relaxedFrag)
866         Layout.Invalidate(it2);
867       WasRelaxed |= relaxedFrag;
868     }
869   }
870
871   return WasRelaxed;
872 }
873
874 static void LowerInstFragment(MCInstFragment *IF,
875                               MCDataFragment *DF) {
876
877   uint64_t DataOffset = DF->getContents().size();
878
879   // Copy in the data
880   DF->getContents().append(IF->getCode().begin(), IF->getCode().end());
881
882   // Adjust the fixup offsets and add them to the data fragment.
883   for (unsigned i = 0, e = IF->getFixups().size(); i != e; ++i) {
884     MCFixup &F = IF->getFixups()[i];
885     F.setOffset(DataOffset + F.getOffset());
886     DF->getFixups().push_back(F);
887   }
888 }
889
890 void MCAssembler::FinishLayout(MCAsmLayout &Layout) {
891   // Lower out any instruction fragments, to simplify the fixup application and
892   // output.
893   //
894   // FIXME-PERF: We don't have to do this, but the assumption is that it is
895   // cheap (we will mostly end up eliminating fragments and appending on to data
896   // fragments), so the extra complexity downstream isn't worth it. Evaluate
897   // this assumption.
898
899   // The layout is done. Mark every fragment as valid.
900   Layout.getFragmentOffset(&*Layout.getSectionOrder().back()->rbegin());
901
902   unsigned FragmentIndex = 0;
903   for (unsigned i = 0, e = Layout.getSectionOrder().size(); i != e; ++i) {
904     MCSectionData &SD = *Layout.getSectionOrder()[i];
905     MCDataFragment *CurDF = NULL;
906
907     for (MCSectionData::iterator it2 = SD.begin(),
908            ie2 = SD.end(); it2 != ie2; ++it2) {
909       switch (it2->getKind()) {
910       default:
911         CurDF = NULL;
912         break;
913       case MCFragment::FT_Data:
914         CurDF = cast<MCDataFragment>(it2);
915         break;
916       case MCFragment::FT_Inst: {
917         MCInstFragment *IF = cast<MCInstFragment>(it2);
918         // Use the existing data fragment if possible.
919         if (CurDF && CurDF->getAtom() == IF->getAtom()) {
920           Layout.CoalesceFragments(IF, CurDF);
921         } else {
922           // Otherwise, create a new data fragment.
923           CurDF = new MCDataFragment();
924           Layout.ReplaceFragment(IF, CurDF);
925         }
926
927         // Lower the Instruction Fragment
928         LowerInstFragment(IF, CurDF);
929
930         // Delete the instruction fragment and update the iterator.
931         delete IF;
932         it2 = CurDF;
933         break;
934       }
935       }
936       // Since we may have merged fragments, fix the layout order.
937       it2->setLayoutOrder(FragmentIndex++);
938     }
939   }
940 }
941
942 // Debugging methods
943
944 namespace llvm {
945
946 raw_ostream &operator<<(raw_ostream &OS, const MCFixup &AF) {
947   OS << "<MCFixup" << " Offset:" << AF.getOffset()
948      << " Value:" << *AF.getValue()
949      << " Kind:" << AF.getKind() << ">";
950   return OS;
951 }
952
953 }
954
955 void MCFragment::dump() {
956   raw_ostream &OS = llvm::errs();
957
958   OS << "<";
959   switch (getKind()) {
960   case MCFragment::FT_Align: OS << "MCAlignFragment"; break;
961   case MCFragment::FT_Data:  OS << "MCDataFragment"; break;
962   case MCFragment::FT_Fill:  OS << "MCFillFragment"; break;
963   case MCFragment::FT_Inst:  OS << "MCInstFragment"; break;
964   case MCFragment::FT_Org:   OS << "MCOrgFragment"; break;
965   case MCFragment::FT_Dwarf: OS << "MCDwarfFragment"; break;
966   case MCFragment::FT_LEB:   OS << "MCLEBFragment"; break;
967   }
968
969   OS << "<MCFragment " << (void*) this << " LayoutOrder:" << LayoutOrder
970      << " Offset:" << Offset << " EffectiveSize:" << EffectiveSize << ">";
971
972   switch (getKind()) {
973   case MCFragment::FT_Align: {
974     const MCAlignFragment *AF = cast<MCAlignFragment>(this);
975     if (AF->hasEmitNops())
976       OS << " (emit nops)";
977     if (AF->hasOnlyAlignAddress())
978       OS << " (only align section)";
979     OS << "\n       ";
980     OS << " Alignment:" << AF->getAlignment()
981        << " Value:" << AF->getValue() << " ValueSize:" << AF->getValueSize()
982        << " MaxBytesToEmit:" << AF->getMaxBytesToEmit() << ">";
983     break;
984   }
985   case MCFragment::FT_Data:  {
986     const MCDataFragment *DF = cast<MCDataFragment>(this);
987     OS << "\n       ";
988     OS << " Contents:[";
989     const SmallVectorImpl<char> &Contents = DF->getContents();
990     for (unsigned i = 0, e = Contents.size(); i != e; ++i) {
991       if (i) OS << ",";
992       OS << hexdigit((Contents[i] >> 4) & 0xF) << hexdigit(Contents[i] & 0xF);
993     }
994     OS << "] (" << Contents.size() << " bytes)";
995
996     if (!DF->getFixups().empty()) {
997       OS << ",\n       ";
998       OS << " Fixups:[";
999       for (MCDataFragment::const_fixup_iterator it = DF->fixup_begin(),
1000              ie = DF->fixup_end(); it != ie; ++it) {
1001         if (it != DF->fixup_begin()) OS << ",\n                ";
1002         OS << *it;
1003       }
1004       OS << "]";
1005     }
1006     break;
1007   }
1008   case MCFragment::FT_Fill:  {
1009     const MCFillFragment *FF = cast<MCFillFragment>(this);
1010     OS << " Value:" << FF->getValue() << " ValueSize:" << FF->getValueSize()
1011        << " Size:" << FF->getSize();
1012     break;
1013   }
1014   case MCFragment::FT_Inst:  {
1015     const MCInstFragment *IF = cast<MCInstFragment>(this);
1016     OS << "\n       ";
1017     OS << " Inst:";
1018     IF->getInst().dump_pretty(OS);
1019     break;
1020   }
1021   case MCFragment::FT_Org:  {
1022     const MCOrgFragment *OF = cast<MCOrgFragment>(this);
1023     OS << "\n       ";
1024     OS << " Offset:" << OF->getOffset() << " Value:" << OF->getValue();
1025     break;
1026   }
1027   case MCFragment::FT_Dwarf:  {
1028     const MCDwarfLineAddrFragment *OF = cast<MCDwarfLineAddrFragment>(this);
1029     OS << "\n       ";
1030     OS << " AddrDelta:" << OF->getAddrDelta()
1031        << " LineDelta:" << OF->getLineDelta();
1032     break;
1033   }
1034   case MCFragment::FT_LEB: {
1035     const MCLEBFragment *LF = cast<MCLEBFragment>(this);
1036     OS << "\n       ";
1037     OS << " Value:" << LF->getValue() << " Signed:" << LF->isSigned();
1038     break;
1039   }
1040   }
1041   OS << ">";
1042 }
1043
1044 void MCSectionData::dump() {
1045   raw_ostream &OS = llvm::errs();
1046
1047   OS << "<MCSectionData";
1048   OS << " Alignment:" << getAlignment() << " Address:" << Address
1049      << " Fragments:[\n      ";
1050   for (iterator it = begin(), ie = end(); it != ie; ++it) {
1051     if (it != begin()) OS << ",\n      ";
1052     it->dump();
1053   }
1054   OS << "]>";
1055 }
1056
1057 void MCSymbolData::dump() {
1058   raw_ostream &OS = llvm::errs();
1059
1060   OS << "<MCSymbolData Symbol:" << getSymbol()
1061      << " Fragment:" << getFragment() << " Offset:" << getOffset()
1062      << " Flags:" << getFlags() << " Index:" << getIndex();
1063   if (isCommon())
1064     OS << " (common, size:" << getCommonSize()
1065        << " align: " << getCommonAlignment() << ")";
1066   if (isExternal())
1067     OS << " (external)";
1068   if (isPrivateExtern())
1069     OS << " (private extern)";
1070   OS << ">";
1071 }
1072
1073 void MCAssembler::dump() {
1074   raw_ostream &OS = llvm::errs();
1075
1076   OS << "<MCAssembler\n";
1077   OS << "  Sections:[\n    ";
1078   for (iterator it = begin(), ie = end(); it != ie; ++it) {
1079     if (it != begin()) OS << ",\n    ";
1080     it->dump();
1081   }
1082   OS << "],\n";
1083   OS << "  Symbols:[";
1084
1085   for (symbol_iterator it = symbol_begin(), ie = symbol_end(); it != ie; ++it) {
1086     if (it != symbol_begin()) OS << ",\n           ";
1087     it->dump();
1088   }
1089   OS << "]>\n";
1090 }