lib/Target/X86/AsmParser/X86AsmParser.cpp

   1 //===-- X86AsmParser.cpp - Parse X86 assembly to MCInst instructions ------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "llvm/Target/TargetAsmParser.h"
  11 #include "X86.h"
  12 #include "X86Subtarget.h"
  13 #include "llvm/Target/TargetRegistry.h"
  14 #include "llvm/Target/TargetAsmParser.h"
  15 #include "llvm/MC/MCStreamer.h"
  16 #include "llvm/MC/MCExpr.h"
  17 #include "llvm/MC/MCInst.h"
  18 #include "llvm/MC/MCParser/MCAsmLexer.h"
  19 #include "llvm/MC/MCParser/MCAsmParser.h"
  20 #include "llvm/MC/MCParser/MCParsedAsmOperand.h"
  21 #include "llvm/ADT/SmallString.h"
  22 #include "llvm/ADT/SmallVector.h"
  23 #include "llvm/ADT/StringExtras.h"
  24 #include "llvm/ADT/StringSwitch.h"
  25 #include "llvm/ADT/Twine.h"
  26 #include "llvm/Support/SourceMgr.h"
  27 #include "llvm/Support/raw_ostream.h"
  28 using namespace llvm;
  29
  30 namespace {
  31 struct X86Operand;
  32
  33 class X86ATTAsmParser : public TargetAsmParser {
  34   MCAsmParser &Parser;
  35   TargetMachine &TM;
  36
  37 protected:
  38   unsigned Is64Bit : 1;
  39
  40 private:
  41   MCAsmParser &getParser() const { return Parser; }
  42
  43   MCAsmLexer &getLexer() const { return Parser.getLexer(); }
  44
  45   bool Error(SMLoc L, const Twine &Msg) { return Parser.Error(L, Msg); }
  46
  47   bool ParseRegister(unsigned &RegNo, SMLoc &StartLoc, SMLoc &EndLoc);
  48
  49   X86Operand *ParseOperand();
  50   X86Operand *ParseMemOperand(unsigned SegReg, SMLoc StartLoc);
  51
  52   bool ParseDirectiveWord(unsigned Size, SMLoc L);
  53
  54   bool MatchInstruction(SMLoc IDLoc,
  55                         const SmallVectorImpl<MCParsedAsmOperand*> &Operands,
  56                         MCInst &Inst);
  57
  58   /// @name Auto-generated Matcher Functions
  59   /// {
  60
  61 #define GET_ASSEMBLER_HEADER
  62 #include "X86GenAsmMatcher.inc"
  63
  64   /// }
  65
  66 public:
  67   X86ATTAsmParser(const Target &T, MCAsmParser &_Parser, TargetMachine &TM)
  68     : TargetAsmParser(T), Parser(_Parser), TM(TM) {
  69
  70     // Initialize the set of available features.
  71     setAvailableFeatures(ComputeAvailableFeatures(
  72                            &TM.getSubtarget<X86Subtarget>()));
  73   }
  74
  75   virtual bool ParseInstruction(StringRef Name, SMLoc NameLoc,
  76                                 SmallVectorImpl<MCParsedAsmOperand*> &Operands);
  77
  78   virtual bool ParseDirective(AsmToken DirectiveID);
  79 };
  80
  81 class X86_32ATTAsmParser : public X86ATTAsmParser {
  82 public:
  83   X86_32ATTAsmParser(const Target &T, MCAsmParser &_Parser, TargetMachine &TM)
  84     : X86ATTAsmParser(T, _Parser, TM) {
  85     Is64Bit = false;
  86   }
  87 };
  88
  89 class X86_64ATTAsmParser : public X86ATTAsmParser {
  90 public:
  91   X86_64ATTAsmParser(const Target &T, MCAsmParser &_Parser, TargetMachine &TM)
  92     : X86ATTAsmParser(T, _Parser, TM) {
  93     Is64Bit = true;
  94   }
  95 };
  96
  97 } // end anonymous namespace
  98
  99 /// @name Auto-generated Match Functions
 100 /// {
 101
 102 static unsigned MatchRegisterName(StringRef Name);
 103
 104 /// }
 105
 106 namespace {
 107
 108 /// X86Operand - Instances of this class represent a parsed X86 machine
 109 /// instruction.
 110 struct X86Operand : public MCParsedAsmOperand {
 111   enum KindTy {
 112     Token,
 113     Register,
 114     Immediate,
 115     Memory
 116   } Kind;
 117
 118   SMLoc StartLoc, EndLoc;
 119
 120   union {
 121     struct {
 122       const char *Data;
 123       unsigned Length;
 124     } Tok;
 125
 126     struct {
 127       unsigned RegNo;
 128     } Reg;
 129
 130     struct {
 131       const MCExpr *Val;
 132     } Imm;
 133
 134     struct {
 135       unsigned SegReg;
 136       const MCExpr *Disp;
 137       unsigned BaseReg;
 138       unsigned IndexReg;
 139       unsigned Scale;
 140     } Mem;
 141   };
 142
 143   X86Operand(KindTy K, SMLoc Start, SMLoc End)
 144     : Kind(K), StartLoc(Start), EndLoc(End) {}
 145
 146   /// getStartLoc - Get the location of the first token of this operand.
 147   SMLoc getStartLoc() const { return StartLoc; }
 148   /// getEndLoc - Get the location of the last token of this operand.
 149   SMLoc getEndLoc() const { return EndLoc; }
 150
 151   virtual void dump(raw_ostream &OS) const {}
 152
 153   StringRef getToken() const {
 154     assert(Kind == Token && "Invalid access!");
 155     return StringRef(Tok.Data, Tok.Length);
 156   }
 157   void setTokenValue(StringRef Value) {
 158     assert(Kind == Token && "Invalid access!");
 159     Tok.Data = Value.data();
 160     Tok.Length = Value.size();
 161   }
 162
 163   unsigned getReg() const {
 164     assert(Kind == Register && "Invalid access!");
 165     return Reg.RegNo;
 166   }
 167
 168   const MCExpr *getImm() const {
 169     assert(Kind == Immediate && "Invalid access!");
 170     return Imm.Val;
 171   }
 172
 173   const MCExpr *getMemDisp() const {
 174     assert(Kind == Memory && "Invalid access!");
 175     return Mem.Disp;
 176   }
 177   unsigned getMemSegReg() const {
 178     assert(Kind == Memory && "Invalid access!");
 179     return Mem.SegReg;
 180   }
 181   unsigned getMemBaseReg() const {
 182     assert(Kind == Memory && "Invalid access!");
 183     return Mem.BaseReg;
 184   }
 185   unsigned getMemIndexReg() const {
 186     assert(Kind == Memory && "Invalid access!");
 187     return Mem.IndexReg;
 188   }
 189   unsigned getMemScale() const {
 190     assert(Kind == Memory && "Invalid access!");
 191     return Mem.Scale;
 192   }
 193
 194   bool isToken() const {return Kind == Token; }
 195
 196   bool isImm() const { return Kind == Immediate; }
 197
 198   bool isImmSExti16i8() const {
 199     if (!isImm())
 200       return false;
 201
 202     // If this isn't a constant expr, just assume it fits and let relaxation
 203     // handle it.
 204     const MCConstantExpr *CE = dyn_cast<MCConstantExpr>(getImm());
 205     if (!CE)
 206       return true;
 207
 208     // Otherwise, check the value is in a range that makes sense for this
 209     // extension.
 210     uint64_t Value = CE->getValue();
 211     return ((                                  Value <= 0x000000000000007FULL)||
 212             (0x000000000000FF80ULL <= Value && Value <= 0x000000000000FFFFULL)||
 213             (0xFFFFFFFFFFFFFF80ULL <= Value && Value <= 0xFFFFFFFFFFFFFFFFULL));
 214   }
 215   bool isImmSExti32i8() const {
 216     if (!isImm())
 217       return false;
 218
 219     // If this isn't a constant expr, just assume it fits and let relaxation
 220     // handle it.
 221     const MCConstantExpr *CE = dyn_cast<MCConstantExpr>(getImm());
 222     if (!CE)
 223       return true;
 224
 225     // Otherwise, check the value is in a range that makes sense for this
 226     // extension.
 227     uint64_t Value = CE->getValue();
 228     return ((                                  Value <= 0x000000000000007FULL)||
 229             (0x00000000FFFFFF80ULL <= Value && Value <= 0x00000000FFFFFFFFULL)||
 230             (0xFFFFFFFFFFFFFF80ULL <= Value && Value <= 0xFFFFFFFFFFFFFFFFULL));
 231   }
 232   bool isImmSExti64i8() const {
 233     if (!isImm())
 234       return false;
 235
 236     // If this isn't a constant expr, just assume it fits and let relaxation
 237     // handle it.
 238     const MCConstantExpr *CE = dyn_cast<MCConstantExpr>(getImm());
 239     if (!CE)
 240       return true;
 241
 242     // Otherwise, check the value is in a range that makes sense for this
 243     // extension.
 244     uint64_t Value = CE->getValue();
 245     return ((                                  Value <= 0x000000000000007FULL)||
 246             (0xFFFFFFFFFFFFFF80ULL <= Value && Value <= 0xFFFFFFFFFFFFFFFFULL));
 247   }
 248   bool isImmSExti64i32() const {
 249     if (!isImm())
 250       return false;
 251
 252     // If this isn't a constant expr, just assume it fits and let relaxation
 253     // handle it.
 254     const MCConstantExpr *CE = dyn_cast<MCConstantExpr>(getImm());
 255     if (!CE)
 256       return true;
 257
 258     // Otherwise, check the value is in a range that makes sense for this
 259     // extension.
 260     uint64_t Value = CE->getValue();
 261     return ((                                  Value <= 0x000000007FFFFFFFULL)||
 262             (0xFFFFFFFF80000000ULL <= Value && Value <= 0xFFFFFFFFFFFFFFFFULL));
 263   }
 264
 265   bool isMem() const { return Kind == Memory; }
 266
 267   bool isAbsMem() const {
 268     return Kind == Memory && !getMemSegReg() && !getMemBaseReg() &&
 269       !getMemIndexReg() && getMemScale() == 1;
 270   }
 271
 272   bool isReg() const { return Kind == Register; }
 273
 274   void addExpr(MCInst &Inst, const MCExpr *Expr) const {
 275     // Add as immediates when possible.
 276     if (const MCConstantExpr *CE = dyn_cast<MCConstantExpr>(Expr))
 277       Inst.addOperand(MCOperand::CreateImm(CE->getValue()));
 278     else
 279       Inst.addOperand(MCOperand::CreateExpr(Expr));
 280   }
 281
 282   void addRegOperands(MCInst &Inst, unsigned N) const {
 283     assert(N == 1 && "Invalid number of operands!");
 284     Inst.addOperand(MCOperand::CreateReg(getReg()));
 285   }
 286
 287   void addImmOperands(MCInst &Inst, unsigned N) const {
 288     assert(N == 1 && "Invalid number of operands!");
 289     addExpr(Inst, getImm());
 290   }
 291
 292   void addMemOperands(MCInst &Inst, unsigned N) const {
 293     assert((N == 5) && "Invalid number of operands!");
 294     Inst.addOperand(MCOperand::CreateReg(getMemBaseReg()));
 295     Inst.addOperand(MCOperand::CreateImm(getMemScale()));
 296     Inst.addOperand(MCOperand::CreateReg(getMemIndexReg()));
 297     addExpr(Inst, getMemDisp());
 298     Inst.addOperand(MCOperand::CreateReg(getMemSegReg()));
 299   }
 300
 301   void addAbsMemOperands(MCInst &Inst, unsigned N) const {
 302     assert((N == 1) && "Invalid number of operands!");
 303     Inst.addOperand(MCOperand::CreateExpr(getMemDisp()));
 304   }
 305
 306   static X86Operand *CreateToken(StringRef Str, SMLoc Loc) {
 307     X86Operand *Res = new X86Operand(Token, Loc, Loc);
 308     Res->Tok.Data = Str.data();
 309     Res->Tok.Length = Str.size();
 310     return Res;
 311   }
 312
 313   static X86Operand *CreateReg(unsigned RegNo, SMLoc StartLoc, SMLoc EndLoc) {
 314     X86Operand *Res = new X86Operand(Register, StartLoc, EndLoc);
 315     Res->Reg.RegNo = RegNo;
 316     return Res;
 317   }
 318
 319   static X86Operand *CreateImm(const MCExpr *Val, SMLoc StartLoc, SMLoc EndLoc){
 320     X86Operand *Res = new X86Operand(Immediate, StartLoc, EndLoc);
 321     Res->Imm.Val = Val;
 322     return Res;
 323   }
 324
 325   /// Create an absolute memory operand.
 326   static X86Operand *CreateMem(const MCExpr *Disp, SMLoc StartLoc,
 327                                SMLoc EndLoc) {
 328     X86Operand *Res = new X86Operand(Memory, StartLoc, EndLoc);
 329     Res->Mem.SegReg   = 0;
 330     Res->Mem.Disp     = Disp;
 331     Res->Mem.BaseReg  = 0;
 332     Res->Mem.IndexReg = 0;
 333     Res->Mem.Scale    = 1;
 334     return Res;
 335   }
 336
 337   /// Create a generalized memory operand.
 338   static X86Operand *CreateMem(unsigned SegReg, const MCExpr *Disp,
 339                                unsigned BaseReg, unsigned IndexReg,
 340                                unsigned Scale, SMLoc StartLoc, SMLoc EndLoc) {
 341     // We should never just have a displacement, that should be parsed as an
 342     // absolute memory operand.
 343     assert((SegReg || BaseReg || IndexReg) && "Invalid memory operand!");
 344
 345     // The scale should always be one of {1,2,4,8}.
 346     assert(((Scale == 1 || Scale == 2 || Scale == 4 || Scale == 8)) &&
 347            "Invalid scale!");
 348     X86Operand *Res = new X86Operand(Memory, StartLoc, EndLoc);
 349     Res->Mem.SegReg   = SegReg;
 350     Res->Mem.Disp     = Disp;
 351     Res->Mem.BaseReg  = BaseReg;
 352     Res->Mem.IndexReg = IndexReg;
 353     Res->Mem.Scale    = Scale;
 354     return Res;
 355   }
 356 };
 357
 358 } // end anonymous namespace.
 359
 360
 361 bool X86ATTAsmParser::ParseRegister(unsigned &RegNo,
 362                                     SMLoc &StartLoc, SMLoc &EndLoc) {
 363   RegNo = 0;
 364   const AsmToken &TokPercent = Parser.getTok();
 365   assert(TokPercent.is(AsmToken::Percent) && "Invalid token kind!");
 366   StartLoc = TokPercent.getLoc();
 367   Parser.Lex(); // Eat percent token.
 368
 369   const AsmToken &Tok = Parser.getTok();
 370   if (Tok.isNot(AsmToken::Identifier))
 371     return Error(Tok.getLoc(), "invalid register name");
 372
 373   // FIXME: Validate register for the current architecture; we have to do
 374   // validation later, so maybe there is no need for this here.
 375   RegNo = MatchRegisterName(Tok.getString());
 376
 377   // If the match failed, try the register name as lowercase.
 378   if (RegNo == 0)
 379     RegNo = MatchRegisterName(LowercaseString(Tok.getString()));
 380
 381   // FIXME: This should be done using Requires<In32BitMode> and
 382   // Requires<In64BitMode> so "eiz" usage in 64-bit instructions
 383   // can be also checked.
 384   if (RegNo == X86::RIZ && !Is64Bit)
 385     return Error(Tok.getLoc(), "riz register in 64-bit mode only");
 386
 387   // Parse "%st" as "%st(0)" and "%st(1)", which is multiple tokens.
 388   if (RegNo == 0 && (Tok.getString() == "st" || Tok.getString() == "ST")) {
 389     RegNo = X86::ST0;
 390     EndLoc = Tok.getLoc();
 391     Parser.Lex(); // Eat 'st'
 392
 393     // Check to see if we have '(4)' after %st.
 394     if (getLexer().isNot(AsmToken::LParen))
 395       return false;
 396     // Lex the paren.
 397     getParser().Lex();
 398
 399     const AsmToken &IntTok = Parser.getTok();
 400     if (IntTok.isNot(AsmToken::Integer))
 401       return Error(IntTok.getLoc(), "expected stack index");
 402     switch (IntTok.getIntVal()) {
 403     case 0: RegNo = X86::ST0; break;
 404     case 1: RegNo = X86::ST1; break;
 405     case 2: RegNo = X86::ST2; break;
 406     case 3: RegNo = X86::ST3; break;
 407     case 4: RegNo = X86::ST4; break;
 408     case 5: RegNo = X86::ST5; break;
 409     case 6: RegNo = X86::ST6; break;
 410     case 7: RegNo = X86::ST7; break;
 411     default: return Error(IntTok.getLoc(), "invalid stack index");
 412     }
 413
 414     if (getParser().Lex().isNot(AsmToken::RParen))
 415       return Error(Parser.getTok().getLoc(), "expected ')'");
 416
 417     EndLoc = Tok.getLoc();
 418     Parser.Lex(); // Eat ')'
 419     return false;
 420   }
 421
 422   // If this is "db[0-7]", match it as an alias
 423   // for dr[0-7].
 424   if (RegNo == 0 && Tok.getString().size() == 3 &&
 425       Tok.getString().startswith("db")) {
 426     switch (Tok.getString()[2]) {
 427     case '0': RegNo = X86::DR0; break;
 428     case '1': RegNo = X86::DR1; break;
 429     case '2': RegNo = X86::DR2; break;
 430     case '3': RegNo = X86::DR3; break;
 431     case '4': RegNo = X86::DR4; break;
 432     case '5': RegNo = X86::DR5; break;
 433     case '6': RegNo = X86::DR6; break;
 434     case '7': RegNo = X86::DR7; break;
 435     }
 436
 437     if (RegNo != 0) {
 438       EndLoc = Tok.getLoc();
 439       Parser.Lex(); // Eat it.
 440       return false;
 441     }
 442   }
 443
 444   if (RegNo == 0)
 445     return Error(Tok.getLoc(), "invalid register name");
 446
 447   EndLoc = Tok.getLoc();
 448   Parser.Lex(); // Eat identifier token.
 449   return false;
 450 }
 451
 452 X86Operand *X86ATTAsmParser::ParseOperand() {
 453   switch (getLexer().getKind()) {
 454   default:
 455     // Parse a memory operand with no segment register.
 456     return ParseMemOperand(0, Parser.getTok().getLoc());
 457   case AsmToken::Percent: {
 458     // Read the register.
 459     unsigned RegNo;
 460     SMLoc Start, End;
 461     if (ParseRegister(RegNo, Start, End)) return 0;
 462     if (RegNo == X86::EIZ || RegNo == X86::RIZ) {
 463       Error(Start, "eiz and riz can only be used as index registers");
 464       return 0;
 465     }
 466
 467     // If this is a segment register followed by a ':', then this is the start
 468     // of a memory reference, otherwise this is a normal register reference.
 469     if (getLexer().isNot(AsmToken::Colon))
 470       return X86Operand::CreateReg(RegNo, Start, End);
 471
 472
 473     getParser().Lex(); // Eat the colon.
 474     return ParseMemOperand(RegNo, Start);
 475   }
 476   case AsmToken::Dollar: {
 477     // $42 -> immediate.
 478     SMLoc Start = Parser.getTok().getLoc(), End;
 479     Parser.Lex();
 480     const MCExpr *Val;
 481     if (getParser().ParseExpression(Val, End))
 482       return 0;
 483     return X86Operand::CreateImm(Val, Start, End);
 484   }
 485   }
 486 }
 487
 488 /// ParseMemOperand: segment: disp(basereg, indexreg, scale).  The '%ds:' prefix
 489 /// has already been parsed if present.
 490 X86Operand *X86ATTAsmParser::ParseMemOperand(unsigned SegReg, SMLoc MemStart) {
 491
 492   // We have to disambiguate a parenthesized expression "(4+5)" from the start
 493   // of a memory operand with a missing displacement "(%ebx)" or "(,%eax)".  The
 494   // only way to do this without lookahead is to eat the '(' and see what is
 495   // after it.
 496   const MCExpr *Disp = MCConstantExpr::Create(0, getParser().getContext());
 497   if (getLexer().isNot(AsmToken::LParen)) {
 498     SMLoc ExprEnd;
 499     if (getParser().ParseExpression(Disp, ExprEnd)) return 0;
 500
 501     // After parsing the base expression we could either have a parenthesized
 502     // memory address or not.  If not, return now.  If so, eat the (.
 503     if (getLexer().isNot(AsmToken::LParen)) {
 504       // Unless we have a segment register, treat this as an immediate.
 505       if (SegReg == 0)
 506         return X86Operand::CreateMem(Disp, MemStart, ExprEnd);
 507       return X86Operand::CreateMem(SegReg, Disp, 0, 0, 1, MemStart, ExprEnd);
 508     }
 509
 510     // Eat the '('.
 511     Parser.Lex();
 512   } else {
 513     // Okay, we have a '('.  We don't know if this is an expression or not, but
 514     // so we have to eat the ( to see beyond it.
 515     SMLoc LParenLoc = Parser.getTok().getLoc();
 516     Parser.Lex(); // Eat the '('.
 517
 518     if (getLexer().is(AsmToken::Percent) || getLexer().is(AsmToken::Comma)) {
 519       // Nothing to do here, fall into the code below with the '(' part of the
 520       // memory operand consumed.
 521     } else {
 522       SMLoc ExprEnd;
 523
 524       // It must be an parenthesized expression, parse it now.
 525       if (getParser().ParseParenExpression(Disp, ExprEnd))
 526         return 0;
 527
 528       // After parsing the base expression we could either have a parenthesized
 529       // memory address or not.  If not, return now.  If so, eat the (.
 530       if (getLexer().isNot(AsmToken::LParen)) {
 531         // Unless we have a segment register, treat this as an immediate.
 532         if (SegReg == 0)
 533           return X86Operand::CreateMem(Disp, LParenLoc, ExprEnd);
 534         return X86Operand::CreateMem(SegReg, Disp, 0, 0, 1, MemStart, ExprEnd);
 535       }
 536
 537       // Eat the '('.
 538       Parser.Lex();
 539     }
 540   }
 541
 542   // If we reached here, then we just ate the ( of the memory operand.  Process
 543   // the rest of the memory operand.
 544   unsigned BaseReg = 0, IndexReg = 0, Scale = 1;
 545
 546   if (getLexer().is(AsmToken::Percent)) {
 547     SMLoc L;
 548     if (ParseRegister(BaseReg, L, L)) return 0;
 549     if (BaseReg == X86::EIZ || BaseReg == X86::RIZ) {
 550       Error(L, "eiz and riz can only be used as index registers");
 551       return 0;
 552     }
 553   }
 554
 555   if (getLexer().is(AsmToken::Comma)) {
 556     Parser.Lex(); // Eat the comma.
 557
 558     // Following the comma we should have either an index register, or a scale
 559     // value. We don't support the later form, but we want to parse it
 560     // correctly.
 561     //
 562     // Not that even though it would be completely consistent to support syntax
 563     // like "1(%eax,,1)", the assembler doesn't. Use "eiz" or "riz" for this.
 564     if (getLexer().is(AsmToken::Percent)) {
 565       SMLoc L;
 566       if (ParseRegister(IndexReg, L, L)) return 0;
 567
 568       if (getLexer().isNot(AsmToken::RParen)) {
 569         // Parse the scale amount:
 570         //  ::= ',' [scale-expression]
 571         if (getLexer().isNot(AsmToken::Comma)) {
 572           Error(Parser.getTok().getLoc(),
 573                 "expected comma in scale expression");
 574           return 0;
 575         }
 576         Parser.Lex(); // Eat the comma.
 577
 578         if (getLexer().isNot(AsmToken::RParen)) {
 579           SMLoc Loc = Parser.getTok().getLoc();
 580
 581           int64_t ScaleVal;
 582           if (getParser().ParseAbsoluteExpression(ScaleVal))
 583             return 0;
 584
 585           // Validate the scale amount.
 586           if (ScaleVal != 1 && ScaleVal != 2 && ScaleVal != 4 && ScaleVal != 8){
 587             Error(Loc, "scale factor in address must be 1, 2, 4 or 8");
 588             return 0;
 589           }
 590           Scale = (unsigned)ScaleVal;
 591         }
 592       }
 593     } else if (getLexer().isNot(AsmToken::RParen)) {
 594       // A scale amount without an index is ignored.
 595       // index.
 596       SMLoc Loc = Parser.getTok().getLoc();
 597
 598       int64_t Value;
 599       if (getParser().ParseAbsoluteExpression(Value))
 600         return 0;
 601
 602       if (Value != 1)
 603         Warning(Loc, "scale factor without index register is ignored");
 604       Scale = 1;
 605     }
 606   }
 607
 608   // Ok, we've eaten the memory operand, verify we have a ')' and eat it too.
 609   if (getLexer().isNot(AsmToken::RParen)) {
 610     Error(Parser.getTok().getLoc(), "unexpected token in memory operand");
 611     return 0;
 612   }
 613   SMLoc MemEnd = Parser.getTok().getLoc();
 614   Parser.Lex(); // Eat the ')'.
 615
 616   return X86Operand::CreateMem(SegReg, Disp, BaseReg, IndexReg, Scale,
 617                                MemStart, MemEnd);
 618 }
 619
 620 bool X86ATTAsmParser::
 621 ParseInstruction(StringRef Name, SMLoc NameLoc,
 622                  SmallVectorImpl<MCParsedAsmOperand*> &Operands) {
 623   // FIXME: Hack to recognize "sal..." and "rep..." for now. We need a way to
 624   // represent alternative syntaxes in the .td file, without requiring
 625   // instruction duplication.
 626   StringRef PatchedName = StringSwitch<StringRef>(Name)
 627     .Case("sal", "shl")
 628     .Case("salb", "shlb")
 629     .Case("sall", "shll")
 630     .Case("salq", "shlq")
 631     .Case("salw", "shlw")
 632     .Case("repe", "rep")
 633     .Case("repz", "rep")
 634     .Case("repnz", "repne")
 635     .Case("iret", "iretl")
 636     .Case("sysret", "sysretl")
 637     .Case("push", Is64Bit ? "pushq" : "pushl")
 638     .Case("pop", Is64Bit ? "popq" : "popl")
 639     .Case("pushf", Is64Bit ? "pushfq" : "pushfl")
 640     .Case("popf",  Is64Bit ? "popfq"  : "popfl")
 641     .Case("pushfd", "pushfl")
 642     .Case("popfd",  "popfl")
 643     .Case("retl", Is64Bit ? "retl" : "ret")
 644     .Case("retq", Is64Bit ? "ret" : "retq")
 645     .Case("setz", "sete")  .Case("setnz", "setne")
 646     .Case("setc", "setb")  .Case("setna", "setbe")
 647     .Case("setnae", "setb").Case("setnb", "setae")
 648     .Case("setnbe", "seta").Case("setnc", "setae")
 649     .Case("setng", "setle").Case("setnge", "setl")
 650     .Case("setnl", "setge").Case("setnle", "setg")
 651     .Case("setpe", "setp") .Case("setpo", "setnp")
 652     .Case("jz", "je")  .Case("jnz", "jne")
 653     .Case("jc", "jb")  .Case("jna", "jbe")
 654     .Case("jnae", "jb").Case("jnb", "jae")
 655     .Case("jnbe", "ja").Case("jnc", "jae")
 656     .Case("jng", "jle").Case("jnge", "jl")
 657     .Case("jnl", "jge").Case("jnle", "jg")
 658     .Case("jpe", "jp") .Case("jpo", "jnp")
 659     // Condition code aliases for 16-bit, 32-bit, 64-bit and unspec operands.
 660     .Case("cmovcw",  "cmovbw") .Case("cmovcl",  "cmovbl")
 661     .Case("cmovcq",  "cmovbq") .Case("cmovc",   "cmovb")
 662     .Case("cmovnaew","cmovbw") .Case("cmovnael","cmovbl")
 663     .Case("cmovnaeq","cmovbq") .Case("cmovnae", "cmovb")
 664     .Case("cmovnaw", "cmovbew").Case("cmovnal", "cmovbel")
 665     .Case("cmovnaq", "cmovbeq").Case("cmovna",  "cmovbe")
 666     .Case("cmovnbw", "cmovaew").Case("cmovnbl", "cmovael")
 667     .Case("cmovnbq", "cmovaeq").Case("cmovnb",  "cmovae")
 668     .Case("cmovnbew","cmovaw") .Case("cmovnbel","cmoval")
 669     .Case("cmovnbeq","cmovaq") .Case("cmovnbe", "cmova")
 670     .Case("cmovncw", "cmovaew").Case("cmovncl", "cmovael")
 671     .Case("cmovncq", "cmovaeq").Case("cmovnc",  "cmovae")
 672     .Case("cmovngw", "cmovlew").Case("cmovngl", "cmovlel")
 673     .Case("cmovngq", "cmovleq").Case("cmovng",  "cmovle")
 674     .Case("cmovnw",  "cmovgew").Case("cmovnl",  "cmovgel")
 675     .Case("cmovnq",  "cmovgeq").Case("cmovn",   "cmovge")
 676     .Case("cmovngw", "cmovlew").Case("cmovngl", "cmovlel")
 677     .Case("cmovngq", "cmovleq").Case("cmovng",  "cmovle")
 678     .Case("cmovngew","cmovlw") .Case("cmovngel","cmovll")
 679     .Case("cmovngeq","cmovlq") .Case("cmovnge", "cmovl")
 680     .Case("cmovnlw", "cmovgew").Case("cmovnll", "cmovgel")
 681     .Case("cmovnlq", "cmovgeq").Case("cmovnl",  "cmovge")
 682     .Case("cmovnlew","cmovgw") .Case("cmovnlel","cmovgl")
 683     .Case("cmovnleq","cmovgq") .Case("cmovnle", "cmovg")
 684     .Case("cmovnzw", "cmovnew").Case("cmovnzl", "cmovnel")
 685     .Case("cmovnzq", "cmovneq").Case("cmovnz",  "cmovne")
 686     .Case("cmovzw",  "cmovew") .Case("cmovzl",  "cmovel")
 687     .Case("cmovzq",  "cmoveq") .Case("cmovz",   "cmove")
 688     .Case("fwait", "wait")
 689     .Case("movzx", "movzb")  // FIXME: Not correct.
 690     .Case("fildq", "fildll")
 691     .Default(Name);
 692
 693   // FIXME: Hack to recognize cmp<comparison code>{ss,sd,ps,pd}.
 694   const MCExpr *ExtraImmOp = 0;
 695   if ((PatchedName.startswith("cmp") || PatchedName.startswith("vcmp")) &&
 696       (PatchedName.endswith("ss") || PatchedName.endswith("sd") ||
 697        PatchedName.endswith("ps") || PatchedName.endswith("pd"))) {
 698     bool IsVCMP = PatchedName.startswith("vcmp");
 699     unsigned SSECCIdx = IsVCMP ? 4 : 3;
 700     unsigned SSEComparisonCode = StringSwitch<unsigned>(
 701       PatchedName.slice(SSECCIdx, PatchedName.size() - 2))
 702       .Case("eq",          0)
 703       .Case("lt",          1)
 704       .Case("le",          2)
 705       .Case("unord",       3)
 706       .Case("neq",         4)
 707       .Case("nlt",         5)
 708       .Case("nle",         6)
 709       .Case("ord",         7)
 710       .Case("eq_uq",       8)
 711       .Case("nge",         9)
 712       .Case("ngt",      0x0A)
 713       .Case("false",    0x0B)
 714       .Case("neq_oq",   0x0C)
 715       .Case("ge",       0x0D)
 716       .Case("gt",       0x0E)
 717       .Case("true",     0x0F)
 718       .Case("eq_os",    0x10)
 719       .Case("lt_oq",    0x11)
 720       .Case("le_oq",    0x12)
 721       .Case("unord_s",  0x13)
 722       .Case("neq_us",   0x14)
 723       .Case("nlt_uq",   0x15)
 724       .Case("nle_uq",   0x16)
 725       .Case("ord_s",    0x17)
 726       .Case("eq_us",    0x18)
 727       .Case("nge_uq",   0x19)
 728       .Case("ngt_uq",   0x1A)
 729       .Case("false_os", 0x1B)
 730       .Case("neq_os",   0x1C)
 731       .Case("ge_oq",    0x1D)
 732       .Case("gt_oq",    0x1E)
 733       .Case("true_us",  0x1F)
 734       .Default(~0U);
 735     if (SSEComparisonCode != ~0U) {
 736       ExtraImmOp = MCConstantExpr::Create(SSEComparisonCode,
 737                                           getParser().getContext());
 738       if (PatchedName.endswith("ss")) {
 739         PatchedName = IsVCMP ? "vcmpss" : "cmpss";
 740       } else if (PatchedName.endswith("sd")) {
 741         PatchedName = IsVCMP ? "vcmpsd" : "cmpsd";
 742       } else if (PatchedName.endswith("ps")) {
 743         PatchedName = IsVCMP ? "vcmpps" : "cmpps";
 744       } else {
 745         assert(PatchedName.endswith("pd") && "Unexpected mnemonic!");
 746         PatchedName = IsVCMP ? "vcmppd" : "cmppd";
 747       }
 748     }
 749   }
 750
 751   // FIXME: Hack to recognize vpclmul<src1_quadword, src2_quadword>dq
 752   if (PatchedName.startswith("vpclmul")) {
 753     unsigned CLMULQuadWordSelect = StringSwitch<unsigned>(
 754       PatchedName.slice(7, PatchedName.size() - 2))
 755       .Case("lqlq", 0x00) // src1[63:0],   src2[63:0]
 756       .Case("hqlq", 0x01) // src1[127:64], src2[63:0]
 757       .Case("lqhq", 0x10) // src1[63:0],   src2[127:64]
 758       .Case("hqhq", 0x11) // src1[127:64], src2[127:64]
 759       .Default(~0U);
 760     if (CLMULQuadWordSelect != ~0U) {
 761       ExtraImmOp = MCConstantExpr::Create(CLMULQuadWordSelect,
 762                                           getParser().getContext());
 763       assert(PatchedName.endswith("dq") && "Unexpected mnemonic!");
 764       PatchedName = "vpclmulqdq";
 765     }
 766   }
 767
 768   Operands.push_back(X86Operand::CreateToken(PatchedName, NameLoc));
 769
 770   if (ExtraImmOp)
 771     Operands.push_back(X86Operand::CreateImm(ExtraImmOp, NameLoc, NameLoc));
 772
 773
 774   // Determine whether this is an instruction prefix.
 775   bool isPrefix =
 776     PatchedName == "lock" || PatchedName == "rep" ||
 777     PatchedName == "repne";
 778
 779
 780   // This does the actual operand parsing.  Don't parse any more if we have a
 781   // prefix juxtaposed with an operation like "lock incl 4(%rax)", because we
 782   // just want to parse the "lock" as the first instruction and the "incl" as
 783   // the next one.
 784   if (getLexer().isNot(AsmToken::EndOfStatement) && !isPrefix) {
 785
 786     // Parse '*' modifier.
 787     if (getLexer().is(AsmToken::Star)) {
 788       SMLoc Loc = Parser.getTok().getLoc();
 789       Operands.push_back(X86Operand::CreateToken("*", Loc));
 790       Parser.Lex(); // Eat the star.
 791     }
 792
 793     // Read the first operand.
 794     if (X86Operand *Op = ParseOperand())
 795       Operands.push_back(Op);
 796     else {
 797       Parser.EatToEndOfStatement();
 798       return true;
 799     }
 800
 801     while (getLexer().is(AsmToken::Comma)) {
 802       Parser.Lex();  // Eat the comma.
 803
 804       // Parse and remember the operand.
 805       if (X86Operand *Op = ParseOperand())
 806         Operands.push_back(Op);
 807       else {
 808         Parser.EatToEndOfStatement();
 809         return true;
 810       }
 811     }
 812
 813     if (getLexer().isNot(AsmToken::EndOfStatement)) {
 814       Parser.EatToEndOfStatement();
 815       return TokError("unexpected token in argument list");
 816     }
 817   }
 818
 819   if (getLexer().is(AsmToken::EndOfStatement))
 820     Parser.Lex(); // Consume the EndOfStatement
 821
 822   // FIXME: Hack to handle recognize s{hr,ar,hl} $1, <op>.  Canonicalize to
 823   // "shift <op>".
 824   if ((Name.startswith("shr") || Name.startswith("sar") ||
 825        Name.startswith("shl")) &&
 826       Operands.size() == 3) {
 827     X86Operand *Op1 = static_cast<X86Operand*>(Operands[1]);
 828     if (Op1->isImm() && isa<MCConstantExpr>(Op1->getImm()) &&
 829         cast<MCConstantExpr>(Op1->getImm())->getValue() == 1) {
 830       delete Operands[1];
 831       Operands.erase(Operands.begin() + 1);
 832     }
 833   }
 834
 835   // FIXME: Hack to handle recognize "rc[lr] <op>" -> "rcl $1, <op>".
 836   if ((Name.startswith("rcl") || Name.startswith("rcr")) &&
 837       Operands.size() == 2) {
 838     const MCExpr *One = MCConstantExpr::Create(1, getParser().getContext());
 839     Operands.push_back(X86Operand::CreateImm(One, NameLoc, NameLoc));
 840     std::swap(Operands[1], Operands[2]);
 841   }
 842
 843   // FIXME: Hack to handle recognize "sh[lr]d op,op" -> "shld $1, op,op".
 844   if ((Name.startswith("shld") || Name.startswith("shrd")) &&
 845       Operands.size() == 3) {
 846     const MCExpr *One = MCConstantExpr::Create(1, getParser().getContext());
 847     Operands.insert(Operands.begin()+1,
 848                     X86Operand::CreateImm(One, NameLoc, NameLoc));
 849   }
 850
 851
 852   // FIXME: Hack to handle recognize "in[bwl] <op>".  Canonicalize it to
 853   // "inb <op>, %al".
 854   if ((Name == "inb" || Name == "inw" || Name == "inl") &&
 855       Operands.size() == 2) {
 856     unsigned Reg;
 857     if (Name[2] == 'b')
 858       Reg = MatchRegisterName("al");
 859     else if (Name[2] == 'w')
 860       Reg = MatchRegisterName("ax");
 861     else
 862       Reg = MatchRegisterName("eax");
 863     SMLoc Loc = Operands.back()->getEndLoc();
 864     Operands.push_back(X86Operand::CreateReg(Reg, Loc, Loc));
 865   }
 866
 867   // FIXME: Hack to handle recognize "out[bwl] <op>".  Canonicalize it to
 868   // "outb %al, <op>".
 869   if ((Name == "outb" || Name == "outw" || Name == "outl") &&
 870       Operands.size() == 2) {
 871     unsigned Reg;
 872     if (Name[3] == 'b')
 873       Reg = MatchRegisterName("al");
 874     else if (Name[3] == 'w')
 875       Reg = MatchRegisterName("ax");
 876     else
 877       Reg = MatchRegisterName("eax");
 878     SMLoc Loc = Operands.back()->getEndLoc();
 879     Operands.push_back(X86Operand::CreateReg(Reg, Loc, Loc));
 880     std::swap(Operands[1], Operands[2]);
 881   }
 882
 883   // FIXME: Hack to handle "out[bwl]? %al, (%dx)" -> "outb %al, %dx".
 884   if ((Name == "outb" || Name == "outw" || Name == "outl" || Name == "out") &&
 885       Operands.size() == 3) {
 886     X86Operand &Op = *(X86Operand*)Operands.back();
 887     if (Op.isMem() && Op.Mem.SegReg == 0 &&
 888         isa<MCConstantExpr>(Op.Mem.Disp) &&
 889         cast<MCConstantExpr>(Op.Mem.Disp)->getValue() == 0 &&
 890         Op.Mem.BaseReg == MatchRegisterName("dx") && Op.Mem.IndexReg == 0) {
 891       SMLoc Loc = Op.getEndLoc();
 892       Operands.back() = X86Operand::CreateReg(Op.Mem.BaseReg, Loc, Loc);
 893       delete &Op;
 894     }
 895   }
 896
 897   // FIXME: Hack to handle "f{mul*,add*,sub*,div*} $op, st(0)" the same as
 898   // "f{mul*,add*,sub*,div*} $op"
 899   if ((Name.startswith("fmul") || Name.startswith("fadd") ||
 900        Name.startswith("fsub") || Name.startswith("fdiv")) &&
 901       Operands.size() == 3 &&
 902       static_cast<X86Operand*>(Operands[2])->isReg() &&
 903       static_cast<X86Operand*>(Operands[2])->getReg() == X86::ST0) {
 904     delete Operands[2];
 905     Operands.erase(Operands.begin() + 2);
 906   }
 907
 908   // FIXME: Hack to handle "imul <imm>, B" which is an alias for "imul <imm>, B,
 909   // B".
 910   if (Name.startswith("imul") && Operands.size() == 3 &&
 911       static_cast<X86Operand*>(Operands[1])->isImm() &&
 912       static_cast<X86Operand*>(Operands.back())->isReg()) {
 913     X86Operand *Op = static_cast<X86Operand*>(Operands.back());
 914     Operands.push_back(X86Operand::CreateReg(Op->getReg(), Op->getStartLoc(),
 915                                              Op->getEndLoc()));
 916   }
 917
 918   // 'sldt <mem>' can be encoded with either sldtw or sldtq with the same
 919   // effect (both store to a 16-bit mem).  Force to sldtw to avoid ambiguity
 920   // errors, since its encoding is the most compact.
 921   if (Name == "sldt" && Operands.size() == 2 &&
 922       static_cast<X86Operand*>(Operands[1])->isMem()) {
 923     delete Operands[0];
 924     Operands[0] = X86Operand::CreateToken("sldtw", NameLoc);
 925   }
 926
 927   // The assembler accepts "xchgX <reg>, <mem>" and "xchgX <mem>, <reg>" as
 928   // synonyms.  Our tables only have the "<reg>, <mem>" form, so if we see the
 929   // other operand order, swap them.
 930   if (Name == "xchgb" || Name == "xchgw" || Name == "xchgl" || Name == "xchgq"||
 931       Name == "xchg")
 932     if (Operands.size() == 3 &&
 933         static_cast<X86Operand*>(Operands[1])->isMem() &&
 934         static_cast<X86Operand*>(Operands[2])->isReg()) {
 935       std::swap(Operands[1], Operands[2]);
 936     }
 937
 938   // The assembler accepts "testX <reg>, <mem>" and "testX <mem>, <reg>" as
 939   // synonyms.  Our tables only have the "<mem>, <reg>" form, so if we see the
 940   // other operand order, swap them.
 941   if (Name == "testb" || Name == "testw" || Name == "testl" || Name == "testq"||
 942       Name == "test")
 943     if (Operands.size() == 3 &&
 944         static_cast<X86Operand*>(Operands[1])->isReg() &&
 945         static_cast<X86Operand*>(Operands[2])->isMem()) {
 946       std::swap(Operands[1], Operands[2]);
 947     }
 948
 949   // The assembler accepts these instructions with no operand as a synonym for
 950   // an instruction acting on st(1).  e.g. "fxch" -> "fxch %st(1)".
 951   if ((Name == "fxch" || Name == "fucom" || Name == "fucomp" ||
 952        Name == "faddp" || Name == "fsubp" || Name == "fsubrp" ||
 953        Name == "fmulp" || Name == "fdivp" || Name == "fdivrp") &&
 954       Operands.size() == 1) {
 955     Operands.push_back(X86Operand::CreateReg(MatchRegisterName("st(1)"),
 956                                              NameLoc, NameLoc));
 957   }
 958
 959   // The assembler accepts these instructions with two few operands as a synonym
 960   // for taking %st(1),%st(0) or X, %st(0).
 961   if ((Name == "fcomi" || Name == "fucomi") && Operands.size() < 3) {
 962     if (Operands.size() == 1)
 963       Operands.push_back(X86Operand::CreateReg(MatchRegisterName("st(1)"),
 964                                                NameLoc, NameLoc));
 965     Operands.push_back(X86Operand::CreateReg(MatchRegisterName("st(0)"),
 966                                              NameLoc, NameLoc));
 967   }
 968
 969   // The assembler accepts various amounts of brokenness for fnstsw.
 970   if (Name == "fnstsw") {
 971     if (Operands.size() == 2 &&
 972         static_cast<X86Operand*>(Operands[1])->isReg()) {
 973       // "fnstsw al" and "fnstsw eax" -> "fnstw"
 974       unsigned Reg = static_cast<X86Operand*>(Operands[1])->Reg.RegNo;
 975       if (Reg == MatchRegisterName("eax") ||
 976           Reg == MatchRegisterName("al")) {
 977         delete Operands[1];
 978         Operands.pop_back();
 979       }
 980     }
 981
 982     // "fnstw" -> "fnstw %ax"
 983     if (Operands.size() == 1)
 984       Operands.push_back(X86Operand::CreateReg(MatchRegisterName("ax"),
 985                                                NameLoc, NameLoc));
 986   }
 987
 988   // jmp $42,$5 -> ljmp, similarly for call.
 989   if ((Name.startswith("call") || Name.startswith("jmp")) &&
 990       Operands.size() == 3 &&
 991       static_cast<X86Operand*>(Operands[1])->isImm() &&
 992       static_cast<X86Operand*>(Operands[2])->isImm()) {
 993     const char *NewOpName = StringSwitch<const char *>(Name)
 994       .Case("jmp", "ljmp")
 995       .Case("jmpw", "ljmpw")
 996       .Case("jmpl", "ljmpl")
 997       .Case("jmpq", "ljmpq")
 998       .Case("call", "lcall")
 999       .Case("callw", "lcallw")
1000       .Case("calll", "lcalll")
1001       .Case("callq", "lcallq")
1002     .Default(0);
1003     if (NewOpName) {
1004       delete Operands[0];
1005       Operands[0] = X86Operand::CreateToken(NewOpName, NameLoc);
1006       Name = NewOpName;
1007     }
1008   }
1009
1010   // lcall  and ljmp  -> lcalll and ljmpl
1011   if ((Name == "lcall" || Name == "ljmp") && Operands.size() == 3) {
1012     delete Operands[0];
1013     Operands[0] = X86Operand::CreateToken(Name == "lcall" ? "lcalll" : "ljmpl",
1014                                           NameLoc);
1015   }
1016
1017   // movsd -> movsl (when no operands are specified).
1018   if (Name == "movsd" && Operands.size() == 1) {
1019     delete Operands[0];
1020     Operands[0] = X86Operand::CreateToken("movsl", NameLoc);
1021   }
1022
1023   // fstp <mem> -> fstps <mem>.  Without this, we'll default to fstpl due to
1024   // suffix searching.
1025   if (Name == "fstp" && Operands.size() == 2 &&
1026       static_cast<X86Operand*>(Operands[1])->isMem()) {
1027     delete Operands[0];
1028     Operands[0] = X86Operand::CreateToken("fstps", NameLoc);
1029   }
1030
1031   return false;
1032 }
1033
1034 bool X86ATTAsmParser::ParseDirective(AsmToken DirectiveID) {
1035   StringRef IDVal = DirectiveID.getIdentifier();
1036   if (IDVal == ".word")
1037     return ParseDirectiveWord(2, DirectiveID.getLoc());
1038   return true;
1039 }
1040
1041 /// ParseDirectiveWord
1042 ///  ::= .word [ expression (, expression)* ]
1043 bool X86ATTAsmParser::ParseDirectiveWord(unsigned Size, SMLoc L) {
1044   if (getLexer().isNot(AsmToken::EndOfStatement)) {
1045     for (;;) {
1046       const MCExpr *Value;
1047       if (getParser().ParseExpression(Value))
1048         return true;
1049
1050       getParser().getStreamer().EmitValue(Value, Size, 0 /*addrspace*/);
1051
1052       if (getLexer().is(AsmToken::EndOfStatement))
1053         break;
1054
1055       // FIXME: Improve diagnostic.
1056       if (getLexer().isNot(AsmToken::Comma))
1057         return Error(L, "unexpected token in directive");
1058       Parser.Lex();
1059     }
1060   }
1061
1062   Parser.Lex();
1063   return false;
1064 }
1065
1066
1067 bool X86ATTAsmParser::
1068 MatchInstruction(SMLoc IDLoc,
1069                  const SmallVectorImpl<MCParsedAsmOperand*> &Operands,
1070                  MCInst &Inst) {
1071   assert(!Operands.empty() && "Unexpect empty operand list!");
1072
1073   bool WasOriginallyInvalidOperand = false;
1074   unsigned OrigErrorInfo;
1075
1076   // First, try a direct match.
1077   switch (MatchInstructionImpl(Operands, Inst, OrigErrorInfo)) {
1078   case Match_Success:
1079     return false;
1080   case Match_MissingFeature:
1081     Error(IDLoc, "instruction requires a CPU feature not currently enabled");
1082     return true;
1083   case Match_InvalidOperand:
1084     WasOriginallyInvalidOperand = true;
1085     break;
1086   case Match_MnemonicFail:
1087     break;
1088   }
1089
1090   // FIXME: Ideally, we would only attempt suffix matches for things which are
1091   // valid prefixes, and we could just infer the right unambiguous
1092   // type. However, that requires substantially more matcher support than the
1093   // following hack.
1094
1095   X86Operand *Op = static_cast<X86Operand*>(Operands[0]);
1096   assert(Op->isToken() && "Leading operand should always be a mnemonic!");
1097
1098   // Change the operand to point to a temporary token.
1099   StringRef Base = Op->getToken();
1100   SmallString<16> Tmp;
1101   Tmp += Base;
1102   Tmp += ' ';
1103   Op->setTokenValue(Tmp.str());
1104
1105   // Check for the various suffix matches.
1106   Tmp[Base.size()] = 'b';
1107   unsigned BErrorInfo, WErrorInfo, LErrorInfo, QErrorInfo;
1108   MatchResultTy MatchB = MatchInstructionImpl(Operands, Inst, BErrorInfo);
1109   Tmp[Base.size()] = 'w';
1110   MatchResultTy MatchW = MatchInstructionImpl(Operands, Inst, WErrorInfo);
1111   Tmp[Base.size()] = 'l';
1112   MatchResultTy MatchL = MatchInstructionImpl(Operands, Inst, LErrorInfo);
1113   Tmp[Base.size()] = 'q';
1114   MatchResultTy MatchQ = MatchInstructionImpl(Operands, Inst, QErrorInfo);
1115
1116   // Restore the old token.
1117   Op->setTokenValue(Base);
1118
1119   // If exactly one matched, then we treat that as a successful match (and the
1120   // instruction will already have been filled in correctly, since the failing
1121   // matches won't have modified it).
1122   unsigned NumSuccessfulMatches =
1123     (MatchB == Match_Success) + (MatchW == Match_Success) +
1124     (MatchL == Match_Success) + (MatchQ == Match_Success);
1125   if (NumSuccessfulMatches == 1)
1126     return false;
1127
1128   // Otherwise, the match failed, try to produce a decent error message.
1129
1130   // If we had multiple suffix matches, then identify this as an ambiguous
1131   // match.
1132   if (NumSuccessfulMatches > 1) {
1133     char MatchChars[4];
1134     unsigned NumMatches = 0;
1135     if (MatchB == Match_Success)
1136       MatchChars[NumMatches++] = 'b';
1137     if (MatchW == Match_Success)
1138       MatchChars[NumMatches++] = 'w';
1139     if (MatchL == Match_Success)
1140       MatchChars[NumMatches++] = 'l';
1141     if (MatchQ == Match_Success)
1142       MatchChars[NumMatches++] = 'q';
1143
1144     SmallString<126> Msg;
1145     raw_svector_ostream OS(Msg);
1146     OS << "ambiguous instructions require an explicit suffix (could be ";
1147     for (unsigned i = 0; i != NumMatches; ++i) {
1148       if (i != 0)
1149         OS << ", ";
1150       if (i + 1 == NumMatches)
1151         OS << "or ";
1152       OS << "'" << Base << MatchChars[i] << "'";
1153     }
1154     OS << ")";
1155     Error(IDLoc, OS.str());
1156     return true;
1157   }
1158
1159   // Okay, we know that none of the variants matched successfully.
1160
1161   // If all of the instructions reported an invalid mnemonic, then the original
1162   // mnemonic was invalid.
1163   if ((MatchB == Match_MnemonicFail) && (MatchW == Match_MnemonicFail) &&
1164       (MatchL == Match_MnemonicFail) && (MatchQ == Match_MnemonicFail)) {
1165     if (!WasOriginallyInvalidOperand) {
1166       Error(IDLoc, "invalid instruction mnemonic '" + Base + "'");
1167       return true;
1168     }
1169
1170     // Recover location info for the operand if we know which was the problem.
1171     SMLoc ErrorLoc = IDLoc;
1172     if (OrigErrorInfo != ~0U) {
1173       if (OrigErrorInfo >= Operands.size())
1174         return Error(IDLoc, "too few operands for instruction");
1175
1176       ErrorLoc = ((X86Operand*)Operands[OrigErrorInfo])->getStartLoc();
1177       if (ErrorLoc == SMLoc()) ErrorLoc = IDLoc;
1178     }
1179
1180     return Error(ErrorLoc, "invalid operand for instruction");
1181   }
1182
1183   // If one instruction matched with a missing feature, report this as a
1184   // missing feature.
1185   if ((MatchB == Match_MissingFeature) + (MatchW == Match_MissingFeature) +
1186       (MatchL == Match_MissingFeature) + (MatchQ == Match_MissingFeature) == 1){
1187     Error(IDLoc, "instruction requires a CPU feature not currently enabled");
1188     return true;
1189   }
1190
1191   // If one instruction matched with an invalid operand, report this as an
1192   // operand failure.
1193   if ((MatchB == Match_InvalidOperand) + (MatchW == Match_InvalidOperand) +
1194       (MatchL == Match_InvalidOperand) + (MatchQ == Match_InvalidOperand) == 1){
1195     Error(IDLoc, "invalid operand for instruction");
1196     return true;
1197   }
1198
1199   // If all of these were an outright failure, report it in a useless way.
1200   // FIXME: We should give nicer diagnostics about the exact failure.
1201   Error(IDLoc, "unknown use of instruction mnemonic without a size suffix");
1202   return true;
1203 }
1204
1205
1206 extern "C" void LLVMInitializeX86AsmLexer();
1207
1208 // Force static initialization.
1209 extern "C" void LLVMInitializeX86AsmParser() {
1210   RegisterAsmParser<X86_32ATTAsmParser> X(TheX86_32Target);
1211   RegisterAsmParser<X86_64ATTAsmParser> Y(TheX86_64Target);
1212   LLVMInitializeX86AsmLexer();
1213 }
1214
1215 #define GET_REGISTER_MATCHER
1216 #define GET_MATCHER_IMPLEMENTATION
1217 #include "X86GenAsmMatcher.inc"