test/Makefile

   1 #===- test/Makefile ----------------------------------------*- Makefile -*--===#
   2 #
   3 #                     The LLVM Compiler Infrastructure
   4 #
   5 # This file was developed by the LLVM research group and is distributed under
   6 # the University of Illinois Open Source License. See LICENSE.TXT for details.
   7 #
   8 #===------------------------------------------------------------------------===#
   9
  10 LEVEL  = ..
  11 DIRS   =
  12
  13 #
  14 # Make QMTest the default for testing features and regressions
  15 # Do this first to force QMTest to run first
  16 #
  17 ifdef TESTSUITE
  18 all:: check-dejagnu
  19 else
  20 all:: qmtest
  21 endif
  22
  23 # Include other test rules
  24 include Makefile.tests
  25
  26 # New QMTest functionality:
  27 #       The test suite is being transitioned over to QMTest.  Eventually, it
  28 #       will use QMTest by default.
  29
  30 # QMTest option specifying the location of the QMTest database.
  31 QMDB= -D $(LLVM_SRC_ROOT)/test
  32 QMCLASSES=$(LLVM_OBJ_ROOT)/test/QMTest
  33
  34 #
  35 # Determine which expectations file we will use
  36 #
  37 QMEXPECT:=$(LLVM_SRC_ROOT)/test/QMTest/expectations.unknown.qmr
  38 ifeq ($(OS),Linux)
  39 QMEXPECT:=$(LLVM_SRC_ROOT)/test/QMTest/expectations.linux.qmr
  40 endif
  41
  42 ifeq ($(OS),SunOS)
  43 QMEXPECT:=$(LLVM_SRC_ROOT)/test/QMTest/expectations.sunos.qmr
  44 endif
  45
  46 ifeq ($(OS),Darwin)
  47 QMEXPECT:=$(LLVM_SRC_ROOT)/test/QMTest/expectations.darwin.qmr
  48 endif
  49
  50 #
  51 # This is configuration information used by the test suite.  In QM Test, it's
  52 # called a 'context.'
  53 #
  54 CONTEXT= -c "srcroot=$(LLVM_SRC_ROOT)" \
  55          -c "buildroot=$(LLVM_OBJ_ROOT)" \
  56          -c "buildtype=$(BuildMode)" \
  57          -c "tmpdir=$(LLVM_OBJ_ROOT)/test/tmp" \
  58          -c "coresize=0" \
  59          -c "cc=$(CC)" \
  60          -c "cxx=$(CXX)" \
  61          -c "llvmgcc=$(LLVMGCC)" \
  62          -c "llvmgxx=$(LLVMGXX)" \
  63          -c "make=$(MAKE)" \
  64          -c "python=$(PYTHON)"
  65
  66 #
  67 # Location of the QMTest program.
  68 #
  69 QMTEST= QMTEST_CLASS_PATH=$(QMCLASSES) qmtest $(QMDB)
  70
  71
  72 #
  73 # Execute the tests
  74 #
  75 qmtest:: $(LLVM_OBJ_ROOT)/test/tmp register
  76         -$(QMTEST) run -O $(QMEXPECT) $(CONTEXT)
  77
  78 %.t:: $(LLVM_OBJ_ROOT)/test/tmp register
  79         -$(QMTEST) run -O $(QMEXPECT) $(CONTEXT) $*
  80
  81 #
  82 # Create the temporary directory used by the test suite.
  83 #
  84 $(LLVM_OBJ_ROOT)/test/tmp::
  85         ${MKDIR} $(LLVM_OBJ_ROOT)/test/tmp
  86
  87 #
  88 # Right now, QMTest compiles the python test classes and put them into the
  89 # source tree.  Since Python bytecode is *not* cross-platform compatible (I
  90 # think), we'll regenerate every time.
  91 #
  92 # Simultaneous builds won't work, but shared source trees will.
  93 #
  94 register:
  95         $(QMTEST) register test llvm.TestAsmDisasm
  96         $(QMTEST) register test llvm.AssembleTest
  97         $(QMTEST) register test llvm.ConvertToCTest
  98         $(QMTEST) register test llvm.LLToCTest
  99         $(QMTEST) register test llvm.MachineCodeTest
 100         $(QMTEST) register test llvm.TestOptimizer
 101         $(QMTEST) register test llvm.LLITest
 102         $(QMTEST) register test llvm.TestRunner
 103         $(QMTEST) register test llvm.VerifierTest
 104         $(QMTEST) register test llvm.CTest
 105         $(QMTEST) register test llvm.CXXTest
 106         $(QMTEST) register database llvmdb.llvmdb
 107
 108 # Start up the QMTest GUI
 109 gui::
 110         $(QMTEST) gui --no-browser --daemon
 111
 112 # Also get rid of qmtest garbage when we 'make clean' in this directory.
 113 clean:: qmtest-clean
 114
 115 qmtest-clean:
 116         $(RM) -rf $(LLVM_OBJ_ROOT)/test/tmp
 117         $(RM) -f $(LLVM_SRC_ROOT)/test/QMTest/*.pyo \
 118                 $(LLVM_OBJ_ROOT)/test/QMTest/*.pyo
 119         $(RM) -f $(LLVM_SRC_ROOT)/test/results.qmr \
 120                 $(LLVM_OBJ_ROOT)/test/results.qmr
 121
 122 #===------------------------------------------------------------------------===#
 123 # DejaGNU testing support
 124 #===------------------------------------------------------------------------===#
 125
 126 ifdef TESTSUITE
 127 RUNTESTFLAGS := --tool $(TESTSUITE)
 128 endif
 129
 130 check-dejagnu: site.exp
 131         -PATH=$(LLVMToolDir):$(LLVM_SRC_ROOT)/test/Scripts:$(PATH) \
 132         $(RUNTEST) $(RUNTESTFLAGS)
 133
 134
 135 dejagnu-clean:
 136         $(RM) -rf `find $(LLVM_OBJ_ROOT)/test/Regression -name Output -type d -print`
 137
 138 site.exp: Makefile $(LLVM_OBJ_ROOT)/Makefile.config
 139         @echo 'Making a new site.exp file...'
 140         @echo '## these variables are automatically generated by make ##' >site.tmp
 141         @echo '# Do not edit here.  If you wish to override these values' >>site.tmp
 142         @echo '# edit the last section' >>site.tmp
 143         @echo "set target_triplet $(TARGET_TRIPLE)" >> site.tmp
 144         @echo 'set prcontext "tclsh $(LLVM_SRC_ROOT)/test/Scripts/prcontext.tcl"' >> site.tmp
 145         @echo 'set srcdir $(LLVM_SRC_ROOT)/test' >>site.tmp
 146         @echo "set objdir $(LLVM_OBJ_ROOT)/test" >>site.tmp
 147         @echo 'set llvmgcc $(LLVMGCCDIR)/bin/gcc' >> site.tmp
 148         @echo 'set llvmgxx $(LLVMGCCDIR)/bin/g++' >> site.tmp
 149         @echo '## All variables above are generated by configure. Do Not Edit ## ' >>site.tmp
 150         @test ! -f site.exp || \
 151         sed '1,/^## All variables above are.*##/ d' site.exp >> site.tmp
 152         @-rm -f site.bak
 153         @test ! -f site.exp || mv site.exp site.bak
 154         @mv site.tmp site.exp
 155
 156 #===------------------------------------------------------------------------===#
 157 # quick-test utility. Just runs TestRunner.sh on all the *.ll files in a
 158 # directory. Use like this:
 159 #   cd llvm/test ; make quick-test QUICKTEST=Regression/Bytecode
 160 # where QUICKTEST specifies the directory you want to run the tests on.
 161 #===------------------------------------------------------------------------===#
 162 quick-test:
 163         @if test -d "${QUICKTEST}" ; then \
 164           cd $(LLVM_SRC_ROOT)/test/$(QUICKTEST) ; \
 165           find . -name \*.ll -print -exec $(LLVM_SRC_ROOT)/test/TestRunner.sh {} \; ; \
 166         else \
 167           echo "Set QUICKTEST=<some directory with TestRunner.sh .ll files in it" ; \
 168         fi