Use toplevel function pass manager as OnTheFly manager.
[oota-llvm.git] / test / lib / llvm.exp
index 581c91f09b1f3e928d208b7311a8b76e9f83b2ab..4fc9c4aa5e1e0c26b25607456e9eaaa6a3f5669e 100644 (file)
@@ -1,28 +1,34 @@
-proc execOneLine { test outcome lineno line } {
+# This procedure executes one line of a test case's execution script.
+proc execOneLine { test PRS outcome lineno line } {
   set status 0
   set resultmsg ""
   set retval [ catch { eval exec -keepnewline -- $line } errmsg ]
   if { $retval != 0 } {
     set code [lindex $::errorCode 0]
+    set lineno [expr $lineno + 1]
+    if { $PRS != ""} {
+      set PRS " for $PRS" 
+    }
+    set errmsg " at line $lineno\nwhile running: $line\n$errmsg"
     switch "$code" {
       CHILDSTATUS {
         set status [lindex $::errorCode 2]
-        if { $status ne 0 } {
-          set resultmsg "$test: exit($status)\nwhile running: $line\n$errmsg"
+        if { $status != 0 } {
+          set resultmsg "$test$PRS\nFailed with exit($status)$errmsg"
         }
       }
       CHILDKILLED {
         set signal [lindex $::errorCode 2]
-        set resultmsg "$test: signal($signal)\nwhile running: $line\n$errmsg"
+        set resultmsg "$test$PRS\nFailed with signal($signal)$errmsg"
       }
       CHILDSUSP {
         set signal [lindex $::errorCode 2]
-        set resultmsg "$test: suspend($signal)\nwhile running: $line\n$errmsg"
+        set resultmsg "$test$PRS\nFailed with suspend($signal)$errmsg"
       }
       POSIX {
         set posixNum [lindex $::errorCode 1]
         set posixMsg [lindex $::errorCode 2]
-        set resultmsg "$test: posix($posixNum)\n$posixMsg\nwhile running: $line\n$errmsg"
+        set resultmsg "$test$PRS\nFailed with posix($posixNum,$posixMsg)$errmsg"
       }
       NONE {
       }
@@ -33,12 +39,18 @@ proc execOneLine { test outcome lineno line } {
   return $resultmsg
 }
 
+# This prcoedure performs variable substitutions on the RUN: lines of a test
+# cases.
 proc substitute { line test tmpFile } {
   global srcroot objroot srcdir objdir subdir target_triplet prcontext 
-  global llvmgcc llvmgxx global llvmgcc_version llvmgccmajvers 
+  global llvmgcc llvmgxx llvmgcc_version llvmgccmajvers 
   global gccpath gxxpath compile_c compile_cxx link shlibext llvmlibsdir
+  set path [file join $srcdir $subdir]
+  set tmp  [file join Output $tmpFile]
+
+  # Substitute all Tcl variables.
+  set new_line [subst $line ]
 
-  set new_line $line
   #replace %prcontext with prcontext.tcl (Must replace before %p)
   regsub -all {%prcontext} $new_line $prcontext new_line
   #replace %llvmgcc with actual path to llvmgcc
@@ -61,11 +73,14 @@ proc substitute { line test tmpFile } {
   regsub -all {%s} $new_line $test new_line
   #replace %t with temp filenames
   regsub -all {%t} $new_line [file join Output $tmpFile] new_line
+  #replace %% with %
+  regsub -all {%%} $new_line % new_line
   return $new_line
 }
 
-proc llvm-runtest { programs } {
-  global srcroot objroot srcdir objdir subdir target_triplet
+# This procedure runs the set of tests for the test_source_files array.
+proc RunLLVMTests { test_source_files } {
+  global srcroot objroot srcdir objdir subdir target_triplet llvmgcc_version
   set timeout 60
 
   set path [file join $objdir $subdir]
@@ -80,7 +95,7 @@ proc llvm-runtest { programs } {
   
   file mkdir Output
 
-  foreach test $programs {
+  foreach test $test_source_files {
     #Should figure out best way to set the timeout
     #set timeout 40
     
@@ -94,19 +109,34 @@ proc llvm-runtest { programs } {
     # Open the test file and start reading lines
     set testFileId [ open $test r]
     set runline ""
+    set PRNUMS ""
     foreach line [split [read $testFileId] \n] {
 
-      #see if this is our run line
+      # if its the END. line then stop parsing (optimization for big files)
       if {[regexp {END.[ *]$} $line match endofscript]} {
         break
-      } elseif {[regexp {RUN: *([^\\]+)(\\)} $line match oneline suffix]} {
+
+      # if the line is continued, concatenate and continue the loop
+      } elseif {[regexp {RUN: *(.+)(\\)$} $line match oneline suffix]} {
         set runline "$runline$oneline "
+
+      # if its a terminating RUN: line then do substitution on the whole line
+      # and then save the line.
       } elseif {[regexp {RUN: *([^&]+)(&&)?} $line match oneline suffix]} {
         set runline "$runline$oneline"
         set runline [ substitute $runline $test $tmpFile ]
         set lines($numLines) $runline
         set numLines [expr $numLines + 1]
         set runline ""
+
+      # if its an PR line, save the problem report number
+      } elseif {[regexp {PR([0-9]+)} $line match prnum]} {
+        if {$PRNUMS == ""} {
+          set PRNUMS "PR$prnum"
+        } else {
+          set PRNUMS "$PRNUMS,$prnum"
+        }
+      # if its an XFAIL line, see if we should be XFAILing or not.
       } elseif {[regexp {XFAIL:[ *](.+)} $line match targets]} {
         set targets
 
@@ -135,8 +165,7 @@ proc llvm-runtest { programs } {
       set failed 0
       for { set i 0 } { $i < $numLines } { set i [ expr $i + 1 ] } {
         regsub ^.*RUN:(.*) $lines($i) \1 theLine
-        set theLine [subst $theLine ]
-        set resultmsg [execOneLine $test $outcome $i $theLine ]
+        set resultmsg [execOneLine $test $PRNUMS $outcome $i $theLine ]
         if { $resultmsg != "" } {
           if { $outcome == "XFAIL" } {
             xfail "$resultmsg"
@@ -147,13 +176,59 @@ proc llvm-runtest { programs } {
           break
         }
       }
-      if { !$failed } {
+      if { $failed } {
+        continue
+      } else {
+        if { $PRNUMS != "" } {
+          set PRNUMS " for $PRNUMS"
+        }
         if { $outcome == "XFAIL" } {
-          xpass "$test"
+          xpass "$test$PRNUMS"
         } else {
-          pass "$resultmsg"
+          pass "$test$PRNUMS"
         }
       }
     }
   }
 }
+
+# This procedure provides an interface to check the LLVMGCC_LANGS makefile
+# variable to see if llvm-gcc supports compilation of a particular language.
+proc llvm_gcc_supports { lang } {
+  global llvmgcc llvmgcc_langs
+  # validate the language choices and determine the name of the compiler
+  # component responsible for determining if the compiler has been built.
+  switch "$lang" {
+    ada     { set file gnat1 }
+    c       { set file cc1 }
+    c++     { set file cc1plus }
+    objc    { set file cc1 }
+    objc++  { set file cc1 }
+    fortran { set file fcc1 }
+    default { return 0 }
+  }
+  foreach supported_lang [split "$llvmgcc_langs" ,] {
+    if { "$lang" == "$supported_lang" } {
+      # FIXME: Knowing it is configured is not enough. We should do two more
+      # checks here. First, we need to run llvm-gcc -print-prog-name=$file to 
+      # get the path to the compiler. If we don't get a path, the language isn't
+      # properly configured or built. If we do get a path, we should check to 
+      # make sure that it is executable and perhaps even try executing it.
+      return 1;
+    }
+  }
+  return 0;
+}
+
+# This procedure provides an interface to check the TARGETS_TO_BUILD makefile
+# variable to see if a particular target has been configured to build. This
+# helps avoid running tests for targets that aren't available.
+proc llvm_supports_target { tgtName } {
+  global TARGETS_TO_BUILD
+  foreach target [split $TARGETS_TO_BUILD] {
+    if { [regexp $tgtName $target match] } {
+      return 1
+    }
+  }
+  return 0
+}