Make the tags rule tolerate lack of one of the standard directories
[oota-llvm.git] / utils / NightlyTest.pl
index 0904dcf0c1974d3bc244b8b38922676f5713e8ae..acf32165b9d36f7a4658cb10fb348efe07e3d921 100755 (executable)
@@ -22,6 +22,7 @@ my $DATE = sprintf "%4d-%02d-%02d", $TIME[5]+1900, $TIME[4]+1, $TIME[3];
 my $DateString = strftime "%B %d, %Y", localtime;
 
 sub ReadFile {
+  undef $/;
   if (open (FILE, $_[0])) {
     my $Ret = <FILE>;
     close FILE;
@@ -40,7 +41,10 @@ sub WriteFile {  # (filename, contents)
 
 sub GetRegex {   # (Regex with ()'s, value)
   $_[1] =~ /$_[0]/m;
-  return $1;
+  if (defined($1)) {
+    return $1;
+  }
+  return "?";
 }
 
 sub AddPreTag {  # Add pre tags around nonempty list, or convert to "none"
@@ -75,11 +79,21 @@ sub DiffFiles {
   return ($Added, $Removed);
 }
 
+# FormatTime - Convert a time from 1m23.45 into 83.45
+sub FormatTime {
+  my $Time = shift;
+  if ($Time =~ m/([0-9]+)m([0-9.]+)/) {
+    $Time = sprintf("%7.4f", $1*60.0+$2);
+  }
+  return $Time;
+}
+
 
 # Command line argument settings...
 my $NOCHECKOUT = 0;
 my $NOREMOVE   = 0;
 my $NOTEST     = 0;
+my $NORUNNINGTESTS = 0;
 my $MAKEOPTS   = "";
 
 # Parse arguments...
@@ -88,10 +102,11 @@ while (scalar(@ARGV) and ($_ = $ARGV[0], /^[-+]/)) {
   last if /^--$/;  # Stop processing arguments on --
 
   # List command line options here...
-  if (/^-nocheckout$/) { $NOCHECKOUT = 1; next; }
-  if (/^-noremove$/)   { $NOREMOVE   = 1; next; }
-  if (/^-notest$/)     { $NOTEST     = 1; next; }
-  if (/^-parallel$/)   { $MAKEOPTS   = "-j2 -l3.0"; next; }
+  if (/^-nocheckout$/)     { $NOCHECKOUT = 1; next; }
+  if (/^-noremove$/)       { $NOREMOVE   = 1; next; }
+  if (/^-notest$/)         { $NOTEST     = 1; $NORUNNINGTESTS = 1; next; }
+  if (/^-norunningtests$/) { $NORUNNINGTESTS = 1; next; }
+  if (/^-parallel$/)       { $MAKEOPTS   = "-j2 -l3.0"; next; }
 
   print "Unknown option: $_ : ignoring!\n";
 }
@@ -135,7 +150,6 @@ chdir "llvm" or die "Could not change into llvm directory!";
 system "cvs up -P -d > /dev/null 2>&1" if (!$NOCHECKOUT);
 
 # Read in the HTML template file...
-undef $/;
 my $TemplateContents = ReadFile $Template;
 
 
@@ -184,11 +198,10 @@ my $BuildWallTime = GetRegexNum "^real", 1, "([0-9.]+)","$Prefix-Build-Log.txt";
 
 my $BuildError = "";
 if (`grep '^gmake[^:]*: .*Error' $Prefix-Build-Log.txt | wc -l` + 0) {
-  $BuildError = "<h3>Build error: compilation <a href=\"$DATE-Build-Log.txt\">"
-              . "aborted</a></h3>";
+  $BuildError = "<h3><font color='red'>Build error: compilation " .
+                "<a href=\"$DATE-Build-Log.txt\">aborted</a></font></h3>";
 }
 
-
 #
 # Get warnings from the build
 #
@@ -268,6 +281,7 @@ my $RemovedFilesList = AddPreTag join "\n", sort keys %RemovedFiles;
 my $TestError = 1;
 my $SingleSourceProgramsTable;
 my $MultiSourceProgramsTable;
+my $ExternalProgramsTable;
 
 
 sub TestDirectory {
@@ -279,16 +293,16 @@ sub TestDirectory {
   # Run the programs tests... creating a report.nightly.html file
   if (!$NOTEST) {
     system "gmake $MAKEOPTS report.nightly.html TEST=nightly "
-         . "RUNTIMELIMIT=300 > $Prefix-$SubDir-ProgramTest.txt 2>&1";
+         . "> $Prefix-$SubDir-ProgramTest.txt 2>&1";
   } else {
     system "gunzip $Prefix-$SubDir-ProgramTest.txt.gz";
   }
 
   my $ProgramsTable;
-  if (`grep '^gmake: .*Error' $Prefix-$SubDir-ProgramTest.txt | wc -l` + 0) {
+  if (`grep '^gmake[^:]: .*Error' $Prefix-$SubDir-ProgramTest.txt | wc -l` + 0){
     $TestError = 1;
     $ProgramsTable = "<font color=white><h2>Error running tests!</h2></font>";
-  } elsif (`grep '^gmake: .*No rule to make target' $Prefix-$SubDir-ProgramTest.txt | wc -l` + 0) {
+  } elsif (`grep '^gmake[^:]: .*No rule to make target' $Prefix-$SubDir-ProgramTest.txt | wc -l` + 0) {
     $TestError = 1;
     $ProgramsTable =
       "<font color=white><h2>Makefile error running tests!</h2></font>";
@@ -309,12 +323,13 @@ sub TestDirectory {
   return $ProgramsTable;
 }
 
-# If we build the tree successfully, the nightly programs tests...
+# If we build the tree successfully, run the nightly programs tests...
 if ($BuildError eq "") {
   $SingleSourceProgramsTable = TestDirectory("SingleSource");
   $MultiSourceProgramsTable = TestDirectory("MultiSource");
+  $ExternalProgramsTable = TestDirectory("External");
   system "cat $Prefix-SingleSource-Tests.txt $Prefix-MultiSource-Tests.txt ".
-         " | sort > $Prefix-Tests.txt";
+         " $Prefix-External-Tests.txt | sort > $Prefix-Tests.txt";
 }
 
 my ($TestsAdded, $TestsRemoved, $TestsFixed, $TestsBroken) = ("","","","");
@@ -356,6 +371,67 @@ if ($TestError) {
   $TestsBroken  = AddPreTag $TestsBroken;
 }
 
+# If we built the tree successfully, runs of the Olden suite with
+# LARGE_PROBLEM_SIZE on so that we can get some "running" statistics.
+if ($BuildError eq "") {
+  my ($NATTime, $CBETime, $LLCTime, $JITTime, $OptTime, $BytecodeSize,
+      $MachCodeSize) = ("","","","","","","");
+  if (!$NORUNNINGTESTS) {
+    chdir "test/Programs/MultiSource/Olden" or die "Olden tests moved?";
+
+    # Clean out previous results...
+    system "gmake $MAKEOPTS clean > /dev/null 2>&1";
+
+    # Run the nightly test in this directory, with LARGE_PROBLEM_SIZE enabled!
+    system "gmake $MAKEOPTS report.nightly.raw.out TEST=nightly " .
+           " LARGE_PROBLEM_SIZE=1 > /dev/null 2>&1";
+    system "cp report.nightly.raw.out $Prefix-Olden-tests.txt";
+  } else {
+    system "gunzip $Prefix-Olden-tests.txt.gz";
+  }
+
+  # Now we know we have $Prefix-Olden-tests.txt as the raw output file.  Split
+  # it up into records and read the useful information.
+  my @Records = split />>> ========= /, ReadFile "$Prefix-Olden-tests.txt";
+  shift @Records;  # Delete the first (garbage) record
+
+  # Loop over all of the records, summarizing them into rows for the running
+  # totals file.
+  my $WallTimeRE = "[A-Za-z0-9.: ]+\\(([0-9.]+) wall clock";
+  foreach $Rec (@Records) {
+    my $rNATTime = GetRegex 'TEST-RESULT-nat-time: real\s*([.0-9m]+)', $Rec;
+    my $rCBETime = GetRegex 'TEST-RESULT-cbe-time: real\s*([.0-9m]+)', $Rec;
+    my $rLLCTime = GetRegex 'TEST-RESULT-llc-time: real\s*([.0-9m]+)', $Rec;
+    my $rJITTime = GetRegex 'TEST-RESULT-jit-time: real\s*([.0-9m]+)', $Rec;
+    my $rOptTime = GetRegex "TEST-RESULT-compile: $WallTimeRE", $Rec;
+    my $rBytecodeSize = GetRegex 'TEST-RESULT-compile: *([0-9]+)', $Rec;
+    my $rMachCodeSize = GetRegex 'TEST-RESULT-jit-machcode: *([0-9]+).*bytes of machine code', $Rec;
+
+    $NATTime .= " " . FormatTime($rNATTime);
+    $CBETime .= " " . FormatTime($rCBETime);
+    $LLCTime .= " " . FormatTime($rLLCTime);
+    $JITTime .= " " . FormatTime($rJITTime);
+    $OptTime .= " $rOptTime";
+    $BytecodeSize .= " $rBytecodeSize";
+    $MachCodeSize .= " $rMachCodeSize";
+  }
+
+  # Now that we have all of the numbers we want, add them to the running totals
+  # files.
+  AddRecord($NATTime, "running_Olden_nat_time.txt");
+  AddRecord($CBETime, "running_Olden_cbe_time.txt");
+  AddRecord($LLCTime, "running_Olden_llc_time.txt");
+  AddRecord($JITTime, "running_Olden_jit_time.txt");
+  AddRecord($OptTime, "running_Olden_opt_time.txt");
+  AddRecord($BytecodeSize, "running_Olden_bytecode.txt");
+  AddRecord($MachCodeSize, "running_Olden_machcode.txt");
+
+  system "gzip -f $Prefix-Olden-tests.txt";
+}
+
+
+
+
 #
 # Get a list of the previous days that we can link to...
 #
@@ -366,14 +442,28 @@ splice @PrevDays, 20;  # Trim down list to something reasonable...
 my $PrevDaysList =     # Format list for sidebar
   join "\n  ", map { "<a href=\"$_.html\">$_</a><br>" } @PrevDays;
 
+#
+# Start outputing files into the web directory
+#
+chdir $WebDir or die "Could not change into web directory!";
+
+# Add information to the files which accumulate information for graphs...
+AddRecord($LOC, "running_loc.txt");
+AddRecord($BuildTime, "running_build_time.txt");
+
+#
+# Rebuild the graphs now...
+#
+system "/usr/dcs/software/supported/bin/gnuplot " .
+       "$BuildDir/llvm/utils/NightlyTest.gnuplot";
 
 #
 # Remove the cvs tree...
 #
-chdir $WebDir or die "Could not change into web directory!";
 system "rm -rf $BuildDir" if (!$NOCHECKOUT and !$NOREMOVE);
 
 
+
 #
 # Print out information...
 #
@@ -412,15 +502,11 @@ system "ln -sf $DATE.html index.html";
 sub AddRecord {
   my ($Val, $Filename) = @_;
   my @Records;
-  if (open FILE, $Filename) {
+  if (open FILE, "$WebDir/$Filename") {
     @Records = grep !/$DATE/, split "\n", <FILE>;
     close FILE;
   }
   push @Records, "$DATE: $Val";
-  WriteFile $Filename, (join "\n", @Records) . "\n";
+  WriteFile "$WebDir/$Filename", (join "\n", @Records) . "\n";
   return @Records;
 }
-
-# Add information to the files which accumulate information for graphs...
-AddRecord($LOC, "running_loc.txt");
-AddRecord($BuildTime, "running_build_time.txt");