utils/NightlyTestTemplate.html

   1
   2 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
   3 <html><head><title>LLVM Test Results for $DateString</title></head>
   4
   5 <body bgcolor=white>
   6 <center><font size=+3 face=Verdana><b>LLVM Test Results for $DateString</b></font></center>
   7 <hr height=1>
   8
   9 <table width=100%>
  10 <tr><td valign=top align=center>
  11
  12 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  13 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77">
  14 <font size=+1><b>Sections:</b></font><br>
  15 </td></tr><tr><td bgcolor="#FFCC99" align=center>
  16 <a href="#Overview">Overview</a><br>
  17 <a href="#Changes">Changes</a><br>
  18 <a href="#Trends">Trends</a><br>
  19 <a href="#Programs">Programs</a><br>
  20 <a href="#Feature">Feature</a><br>
  21 <a href="#Regression">Regression</a><br>
  22 </td></tr></table></td></tr></table>
  23
  24 <p>
  25 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  26 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77"
  27 <font size=+1><b>Previous:</b></font><br>
  28 </td></tr><tr><td bgcolor="#FFCC99">
  29   $PrevDaysList
  30 </td></tr></table></td></tr></table>
  31 <p>
  32
  33 <font size=+1><b>Back to:</b></font><br>
  34 <a href="..">Test&nbsp;Results</a><br>
  35 <a href="../..">LLVM&nbsp;Page</a><p>
  36
  37 </td><td valign=top>
  38
  39 <center>
  40 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  41 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  42 <font size=+2 face=Verdana><b><a name="Overview">Today's Test Results Overview</font></b>
  43 </td></tr></table></td></tr></table></center><p>
  44
  45 <!-- Running LOC graph -->
  46 <table align=right>
  47 <tr><td>
  48 <a href="running_loc_large.png"
  49    ><img border=0 width=480 height=360 src="running_loc.png"></a>
  50 </td></tr>
  51 <tr><td align=center>Lines Of Code over Time<br>
  52 <font size=-1><a href="running_loc_large.png">Click for larger view</a></font>
  53 </td></tr>
  54 </table>
  55
  56 <h2>CVS Tree Overview:</h2>
  57 <ul>
  58 <li><a href="$DATE-CVS-Log.txt">CVS Checkout Log</a>
  59 <ul>
  60     <b>$NumDirsInCVS</b> dirs, <b>$NumFilesInCVS</b> files, <b>$LOC</b>
  61     lines of code, checked out in <b>$CVSCheckoutTime</b> seconds<br></ul>
  62 <li><a href="$DATE-Build-Log.txt">Compilation Log</a>
  63 <table>
  64 <tr><td><b>Item</b></td><td><b>CPU Time</b></td><td><b>Wall Clock</b></td></tr>
  65 <tr><td>Configure CVS Tree</td><td>$ConfigTime</td><td>$ConfigWallTime</td></tr>
  66 <tr><td>Build CVS Tree</td><td>$BuildTime</td><td>$BuildWallTime</td></tr>
  67 <tr><td>Run Feature Tests</td><td>$FeatureTime</td><td>$FeatureWallTime</td></tr>
  68 <tr><td>Run Regression Tests</td><td>$RegressionTime</td><td>$RegressionWallTime</td></tr>
  69 </table></li>
  70 <li>Number of object files compiled: <b>$NumObjects</b></li>
  71 <li>Number of libraries linked: <b>$NumLibraries</b></li>
  72 <li>Number of executables linked:<b> $NumExecutables</b></li>
  73 <li>Build Error: $BuildError</li>
  74 </ul>
  75
  76 <h2>Warnings during the build:</h2>
  77 <ul>$WarningsList
  78 </ul><p>
  79
  80 <br><br><center>
  81 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  82 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  83 <font size=+2 face=Verdana><b><a name="Changes">Changes from Yesterday</font></b>
  84 </td></tr></table></td></tr></table></center><p>
  85
  86 <h2>Changes to CVS:</h2>
  87 <ul>
  88 <li>Users who committed to CVS: <b>$UserCommitList</b>
  89 <li>Users who updated from CVS: <b>$UserUpdateList</b>
  90 <li>Added Files:    $AddedFilesList
  91 <li>Modified Files: $ModifiedFilesList
  92 <li>Removed Files:  $RemovedFilesList
  93 </ul><p>
  94
  95 <h2>Changes to Warnings:</h2>
  96 <ul>
  97 <li>Warnings Added: $WarningsAdded
  98 <li>Warnings Removed: $WarningsRemoved
  99 </ul><p>
 100
 101 <h2>Changes in the test suite:</h2>
 102 <ul>
 103 <li>New Tests: $TestsAdded
 104 <li>Removed Tests: $TestsRemoved
 105 <li>Newly passing tests: $TestsFixed
 106 <li>Newly failing tests: $TestsBroken
 107 </ul>
 108 </td></tr></tbody></table>
 109 <br><br><center>
 110 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 111 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 112 <font size=+2 face=Verdana><b><a name="Trends">Changes Over Time</font></b>
 113 </td></tr></table></td></tr></table></center><p>
 114
 115
 116 Here are some charts showing how the LLVM optimizer and code generators are
 117 changing over time.  For now we use the Olden benchmark suite to measure this,
 118 but eventually we will switch to using SPEC CPU2000.  All programs are run with
 119 "LARGE_PROBLEM_SIZE" enabled.  Click on any of the charts to get a larger
 120 version.<p>
 121
 122 <h2>Compilation Measurements:</h2>
 123
 124 <table border="0" align=center>
 125 <tr>
 126 <td width=50% align=center>
 127 <a href="running_Olden_bytecode_large.png"><img width=480 height=360 border=0 src="running_Olden_bytecode.png"></a><br>
 128 Size of LLVM bytecode files
 129 </td>
 130 <td width=50% align=center>
 131 <a href="running_Olden_machcode_large.png"><img width=480 height=360 border=0 src="running_Olden_machcode.png"></a><br>
 132 Size of native machine code for each program (generated by the JIT)
 133 </td></tr>
 134 <tr>
 135 <td align=center>
 136 <a href="running_Olden_opt_time_large.png"><img width=480 height=360 border=0 src="running_Olden_opt_time.png"></a><br>
 137 Time to run the LLVM optimizer on each program
 138 </td>
 139 <td></td></tr>
 140 </table>
 141
 142 <h2>Program Execution Measurements:</h2>
 143
 144 <table border="0" align=center>
 145 <tr>
 146 <td width=50% align=center>
 147 <a href="running_Olden_cbe_time_large.png"><img width=480 height=360 border=0 src="running_Olden_cbe_time.png"></a><br>
 148 Execution time for CBE generated executable
 149 </td>
 150 <td width=50% align=center>
 151 <a href="running_Olden_llc_time_large.png"><img width=480 height=360 border=0 src="running_Olden_llc_time.png"></a><br>
 152 Execution time for the LLC generated executable
 153 </td></tr>
 154
 155 <tr>
 156 <td align=center>
 157 <a href="running_Olden_jit_time_large.png"><img width=480 height=360 border=0 src="running_Olden_jit_time.png"></a><br>
 158 Execution time for program in the JIT
 159 </td>
 160 <td></td></tr>
 161 </table>
 162
 163
 164
 165
 166 <br><br><center>
 167 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 168 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 169 <font size=+2 face=Verdana><b><a name="Programs">Program Tests</font></b>
 170 </td></tr></table></td></tr></table></center><p>
 171
 172 This section tests LLVM on a variety of programs in the test suite.  This
 173 includes benchmark suites like the Olden, McCat, Ptrdist, and SPEC benchmarks as
 174 well as a few random programs with test inputs.  This section is meant to track
 175 how stable LLVM is as a whole. A failure in the execution of any test is marked
 176 with an asterisk: `*'. The columns of the tables are:<p>
 177
 178 <ol>
 179 <li><a name="Program">Program</a> - The name of the program for that row.</li>
 180 <li><a name="GCCAS">GCCAS</a> - Time to run LLVM optimizers on the program.</li>
 181 <li><a name="Bytecode">Bytecode</a> - The size of the bytecode for the
 182     program</li>
 183 <li><a name="Instrs">Instrs</a> - The number of LLVM instructions in the
 184     compiled bytecode</li>
 185 <li><a name="LLC<br>compile">LLC compile</a> - The time taken compile with
 186     LLC (the static backend)</li>
 187 <li><a name="JIT<br>codegen">JIT codegen</a> - The amount of time spent in the
 188     JIT itself, instead of executing the program.</li>
 189 <li><a name="Machine<br>code">Machine code</a> - The number of bytes of machine
 190     code generated by the JIT.</li>
 191 <li><a name="GCC">GCC</a> - The time taken to execute the program when compiled
 192     with GCC -O2.</li>
 193 <li><a name="CBE">CBE</a> - The time taken to execute the program after
 194     compilation through the C backend, compiled with -O2.</li>
 195 <li><a name="LLC">LLC</a> - How long does the program generated by the static
 196     backend LLC take to execute </li>
 197 <li><a name="JIT">JIT</a> - The amount of time spent running the
 198     program with the JIT; this includes the code generation phase (listed above)
 199     and actually running the program.</li>
 200 <li><a name="GCC/LLC">GCC/LLC</a> - The speed-up of the LLC output vs the native
 201     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 202 <li><a name="GCC/CBE">GCC/CBE</a> - The speed-up of the CBE output vs the native
 203     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 204 <li><a name="LLC-LS">LLC-LS</a> - How long does the program generated by the static
 205     backend LLC take to execute the program, when compiled with the linear scan
 206     register allocator.  This is temporary, for tuning.</li>
 207 </ol><p>
 208
 209 A complete log of testing
 210 <a href="$DATE-SingleSource-ProgramTest.txt.gz">SingleSource</a>,
 211 <a href="$DATE-MultiSource-ProgramTest.txt.gz">MultiSource</a>, and
 212 <a href="$DATE-External-ProgramTest.txt.gz">External</a> programs are
 213 available for further analysis.
 214
 215 <h2>Programs/External</h2>
 216
 217 <center>
 218 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 219 $ExternalProgramsTable
 220 </td></tr></table></center>
 221
 222 <h2>Programs/MultiSource</h2>
 223
 224 <center>
 225 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 226 $MultiSourceProgramsTable
 227 </td></tr></table></center>
 228
 229 <h2>Programs/SingleSource</h2>
 230
 231 <center>
 232 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 233 $SingleSourceProgramsTable
 234 </td></tr></table></center>
 235
 236
 237
 238 <br/><br/><center>
 239 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 240 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 241 <font size=+2 face=Verdana><b><a name="Feature">Feature Test Results</font></b>
 242 </td></tr></table></td></tr></table></center>
 243 <br/>
 244 $FeatureTestResults
 245
 246 <br/><br/><center>
 247 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 248 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 249 <font size=+2 face=Verdana><b><a name="Regression">Regression Test Results</font></b>
 250 </td></tr></table></td></tr></table></center>
 251 <br/>
 252 $RegressionTestResults
 253
 254 </td></tr></html>