This is what you get if you merge the previous four reports (and filter out the hand-tweaked assembly benchmarks). I generated the report with the following command: EXCLUDE='^hand/' \ tools/merge.pl \ ghc-armada-thorough-6.9.tgz \ ghc-fischer-thorough-6.9.tgz \ ghc-albatross-thorough-6.9.tgz \ ghc-thorough-6.9.tgz \

xx

This graph shows the memory usage to be (almost) exactly the same. The difference can easily be explained with slightly different versions of the C library (there was also a security update or two from Ubuntu in the last few days - the kernel was definitely updated and I think the C library was too). We are also talking about two versions of Ubuntu and one (old) version of SuSE. And we are talking about three not quite identical versions of ghc. The fischer and albatross runs were made before the inclusion of the three benchmarks from Don Stewart (hs/space-bs-c8-count, hs/space-bslc8-count, and hs/space-bslc8-chunk-4) so they are a couple of holes in the graphs. The speed pattern is more fun. It makes no sense to compare absolute times here so the graphs were not rescaled. One would naïvely expect the bars to be about the same when taken in groups of four but that really turns out to be far from the case! The explanation is most likely that we are looking at four very different microarchitectures. ********** This should hammer home the point that benchmarking on any single machine isn't enough! ********** Two probably aren't enough either... -Peter ls-search ghc 6.9.20071119 Pentium III (Coppermine) 596.932 MHz TESTKIND=THOROUGH SUFFIX= Fischer's machine ghc 6.9.20071124 AMD Duron(tm) processor 1200.089 MHz TESTKIND=THOROUGH SUFFIX= albatross ghc 6.9.20071208 (or thereabouts) Genuine Intel(R) CPU T2300 @ 1.66GHz (Core Duo) 1667.000 MHz TESTKIND=THOROUGH SUFFIX= charybdis ghc 6.9.20071119 AMD Athlon(tm) 64 Processor 3000+ 2009.160 MHz TESTKIND=THOROUGH SUFFIX= Time (byte counting) std -------------------- avg dev slack hs/byte-bs----acc: 3.274 1‰ 0.1 ███▏ | -- 1.892 21‰ 0.4 ██▊ | -- 0.918 4‰ 0.1 █████▍ | -- 0.705 7‰ 0.1 ███▋ | hs/byte-bs----foldlx: 4.027 0‰ 0.0 ███▊ | -- 2.258 3‰ 0.1 ███▎ | -- 1.014 2‰ 0.2 ██████ | -- 1.002 1‰ 0.5 █████▎ | hs/byte-bs----foldrx: 4.184 1‰ 0.0 ███▉ | -- 2.933 0‰ 0.1 ████▎ | -- 0.999 2‰ 0.1 █████▉ | -- 1.112 2‰ 0.1 █████▊ | hs/byte-bsl---acc: 28.005 10‰ 0.0 ██████████████████████████▍ | -- 14.319 45‰ 0.1 ████████████████████▌ | -- 1.957 1‰ 0.1 ███████████▌ | -- 2.595 14‰ 0.1 █████████████▌ | hs/byte-xxxxx-acc-1: 25.852 4‰ 0.0 ████████████████████████▎ | -- 20.915 17‰ 4.0 █████████████████████████████▉ | -- 3.591 2‰ 0.1 █████████████████████▏ | -- 4.436 5‰ 0.0 ███████████████████████▏ | hs/byte-xxxxx-acc-2: 25.622 5‰ 0.0 ████████████████████████▏ | -- 20.691 8‰ 0.1 █████████████████████████████▌ | -- 3.598 4‰ 0.1 █████████████████████▏ | -- 4.473 8‰ 0.0 ███████████████████████▎ | hs/byte-xxxxx-foldl: 25.803 5‰ 0.0 ████████████████████████▎ | -- 20.610 5‰ 1.4 █████████████████████████████▍ | -- 3.594 1‰ 0.1 █████████████████████▏ | -- 4.412 10‰ 0.0 ███████████████████████ | c/byte-getchar: 13.016 0‰ 0.0 ████████████▎ | -- 9.042 0‰ 0.1 ████████████▉ | -- 3.761 2‰ 0.1 ██████████████████████▏ | -- 2.422 27‰ 0.1 ████████████▋ | c/byte-getchar-u: 1.662 1‰ 0.1 █▋ | -- 1.314 3‰ 0.2 █▉ | -- 0.719 2‰ 0.3 ████▎ | -- 0.632 3‰ 0.3 ███▎ | c/byte-4k: 0.543 2‰ 0.2 ▌ | -- 0.419 5‰ 0.5 ▋ | -- 0.101 10‰ 3.1 ▋ | -- 0.094 26‰ 2.2 ▌ | Memory: Peak ------- KB hs/byte-bs----acc: 147752 ████████████████████████████████████████ | -- 147492 ████████████████████████████████████████ | -- 147784 ████████████████████████████████████████▏ | -- 147752 ████████████████████████████████████████ | hs/byte-bs----foldlx: 147756 ████████████████████████████████████████ | -- 147492 ████████████████████████████████████████ | -- 147812 ████████████████████████████████████████▏ | -- 147748 ████████████████████████████████████████ | hs/byte-bs----foldrx: 147760 ████████████████████████████████████████ | -- 147488 ████████████████████████████████████████ | -- 147788 ████████████████████████████████████████▏ | -- 147744 ████████████████████████████████████████ | hs/byte-bsl---acc: 3180 ▉ | -- 2896 ▊ | -- 3228 ▉ | -- 3172 ▉ | hs/byte-xxxxx-acc-1: 1916 ▌ | -- 1612 ▌ | -- 1904 ▌ | -- 1904 ▌ | hs/byte-xxxxx-acc-2: 1912 ▌ | -- 1612 ▌ | -- 1908 ▌ | -- 1904 ▌ | hs/byte-xxxxx-foldl: 1912 ▌ | -- 1612 ▌ | -- 1908 ▌ | -- 1900 ▌ | c/byte-getchar: 436 ▏ | -- 384 ▏ | -- 432 ▏ | -- 440 ▏ | c/byte-getchar-u: 432 ▏ | -- 384 ▏ | -- 440 ▏ | -- 440 ▏ | c/byte-4k: 436 ▏ | -- 380 ▏ | -- 436 ▏ | -- 440 ▏ | Time (space counting) std --------------------- avg dev slack hs/space-bs-c8-acc-1: 4.318 1‰ 0.0 ████ | -- 2.467 1‰ 0.3 ███▌ | -- 1.313 0‰ 0.2 ███████▊ | -- 1.145 1‰ 0.2 ██████ | hs/space-bs-c8-count: 3.118 1‰ 0.1 ██▉ | -- n/a -- n/a -- 0.521 1‰ 0.2 ██▊ | hs/space-bs-c8-foldlx-1: 4.631 1‰ 0.0 ████▍ | -- 2.585 2‰ 0.1 ███▊ | -- 1.326 1‰ 0.1 ███████▊ | -- 1.221 1‰ 0.1 ██████▍ | hs/space-bs-c8-foldlx-2: 4.632 1‰ 0.0 ████▍ | -- 2.576 2‰ 0.3 ███▋ | -- 1.328 1‰ 0.1 ███████▉ | -- 1.219 2‰ 0.2 ██████▍ | hs/space-bs-c8-foldrx: 4.678 0‰ 0.0 ████▍ | -- 2.982 8‰ 2.3 ████▎ | -- 1.128 1‰ 0.2 ██████▋ | -- 1.172 2‰ 0.3 ██████▏ | hs/space-bs-c8-lenfil: 4.634 1‰ 0.1 ████▍ | -- 2.599 1‰ 0.2 ███▊ | -- 1.327 2‰ 0.2 ███████▊ | -- 1.223 1‰ 0.2 ██████▍ | hs/space-bslc8-acc-1: 32.733 7‰ 0.0 ██████████████████████████████▊ | -- 15.228 8‰ 0.1 █████████████████████▊ | -- 3.002 1‰ 0.1 █████████████████▋ | -- 3.388 10‰ 0.1 █████████████████▋ | hs/space-bslc8-acc-2: 33.112 11‰ 0.0 ███████████████████████████████▏ | -- 15.855 38‰ 0.0 ██████████████████████▋ | -- 3.010 2‰ 0.0 █████████████████▊ | -- 3.386 5‰ 0.1 █████████████████▋ | hs/space-bslc8-acc-3: 30.294 12‰ 0.0 ████████████████████████████▌ | -- 14.980 14‰ 0.0 █████████████████████▍ | -- 2.586 1‰ 0.1 ███████████████▎ | -- 2.832 4‰ 0.1 ██████████████▊ | hs/space-bslc8-chunk-1: 3.888 0‰ 0.1 ███▋ | -- 2.443 2‰ 0.2 ███▌ | -- 1.192 0‰ 0.0 ███████ | -- 1.094 0‰ 0.3 █████▊ | hs/space-bslc8-chunk-2: 3.887 1‰ 0.0 ███▋ | -- 2.449 1‰ 0.3 ███▌ | -- 1.189 0‰ 0.1 ███████ | -- 1.094 1‰ 0.3 █████▊ | hs/space-bslc8-chunk-3: 3.881 0‰ 0.1 ███▋ | -- 2.534 3‰ 0.3 ███▋ | -- 1.272 1‰ 0.2 ███████▌ | -- 1.087 1‰ 0.3 █████▋ | hs/space-bslc8-chunk-4: 3.910 1‰ 0.0 ███▋ | -- n/a -- n/a -- 1.099 0‰ 0.3 █████▊ | hs/space-bslc8-count: 2.355 1‰ 0.1 ██▎ | -- n/a -- n/a -- 0.477 2‰ 0.4 ██▌ | hs/space-bslc8-foldl: 4.674 0‰ 0.0 ████▍ | -- 2.938 1‰ 0.2 ████▎ | -- 1.517 0‰ 0.1 ████████▉ | -- 1.458 1‰ 0.3 ███████▋ | hs/space-bslc8-foldlx-1: 4.676 0‰ 0.0 ████▍ | -- 2.928 1‰ 0.0 ████▏ | -- 1.516 0‰ 0.0 ████████▉ | -- 1.458 0‰ 0.1 ███████▋ | hs/space-bslc8-foldlx-2: 4.676 0‰ 0.0 ████▍ | -- 2.937 2‰ 0.2 ████▎ | -- 1.511 0‰ 0.0 ████████▉ | -- 1.457 1‰ 0.1 ███████▋ | hs/space-bslc8-foldr-1: 5.222 0‰ 0.0 ████▉ | -- 4.043 6‰ 0.1 █████▊ | -- 1.205 1‰ 0.2 ███████▏ | -- 1.312 1‰ 0.2 ██████▉ | hs/space-bslc8-foldr-2: 5.224 1‰ 0.1 ████▉ | -- 4.007 4‰ 0.1 █████▊ | -- 1.202 3‰ 0.1 ███████▏ | -- 1.315 1‰ 0.2 ██████▉ | hs/space-bslc8-lenfil-1: 4.712 1‰ 0.0 ████▍ | -- 3.240 1‰ 0.2 ████▋ | -- 1.400 0‰ 0.0 ████████▎ | -- 1.323 1‰ 0.1 ██████▉ | hs/space-bslc8-lenfil-2: 4.714 1‰ 0.0 ████▍ | -- 3.236 1‰ 0.2 ████▋ | -- 1.396 0‰ 0.0 ████████▎ | -- 1.325 1‰ 0.1 ██████▉ | hs/space-bsl---foldlx: 4.522 0‰ 0.1 ████▎ | -- 2.821 1‰ 0.1 ████ | -- 1.476 1‰ 0.1 ████████▋ | -- 1.391 1‰ 0.1 ███████▎ | hs/space-xxxxx-acc-1: 27.529 6‰ 0.0 █████████████████████████▉ | -- 21.002 4‰ 0.1 ██████████████████████████████ | -- 4.245 1‰ 0.0 █████████████████████████ | -- 4.991 1‰ 0.1 ██████████████████████████ | hs/space-xxxxx-acc-2: 27.200 3‰ 0.0 █████████████████████████▋ | -- 21.270 22‰ 4.7 ██████████████████████████████▍ | -- 4.241 2‰ 0.1 █████████████████████████ | -- 4.985 1‰ 0.0 ██████████████████████████ | hs/space-xxxxx-foldl: 27.436 8‰ 0.0 █████████████████████████▊ | -- 20.934 1‰ 0.1 █████████████████████████████▉ | -- 4.239 2‰ 0.1 █████████████████████████ | -- 5.035 2‰ 0.1 ██████████████████████████▎ | hs/space-xxxxx-lenfil: 39.343 3‰ 0.0 █████████████████████████████████████| -- 25.915 3‰ 0.0 █████████████████████████████████████| -- 6.287 2‰ 0.0 █████████████████████████████████████| -- 7.106 8‰ 0.1 █████████████████████████████████████| c/space-getchar: 13.268 0‰ 0.0 ████████████▌ | -- 9.354 0‰ 0.0 █████████████▍ | -- 4.031 18‰ 0.0 ███████████████████████▊ | -- 2.465 15‰ 0.1 ████████████▉ | c/space-getchar-u: 2.170 0‰ 0.1 ██ | -- 1.676 2‰ 0.2 ██▍ | -- 0.609 2‰ 0.7 ███▋ | -- 0.631 1‰ 0.5 ███▎ | c/space-4k: 1.815 1‰ 0.1 █▊ | -- 1.293 2‰ 0.5 █▉ | -- 0.465 2‰ 0.6 ██▊ | -- 0.319 3‰ 0.6 █▋ | c/space-megabuf: 2.763 2‰ 0.1 ██▋ | -- 1.830 3‰ 0.5 ██▋ | -- 0.613 1‰ 0.3 ███▋ | -- 0.515 3‰ 0.4 ██▋ | c/space-getwchar: 15.105 29‰ 0.0 ██████████████▎ | -- 14.721 1‰ 0.1 █████████████████████ | -- 4.584 1‰ 0.1 ███████████████████████████ | -- 3.956 6‰ 0.1 ████████████████████▋ | c/space-getwchar-u: 8.979 1‰ 0.0 ████████▌ | -- 4.814 0‰ 0.0 ██████▉ | -- 2.437 0‰ 0.1 ██████████████▍ | -- 2.217 1‰ 0.1 ███████████▌ | c/space-32k: 1.786 9‰ 0.1 █▋ | -- 1.276 2‰ 0.6 █▉ | -- 0.445 1‰ 0.5 ██▋ | -- 0.303 3‰ 1.0 █▋ | c/space-32k-8: 1.777 1‰ 0.1 █▋ | -- 1.275 2‰ 0.2 █▉ | -- 0.448 0‰ 0.0 ██▋ | -- 0.304 2‰ 0.3 █▋ | Memory: Peak ------- KB hs/space-bs-c8-acc-1: 147748 ████████████████████████████████████████ | -- 147488 ████████████████████████████████████████ | -- 147772 ████████████████████████████████████████ | -- 147736 ████████████████████████████████████████ | hs/space-bs-c8-count: 147760 ████████████████████████████████████████ | -- n/a -- n/a -- 147744 ████████████████████████████████████████ | hs/space-bs-c8-foldlx-1: 147760 ████████████████████████████████████████ | -- 147492 ████████████████████████████████████████ | -- 147800 ████████████████████████████████████████▏ | -- 147756 ████████████████████████████████████████ | hs/space-bs-c8-foldlx-2: 147764 ████████████████████████████████████████ | -- 147492 ████████████████████████████████████████ | -- 147804 ████████████████████████████████████████▏ | -- 147752 ████████████████████████████████████████ | hs/space-bs-c8-foldrx: 147748 ████████████████████████████████████████ | -- 147488 ████████████████████████████████████████ | -- 147776 ████████████████████████████████████████ | -- 147732 ████████████████████████████████████████ | hs/space-bs-c8-lenfil: 147764 ████████████████████████████████████████ | -- 147492 ████████████████████████████████████████ | -- 147796 ████████████████████████████████████████▏ | -- 147756 ████████████████████████████████████████ | hs/space-bslc8-acc-1: 3196 ▉ | -- 2896 ▊ | -- 3192 ▉ | -- 3192 ▉ | hs/space-bslc8-acc-2: 3200 ▉ | -- 2896 ▊ | -- 3192 ▉ | -- 3192 ▉ | hs/space-bslc8-acc-3: 3204 ▉ | -- 2896 ▊ | -- 3188 ▉ | -- 3196 ▉ | hs/space-bslc8-chunk-1: 65204 █████████████████▋ | -- 65892 █████████████████▉ | -- 65208 █████████████████▋ | -- 65192 █████████████████▋ | hs/space-bslc8-chunk-2: 65200 █████████████████▋ | -- 65892 █████████████████▉ | -- 65212 █████████████████▋ | -- 65192 █████████████████▋ | hs/space-bslc8-chunk-3: 75248 ████████████████████▍ | -- 76472 ████████████████████▊ | -- 75232 ████████████████████▍ | -- 75240 ████████████████████▍ | hs/space-bslc8-chunk-4: 76204 ████████████████████▋ | -- n/a -- n/a -- 76188 ████████████████████▋ | hs/space-bslc8-count: 79224 █████████████████████▌ | -- n/a -- n/a -- 79204 █████████████████████▌ | hs/space-bslc8-foldl: 85880 ███████████████████████▎ | -- 86772 ███████████████████████▋ | -- 85856 ███████████████████████▎ | -- 85868 ███████████████████████▎ | hs/space-bslc8-foldlx-1: 85880 ███████████████████████▎ | -- 86772 ███████████████████████▋ | -- 85852 ███████████████████████▎ | -- 85864 ███████████████████████▎ | hs/space-bslc8-foldlx-2: 85880 ███████████████████████▎ | -- 86772 ███████████████████████▋ | -- 85856 ███████████████████████▎ | -- 85868 ███████████████████████▎ | hs/space-bslc8-foldr-1: 169704 ██████████████████████████████████████████████| -- 169360 ██████████████████████████████████████████████| -- 169684 ██████████████████████████████████████████████| -- 169700 ██████████████████████████████████████████████| hs/space-bslc8-foldr-2: 169700 ██████████████████████████████████████████████| -- 169360 ██████████████████████████████████████████████| -- 169684 ██████████████████████████████████████████████| -- 169700 ██████████████████████████████████████████████| hs/space-bslc8-lenfil-1: 109408 █████████████████████████████▋ | -- 110704 ██████████████████████████████▏ | -- 109404 █████████████████████████████▋ | -- 109404 █████████████████████████████▋ | hs/space-bslc8-lenfil-2: 109404 █████████████████████████████▋ | -- 110704 ██████████████████████████████▏ | -- 109404 █████████████████████████████▋ | -- 109404 █████████████████████████████▋ | hs/space-bsl---foldlx: 85844 ███████████████████████▎ | -- 86776 ███████████████████████▋ | -- 85880 ███████████████████████▎ | -- 85836 ███████████████████████▎ | hs/space-xxxxx-acc-1: 1912 ▌ | -- 1612 ▌ | -- 1916 ▌ | -- 1904 ▌ | hs/space-xxxxx-acc-2: 1912 ▌ | -- 1612 ▌ | -- 1916 ▌ | -- 1904 ▌ | hs/space-xxxxx-foldl: 1912 ▌ | -- 1612 ▌ | -- 1916 ▌ | -- 1900 ▌ | hs/space-xxxxx-lenfil: 1904 ▌ | -- 1588 ▍ | -- 1892 ▌ | -- 1892 ▌ | c/space-getchar: 436 ▏ | -- 384 ▏ | -- 436 ▏ | -- 444 ▏ | c/space-getchar-u: 436 ▏ | -- 384 ▏ | -- 436 ▏ | -- 444 ▏ | c/space-4k: 472 ▏ | -- 412 ▏ | -- 468 ▏ | -- 468 ▏ | c/space-megabuf: 146968 ███████████████████████████████████████▉ | -- 146904 ███████████████████████████████████████▉ | -- 146968 ███████████████████████████████████████▉ | -- 146968 ███████████████████████████████████████▉ | c/space-getwchar: 484 ▏ | -- 440 ▏ | -- 484 ▏ | -- 496 ▏ | c/space-getwchar-u: 484 ▏ | -- 440 ▏ | -- 480 ▏ | -- 500 ▏ | c/space-32k: 500 ▏ | -- 436 ▏ | -- 496 ▏ | -- 496 ▏ | c/space-32k-8: 496 ▏ | -- 436 ▏ | -- 500 ▏ | -- 500 ▏ |