Creative Computing Benchmark

The Creative Computing Benchmark, also called Ahl's Simple Benchmark, is a computer benchmark that was used to compare the performance of the BASIC programming language on various machines. It was first introduced in the November 1983 issue of Creative Computing magazine with the measures from a number of 8-bit computers that were popular at the time. Over a period of a few months, the list was greatly expanded to include practically every contemporary machine, topped by the Cray-1 supercomputer, which ran it in 0.01 seconds.^[a]

The Creative Computing Benchmark was one of three common benchmarks of the era. Its primary competition in the early 1980s in the United States was the Byte Sieve, of September 1981, while the earlier Rugg/Feldman benchmarks of June 1977 were not as well known in the United States, but were widely used in the United Kingdom.

The benchmark first appeared in the November 1983 issue of Creative Computing under the title "Benchmark Comparison Test".^[2] In the article, author David H. Ahl was careful to state that it tested only a few aspects of the BASIC language, mostly its looping performance. He stated:

... the benchmark program presented here is not representative of the way computers are actually used; it measures only a few aspects of performance, and no one should buy a computer based solely on the results of these measures. Yet, the results provide some interesting comparative data.^[2]

The initial results were provided for common machines of the era, including the Apple II, Commodore 64 and the recently released IBM Personal Computer. Most of these machines ran some variation of the stock Microsoft BASIC and thus provided similar times on the order of two minutes, while the 16-bit PC was near the top of the list at only 24 seconds. the fastest machine in this initial suite was the Olivetti M20 at 13 seconds, and the slowest was Atari BASIC on the Atari 8-bit computers at 6 minutes 58 seconds.^[3]

En los meses posteriores a su publicación, la revista se vio inundada de resultados de otras plataformas. Se convirtió en una sección habitual durante un tiempo, ubicada en un lugar destacado cerca del inicio de la revista con una lista de resultados cada vez mayor. En marzo, la máquina más rápida de la lista era la Cray-1 con 0,01 segundos, y la más lenta era la calculadora programable TI SR-50 con 12,7 días. ^{[ 4 ]}

El benchmark tenía varios problemas que lo hacían menos útil para propósitos generales. Por ejemplo, el sistema no probaba ninguna manipulación de cadenas, cuyo rendimiento variaba ampliamente entre plataformas. Tampoco aprovechaba ninguna "aceleración" disponible en diferentes plataformas, como el posible uso de variables enteras para índices de bucle o la desactivación del acceso de vídeo en máquinas con memoria principal compartida. ^{[ b ]} Estas limitaciones fueron ampliamente debatidas en ese momento. ^{[ 6 ]} El artículo de noviembre de 1983 estipulaba el uso de un "cronómetro preciso" para medir el tiempo de ejecución del programa en máquinas que carecían de un reloj en tiempo real : Cuando se aplicaba a las máquinas más rápidas, esto produciría resultados de prueba altamente dependientes del tiempo de reacción de la persona que operaba el cronómetro.

Su última aparición fue en el número de mayo de 1984, que incluía valores para 183 máquinas. En dicho número se mencionaba que se habían tomado en serio las numerosas críticas al sistema y que se estaba diseñando un nuevo programa de evaluación comparativa. ^{[ 7 ]} Sin embargo, dicho programa nunca se publicó en la revista. En el número de septiembre de 1985, David Ahl respondió a una carta al editor sobre el nuevo programa de evaluación comparativa con: «Varios analistas dedicaron muchas horas a desarrollar tres nuevas pruebas de evaluación comparativa... ninguna arrojó resultados diferentes o mejores». ^{[ 8 ]}

El benchmark continuó utilizándose como una herramienta de propósito general después de esta fecha, ^{[ 9 ]} pero a medida que la importancia de BASIC disminuyó, se volvió menos común.

Esta es la versión original de la edición de noviembre de 1983: ^{[ 2 ]}

1 ' Prueba de referencia simple de Ahl 2 ' En las líneas 30 y 40, algunas computadoras 3 ' pueden requerir RND(1) para obtener resultados correctos 10 IMPRIMIR "Precisión aleatoria" 20 PARA N = 1 A 100 : A = N 30 PARA I = 1 A 10 : A = SQR ( A ) : R = R + RND ( 0 ) : SIGUIENTE I 40 PARA I = 1 A 10 : A = A ^ 2 : R = R + RND ( 0 ) : SIGUIENTE I 50 S = S + A: SIGUIENTE N 60 IMPRIMIR ABS ( 1010 - S / 5 ); ABS ( 1000 - R )

Lo siguiente proviene de versiones posteriores del código de referencia, que redujo el número de instrucciones compuestas en una línea: ^{[ 4 ] [ c ]}

10 ' Ahl's Simple Benchmark 20 PARA N = 1 A 100 : A = N 30 PARA I = 1 A 10 40 A = SQR ( A ) : R = R + RND ( 1 ) 50 SIGUIENTE I 60 PARA I = 1 A 10 70 A = A ^ 2 : R = R + RND ( 1 ) 80 SIGUIENTE I 90 S = S + A: SIGUIENTE N 100 IMPRIMIR ABS ( 1010 - S / 5 ) 110 IMPRIMIR ABS ( 1000 - R )