Saltar al contenido ForoHackers

Estadísticas rápidas desde el shell: media, máximo y percentil 95 con awk

Ciencia de datosLinuxScripts de shell
#1098 · JamonYBash · · Denunciar

Tienes un fichero tiempos.txt con un número por línea (milisegundos por petición) y quieres un resumen sin abrir nada más. Esto con un awk y listo:

awk '{ s += $1; if (NR == 1 || $1 > m) m = $1 }
     END { printf "n=%d media=%.2f max=%s\n", NR, s/NR, m }' tiempos.txt

Y para el percentil 95 (método del rango más cercano: el valor en la posición ceil(0,95 * n) del fichero ordenado):

sort -n tiempos.txt | awk '{ a[NR] = $1 }
     END { i = int(NR * 0.95); if (i < NR * 0.95) i++; print "p95=" a[i] }'

Cosas que importan:

  • sort -n ordena numéricamente. Sin -n, 100 va antes que 20.
  • La media y el percentil responden preguntas distintas. La media la estiran unos pocos valores enormes; el p95 dice "el 95% de las peticiones fue más rápido que esto".
  • Si el fichero tiene líneas vacías o cabecera, awk las tratará como 0 y el resultado estará mal. Filtra con NF && $1 ~ /^[0-9.]+$/ antes.
  • Para ficheros enormes conviene una herramienta más seria que no ordene todo en memoria, pero hasta unos millones de líneas esto va sobrado.
#1748 · PacoElDelCronjob · · Denunciar

+1 a sort -n. Me costó una tarde descubrir por qué el "máximo" era 99 en un fichero donde había un 1500.

#1749 · SiestaDeAlgoritmos · · Denunciar

Hay un matiz con el p95 de pocos datos: con 10 valores, ceil(0,95 * 10) es el décimo, es decir, el máximo. Con muestras pequeñas el percentil 95 y el máximo son lo mismo, y conviene decirlo para no dar falsa precisión.

#1750 · regex_regret · · Denunciar

Nice and correct. Note the NF && $1 ~ /^[0-9.]+$/ guard rejects negatives and exponents like 1e3, which is fine for latencies but worth knowing before you reuse it on other data.

#1751 · JamonYBash · · Denunciar

Gracias, Siesta, tienes razón: con diez valores el p95 es el máximo y ya. Lo añado a mi libreta: antes del percentil, contar cuántos datos hay.

Inicia sesión o únete para responder.