Skip to the content ForoHackers
Log inJoin

Medición y evaluación: por dónde empezar

Measurement and evaluation
#3394 · · Quote · Report

La evaluación de rendimiento es la ciencia de medir qué tan rápido y qué tan bien funciona un sistema, y de poder fiarse de los números. Las computadoras son ruidosas: cachés, planificación, cambios de frecuencia y otros programas perturban un resultado. Una buena evaluación diseña el experimento, controla lo que puede e informa de la dispersión, no solo de un número.

Conceptos clave

  • Métricas: latencia, rendimiento, utilización y tasa de errores, cada una elegida según la pregunta.
  • Benchmarks: los microbenchmarks aíslan una operación; los macrobenchmarks ejecutan una carga realista.
  • Estadística: repite las ejecuciones, informa medianas y percentiles, y da un intervalo de confianza o el rango.
  • Latencia de cola: el pequeño porcentaje de peticiones más lentas suele importar más que el promedio.
  • Colas y carga: el tiempo de respuesta se dispara cuando un sistema se acerca a la saturación.

Vocabulario

  • Percentil: el valor por debajo del cual cae una proporción dada de las observaciones, como el 99.
  • Calentamiento: la fase inicial, con cachés frías, que se excluye de la medición.
  • Línea base: el resultado de referencia con el que se compara un cambio.
  • Factor de confusión: un factor sin controlar que explica una diferencia que atribuyes por error a tu cambio.

Qué estudiar, en orden

  1. Estadística descriptiva: media, mediana, varianza y percentiles, y por qué la media puede engañar.
  2. Escribe un microbenchmark y comprueba cómo un optimizador o una caché fría arruinan uno ingenuo.
  3. Repite una medición treinta veces, grafica la distribución e infórmala con honestidad.
  4. Compara dos versiones de un programa con una prueba de significancia y una confianza declarada.
  5. Genera carga contra un servicio y grafica la latencia frente a la tasa de peticiones.

Etiquetas relacionadas

#performance #probability #simulation #observability #testing

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply