Saltar al contenido ForoHackers

Medición y evaluación: por dónde empezar

Medición y evaluación
#888 · Ophuscado · · Denunciar

La evaluación de rendimiento es la ciencia de medir qué tan rápido y qué tan bien funciona un sistema, y de poder fiarse de los números. Las computadoras son ruidosas: cachés, planificación, cambios de frecuencia y otros programas perturban un resultado. Una buena evaluación diseña el experimento, controla lo que puede e informa de la dispersión, no solo de un número.

Conceptos clave

  • Métricas: latencia, rendimiento, utilización y tasa de errores, cada una elegida según la pregunta.
  • Benchmarks: los microbenchmarks aíslan una operación; los macrobenchmarks ejecutan una carga realista.
  • Estadística: repite las ejecuciones, informa medianas y percentiles, y da un intervalo de confianza o el rango.
  • Latencia de cola: el pequeño porcentaje de peticiones más lentas suele importar más que el promedio.
  • Colas y carga: el tiempo de respuesta se dispara cuando un sistema se acerca a la saturación.

Vocabulario

  • Percentil: el valor por debajo del cual cae una proporción dada de las observaciones, como el 99.
  • Calentamiento: la fase inicial, con cachés frías, que se excluye de la medición.
  • Línea base: el resultado de referencia con el que se compara un cambio.
  • Factor de confusión: un factor sin controlar que explica una diferencia que atribuyes por error a tu cambio.

Qué estudiar, en orden

  1. Estadística descriptiva: media, mediana, varianza y percentiles, y por qué la media puede engañar.
  2. Escribe un microbenchmark y comprueba cómo un optimizador o una caché fría arruinan uno ingenuo.
  3. Repite una medición treinta veces, grafica la distribución e infórmala con honestidad.
  4. Compara dos versiones de un programa con una prueba de significancia y una confianza declarada.
  5. Genera carga contra un servicio y grafica la latencia frente a la tasa de peticiones.

Etiquetas relacionadas

#performance #probability #simulation #observability #testing

Inicia sesión o únete para responder.