La evaluación de rendimiento es la ciencia de medir qué tan rápido y qué tan bien funciona un sistema, y de poder fiarse de los números. Las computadoras son ruidosas: cachés, planificación, cambios de frecuencia y otros programas perturban un resultado. Una buena evaluación diseña el experimento, controla lo que puede e informa de la dispersión, no solo de un número.
Conceptos clave
- Métricas: latencia, rendimiento, utilización y tasa de errores, cada una elegida según la pregunta.
- Benchmarks: los microbenchmarks aíslan una operación; los macrobenchmarks ejecutan una carga realista.
- Estadística: repite las ejecuciones, informa medianas y percentiles, y da un intervalo de confianza o el rango.
- Latencia de cola: el pequeño porcentaje de peticiones más lentas suele importar más que el promedio.
- Colas y carga: el tiempo de respuesta se dispara cuando un sistema se acerca a la saturación.
Vocabulario
- Percentil: el valor por debajo del cual cae una proporción dada de las observaciones, como el 99.
- Calentamiento: la fase inicial, con cachés frías, que se excluye de la medición.
- Línea base: el resultado de referencia con el que se compara un cambio.
- Factor de confusión: un factor sin controlar que explica una diferencia que atribuyes por error a tu cambio.
Qué estudiar, en orden
- Estadística descriptiva: media, mediana, varianza y percentiles, y por qué la media puede engañar.
- Escribe un microbenchmark y comprueba cómo un optimizador o una caché fría arruinan uno ingenuo.
- Repite una medición treinta veces, grafica la distribución e infórmala con honestidad.
- Compara dos versiones de un programa con una prueba de significancia y una confianza declarada.
- Genera carga contra un servicio y grafica la latencia frente a la tasa de peticiones.
Etiquetas relacionadas
#performance #probability #simulation #observability #testing