Saltar al contenido ForoHackers

Medición y evaluación: por dónde empezar

Medición y evaluación
#3394 · · Citar · Denunciar

La evaluación de rendimiento es la ciencia de medir qué tan rápido y qué tan bien funciona un sistema, y de poder fiarse de los números. Las computadoras son ruidosas: cachés, planificación, cambios de frecuencia y otros programas perturban un resultado. Una buena evaluación diseña el experimento, controla lo que puede e informa de la dispersión, no solo de un número.

Conceptos clave

  • Métricas: latencia, rendimiento, utilización y tasa de errores, cada una elegida según la pregunta.
  • Benchmarks: los microbenchmarks aíslan una operación; los macrobenchmarks ejecutan una carga realista.
  • Estadística: repite las ejecuciones, informa medianas y percentiles, y da un intervalo de confianza o el rango.
  • Latencia de cola: el pequeño porcentaje de peticiones más lentas suele importar más que el promedio.
  • Colas y carga: el tiempo de respuesta se dispara cuando un sistema se acerca a la saturación.

Vocabulario

  • Percentil: el valor por debajo del cual cae una proporción dada de las observaciones, como el 99.
  • Calentamiento: la fase inicial, con cachés frías, que se excluye de la medición.
  • Línea base: el resultado de referencia con el que se compara un cambio.
  • Factor de confusión: un factor sin controlar que explica una diferencia que atribuyes por error a tu cambio.

Qué estudiar, en orden

  1. Estadística descriptiva: media, mediana, varianza y percentiles, y por qué la media puede engañar.
  2. Escribe un microbenchmark y comprueba cómo un optimizador o una caché fría arruinan uno ingenuo.
  3. Repite una medición treinta veces, grafica la distribución e infórmala con honestidad.
  4. Compara dos versiones de un programa con una prueba de significancia y una confianza declarada.
  5. Genera carga contra un servicio y grafica la latencia frente a la tasa de peticiones.

Etiquetas relacionadas

#performance #probability #simulation #observability #testing

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder