La evaluación de IA es medir si un modelo hace lo que necesitas, con honestidad y de forma repetible. Un solo número de precisión oculta cómo falla un sistema, en quién y cuánta confianza merece ese número. Una buena evaluación elige métricas de la tarea real, prueba con datos que el modelo no ha visto y comunica la incertidumbre, para decidir con pruebas y no con impresiones.
Conceptos clave
- Elección de la métrica: exactitud, precisión, exhaustividad y ranking responden preguntas distintas; elige según el coste de cada error.
- Datos reservados: los conjuntos de prueba deben estar separados de los de entrenamiento y ajuste, y sin tocar hasta el final.
- Contaminación: los ejemplos de prueba filtrados al entrenamiento inflan las puntuaciones; busca solapamientos.
- Incertidumbre: los intervalos de confianza y varias semillas aleatorias muestran si una diferencia es real o ruido.
- Análisis por segmentos: los resultados desglosados por grupo, tipo de entrada o dificultad revelan fallos que el promedio esconde.
Vocabulario
- Verdad de referencia: las etiquetas o respuestas que se toman por correctas al puntuar.
- Precisión y exhaustividad: la proporción de elementos marcados que son correctos, y la proporción de elementos reales que se encuentran.
- Error de calibración: la diferencia entre la confianza declarada y la exactitud real.
- Acuerdo entre evaluadores: con qué frecuencia jueces independientes dan la misma valoración.
Qué estudiar, en orden
- Probabilidad y estadística: error de muestreo, intervalos de confianza, contrastes de hipótesis.
- Calcula a mano una matriz de confusión y deduce las métricas.
- Evalúa un modelo con un intervalo bootstrap y decide si una mejora pequeña significa algo.
- Construye un informe por segmentos de un clasificador y encuentra el grupo al que peor sirve.
- Diseña una evaluación para una tarea abierta: escribe casos, una rúbrica y una forma de comprobar el acuerdo entre evaluadores.