Saltar al contenido ForoHackers

Evaluación de IA: por dónde empezar

Evaluación de IA
#352 · Ophuscado · · Denunciar

La evaluación de IA es medir si un modelo hace lo que necesitas, con honestidad y de forma repetible. Un solo número de precisión oculta cómo falla un sistema, en quién y cuánta confianza merece ese número. Una buena evaluación elige métricas de la tarea real, prueba con datos que el modelo no ha visto y comunica la incertidumbre, para decidir con pruebas y no con impresiones.

Conceptos clave

  • Elección de la métrica: exactitud, precisión, exhaustividad y ranking responden preguntas distintas; elige según el coste de cada error.
  • Datos reservados: los conjuntos de prueba deben estar separados de los de entrenamiento y ajuste, y sin tocar hasta el final.
  • Contaminación: los ejemplos de prueba filtrados al entrenamiento inflan las puntuaciones; busca solapamientos.
  • Incertidumbre: los intervalos de confianza y varias semillas aleatorias muestran si una diferencia es real o ruido.
  • Análisis por segmentos: los resultados desglosados por grupo, tipo de entrada o dificultad revelan fallos que el promedio esconde.

Vocabulario

  • Verdad de referencia: las etiquetas o respuestas que se toman por correctas al puntuar.
  • Precisión y exhaustividad: la proporción de elementos marcados que son correctos, y la proporción de elementos reales que se encuentran.
  • Error de calibración: la diferencia entre la confianza declarada y la exactitud real.
  • Acuerdo entre evaluadores: con qué frecuencia jueces independientes dan la misma valoración.

Qué estudiar, en orden

  1. Probabilidad y estadística: error de muestreo, intervalos de confianza, contrastes de hipótesis.
  2. Calcula a mano una matriz de confusión y deduce las métricas.
  3. Evalúa un modelo con un intervalo bootstrap y decide si una mejora pequeña significa algo.
  4. Construye un informe por segmentos de un clasificador y encuentra el grupo al que peor sirve.
  5. Diseña una evaluación para una tarea abierta: escribe casos, una rúbrica y una forma de comprobar el acuerdo entre evaluadores.

Etiquetas relacionadas

#machine-learning #probability #llms #ai-safety #testing

Inicia sesión o únete para responder.