Saltar al contenido ForoHackers

Evaluación de IA: por dónde empezar

Evaluación de IA
#2858 · · Citar · Denunciar

La evaluación de IA es medir si un modelo hace lo que necesitas, con honestidad y de forma repetible. Un solo número de precisión oculta cómo falla un sistema, en quién y cuánta confianza merece ese número. Una buena evaluación elige métricas de la tarea real, prueba con datos que el modelo no ha visto y comunica la incertidumbre, para decidir con pruebas y no con impresiones.

Conceptos clave

  • Elección de la métrica: exactitud, precisión, exhaustividad y ranking responden preguntas distintas; elige según el coste de cada error.
  • Datos reservados: los conjuntos de prueba deben estar separados de los de entrenamiento y ajuste, y sin tocar hasta el final.
  • Contaminación: los ejemplos de prueba filtrados al entrenamiento inflan las puntuaciones; busca solapamientos.
  • Incertidumbre: los intervalos de confianza y varias semillas aleatorias muestran si una diferencia es real o ruido.
  • Análisis por segmentos: los resultados desglosados por grupo, tipo de entrada o dificultad revelan fallos que el promedio esconde.

Vocabulario

  • Verdad de referencia: las etiquetas o respuestas que se toman por correctas al puntuar.
  • Precisión y exhaustividad: la proporción de elementos marcados que son correctos, y la proporción de elementos reales que se encuentran.
  • Error de calibración: la diferencia entre la confianza declarada y la exactitud real.
  • Acuerdo entre evaluadores: con qué frecuencia jueces independientes dan la misma valoración.

Qué estudiar, en orden

  1. Probabilidad y estadística: error de muestreo, intervalos de confianza, contrastes de hipótesis.
  2. Calcula a mano una matriz de confusión y deduce las métricas.
  3. Evalúa un modelo con un intervalo bootstrap y decide si una mejora pequeña significa algo.
  4. Construye un informe por segmentos de un clasificador y encuentra el grupo al que peor sirve.
  5. Diseña una evaluación para una tarea abierta: escribe casos, una rúbrica y una forma de comprobar el acuerdo entre evaluadores.

Etiquetas relacionadas

#machine-learning #probability #llms #ai-safety #testing

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder