Skip to the content ForoHackers
Log inJoin

Evaluación de IA: por dónde empezar

AI evaluation
#2858 · · Quote · Report

La evaluación de IA es medir si un modelo hace lo que necesitas, con honestidad y de forma repetible. Un solo número de precisión oculta cómo falla un sistema, en quién y cuánta confianza merece ese número. Una buena evaluación elige métricas de la tarea real, prueba con datos que el modelo no ha visto y comunica la incertidumbre, para decidir con pruebas y no con impresiones.

Conceptos clave

  • Elección de la métrica: exactitud, precisión, exhaustividad y ranking responden preguntas distintas; elige según el coste de cada error.
  • Datos reservados: los conjuntos de prueba deben estar separados de los de entrenamiento y ajuste, y sin tocar hasta el final.
  • Contaminación: los ejemplos de prueba filtrados al entrenamiento inflan las puntuaciones; busca solapamientos.
  • Incertidumbre: los intervalos de confianza y varias semillas aleatorias muestran si una diferencia es real o ruido.
  • Análisis por segmentos: los resultados desglosados por grupo, tipo de entrada o dificultad revelan fallos que el promedio esconde.

Vocabulario

  • Verdad de referencia: las etiquetas o respuestas que se toman por correctas al puntuar.
  • Precisión y exhaustividad: la proporción de elementos marcados que son correctos, y la proporción de elementos reales que se encuentran.
  • Error de calibración: la diferencia entre la confianza declarada y la exactitud real.
  • Acuerdo entre evaluadores: con qué frecuencia jueces independientes dan la misma valoración.

Qué estudiar, en orden

  1. Probabilidad y estadística: error de muestreo, intervalos de confianza, contrastes de hipótesis.
  2. Calcula a mano una matriz de confusión y deduce las métricas.
  3. Evalúa un modelo con un intervalo bootstrap y decide si una mejora pequeña significa algo.
  4. Construye un informe por segmentos de un clasificador y encuentra el grupo al que peor sirve.
  5. Diseña una evaluación para una tarea abierta: escribe casos, una rúbrica y una forma de comprobar el acuerdo entre evaluadores.

Etiquetas relacionadas

#machine-learning #probability #llms #ai-safety #testing

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply