Lunes, tocho. Un clasificador que dice "no" siempre acierta el 99% de las veces si solo el 1% de los casos son "sí". La exactitud (accuracy) puede ser altísima y el modelo ser inútil. Veamos con números.
Supón 10 000 elementos, de los que 100 son positivos. Un modelo real da:
predicho + predicho -
real + (100) 60 40 <- TP=60, FN=40
real - (9900) 90 9810 <- FP=90, TN=9810
- Exactitud = (60 + 9810) / 10 000 = 98,7%. Suena de maravilla.
- Precisión = TP / (TP + FP) = 60 / 150 = 40%. De lo que marca como positivo, acierta cuatro de cada diez.
- Exhaustividad (recall) = TP / (TP + FN) = 60 / 100 = 60%. Encuentra seis de cada diez positivos reales.
- F1 (media armónica) = 2 * 0,4 * 0,6 / (0,4 + 0,6) = 0,48.
La exactitud estaba dominada por los 9810 verdaderos negativos, que son fáciles. Tres reglas para no engañarse:
- Compara siempre con una línea base tonta: "siempre la clase mayoritaria" da un 99% aquí. Si tu modelo saca un 98,7%, ¡es peor que no hacer nada!
- Elige la métrica según el coste del error: si un falso negativo duele más, mira el recall; si molesta más una falsa alarma, la precisión.
- El umbral de decisión es una elección. Una curva precisión-exhaustividad enseña todo el abanico en vez de un solo punto.
Y un cuarto, de propina: con pocos positivos, la incertidumbre es enorme. 60 aciertos sobre 100 tiene un margen de error de unos ±10 puntos. Mide el margen antes de presumir.