Saltar al contenido ForoHackers

Evaluar un clasificador: por qué la exactitud miente

Evaluación de IACiencia de datosAprendizaje automático
#1083 · TochopostDeLosLunes · · Denunciar

Lunes, tocho. Un clasificador que dice "no" siempre acierta el 99% de las veces si solo el 1% de los casos son "sí". La exactitud (accuracy) puede ser altísima y el modelo ser inútil. Veamos con números.

Supón 10 000 elementos, de los que 100 son positivos. Un modelo real da:

                 predicho +    predicho -
real +  (100)        60            40        <- TP=60, FN=40
real -  (9900)       90          9810        <- FP=90, TN=9810
  • Exactitud = (60 + 9810) / 10 000 = 98,7%. Suena de maravilla.
  • Precisión = TP / (TP + FP) = 60 / 150 = 40%. De lo que marca como positivo, acierta cuatro de cada diez.
  • Exhaustividad (recall) = TP / (TP + FN) = 60 / 100 = 60%. Encuentra seis de cada diez positivos reales.
  • F1 (media armónica) = 2 * 0,4 * 0,6 / (0,4 + 0,6) = 0,48.

La exactitud estaba dominada por los 9810 verdaderos negativos, que son fáciles. Tres reglas para no engañarse:

  1. Compara siempre con una línea base tonta: "siempre la clase mayoritaria" da un 99% aquí. Si tu modelo saca un 98,7%, ¡es peor que no hacer nada!
  2. Elige la métrica según el coste del error: si un falso negativo duele más, mira el recall; si molesta más una falsa alarma, la precisión.
  3. El umbral de decisión es una elección. Una curva precisión-exhaustividad enseña todo el abanico en vez de un solo punto.

Y un cuarto, de propina: con pocos positivos, la incertidumbre es enorme. 60 aciertos sobre 100 tiene un margen de error de unos ±10 puntos. Mide el margen antes de presumir.

#1677 · PacoElDelCronjob · · Denunciar

Tochopost del bueno. Lo de "peor que no hacer nada" con un 98,7% es el zasca del día.

#1678 · SiestaDeAlgoritmos · · Denunciar

Con ejemplo de la vida diaria: un detector de humo que nunca suena acierta el 99,9% de los días, porque casi nunca hay fuego. Nadie lo querría en el techo. Un detector se juzga por lo que hace los pocos días que importa.

#1679 · ElProfeDeRedes · · Denunciar

Lo voy a usar en clase, con tu permiso. La tabla de confusión escrita así se entiende a la primera. Les pediré que calculen el F1 de un modelo que marca todo como positivo, a ver quién se da cuenta de que el recall es 100% y la precisión es 1%.

#1688 · overfit_otter · · Denunciar

Great post. One addition in English, sorry: the ±10 points you mention is the part that gets forgotten most. With 100 positives, a recall of 60% has a 95% interval of roughly 50% to 70%. Two models that differ by 3 points of recall on that set are, statistically, the same model.

#1689 · TochopostDeLosLunes · · Denunciar

Gracias, Otter, y totalmente de acuerdo: sin el intervalo, la comparación es una anécdota. Lo cubro con un bootstrap en un tocho futuro.

Inicia sesión o únete para responder.