La seguridad de la IA es el trabajo técnico de lograr que los sistemas de IA se comporten como se pretende y fallen de forma segura: fiables ante entradas inusuales, difíciles de usar mal, honestos sobre su incertidumbre y orientados a los objetivos que sus creadores realmente querían. Importa porque se despliegan donde los errores cuestan, y cuanto más capaz es un sistema, más cuesta una pequeña mala especificación.
Conceptos clave
- Especificación: el objetivo que escribiste no es la meta que tenías; los sustitutos se optimizan de formas imprevistas.
- Robustez: el comportamiento ante cambios de distribución, ruido y entradas fabricadas para engañar al modelo.
- Uso indebido y abuso: pensar cómo se podría usar una capacidad para hacer daño, y limitarla a nivel del sistema.
- Interpretabilidad: métodos que inspeccionan qué representa un modelo y por qué dio una salida.
- Supervisión: la revisión humana, la monitorización y la capacidad de corregir o detener un sistema; decidir cuándo debe ceder ante una persona.
Vocabulario
- Alineación: cuánto se ajusta el comportamiento de un sistema a las intenciones de sus usuarios y diseñadores.
- Reward hacking: puntuar bien en el objetivo declarado sin cumplir su propósito.
- Ejemplo adversario: una entrada alterada ligeramente para provocar una salida errónea.
- Calibración: una confianza que coincide con la frecuencia con que el modelo acierta.
Qué estudiar, en orden
- Lo básico del aprendizaje automático, atendiendo al sobreajuste, el cambio de distribución y la evaluación.
- Calibración: dibuja diagramas de fiabilidad de un clasificador y corrige su exceso de confianza.
- Robustez: prueba un modelo pequeño con entradas ruidosas y desplazadas, y mide con qué rapidez se degrada.
- Interpretabilidad: inspecciona las características o la atención de un modelo pequeño y contrasta lo que crees ver.
- Practica el análisis de riesgos en un sistema que conozcas: enumera modos de fallo, a quién afectan y qué controles detectarían cada uno.