Saltar al contenido ForoHackers

Seguridad de la IA: por dónde empezar

Seguridad de la IA
#350 · Ophuscado · · Denunciar

La seguridad de la IA es el trabajo técnico de lograr que los sistemas de IA se comporten como se pretende y fallen de forma segura: fiables ante entradas inusuales, difíciles de usar mal, honestos sobre su incertidumbre y orientados a los objetivos que sus creadores realmente querían. Importa porque se despliegan donde los errores cuestan, y cuanto más capaz es un sistema, más cuesta una pequeña mala especificación.

Conceptos clave

  • Especificación: el objetivo que escribiste no es la meta que tenías; los sustitutos se optimizan de formas imprevistas.
  • Robustez: el comportamiento ante cambios de distribución, ruido y entradas fabricadas para engañar al modelo.
  • Uso indebido y abuso: pensar cómo se podría usar una capacidad para hacer daño, y limitarla a nivel del sistema.
  • Interpretabilidad: métodos que inspeccionan qué representa un modelo y por qué dio una salida.
  • Supervisión: la revisión humana, la monitorización y la capacidad de corregir o detener un sistema; decidir cuándo debe ceder ante una persona.

Vocabulario

  • Alineación: cuánto se ajusta el comportamiento de un sistema a las intenciones de sus usuarios y diseñadores.
  • Reward hacking: puntuar bien en el objetivo declarado sin cumplir su propósito.
  • Ejemplo adversario: una entrada alterada ligeramente para provocar una salida errónea.
  • Calibración: una confianza que coincide con la frecuencia con que el modelo acierta.

Qué estudiar, en orden

  1. Lo básico del aprendizaje automático, atendiendo al sobreajuste, el cambio de distribución y la evaluación.
  2. Calibración: dibuja diagramas de fiabilidad de un clasificador y corrige su exceso de confianza.
  3. Robustez: prueba un modelo pequeño con entradas ruidosas y desplazadas, y mide con qué rapidez se degrada.
  4. Interpretabilidad: inspecciona las características o la atención de un modelo pequeño y contrasta lo que crees ver.
  5. Practica el análisis de riesgos en un sistema que conozcas: enumera modos de fallo, a quién afectan y qué controles detectarían cada uno.

Etiquetas relacionadas

#machine-learning #ai-evaluation #ethics #reliability #llms

Inicia sesión o únete para responder.