Saltar al contenido ForoHackers

Seguridad de la IA: por dónde empezar

Seguridad de la IA
#2856 · · Citar · Denunciar

La seguridad de la IA es el trabajo técnico de lograr que los sistemas de IA se comporten como se pretende y fallen de forma segura: fiables ante entradas inusuales, difíciles de usar mal, honestos sobre su incertidumbre y orientados a los objetivos que sus creadores realmente querían. Importa porque se despliegan donde los errores cuestan, y cuanto más capaz es un sistema, más cuesta una pequeña mala especificación.

Conceptos clave

  • Especificación: el objetivo que escribiste no es la meta que tenías; los sustitutos se optimizan de formas imprevistas.
  • Robustez: el comportamiento ante cambios de distribución, ruido y entradas fabricadas para engañar al modelo.
  • Uso indebido y abuso: pensar cómo se podría usar una capacidad para hacer daño, y limitarla a nivel del sistema.
  • Interpretabilidad: métodos que inspeccionan qué representa un modelo y por qué dio una salida.
  • Supervisión: la revisión humana, la monitorización y la capacidad de corregir o detener un sistema; decidir cuándo debe ceder ante una persona.

Vocabulario

  • Alineación: cuánto se ajusta el comportamiento de un sistema a las intenciones de sus usuarios y diseñadores.
  • Reward hacking: puntuar bien en el objetivo declarado sin cumplir su propósito.
  • Ejemplo adversario: una entrada alterada ligeramente para provocar una salida errónea.
  • Calibración: una confianza que coincide con la frecuencia con que el modelo acierta.

Qué estudiar, en orden

  1. Lo básico del aprendizaje automático, atendiendo al sobreajuste, el cambio de distribución y la evaluación.
  2. Calibración: dibuja diagramas de fiabilidad de un clasificador y corrige su exceso de confianza.
  3. Robustez: prueba un modelo pequeño con entradas ruidosas y desplazadas, y mide con qué rapidez se degrada.
  4. Interpretabilidad: inspecciona las características o la atención de un modelo pequeño y contrasta lo que crees ver.
  5. Practica el análisis de riesgos en un sistema que conozcas: enumera modos de fallo, a quién afectan y qué controles detectarían cada uno.

Etiquetas relacionadas

#machine-learning #ai-evaluation #ethics #reliability #llms

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder