Skip to the content ForoHackers
Log inJoin

Seguridad de la IA: por dónde empezar

AI safety
#2856 · · Quote · Report

La seguridad de la IA es el trabajo técnico de lograr que los sistemas de IA se comporten como se pretende y fallen de forma segura: fiables ante entradas inusuales, difíciles de usar mal, honestos sobre su incertidumbre y orientados a los objetivos que sus creadores realmente querían. Importa porque se despliegan donde los errores cuestan, y cuanto más capaz es un sistema, más cuesta una pequeña mala especificación.

Conceptos clave

  • Especificación: el objetivo que escribiste no es la meta que tenías; los sustitutos se optimizan de formas imprevistas.
  • Robustez: el comportamiento ante cambios de distribución, ruido y entradas fabricadas para engañar al modelo.
  • Uso indebido y abuso: pensar cómo se podría usar una capacidad para hacer daño, y limitarla a nivel del sistema.
  • Interpretabilidad: métodos que inspeccionan qué representa un modelo y por qué dio una salida.
  • Supervisión: la revisión humana, la monitorización y la capacidad de corregir o detener un sistema; decidir cuándo debe ceder ante una persona.

Vocabulario

  • Alineación: cuánto se ajusta el comportamiento de un sistema a las intenciones de sus usuarios y diseñadores.
  • Reward hacking: puntuar bien en el objetivo declarado sin cumplir su propósito.
  • Ejemplo adversario: una entrada alterada ligeramente para provocar una salida errónea.
  • Calibración: una confianza que coincide con la frecuencia con que el modelo acierta.

Qué estudiar, en orden

  1. Lo básico del aprendizaje automático, atendiendo al sobreajuste, el cambio de distribución y la evaluación.
  2. Calibración: dibuja diagramas de fiabilidad de un clasificador y corrige su exceso de confianza.
  3. Robustez: prueba un modelo pequeño con entradas ruidosas y desplazadas, y mide con qué rapidez se degrada.
  4. Interpretabilidad: inspecciona las características o la atención de un modelo pequeño y contrasta lo que crees ver.
  5. Practica el análisis de riesgos en un sistema que conozcas: enumera modos de fallo, a quién afectan y qué controles detectarían cada uno.

Etiquetas relacionadas

#machine-learning #ai-evaluation #ethics #reliability #llms

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply