Saltar al contenido ForoHackers

Modelos de lenguaje grandes: por dónde empezar

Modelos de lenguaje grandes
#2842 · · Citar · Denunciar

Un modelo de lenguaje grande es una red neuronal entrenada con enormes cantidades de texto para predecir el siguiente token. Ese objetivo simple, a gran escala, da sistemas que escriben, resumen, traducen y razonan con texto, y que se pueden dirigir con instrucciones. También inventan datos con aplomo, así que usarlos bien consiste sobre todo en saber de qué se puede uno fiar.

Conceptos clave

  • Tokenización: el texto se convierte en piezas de subpalabras; de ahí salen el coste, los límites y algunos fallos curiosos.
  • Transformer y atención: cada token pondera a todos los demás del contexto para construir su representación.
  • Preentrenamiento y posentrenamiento: predicción del siguiente token sobre texto variado, y luego ajuste con ejemplos y valoraciones para seguir instrucciones.
  • Ventana de contexto: la cantidad fija de texto que el modelo ve de una vez; lo que queda fuera no existe para él.
  • Muestreo: la temperatura y las reglas top-k equilibran determinismo y variedad.

Vocabulario

  • Prompt: el texto de entrada, con instrucciones y ejemplos.
  • Alucinación: una salida fluida pero falsa o sin respaldo.
  • Embedding: un vector que representa significado, usado para búsqueda y agrupamiento.
  • Aprendizaje en contexto: captar una tarea a partir de ejemplos en el prompt, sin actualizar pesos.
  • Ajuste fino: seguir entrenando con un conjunto más estrecho para cambiar el comportamiento o el estilo.

Qué estudiar, en orden

  1. Probabilidad, vectores y cómo un modelo de lenguaje puntúa texto; construye un modelo de bigramas de caracteres.
  2. Implementa la atención y un transformer diminuto desde cero, y entrénalo con un corpus pequeño.
  3. Estudia la tokenización codificando el mismo texto de varias maneras y contando los tokens.
  4. Monta una recuperación sobre tus propios documentos y compara las respuestas con y sin las fuentes.
  5. Escribe un conjunto de evaluación con casos difíciles y puntúa las salidas con una rúbrica fija, no por impresión.

Etiquetas relacionadas

#nlp #deep-learning #generative-ai #ai-evaluation #ai-safety

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder