Skip to the content ForoHackers
Log inJoin

Modelos de lenguaje grandes: por dónde empezar

Large language models
#2842 · · Quote · Report

Un modelo de lenguaje grande es una red neuronal entrenada con enormes cantidades de texto para predecir el siguiente token. Ese objetivo simple, a gran escala, da sistemas que escriben, resumen, traducen y razonan con texto, y que se pueden dirigir con instrucciones. También inventan datos con aplomo, así que usarlos bien consiste sobre todo en saber de qué se puede uno fiar.

Conceptos clave

  • Tokenización: el texto se convierte en piezas de subpalabras; de ahí salen el coste, los límites y algunos fallos curiosos.
  • Transformer y atención: cada token pondera a todos los demás del contexto para construir su representación.
  • Preentrenamiento y posentrenamiento: predicción del siguiente token sobre texto variado, y luego ajuste con ejemplos y valoraciones para seguir instrucciones.
  • Ventana de contexto: la cantidad fija de texto que el modelo ve de una vez; lo que queda fuera no existe para él.
  • Muestreo: la temperatura y las reglas top-k equilibran determinismo y variedad.

Vocabulario

  • Prompt: el texto de entrada, con instrucciones y ejemplos.
  • Alucinación: una salida fluida pero falsa o sin respaldo.
  • Embedding: un vector que representa significado, usado para búsqueda y agrupamiento.
  • Aprendizaje en contexto: captar una tarea a partir de ejemplos en el prompt, sin actualizar pesos.
  • Ajuste fino: seguir entrenando con un conjunto más estrecho para cambiar el comportamiento o el estilo.

Qué estudiar, en orden

  1. Probabilidad, vectores y cómo un modelo de lenguaje puntúa texto; construye un modelo de bigramas de caracteres.
  2. Implementa la atención y un transformer diminuto desde cero, y entrénalo con un corpus pequeño.
  3. Estudia la tokenización codificando el mismo texto de varias maneras y contando los tokens.
  4. Monta una recuperación sobre tus propios documentos y compara las respuestas con y sin las fuentes.
  5. Escribe un conjunto de evaluación con casos difíciles y puntúa las salidas con una rúbrica fija, no por impresión.

Etiquetas relacionadas

#nlp #deep-learning #generative-ai #ai-evaluation #ai-safety

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply