Saltar al contenido ForoHackers

Modelos de lenguaje grandes: por dónde empezar

Modelos de lenguaje grandes
#336 · Ophuscado · · Denunciar

Un modelo de lenguaje grande es una red neuronal entrenada con enormes cantidades de texto para predecir el siguiente token. Ese objetivo simple, a gran escala, da sistemas que escriben, resumen, traducen y razonan con texto, y que se pueden dirigir con instrucciones. También inventan datos con aplomo, así que usarlos bien consiste sobre todo en saber de qué se puede uno fiar.

Conceptos clave

  • Tokenización: el texto se convierte en piezas de subpalabras; de ahí salen el coste, los límites y algunos fallos curiosos.
  • Transformer y atención: cada token pondera a todos los demás del contexto para construir su representación.
  • Preentrenamiento y posentrenamiento: predicción del siguiente token sobre texto variado, y luego ajuste con ejemplos y valoraciones para seguir instrucciones.
  • Ventana de contexto: la cantidad fija de texto que el modelo ve de una vez; lo que queda fuera no existe para él.
  • Muestreo: la temperatura y las reglas top-k equilibran determinismo y variedad.

Vocabulario

  • Prompt: el texto de entrada, con instrucciones y ejemplos.
  • Alucinación: una salida fluida pero falsa o sin respaldo.
  • Embedding: un vector que representa significado, usado para búsqueda y agrupamiento.
  • Aprendizaje en contexto: captar una tarea a partir de ejemplos en el prompt, sin actualizar pesos.
  • Ajuste fino: seguir entrenando con un conjunto más estrecho para cambiar el comportamiento o el estilo.

Qué estudiar, en orden

  1. Probabilidad, vectores y cómo un modelo de lenguaje puntúa texto; construye un modelo de bigramas de caracteres.
  2. Implementa la atención y un transformer diminuto desde cero, y entrénalo con un corpus pequeño.
  3. Estudia la tokenización codificando el mismo texto de varias maneras y contando los tokens.
  4. Monta una recuperación sobre tus propios documentos y compara las respuestas con y sin las fuentes.
  5. Escribe un conjunto de evaluación con casos difíciles y puntúa las salidas con una rúbrica fija, no por impresión.

Etiquetas relacionadas

#nlp #deep-learning #generative-ai #ai-evaluation #ai-safety

Inicia sesión o únete para responder.