Un modelo de lenguaje grande es una red neuronal entrenada con enormes cantidades de texto para predecir el siguiente token. Ese objetivo simple, a gran escala, da sistemas que escriben, resumen, traducen y razonan con texto, y que se pueden dirigir con instrucciones. También inventan datos con aplomo, así que usarlos bien consiste sobre todo en saber de qué se puede uno fiar.
Conceptos clave
- Tokenización: el texto se convierte en piezas de subpalabras; de ahí salen el coste, los límites y algunos fallos curiosos.
- Transformer y atención: cada token pondera a todos los demás del contexto para construir su representación.
- Preentrenamiento y posentrenamiento: predicción del siguiente token sobre texto variado, y luego ajuste con ejemplos y valoraciones para seguir instrucciones.
- Ventana de contexto: la cantidad fija de texto que el modelo ve de una vez; lo que queda fuera no existe para él.
- Muestreo: la temperatura y las reglas top-k equilibran determinismo y variedad.
Vocabulario
- Prompt: el texto de entrada, con instrucciones y ejemplos.
- Alucinación: una salida fluida pero falsa o sin respaldo.
- Embedding: un vector que representa significado, usado para búsqueda y agrupamiento.
- Aprendizaje en contexto: captar una tarea a partir de ejemplos en el prompt, sin actualizar pesos.
- Ajuste fino: seguir entrenando con un conjunto más estrecho para cambiar el comportamiento o el estilo.
Qué estudiar, en orden
- Probabilidad, vectores y cómo un modelo de lenguaje puntúa texto; construye un modelo de bigramas de caracteres.
- Implementa la atención y un transformer diminuto desde cero, y entrénalo con un corpus pequeño.
- Estudia la tokenización codificando el mismo texto de varias maneras y contando los tokens.
- Monta una recuperación sobre tus propios documentos y compara las respuestas con y sin las fuentes.
- Escribe un conjunto de evaluación con casos difíciles y puntúa las salidas con una rúbrica fija, no por impresión.
Etiquetas relacionadas
#nlp #deep-learning #generative-ai #ai-evaluation #ai-safety