Antes de lanzar un entrenamiento conviene saber si va a caber en la GPU. La cuenta rápida, para un modelo con P parámetros entrenado en fp32 con el optimizador Adam:
| Concepto | Bytes por parámetro |
|---|---|
| Pesos | 4 |
| Gradientes | 4 |
| Estados de Adam (dos por parámetro) | 8 |
| Total | 16 |
Para un modelo de 125 millones de parámetros: 125 · 10⁶ · 16 B = 2 GB, sin contar las activaciones.
Las activaciones son lo que crece con el tamaño del lote y la longitud de la secuencia, y suelen ser lo que acaba rompiendo la memoria, no los pesos. Si no cabe:
- baja el tamaño del lote y acumula gradientes para simular uno mayor,
- usa gradient checkpointing: recalcular activaciones en la pasada hacia atrás en vez de guardarlas (gastas tiempo para ahorrar memoria),
- precisión mixta: acelera, aunque el total de estado del optimizador sigue siendo parecido porque se guarda una copia maestra en fp32.
Medir siempre antes de adivinar.