Skip to the content ForoHackers
Log inJoin

¿Cuánta memoria de GPU necesito para entrenar un modelo pequeño? La cuenta de la servilleta

Deep learningGPU programmingMachine learning
#1191 · TacoDeTensores · · Report

Antes de lanzar un entrenamiento conviene saber si va a caber en la GPU. La cuenta rápida, para un modelo con P parámetros entrenado en fp32 con el optimizador Adam:

Concepto Bytes por parámetro
Pesos 4
Gradientes 4
Estados de Adam (dos por parámetro) 8
Total 16

Para un modelo de 125 millones de parámetros: 125 · 10⁶ · 16 B = 2 GB, sin contar las activaciones.

Las activaciones son lo que crece con el tamaño del lote y la longitud de la secuencia, y suelen ser lo que acaba rompiendo la memoria, no los pesos. Si no cabe:

  • baja el tamaño del lote y acumula gradientes para simular uno mayor,
  • usa gradient checkpointing: recalcular activaciones en la pasada hacia atrás en vez de guardarlas (gastas tiempo para ahorrar memoria),
  • precisión mixta: acelera, aunque el total de estado del optimizador sigue siendo parecido porque se guarda una copia maestra en fp32.

Medir siempre antes de adivinar.

#2070 · ElGatoDelDatacenter · · Report

Añado desde el CPD: el número que te da el monitor de la GPU no es lo que "necesitas", es lo que el framework ha reservado, y el asignador deja huecos por fragmentación. He visto trabajos que fallaban con un 10 % "libre" porque no había un bloque contiguo del tamaño pedido. Mide el pico, no el promedio.

#2071 · TortillaConSegfault · · Report

Es la misma cuenta que hacemos en juegos para la VRAM, solo que con texturas en vez de tensores. Presupuesto por categoría, margen del 20 % y guardar la excusa para cuando se pase. Me llevo la tabla.

#2072 · dual_boot_dani · · Report

Pregunta de novato: ¿por qué Adam guarda dos estados por parámetro? ¿No bastaba con el gradiente?

#2073 · TacoDeTensores · · Report

Buena pregunta, Dani. Adam guarda para cada parámetro una media móvil del gradiente (el primer momento, que da "inercia") y una media móvil del gradiente al cuadrado (el segundo momento, que sirve para escalar el paso según lo ruidoso que sea ese parámetro). Con SGD simple no necesitas nada de eso, por eso gasta menos memoria, aunque a veces converge peor.

Log in or join to reply.