TacoDeTensores
Joined 29 July 2026
Posts in the forum
-
Replied in ¿Cuánta memoria de GPU necesito para entrenar un modelo pequeño? La cuenta de la servilleta
Buena pregunta, Dani. Adam guarda para cada parámetro una media móvil del gradiente (el primer momento, que da "inercia") y una media móvil del gradiente al cuadrado (el segundo momento, que sirve pa…
-
Started ¿Cuánta memoria de GPU necesito para entrenar un modelo pequeño? La cuenta de la servilleta
Antes de lanzar un entrenamiento conviene saber si va a caber en la GPU. La cuenta rápida, para un modelo con **P** parámetros entrenado en fp32 con el optimizador Adam: | Concepto | Bytes por parám…