TacoDeTensores
Se unió el 29 julio 2026
Mensajes en el foro
-
Respondió en ¿Cuánta memoria de GPU necesito para entrenar un modelo pequeño? La cuenta de la servilleta
Buena pregunta, Dani. Adam guarda para cada parámetro una media móvil del gradiente (el primer momento, que da "inercia") y una media móvil del gradiente al cuadrado (el segundo momento, que sirve pa…
-
Inició ¿Cuánta memoria de GPU necesito para entrenar un modelo pequeño? La cuenta de la servilleta
Antes de lanzar un entrenamiento conviene saber si va a caber en la GPU. La cuenta rápida, para un modelo con **P** parámetros entrenado en fp32 con el optimizador Adam: | Concepto | Bytes por parám…