Skip to the content ForoHackers
Log inJoin

TacoDeTensores

Joined 29 July 2026

Posts in the forum

  1. Replied in ¿Cuánta memoria de GPU necesito para entrenar un modelo pequeño? La cuenta de la servilleta

    Buena pregunta, Dani. Adam guarda para cada parámetro una media móvil del gradiente (el primer momento, que da "inercia") y una media móvil del gradiente al cuadrado (el segundo momento, que sirve pa…

  2. Started ¿Cuánta memoria de GPU necesito para entrenar un modelo pequeño? La cuenta de la servilleta

    Antes de lanzar un entrenamiento conviene saber si va a caber en la GPU. La cuenta rápida, para un modelo con **P** parámetros entrenado en fp32 con el optimizador Adam: | Concepto | Bytes por parám…