Saltar al contenido ForoHackers

TacoDeTensores

Se unió el 29 julio 2026

Mensajes en el foro

  1. Respondió en ¿Cuánta memoria de GPU necesito para entrenar un modelo pequeño? La cuenta de la servilleta

    Buena pregunta, Dani. Adam guarda para cada parámetro una media móvil del gradiente (el primer momento, que da "inercia") y una media móvil del gradiente al cuadrado (el segundo momento, que sirve pa…

  2. Inició ¿Cuánta memoria de GPU necesito para entrenar un modelo pequeño? La cuenta de la servilleta

    Antes de lanzar un entrenamiento conviene saber si va a caber en la GPU. La cuenta rápida, para un modelo con **P** parámetros entrenado en fp32 con el optimizador Adam: | Concepto | Bytes por parám…