Lección 19 · 05 Por dentro de un LLM
¿Cuánto pesa un modelo?
Cuando lees «un modelo de 7B», ¿cuánta memoria necesita? ¿Cuánto cuesta entrenarlo? Con tres fórmulas sencillas y unas líneas de Python puedes hacer la cuenta tú.
Parámetros
Un modelo de lenguaje tipo GPT es una pila de capas iguales. Cada capa tiene un ancho d (el tamaño de los vectores con los que trabaja). Una aproximación clásica dice que cada capa tiene unos 12·d² parámetros (4·d² en la atención y 8·d² en la red que va detrás), y además hay una tabla con un vector por cada token del vocabulario: vocabulario · d.
parámetros ≈ 12 · capas · d² + vocabulario · d
Es una cuenta de primer orden: deja fuera piezas pequeñas (sesgos, normalizaciones, posiciones), pero acierta el orden de magnitud.
Cuenta los parámetros
Define parametros(capas, ancho, vocabulario) con la fórmula de arriba. Pruébala con GPT-2 pequeño: 12 capas, ancho 768 y 50.257 tokens.
¿Atascado? Ver pista
return 12 * capas * ancho ** 2 + vocabulario * ancho. El GPT-2 pequeño real tiene unos 124 millones: la aproximación se queda muy cerca.
Memoria
Cada parámetro es un número que ocupa memoria. Cuántos bytes depende de para qué lo uses:
- Usarlo (inferencia) en 16 bits: 2 bytes por parámetro, solo los pesos.
- Usarlo cuantizado a 4 bits: 0,5 bytes por parámetro; pesos comprimidos, algo menos de calidad.
- Entrenarlo con AdamW: unos 16 bytes por parámetro; pesos, gradientes y dos memorias del optimizador.
Y a eso hay que sumar lo que se calcula sobre la marcha (activaciones, la caché de la conversación), que esta cuenta no incluye.
Memoria en GB
Define memoria_gb(parametros, bytes_por_parametro=2) que devuelva los gigabytes (1 GB = 1.000.000.000 bytes) redondeados a 1 decimal.
¿Atascado? Ver pista
return round(parametros * bytes_por_parametro / 1_000_000_000, 1)
Cómputo de entrenamiento
Entrenar cuesta, aproximadamente, 6 operaciones por parámetro y por token de entrenamiento (2 para calcular la predicción y 4 para corregir los pesos):
operaciones ≈ 6 · parámetros · tokens
Si sabes cuántas operaciones por segundo hace tu hardware de verdad (no la cifra del folleto), sacas el tiempo.
¿Cuántas horas de GPU?
Define flops_entrenamiento(parametros, tokens). Después guarda en horas cuánto se tarda en entrenar un modelo de 124 millones de parámetros con 10.000 millones de tokens en una GPU que rinde 100 billones de operaciones por segundo (100e12). Redondea a 1 decimal.
¿Atascado? Ver pista
def flops_entrenamiento(parametros, tokens):
return 6 * parametros * tokens
horas = round(flops_entrenamiento(124_000_000, 10_000_000_000) / (100e12 * 3600), 1)Para qué sirve esta cuenta
No sustituye a medir, pero te protege de errores gordos: saber que un modelo de 70B no cabe en una tarjeta de 24 GB, o que entrenar desde cero algo grande queda fuera de cualquier presupuesto pequeño y que lo razonable es usar un modelo ya entrenado.
Si te ha picado la curiosidad, el curso público de Stanford CS336: Language Modeling from Scratch construye todo esto a lo grande. Y para usar la IA en tu trabajo sin programar, el Curso 0 de IAcademy es gratuito.