Lección 22 · 06 Tu mini modelo de lenguaje
Genera texto con tu modelo
Un modelo no escribe: da probabilidades. Cómo eliges la siguiente letra a partir de ellas cambia el resultado tanto como el propio modelo. Temperatura, top-k y muestreo con semilla, programados por ti.
Elegir la siguiente letra
El modelo entrenado da, para cada letra, una probabilidad de que venga a continuación. Para generar texto hay que elegir una y repetir. La forma más directa es sortearla: tirar un número al azar entre 0 y 1 y ver en qué tramo cae.
import random
probs = [0.1, 0.6, 0.3]
rng = random.Random(1)
cuentas = [0, 0, 0]
for _ in range(1000):
r, acumulado = rng.random(), 0
for i, p in enumerate(probs):
acumulado += p
if r < acumulado:
cuentas[i] += 1
break
print(cuentas)Con la misma semilla (random.Random(1)), el sorteo sale idéntico cada vez: imprescindible para repetir un experimento.
Temperatura
Antes de softmax se dividen las puntuaciones entre la temperatura t. Con t pequeña, la más alta se lo lleva casi todo (respuestas previsibles); con t grande, todas se igualan (respuestas más variadas y más raras). Es el parámetro que ves en muchas herramientas de IA.
Aplica la temperatura
Define con_temperatura(puntuaciones, t) que divida cada puntuación entre t y devuelva su softmax.
¿Atascado? Ver pista
return softmax([x / t for x in puntuaciones])
Top-k
Aunque la probabilidad de una letra absurda sea muy pequeña, si generas mucho texto acabará saliendo. Top-k se queda solo con las k opciones más probables, pone las demás a 0 y vuelve a repartir para que sumen 1.
Filtra con top-k
Define top_k(probs, k) que conserve las k probabilidades más altas, ponga el resto a 0 y divida entre la nueva suma.
¿Atascado? Ver pista
mejores = sorted(range(len(probs)), key=lambda i: probs[i], reverse=True)[:k]
filtradas = [p if i in mejores else 0.0 for i, p in enumerate(probs)]
total = sum(filtradas)
return [p / total for p in filtradas]Genera
El editor trae el modelo de bigramas de la lección anterior ya entrenado, con_temperatura, top_k y elegir(probs, rng), que sortea una posición. Te falta el bucle que escribe.
El bucle de generación
Define generar(inicio, n, semilla, t=1.0, k=None): crea rng = random.Random(semilla) y repite n veces: toma la fila de W de la última letra del texto, aplica la temperatura, si hay k aplica top_k, elige con elegir y añade esa letra. Devuelve el texto completo.
¿Atascado? Ver pista
rng = random.Random(semilla)
texto = inicio
for _ in range(n):
probs = con_temperatura(W[idx[texto[-1]]], t)
if k:
probs = top_k(probs, k)
texto += vocab[elegir(probs, rng)]
return textoPor qué la elección voraz se atasca
Con k = 1 siempre gana la letra más probable. Detrás de «r» lo más probable es otra «r» (perro, corre), así que el modelo entra en un bucle del que no sale. Sortear, con algo de temperatura y un top-k razonable, evita esos bucles a costa de algo de azar. Los LLM tienen el mismo problema a otra escala: por eso las herramientas exponen la temperatura y por eso la misma pregunta puede dar respuestas distintas.
De tu modelo a GPT
Ya tienes las tres piezas: atención para mirar el contexto, un bucle de entrenamiento que baja la pérdida y un generador con temperatura y top-k. Un GPT es esto mismo con un tokenizador como el de la sección anterior en lugar de letras, decenas de capas de atención en lugar de una tabla, diferenciación automática para los gradientes y miles de millones de tokens de texto. Las cuentas de la lección «¿Cuánto pesa un modelo?» te dicen por qué eso ya no cabe en un navegador.
Si quieres seguir, el curso público de Stanford CS336: Language Modeling from Scratch construye un modelo así de principio a fin.