Examen · 05 Por dentro de un LLM

Examen: Por dentro de un LLM

5 preguntas. Apruebas con 4 aciertos. Puedes repetirlo las veces que quieras: al corregir verás la explicación de cada respuesta.

1. ¿Cuántos bytes ocupa «ñ» en UTF-8?
2. ¿Qué hace cada vuelta del entrenamiento de un tokenizador BPE?
3. Un tokenizador BPE de bytes recibe una palabra que nunca vio al entrenar. ¿Qué pasa?
4. Mides la compresión de tu tokenizador con el mismo texto con el que lo entrenaste. ¿Qué problema tiene?
5. Aproximadamente, ¿cuánta memoria ocupan solo los pesos de un modelo de 7.000 millones de parámetros en 16 bits?