Examen · 06 Tu mini modelo de lenguaje

Examen: Tu mini modelo de lenguaje

5 preguntas. Apruebas con 4 aciertos. Puedes repetirlo las veces que quieras: al corregir verás la explicación de cada respuesta.

1. ¿Para qué sirve la máscara causal en la atención?
2. ¿Qué devuelve softmax([0, 0, 0, 0])?
3. Un modelo da probabilidad 1 a la letra correcta. ¿Cuánto vale su pérdida de entropía cruzada?
4. ¿Qué pasa al bajar mucho la temperatura al generar?
5. ¿Por qué elegir siempre la letra más probable (k = 1) puede dar «corrrrrrrr»?