Recurso gratuito
Checklist para evaluar agentes de IA
17 comprobaciones para dejar trabajar a un agente de IA sin perder el control: qué puede tocar, cómo se verifica lo que hace, cómo se evalúa cuando no basta un test y qué hay que dejar anotado. Cada punto dice cómo comprobarlo.
Sale de pruebas propias hechas con Claude Code en noviembre de 2026, con repositorios y datos de prueba. Vale para cualquier agente: cambia los nombres de las herramientas por los tuyos. «Claude» y «Claude Code» son marcas de Anthropic; IAcademy es un proyecto independiente, sin afiliación.
1
Escribe qué puede tocar y qué no
Pon por escrito, en el fichero de instrucciones del proyecto, las carpetas que el agente puede cambiar, las que no y que trabaja siempre en una rama propia.
Cómo comprobarlo: pídele una tarea que roce una carpeta prohibida y mira si la respeta.
En nuestra prueba con rutinas, el agente respetó estas reglas en las dos ejecuciones.
2
Quien revisa no puede escribir
El agente o subagente que revisa el trabajo tiene solo permisos de lectura.
Cómo comprobarlo: pídele al revisor que corrija algo y confirma que no puede.
Si el revisor puede cambiar lo que revisa, ya no es una revisión.
3
Una comprobación automática después de cada cambio
Engancha una comprobación determinista (enlaces, formato, tests rápidos) que se ejecute sola tras cada escritura del agente.
Cómo comprobarlo: mete un fallo a propósito y mira si la comprobación salta sin que nadie la lance.
En Claude Code se hace con un hook; en otras herramientas, con lo equivalente.
4
Si se dispara solo, prueba también lo que no debe dispararlo
Para agentes que arrancan por horario o por evento: comprueba que un evento ajeno no lo lanza. Si el filtro fino no se puede configurar, que las propias instrucciones digan «si no es tu caso, sal sin cambios».
Cómo comprobarlo: provoca un evento parecido pero ajeno y espera.
En nuestra prueba, el filtro por etiqueta no se pudo configurar: tal como quedó, cualquier etiqueta lo dispararía.
5
Línea base en verde antes de empezar
Ejecuta los tests antes de que el agente toque nada y guarda el resultado.
Cómo comprobarlo: si ya fallaba algo antes, anótalo; si no, no sabrás qué ha roto el agente.
Sin línea base no hay forma honesta de decir que el cambio es bueno.
6
Mete una regresión a propósito
Introduce un fallo conocido y comprueba que tu verificación lo detecta. Es el control positivo: demuestra que el verificador no aprueba todo.
Cómo comprobarlo: el CI tiene que ponerse en rojo con el fallo y en verde sin él.
Lo hicimos en nuestra prueba de verificación: rojo en la rama con la regresión, verde en la principal.
7
La verificación la hace otro, no el agente
Los tests y validadores se ejecutan en el CI o en una máquina aparte, nunca solo en la sesión del agente.
Cómo comprobarlo: el resultado que cuenta es el del CI, no el «todo correcto» del agente.
Un agente que marca su propio trabajo como bueno no está verificado.
8
Todo llega como propuesta de cambio
El agente abre un PR o deja una propuesta; nada va directo a la rama principal ni a producción.
Cómo comprobarlo: protege la rama principal y revisa que el agente no tenga permiso para saltárselo.
La decisión de fusionar es de una persona.
9
Prueba la marcha atrás
Ten escrito y probado cómo se deshace el cambio (por ejemplo, git revert del commit) antes de necesitarlo.
Cómo comprobarlo: revierte una vez en una rama de prueba y confirma que los tests vuelven a verde.
Una reversión que nunca se ha probado es una suposición.
10
Rúbrica cerrada
Define las categorías de fallo de antemano, con una frase cada una, y aplica una regla: una causa, una etiqueta.
Cómo comprobarlo: dos evaluadores (personas o modelos) aplican la rúbrica al mismo caso y comparan.
En nuestra prueba de presentaciones, el modelo puso dos etiquetas a un mismo fallo hasta que añadimos esta regla.
11
Código para lo objetivo, ojos para lo visual
Lo que se puede medir (tamaño de letra, contraste, longitud) lo comprueba un script. Lo que solo se ve en el resultado final (una imagen ilegible, un diseño confuso) lo juzga una persona o un modelo mirando el render.
Cómo comprobarlo: anota qué fallos detecta cada evaluador por separado.
El script no vio un diagrama ilegible dentro de una imagen; el juicio visual, sí.
12
Siembra defectos conocidos y un caso limpio
Prepara un conjunto de prueba con fallos que conoces y al menos un caso sin ningún fallo.
Cómo comprobarlo: el evaluador debe encontrar los sembrados y dejar tranquilo el caso limpio.
El caso limpio es el que destapa los falsos positivos.
13
Calibra con lo que ve una persona
Si el evaluador automático contradice lo que ve una persona, se recalibra el evaluador. No se reescribe la etiqueta del experimento después de ver el resultado.
Cómo comprobarlo: guarda la versión anterior del evaluador y compara las dos.
Nos pasó con un solapamiento que existía en las cajas pero no tapaba nada en pantalla.
14
Cuenta los fallos por separado
Anota aciertos, falsos positivos y fallos no detectados, no solo un porcentaje global.
Cómo comprobarlo: una tabla por caso con lo esperado, lo detectado y la diferencia.
Un 90 % puede esconder que el evaluador no ve justo el fallo que más te importa.
15
Fecha, versión, modelo y criterio antes de ejecutar
Antes de lanzar la prueba, escribe la fecha, la versión de la herramienta, el modelo, el entorno y qué resultado cuenta como PASA y cuál como FALLA.
Cómo comprobarlo: si el criterio se escribió después de ver el resultado, la prueba no vale.
Así otra persona puede repetirla y llegar al mismo veredicto.
16
Evidencias guardadas y limpias
Guarda los registros, diffs y capturas que prueban el resultado, sin correos, identificadores de cuenta, claves ni rutas personales.
Cómo comprobarlo: pasa un buscador de secretos y de datos personales antes de compartirlas.
Usa siempre datos de prueba, nunca datos reales de clientes.
17
Las cifras de otros son de otros
Si citas un resultado publicado por un fabricante o en una charla, dilo así y no lo presentes como medición propia. Lo que midas tú, con su fecha, su configuración y su alcance.
Cómo comprobarlo: cada cifra del informe tiene al lado de dónde sale.
Es la diferencia entre un informe y un anuncio.