Un cambio puede pasar todos los tests unitarios y todos los invariantes y aun así romper el resultado. El 16 de noviembre de 2026 lo comprobamos en un proyecto de prueba: un verificador de cuatro niveles (N1 a N4) dejó pasar una regresión de redondeo en los tres primeros y solo la detectó el cuarto, con un céntimo de diferencia: 15,73 frente a 15,74. Aquí está el montaje, la secuencia con sus commits y lo que enseña sobre verificar el trabajo de un agente de IA.
En este artículo
Condiciones de la prueba
- Fecha: 16 de noviembre de 2026.
- Entorno: macOS, Python 3, Claude Code 2.1.325, modelo
claude-opus-5-5, con suscripción (sin API). - Proyecto: el cálculo de una matrícula ficticia (base, descuento, IVA), descrito en un
SPEC.md. Sin datos personales. Repositorio privado. - Consumo del cambio de Claude Code: una ejecución de
claude -p, 22 segundos y 7 turnos. A precio de lista equivale a 0,75 USD, no facturados.
Importante: la regresión no la hizo Claude Code. La inyectamos nosotros a mano para comprobar si el verificador la detectaba. Lo que sí hizo Claude fue un cambio pequeño y correcto antes.
El verificador de cuatro niveles
El script scripts/verificar.py ejecuta los niveles en orden, se detiene en el primero que falla y guarda en verificacion.json el commit, la hora y el detalle de cada nivel.
| Nivel | Comprueba |
|---|---|
| N1 compila | Que todo el código compila. |
| N2 unitarios | Casos concretos, en tests/test_calculo.py. |
| N3 invariantes | Las reglas de SPEC.md sobre una rejilla de 160 entradas: total mayor o igual que 0, base imponible + IVA = total, dos decimales y base imponible menor o igual que la base. |
| N4 extremo a extremo | Que la línea de comandos reproduce los casos de referencia de tests/golden/casos.json. |
La idea es que cada nivel atrapa una familia distinta de errores. Un fallo de sintaxis cae en N1, una función mal escrita en N2, una regla de negocio violada en N3 y un resultado distinto del esperado por el usuario en N4.
La secuencia: cambio, regresión y revert
| Paso | Commit | Qué | Verificador |
|---|---|---|---|
| 0 | 5de47bf | Línea base | Pasa |
| 1 | 1636242 | Cambio inocuo hecho por Claude Code: opción --texto y su test | Pasa en los 4 niveles |
| 2 | 6e7bde6 | Regresión inyectada por nosotros: el descuento se trunca | Falla en N4 |
| 3 | 151ff5e | git revert de la regresión | Pasa en los 4 niveles |
Paso 1: un cambio hecho por Claude Code
Pedimos a Claude Code una opción --texto para mostrar el total en formato español, como «1.813,79 €». Este es el núcleo del cambio, resumido:
+def formato_es(importe) -> str:
+ """Formatea un importe al estilo español: '1.813,79 €'."""
+ texto = f"{Decimal(str(importe)):,.2f}" # '1,813.79'
+ return texto.replace(",", "_").replace(".", ",").replace("_", ".") + " €"
...
+ if sys.argv[4:5] == ["--texto"]:
+ print(formato_es(d["total"]))
Añadió también su test. Claude respetó el CLAUDE.md del proyecto (no tocó tests/golden/) y ejecutó el verificador antes de dar el cambio por bueno. Pasó en los cuatro niveles. Además avisó de un caso límite que no le habíamos pedido: un cuarto argumento distinto de --texto se ignora sin error. Si quieres saber cómo dar esas reglas a tu agente, mira nuestra guía de CLAUDE.md.
Practica con módulos gratuitos
Si quieres aprender a trabajar con agentes de IA paso a paso, empieza por los módulos gratuitos de IAcademy.
Empieza gratisPaso 2: la regresión inyectada
Cambiamos una sola línea: el descuento se trunca en lugar de redondearse.
- descuento = (base * descuento_pct / 100).quantize(CENT, ROUND_HALF_UP)
+ descuento = (base * descuento_pct / 100).quantize(CENT, ROUND_DOWN)
El verificador devolvió esto:
OK N1 compila: compila
OK N2 unitarios: OK
OK N3 invariantes: OK
FALLA N4 extremo a extremo: ['19.5', '33.33', '21']: esperado 15.73, obtenido 15.74
Paso 3: el revert
Un git revert deshizo la regresión conservando el historial completo, y el verificador volvió a pasar en los cuatro niveles:
151ff5e Revert "Regresión inyectada: el descuento se trunca en lugar de redondear"
6e7bde6 Regresión inyectada: el descuento se trunca en lugar de redondear
1636242 Cambio inocuo (hecho por Claude Code): opción --texto en la CLI
5de47bf PV-12: cálculo ficticio con verificador de cuatro niveles
Por qué solo N4 vio el céntimo
Con base 19,5, descuento del 33,33 % e IVA del 21 %, el descuento exacto es 6,49935.
- Redondeando al céntimo más cercano: 6,50. Base imponible 13,00, IVA 2,73, total 15,73.
- Truncando: 6,49. Base imponible 13,01, IVA 2,73 (2,7321 redondeado), total 15,74.
El resultado truncado sigue cumpliendo todas las reglas de N3: no es negativo, base imponible más IVA suma el total, tiene dos decimales y la base imponible no supera la base. Y ninguno de los cinco casos unitarios de N2 caía en un descuento con esa fracción de céntimo. Por eso ambos niveles pasaron. Solo los casos de referencia de N4, que fijan el importe que espera el usuario, vieron la diferencia.
La lección
Un invariante dice que un resultado es posible, no que sea el correcto. Si un agente toca lógica de cálculo, necesitas casos de referencia con resultado conocido, además de tests y reglas generales.
CI en verde y en rojo
Subimos el repositorio y GitHub Actions confirmó los dos estados. La rama regresion (6e7bde6) terminó en failure en N4 con el mismo caso que en local (ejecución 43963220414). La rama main, ya revertida (151ff5e), terminó en success (ejecución 43961171956). El repositorio es privado y no podemos enlazarlas. Cómo montar un flujo así lo explicamos en Claude Code en CI/CD, y el papel del aviso frente al bloqueo, en nuestra prueba con skill, hook y subagente.
Cómo se relaciona con Replit y Datadog
Dos ponencias de Code with Claude 2026 (San Francisco, 6 de mayo) tratan el mismo problema desde otro ángulo. No citamos cifras de ninguna de las dos: solo señalamos dónde mirar.
- Replit. Michele Catasta (Replit) y Hannah Moran (Anthropic) explican cómo combinan una evaluación de referencia con señales de uso real, en el minuto 03:50. En el 16:51 presentan Telescope y las pruebas A/B. Los resultados corresponden a las tareas y criterios del equipo de Replit. Vídeo · ficha de la sesión.
- Datadog. Sesh Nalla (Datadog) representa el flujo como una máquina de estados y presenta cuatro niveles de verificación. La eficacia en otro equipo depende de sus criterios y de su entorno. Vídeo · ficha de la sesión.
La relación con nuestro ensayo es de argumento, no de réplica. Nuestro N1 a N4 es un diseño propio y pequeño: no sabemos cuáles son los niveles de Datadog ni los reproducimos aquí. Lo que comparten es la idea de que los casos reales y la verificación por capas detectan lo que un único tipo de prueba no ve.
Límites
- Es un proyecto de juguete, con datos ficticios, un cambio de Claude Code y una regresión inyectada. No mide con qué frecuencia un agente introduce regresiones.
- Una sola ejecución con un modelo y una versión.
- N4 vale lo que valgan sus casos de referencia. Aquí son 4, y hay que mantenerlos. Si los generas con el mismo agente que escribe el código, pierdes independencia.
Preguntas frecuentes
¿Por qué pasaron los tests unitarios con una regresión?
Porque ningún caso unitario ejercitaba un descuento con fracción de céntimo que cambie al truncar en lugar de redondear. Solo los casos de referencia de N4 lo detectaron.
¿Qué diferencia hay entre un invariante y un caso de referencia?
Un invariante es una regla general que cualquier resultado válido debe cumplir. Un caso de referencia fija el valor exacto que se espera para una entrada concreta.
¿Cómo se deshace un cambio de un agente que rompe algo?
Con git revert del commit, que conserva el historial. En la prueba volvió el verificador a pasar en los cuatro niveles.
Llévate el checklist para evaluar agentes
17 comprobaciones sacadas de estas pruebas: qué puede tocar el agente, cómo se verifica lo que cambia, cómo se evalúa cuando no basta un test y qué hay que dejar anotado. Gratis, en PDF.
Descargar el checklist