Una regresión que pasó los tests: verificar en cuatro niveles los cambios que hace un agente

Por David Moya · · 9 min lectura · Artículo técnico

Prueba del 16 de noviembre de 2026 con Claude Code 2.1.325: qué detectó cada nivel y qué no.

Verificación en cuatro niveles de los cambios de un agente de IA

Un cambio puede pasar todos los tests unitarios y todos los invariantes y aun así romper el resultado. El 16 de noviembre de 2026 lo comprobamos en un proyecto de prueba: un verificador de cuatro niveles (N1 a N4) dejó pasar una regresión de redondeo en los tres primeros y solo la detectó el cuarto, con un céntimo de diferencia: 15,73 frente a 15,74. Aquí está el montaje, la secuencia con sus commits y lo que enseña sobre verificar el trabajo de un agente de IA.

En este artículo

  1. Condiciones de la prueba
  2. El verificador de cuatro niveles
  3. La secuencia: cambio, regresión y revert
  4. Por qué solo N4 vio el céntimo
  5. CI en verde y en rojo
  6. Cómo se relaciona con Replit y Datadog
  7. Límites
  8. Preguntas frecuentes

Condiciones de la prueba

Importante: la regresión no la hizo Claude Code. La inyectamos nosotros a mano para comprobar si el verificador la detectaba. Lo que sí hizo Claude fue un cambio pequeño y correcto antes.

El verificador de cuatro niveles

El script scripts/verificar.py ejecuta los niveles en orden, se detiene en el primero que falla y guarda en verificacion.json el commit, la hora y el detalle de cada nivel.

NivelComprueba
N1 compilaQue todo el código compila.
N2 unitariosCasos concretos, en tests/test_calculo.py.
N3 invariantesLas reglas de SPEC.md sobre una rejilla de 160 entradas: total mayor o igual que 0, base imponible + IVA = total, dos decimales y base imponible menor o igual que la base.
N4 extremo a extremoQue la línea de comandos reproduce los casos de referencia de tests/golden/casos.json.

La idea es que cada nivel atrapa una familia distinta de errores. Un fallo de sintaxis cae en N1, una función mal escrita en N2, una regla de negocio violada en N3 y un resultado distinto del esperado por el usuario en N4.

La secuencia: cambio, regresión y revert

PasoCommitQuéVerificador
05de47bfLínea basePasa
11636242Cambio inocuo hecho por Claude Code: opción --texto y su testPasa en los 4 niveles
26e7bde6Regresión inyectada por nosotros: el descuento se truncaFalla en N4
3151ff5egit revert de la regresiónPasa en los 4 niveles

Paso 1: un cambio hecho por Claude Code

Pedimos a Claude Code una opción --texto para mostrar el total en formato español, como «1.813,79 €». Este es el núcleo del cambio, resumido:

+def formato_es(importe) -> str:
+    """Formatea un importe al estilo español: '1.813,79 €'."""
+    texto = f"{Decimal(str(importe)):,.2f}"  # '1,813.79'
+    return texto.replace(",", "_").replace(".", ",").replace("_", ".") + " €"
 ...
+    if sys.argv[4:5] == ["--texto"]:
+        print(formato_es(d["total"]))

Añadió también su test. Claude respetó el CLAUDE.md del proyecto (no tocó tests/golden/) y ejecutó el verificador antes de dar el cambio por bueno. Pasó en los cuatro niveles. Además avisó de un caso límite que no le habíamos pedido: un cuarto argumento distinto de --texto se ignora sin error. Si quieres saber cómo dar esas reglas a tu agente, mira nuestra guía de CLAUDE.md.

Practica con módulos gratuitos

Si quieres aprender a trabajar con agentes de IA paso a paso, empieza por los módulos gratuitos de IAcademy.

Empieza gratis

Paso 2: la regresión inyectada

Cambiamos una sola línea: el descuento se trunca en lugar de redondearse.

-    descuento = (base * descuento_pct / 100).quantize(CENT, ROUND_HALF_UP)
+    descuento = (base * descuento_pct / 100).quantize(CENT, ROUND_DOWN)

El verificador devolvió esto:

OK    N1 compila: compila
OK    N2 unitarios: OK
OK    N3 invariantes: OK
FALLA N4 extremo a extremo: ['19.5', '33.33', '21']: esperado 15.73, obtenido 15.74

Paso 3: el revert

Un git revert deshizo la regresión conservando el historial completo, y el verificador volvió a pasar en los cuatro niveles:

151ff5e Revert "Regresión inyectada: el descuento se trunca en lugar de redondear"
6e7bde6 Regresión inyectada: el descuento se trunca en lugar de redondear
1636242 Cambio inocuo (hecho por Claude Code): opción --texto en la CLI
5de47bf PV-12: cálculo ficticio con verificador de cuatro niveles

Por qué solo N4 vio el céntimo

Con base 19,5, descuento del 33,33 % e IVA del 21 %, el descuento exacto es 6,49935.

El resultado truncado sigue cumpliendo todas las reglas de N3: no es negativo, base imponible más IVA suma el total, tiene dos decimales y la base imponible no supera la base. Y ninguno de los cinco casos unitarios de N2 caía en un descuento con esa fracción de céntimo. Por eso ambos niveles pasaron. Solo los casos de referencia de N4, que fijan el importe que espera el usuario, vieron la diferencia.

La lección

Un invariante dice que un resultado es posible, no que sea el correcto. Si un agente toca lógica de cálculo, necesitas casos de referencia con resultado conocido, además de tests y reglas generales.

CI en verde y en rojo

Subimos el repositorio y GitHub Actions confirmó los dos estados. La rama regresion (6e7bde6) terminó en failure en N4 con el mismo caso que en local (ejecución 43963220414). La rama main, ya revertida (151ff5e), terminó en success (ejecución 43961171956). El repositorio es privado y no podemos enlazarlas. Cómo montar un flujo así lo explicamos en Claude Code en CI/CD, y el papel del aviso frente al bloqueo, en nuestra prueba con skill, hook y subagente.

Cómo se relaciona con Replit y Datadog

Dos ponencias de Code with Claude 2026 (San Francisco, 6 de mayo) tratan el mismo problema desde otro ángulo. No citamos cifras de ninguna de las dos: solo señalamos dónde mirar.

La relación con nuestro ensayo es de argumento, no de réplica. Nuestro N1 a N4 es un diseño propio y pequeño: no sabemos cuáles son los niveles de Datadog ni los reproducimos aquí. Lo que comparten es la idea de que los casos reales y la verificación por capas detectan lo que un único tipo de prueba no ve.

Límites

Preguntas frecuentes

¿Por qué pasaron los tests unitarios con una regresión?

Porque ningún caso unitario ejercitaba un descuento con fracción de céntimo que cambie al truncar en lugar de redondear. Solo los casos de referencia de N4 lo detectaron.

¿Qué diferencia hay entre un invariante y un caso de referencia?

Un invariante es una regla general que cualquier resultado válido debe cumplir. Un caso de referencia fija el valor exacto que se espera para una entrada concreta.

¿Cómo se deshace un cambio de un agente que rompe algo?

Con git revert del commit, que conserva el historial. En la prueba volvió el verificador a pasar en los cuatro niveles.

Llévate el checklist para evaluar agentes

17 comprobaciones sacadas de estas pruebas: qué puede tocar el agente, cómo se verifica lo que cambia, cómo se evalúa cuando no basta un test y qué hay que dejar anotado. Gratis, en PDF.

Descargar el checklist

«Claude», «Claude Code» y «Anthropic» son marcas de Anthropic, PBC. IAcademy es un proyecto educativo independiente, sin afiliación con Anthropic ni con las empresas citadas.