AI WORLD HQ
Imagina que le pides a un agente de programación con IA (un programa que escribe y modifica software por ti) que cree una función. Horas después, te entrega decenas de miles de líneas de código. ¿Quién comprueba todo eso? A menudo, nadie lo lee línea por línea, y esa es la brecha que PDD Kit pretende abordar.
El problema: leer cada línea no es viable a gran escala
Hoy, la mayoría de los equipos revisa el plan en lugar del código. Describen lo que quieren, intercambian comentarios hasta que el plan y los tests propuestos parecen correctos, y después dejan que el agente lo construya.
El anuncio dice que el problema empieza a partir de ahí. Un agente puede desviarse del plan, crear algo ligeramente distinto y después escribir tests que pasen para su propia versión. La batería de tests parece estar bien, pero la diferencia entre lo que pediste y lo que se publicó permanece oculta hasta que aparece un error.
Sus creadores describen dos tipos de errores que normalmente detectaría una persona que revisara el código con atención. Es posible que al código le falte algo necesario o que haga algo claramente incorrecto. Los tests habituales solo comprueban una pequeña parte de todo lo que puede hacer un programa, así que por sí solos no cierran esa brecha.
Cómo funciona el desarrollo guiado por pruebas formales
La respuesta de PDD Kit es un método que sus creadores llaman Proof-Driven Development (PDD). La idea clave es que una prueba formal (un razonamiento matemático que demuestra que el código se comporta según lo especificado) responde a una pregunta distinta de la que plantea una revisión. Una revisión pregunta: «¿Parece correcto?». Una prueba pregunta: «¿Es correcto?».
El proceso tiene dos partes:
- Concretar la intención. El conjunto de herramientas plantea las preguntas que haría una persona revisora cuidadosa y registra las respuestas en un documento de intención. Las partes de esa intención que pueden expresarse con precisión se convierten en una especificación formal (una descripción exacta y legible para una máquina de lo que debe hacer el código). El resto se convierte en descripciones de tests.
- Exigir que el código la cumpla. El anuncio dice que un verificador llamado Verus comprueba el código frente a la especificación formal. Verus es un lenguaje de pruebas formales para Rust, un lenguaje de programación. Cuando una prueba formal no puede llegar, por ejemplo, a una biblioteca de terceros o a una interfaz de usuario, el conjunto de herramientas utiliza tests y los etiqueta como evidencias, no como pruebas formales.
Sus creadores también describen una base informática de confianza (el pequeño conjunto de código cuyo funcionamiento correcto una prueba formal simplemente da por supuesto). PDD Kit hace visible ese límite y pide a una persona que apruebe cada elemento. Piensa en ello como una lista de aquello en lo que estás depositando tu confianza.
Qué probaron sus creadores
El anuncio describe un experimento. El equipo utilizó PDD Kit para verificar la lógica de inicio de sesión de una pequeña aplicación de tienda online escrita en Rust, dentro de la herramienta de planificación de GitHub Next, Chopin. Según sus creadores, Verus ayudó a reforzar el código y descubrió errores que ya existían, mientras que la persona desarrolladora revisó la intención sin leer el código generado línea por línea.
Ten en cuenta que este es un caso que sus creadores decidieron compartir. El anuncio no informa de resultados más amplios.
En conclusión
PDD Kit es el intento de sus creadores de exigir a los agentes de programación con IA que respondan ante lo que el equipo pidió, utilizando pruebas formales cuando funcionan y tests cuando no. El enfoque es nuevo, y el anuncio ofrece un ejemplo en lugar de resultados generales. Como siguiente paso, lee tú mismo el anuncio oficial y anota una pregunta cuya respuesta querrías conocer antes de confiar en código escrito por IA en tu propio trabajo.