LATIDIA · Investigación

¿Qué tan estables son las pruebas generadas por LLM bajo refactorización de programas? Una prueba de estrés para la generación de código verificable.

arXiv: 2610.36328v1Tipo de anuncio: nuevo Resumen: Los puntos de referencia para la generación de código verificable generalmente prueban una prueba contra una implementación fija. Preguntamos si la misma prueba sigue siendo válida después de que un programa refactorice

La noticia

arXiv:2610.36328v1 Announce Type: new Abstract: Benchmarks for verifiable code generation usually test a proof against one fixed implementation. We ask whether the same proof remains valid after a program refactoring that preserves behavior. We introduce RefactorProof, which derives 458 Lean-certified variants from the 185 VERINA tasks that compile in our pinned environment while holding the specification and evaluated proof fixed byte-for-byte. VERINA supplies reference proofs for 46 tasks, all from its basic split; the primary model-versus-reference comparisons further match on 21-25 short, non-recursive tasks. Structural refactorings expose substantial brittleness across proof sources: task-normalized structural PSR is 4.3% for the supplied references and 13.3-26.8% for the specialized provers. On the matched