LATIDIA · Investigación

RECUPERACIÓN: ¿Pueden los agentes reproducir las afirmaciones de los documentos de aprendizaje automático?

arXiv: 2609.28850v1Tipo de anuncio: nuevo Resumen: La reproducción de un documento de aprendizaje automático implica la mayoría de los pasos de investigación, desde la instalación de software y la depuración hasta la ejecución de experimentos, trabajo que los agentes de IA hacen cada vez más. Nosotros en

La noticia

arXiv:2609.28850v1 Announce Type: new Abstract: Reproducing a machine learning paper involves most research steps, from installing software and debugging to running experiments, work that AI agents increasingly do. We introduce RECLAIM, a benchmark of 100 NeurIPS 2025 papers that can be rebuilt yearly from new conferences. For each paper we fix in advance the result to reproduce, what counts as a successful reproduction, and a GPU-hour budget. An agent must reproduce that result using the paper and whatever its authors released. What the authors released decides the difficulty tier. Run-tier releases include code, data, and weights; Retrain-tier releases lack weights, so the agent trains the model; Reimplement-tier releases lack code,