LATIDIA · Investigación

AutoDatos: Búsqueda genética para la selección de datos previos a la capacitación

arXiv: 2609.19754v1Tipo de anuncio: nuevo Resumen: los agentes de LLM se han mostrado prometedores recientemente en la automatización de la ingeniería de aprendizaje automático mediante la edición del modelo y el código de capacitación bajo retroalimentación de ejecución. Los datos, sin embargo, siguen siendo largel

La noticia

arXiv:2609.19754v1 Announce Type: new Abstract: LLM agents have recently shown promise in automating machine learning engineering by editing model and training code under execution feedback. Data, however, remains largely outside this agentic optimisation loop. We frame pre-training data selection as heuristic engineering over per-document features, i.e., lexical statistics, categorical labels, and perplexity. We introduce AutoData, an agent that searches directly over executable selection algorithms. Unlike prior data mixture methods that optimise weights over a fixed set of domains, AutoData searches a richer program space of scoring, stratification, and stochastic selection rules, discovering feature interactions automatically by iteratively refining algorithms with validation feedback from a proxy model. Within an overnight search,