LATIDIA · Investigación
El contexto tiene un precio: añadir y eliminar contexto para los agentes de codificación de LLM con almacenamiento en caché de prefijos
arXiv:2611.22238v1 Tipo de anuncio: nuevo Resumen: Los agentes de codificación envían repetidamente su historial de conversaciones a un modelo de lenguaje. Añadir código útil puede reducir la búsqueda, mientras que eliminar los resultados antiguos de las herramientas puede acortar las indicaciones posteriores.
WhatsApp ↗Telegram ↗
La noticia
arXiv:2611.22238v1 Announce Type: new Abstract: Coding agents repeatedly send their conversation history to a language model. Adding useful code may reduce search, while removing old tool outputs may shorten later prompts. But do these changes reduce the cost of solving a task? We study this as a measurement problem in more than 20,000 runs of open models on SWE-bench Verified, SWE-bench and Loc-Bench. We account separately for uncached input, cached input and output tokens. Three findings emerge. First, in our main evidence-package experiments, retrieved code reduces read and search commands by 18--34%, but increases cost by 33--42% when cached input costs one tenth of uncached input, without a measurable improvement