LATIDIA · Ciberseguridad
A dónde van los ahorros: los límites de ocultar los aciertos de caché entre inquilinos en el servicio de LLM
arXiv:2611.20291v1 Tipo de anuncio: nuevo Resumen: Los motores de servicio de LLM almacenan en caché los prefijos de las «prompts». Cuando se produce un acierto de caché, se evita el cálculo y la respuesta es más rápida, por lo que una caché compartida revela si otros han enviado un texto determinado.
WhatsApp ↗Telegram ↗
La noticia
arXiv:2611.20291v1 Announce Type: new Abstract: LLM serving engines cache prompt prefixes; a cache hit skips computation and returns faster, so a shared cache reveals whether others have sent a given text. Per-account salting closes this channel but forgoes cross-tenant reuse and isolates only whole accounts, even where access is redistributed or trust domains are subdivided below them. Defenses that share globally but hide hits promise reuse without relying on account boundaries. Hiding a hit requires everything tenants observe afterwards to be distributed as if it had missed. The defenses we examine target the hit-miss gap; we instead follow where the saved time goes. Step-based schedulers that never idle while work