LATIDIA · Ciberseguridad

Lo que ocultan las evaluaciones estándar sobre los detectores de agentes LLM secuestrados: ataques poco frecuentes, herramientas no vistas y transferencia de referencia.

arXiv:2610.41803v1 Anuncio Tipo: nuevo Resumen: Los detectores pueden identificar agentes de modelos de lenguaje grandes (LLM) secuestrados a partir de los rastros de las herramientas que llaman. En las once evaluaciones que auditamos, los ataques o anomalías representan el 16 %.

La noticia

arXiv:2610.41803v1 Announce Type: new Abstract: Detectors can flag hijacked large language model (LLM) agents from the traces of the tools they call. In the eleven evaluations we audited, attacks or anomalies make up 16% to 86% of the test samples, no evaluation varies that share, and six report no test on data from a second benchmark or source. We ask what such evaluations hide. On the AgentDrift and AgentDojo benchmarks we test trained detectors that read tool identities, behavior, call sequences, step embeddings or text, and a released LLM action monitor, AlignmentCheck, with thresholds fixed on training data or set by the monitor's released decision rule. First, at a 2%