Agentes / ANTECEDENTE 2024
ExperimentoAgentHarm: rechazar una pregunta y frenar una acción son problemas distintos
Lo documentado
AgentHarm reúne tareas dañinas de varios pasos para evaluar agentes con herramientas. Sus autores encontraron que algunos modelos podían mantener capacidad operativa después de intentos de eludir sus protecciones.
Por qué importa
Una evaluación de seguridad debe distinguir entre lo que un modelo dice y lo que efectivamente hace con sus herramientas. Los permisos y la revisión de acciones modifican las consecuencias posibles.
Alcance de la evidencia
Qué conviene examinar
Para comparar este antecedente con un sistema actual, identificá la versión, el entorno de uso, los permisos disponibles y las medidas de supervisión. Distinguí la conducta observada de su interpretación y verificá si la fuente publicó correcciones o mitigaciones posteriores.
La existencia de este caso no permite calcular por sí sola un porcentaje de riesgo catastrófico. Su valor es documentar un mecanismo o una consecuencia y orientar preguntas concretas de seguridad.
WhatsApp ↗Telegram ↗Seguí investigando
Agentes · 2025
ExperimentoAgentes ante un conflicto de objetivos: el chantaje en escenarios simulados
Anthropic evaluó 16 modelos en situaciones corporativas ficticias.
Agentes · 2025
ExperimentoSHADE-Arena: medir acciones dañinas que un monitor podría pasar por alto
SHADE-Arena plantea tareas para agentes con objetivos de sabotaje y un sistema de supervisión.