LATIDIA · Ciberseguridad

HardEval: un punto de referencia verificado por la ejecución para el endurecimiento de la seguridad impulsado por la IA y la corrección del cumplimiento

arXiv: 2610.23685v1Tipo de anuncio: nuevo Resumen: Implementar los controles de la Guía de implementación técnica de seguridad (STIG) sigue siendo una tarea exigente de administración del sistema operativo. Cada requisito de seguridad del lenguaje natural mu

La noticia

arXiv:2610.23685v1 Announce Type: new Abstract: Implementing Security Technical Implementation Guide (STIG) controls remains a demanding operating-system administration task. Each natural-language security requirement must be translated into a precise and persistent configuration change. These changes span Secure Shell (SSH) configuration, authentication policy, audit rules, and kernel parameters. Existing benchmarks do not measure whether a model can perform this task on a live system. Code benchmarks evaluate isolated programs without persistent system state, while agent benchmarks largely focus on applications rather than operating-system configuration. In this paper, we introduce \textbf{HardEval}, an execution-verified benchmark for evaluating language-model-assisted security hardening. HardEval is built from Red Hat Enterprise Linux 8 STIG controls that fail on