LATIDIA · Investigación

Estar de acuerdo en la respuesta pero no en la razón: límites de medición de las taxonomías de falla de razonamiento de LLM

arXiv: 2611.13140v1Tipo de anuncio: nuevo Resumen: Las taxonomías de falla para el razonamiento LLM se informan cada vez más como mediciones: los documentos indican qué fracción de los errores de un modelo caen en categorías con nombre, luego comparan los

La noticia

arXiv:2611.13140v1 Announce Type: new Abstract: Failure taxonomies for LLM reasoning are increasingly reported as measurements: papers state what fraction of a model's errors fall into named categories, then compare those fractions across models. We show that for one such category the reported fraction is largely a property of the measurement procedure. We defined Compositional Collapse (a model notices a required sub-part of a problem, then drops or misapplies it) and measured it across twelve models and eleven languages on a public multilingual math benchmark (2,316 graded records). First, 50.1% of failures carry evidence for more than one category, so the reported plurality depends on the order in which the classifier