LATIDIA · Investigación

De los proxies fuera de línea a las decisiones en línea: un marco de evaluación de compromiso en capas para la IA conversacional

arXiv: 2609.25408v1Tipo de anuncio: nuevo Resumen: Los experimentos A/B en línea son el estándar de decisión para la participación del usuario, pero el tráfico y el tiempo de lectura limitan la cantidad de cambios de IA conversacional que se pueden probar. Preguntamos si un

La noticia

arXiv:2609.25408v1 Announce Type: new Abstract: Online A/B experiments are the decision standard for user engagement, but traffic and readout time limit how many conversational-AI changes can be tested. We ask whether an offline signal designed to be computable without treatment-arm user exposure agrees with the outcomes of those experiments. We contribute a reusable construction and diagnosis checklist that treats an offline proxy as a chain of three alignments: behavioral label to product outcome, learned classifier to candidate-assistant behavior, and aggregated offline signal to experiment effect. A companion evaluation protocol audits the whole composite by interval-aware decision agreement, which compares offline and online confidence intervals instead of point estimates, and by