Microsoft ThinkingBox проверяет агентов по состоянию баз данных
Microsoft и Hugging Face выпустили ThinkingBox — бенчмарк, который оценивает ИИ-агентов не по tool calls, а по итоговому состоянию backend-систем. Тестирование проведено на 507 бизнес-процессах, каждый из которых запускался 20 раз.
Компании получают инструмент для объективной оценки надёжности агентов в реальных рабочих сценариях. Это снижает риски ошибок при внедрении агентов в процессы, где важны точные изменения данных.
ThinkingBox запускает агентов в изолированных средах и проверяет конечное состояние баз данных и side effects. В ходе тестов выяснилось, что даже при корректных tool calls и отсутствии ошибок агенты часто оставляют неверные значения полей или создают лишние записи.
В 507 задачах из разных доменов (ритейл, страхование, банкинг и др.) значительная доля успешных на первый взгляд запусков не проходила проверку по итоговому состоянию. Для оценки используются метрики pass@1, pass@20 и observed 20/20.
Бенчмарк доступен на Hugging Face через OpenEnv. Компании могут запускать его самостоятельно для проверки consistency моделей в stateful workflow.
По материалам
