AllenAI представила фреймворк TutorMoments для оценки ИИ-тьюторов
AllenAI выпустила TutorMoments — систему оценки, которая проверяет, могут ли языковые модели правильно решать, когда помогать ученику, а когда предоставить ему возможность самостоятельно подумать. Модели чаще склонны к избыточной помощи, а явное указание в промпте улучшает результат, но не достигает уровня реальных преподавателей.
Компаниям, внедряющим ИИ в образовательные продукты, фреймворк помогает выявить, насколько модель способна адаптироваться к уровню ученика, а не просто давать готовые решения.
TutorMoments построен на 462 реальных транскриптах уроков математики с учениками 2–7 классов. Учителя разметили более 1500 ключевых моментов, где требовалось либо упростить задачу, либо подтолкнуть к более глубокому рассуждению.
В тесте модель принимает роль тьютора и ведёт диалог с симулированным учеником. Оценка показывает, что LLM чаще дают избыточную поддержку и редко стимулируют самостоятельное мышление.
AllenAI публикует датасет, код пайплайна и записи реплеев для воспроизводимости. Фреймворк позволяет измерять именно педагогическую гибкость моделей, а не отдельные фиксированные поведения.
По материалам
