Механизм-дизайн предложили для контроля поведения ИИ-агентов
Исследователи рассматривают reverse game theory, или механизм-дизайн, как способ создавать стимулы, при которых следование правилам становится для ИИ наиболее рациональным выбором. Подход не требует понимания внутренней работы моделей.
Компании смогут снижать риски нежелательных действий автономных агентов через продуманные системы вознаграждений и проверок, не завися от интерпретируемости моделей.
Новый подход заимствует идеи из экономики: вместо анализа «мышления» модели предлагается проектировать правила, которые мотивируют желаемое поведение. Примеры включают перекрестную проверку ответов нескольких моделей и ротацию ролей «решателя» и «аудитора».
В недавней работе экономиста MIT Стивена Морриса и коллег описаны механизмы, препятствующие «симуляции слабости» при тестировании. Другой вариант, предложенный Эладом Хазаном из Принстона, предусматривает взаимный контроль агентов с возможностью «судебного» разрешения споров.
Авторы отмечают риск сговора между агентами, но считают, что его можно минимизировать через правильную настройку вознаграждений.
По материалам
