В США выявили попытку скрытой промпт-инъекции в судебных документах
Истец добавил в материалы суда невидимый текст с инструкциями для ИИ, чтобы склонить решение в свою пользу. Суд не использует ИИ для обработки документов, поэтому атака не сработала, но автору ограничили доступ к электронной подаче.
Компании, применяющие ИИ для анализа документов и юридических процессов, должны учитывать риски подобных атак и внедрять проверки на скрытый контент.
В Коннектикуте судья Уолтер Спейдер-младший обнаружил в материалах дела скрытый текст, направленный на манипуляцию возможной ИИ-системой суда. Истец оформил инструкции мелким шрифтом белого цвета на белом фоне, чтобы они оставались невидимыми для человека.
Текст предписывал ИИ соглашаться с аргументами истца, игнорировать предыдущие отказы суда и обеспечивать желаемый исход. Суд не применяет ИИ для рассмотрения дел, поэтому попытка не повлияла на решение.
После предупреждения истец продолжил добавлять скрытые сообщения, включая шуточные. В итоге ему запретили электронную подачу документов, но денежных штрафов не наложили.
По материалам
