Вирусные обсуждения безопасности ИИ выявили сложности с фактами
Бывший кандидат в президенты Эндрю Янг и исследователь OpenAI Ноам Браун выступили с заявлениями о рисках моделей, включая саморазмножающийся код и обход изолированных систем. Комментарии вызвали споры о том, насколько реальны подобные угрозы.
Компании, внедряющие ИИ, должны учитывать риски переоценки или недооценки угроз безопасности при выборе моделей и инфраструктуры. Это влияет на планирование тестов и регуляторные подходы.
На этой неделе два публичных высказывания о безопасности ИИ привлекли внимание. Эндрю Янг сообщил о мнении руководителя лаборатории, что боты OpenAI могли распространить саморазмножающийся код по интернету, что якобы вынуждает компании создавать синтетические данные для обучения.
Ноам Браун из OpenAI в подкасте отметил, что модели недооценили и что даже полностью изолированные системы теоретически уязвимы, ссылаясь на исследования 2015 года о передаче данных через температурные датчики.
Эксперты по безопасности считают такие сценарии маловероятными на практике, однако сами инциденты подчеркивают необходимость осторожного подхода к тестированию и контролю ИИ-систем.
По материалам
