Встроенные оценщики ИИ не станут простым решением, заявили в Hugging Face
Главный специалист по политике Hugging Face Ирен Солайман на TechCrunch Disrupt отметила, что размещение независимых оценщиков внутри AI-лабораторий не решит проблемы безопасности моделей. Оценки остаются незрелой областью с трудностями воспроизводимости результатов и сравнения разных тестов.
Компании, внедряющие ИИ, могут столкнуться с неопределенностью при выборе надежных методов оценки моделей и систем, что потребует дополнительных ресурсов на тестирование и стандартизацию подходов.
Солайман подчеркнула, что текущие бенчмарки сложно воспроизводить без достаточного доступа к моделям, а открытые веса помогают повысить доверие к результатам. Сравнивать разные оценки между собой пока затруднительно, поскольку они быстро устаревают.
Оценки смещаются от тестирования самих моделей к проверке всей системы, включая инструменты доступа и агентов. При этом оценок для harnesses и комплексных агентов пока значительно меньше, чем для моделей.
Вместо прямого регулирования лаборатории продвигают третьесторонних оценщиков, однако их квалификация и нейтральность требуют большей стандартизации, чтобы подход стал эффективным.
По материалам
