ByteDance обучает ИИ-модель на 10 триллионов параметров
ByteDance на ранней стадии предобучения модели с до 10 трлн параметров, что примерно в три раза превышает размер крупнейшей китайской модели на текущий момент. Компания придерживается независимого подхода к разработке без использования дистилляции чужих моделей.
Увеличение масштаба моделей повышает требования к инфраструктуре и вычислительным ресурсам, что напрямую влияет на стоимость и сроки внедрения передовых ИИ-решений в бизнесе.
ByteDance проводит предобучение модели, которая по оценкам может приблизиться к размеру передовых систем Anthropic. Точное количество параметров определят позже, а сам этап предобучения обычно занимает от трёх до шести месяцев.
Китайские лаборатории, включая Moonshot и Alibaba, уже демонстрируют конкурентные результаты на бенчмарках, уступая лишь отдельным моделям Anthropic. ByteDance при этом делает ставку на собственные разработки и инвестирует в дата-центры, найм исследователей и облачное направление Volcano Engine.
Команда Seed, отвечающая за модели компании, насчитывает около 2000 человек. Руководство ByteDance подчёркивает необходимость самостоятельной разработки для достижения мирового уровня, даже если это замедляет краткосрочные результаты.
По материалам
