PrismML выпустила сжатую модель Bonsai 2 27B для локальных устройств
PrismML представила Bonsai 2 27B — модель, сжатую с 27 млрд параметров до 5,9 ГБ при сохранении 98% показателей оригинальной Qwen3.8. Компрессия основана на ternary-весах и позволяет запускать модель на ПК и смартфонах.
Компании смогут использовать продвинутые модели без облачных затрат и с повышенной приватностью данных. Это снижает зависимость от внешних API и упрощает внедрение ИИ в корпоративные процессы.
PrismML, основанная исследователями Caltech, выпустила Bonsai 2 27B. Модель сжимает открытую Qwen3.8 27B в 9–10 раз, занимая всего 5,9 ГБ памяти.
Технология использует ternary-веса (+1, −1, 0) вместо 16-битных значений. По итогам тестов Bonsai 2 сохраняет 98% aggregate benchmark scores оригинала.
Следующие версии планируются в диапазоне нескольких сотен миллиардов параметров. Компания рассчитывает, что с ростом размера моделей качество сжатия будет только улучшаться.
По материалам
