IBM выпустила Granite Switch 4.1 для объединения задач в одном endpoint
Granite Switch 4.1 (8B и 30B) сочетает чат, принятие решений и распознавание речи через один endpoint. Модели используют Decision aLoRA, Guardian aLoRA и Granite-Speech-5.0-Turbo-CTC, сохраняя объем VRAM на уровне базовой модели.
Компании могут сократить затраты на GPU-инфраструктуру и ускорить обработку запросов, объединяя несколько задач в одном развернутом экземпляре модели.
Granite Switch 4.1 позволяет переключаться между генерацией текста, специализированными решениями и транскрипцией аудио без дополнительных ресурсов. Адаптеры aLoRA обеспечивают повторное использование KV-кэша и совместную работу с vLLM.
Guardian aLoRA показывает лучшие результаты на задачах безопасности по сравнению с рядом конкурирующих моделей. Granite-Speech-5.0-Turbo-CTC признана самой быстрой системой ASR на OpenASR Leaderboard.
Пользователи могут самостоятельно собирать Granite Switch модели из библиотеки адаптеров Granite Libraries, добавляя специализированные классификаторы под свои бизнес-задачи.
По материалам
