Французский стартап Kog ускоряет инференс на стандартных GPU
Kog разрабатывает программные решения для повышения скорости инференса на обычных дата-центровых GPU, включая AMD MI300X и Nvidia H200. Компания показала 3000 токенов в секунду на модели Laneformer 2B и намерена применить подход к крупным LLM.
Оптимизация позволяет бизнесу использовать уже имеющиеся GPU для ускорения AI-воркфлоу без закупки специализированного оборудования, что снижает затраты на инференс.
Французский стартап Kog фокусируется на глубокой оптимизации работы стандартных GPU для задач инференса. В демонстрации компания достигла 3000 токенов в секунду на модели с 2 млрд параметров, открыв её код.
Kog планирует к сентябрю показать 10-кратное ускорение на крупных моделях. Основной целевой аудиторией пока остаются компании, использующие AI в профессиональных задачах, таких как разработка ПО.
Подход основан на низкоуровневом анализе работы GPU, включая их пропускную способность памяти. CEO компании отмечает, что такой метод требует значительных ресурсов и пока ограничен числом поддерживаемых чипов.
По материалам
