PyTorch 2.15 ускорил работу моделей на Apple Silicon
В PyTorch 2.15 добавлена поддержка FP8 на MPS и оптимизированы операции для линейных слоёв, softmax и Mixture-of-Experts моделей. Также снижено потребление памяти при декодировании видео и улучшена работа с комплексными вычислениями.
Компании, использующие Mac для локального инференса, получат существенный прирост скорости и экономию памяти без перехода на другие платформы.
PyTorch 2.15 расширил возможности бэкенда MPS для Apple Silicon. Добавлена поддержка формата FP8 с операцией scaled matrix multiplication, что позволяет хранить веса в два раза компактнее BF16.
Значительно ускорена работа с моделями: MoE-модели стали декодировать в 5–6,5 раза быстрее благодаря специализированным ядрам и сокращению синхронизаций. Улучшены линейные слои, softmax и операции линейной алгебры.
Снижено потребление памяти при обработке видео: декодирование VAE в Wan2.2 теперь использует до 8 ГиБ вместо 270 ГиБ. Требования обновлены — теперь необходим macOS 15 и Python 3.11.
По материалам
