Скрытые расходы на хранение данных при inference ИИ
По данным WD и IDC, inference генерирует значительные объемы вспомогательных данных — логов, кэшей и резервных копий, которые требуют хранения. Рост запросов на inference опережает обучение моделей и уже приводит к увеличению объема данных у 95% компаний.
Компании, внедряющие ИИ, рискуют недооценить инфраструктурные затраты, если фокусируются только на вычислениях. Хранение данных может существенно увеличить совокупную стоимость эксплуатации систем.
Большинство руководителей ассоциируют затраты на ИИ с GPU и энергопотреблением, однако значительная часть расходов приходится на хранение данных, создаваемых при inference. После каждого ответа модели остаются логи, контекст, рендеры и записи безопасности.
По оценкам WD, при генерации 8-секундного видео на backend сохраняется более 500 МБ данных против 4 МБ итогового файла. McKinsey прогнозирует, что к 2030 году inference будет составлять более 40% спроса дата-центров.
Согласно опросу IDC, 96% компаний ожидают необходимости более быстрого доступа к архивным данным для RAG и inference. Для хранения больших объемов экономически эффективным решением остаются HDD.
По материалам
