NVIDIA и AI4Bharat выпустили корпус на 2,8 трлн токенов для 22 индийских языков
NVIDIA совместно с лабораторией AI4Bharat IIT Madras представила корпус Nemotron-pretraining-Indic-v1 объёмом около 2,8 трлн токенов для 22 языков Индии. Вместе с данными опубликован открытый GPU-ускоренный конвейер генерации, перевода и проверки качества.
Компании получают доступ к большому объёму синтетических данных для дообучения моделей на индийских языках, что упрощает разработку решений для рынков Южной Азии.
Корпус содержит native-script данные для всех 22 языков, перечисленных в конституции Индии, и romanized-варианты для 12 из них. Материал создан на основе курированных англоязычных источников с сохранением формул, таблиц и кода.
Конвейер включает перевод, оценку качества и исправление ошибок. Он открыт для адаптации, что позволяет организациям генерировать дополнительные данные под собственные задачи.
Часть корпуса уже использована для дообучения модели Nemotron 3.5 Super VL, куда добавили 10 млрд индийских токенов.
По материалам
