TII UAE представила модель Falcon-Emirati для эмиратского диалекта
Компания TII UAE выпустила модель Falcon-Emirati-7B на базе Falcon-H1-Arabic. Модель специализируется на понимании и генерации эмиратского диалекта арабского языка с учетом культурного контекста.
Компании, работающие с клиентами в ОАЭ, могут использовать такие модели для более точной обработки запросов и контента на местном диалекте без потери нюансов.
Falcon-Emirati-7B построена на архитектуре Falcon-H1 с параллельным использованием State Space Models и Transformer. Обучение проводилось на аутентичных данных эмиратских сайтов и форумов, материалах на MSA о культуре ОАЭ и синтетических данных по глоссариям.
Разработчики отмечают, что адаптация под диалект сложна из-за малого объема письменных данных, не literal значений идиом и отсутствия стандартных подходов к обучению. Модель прошла оценку носителями языка и автоматические тесты.
Размер 7B выбран как баланс между качеством и затратами на обучение и инференс по сравнению с вариантами 3B и 34B.
По материалам
