Falcon-Emirati-7B Yayınlandı: BAE Lehçesine Özel Arapça Model 84,83 Puan Aldı
Yazar: KOZBA
İçindekiler
Birleşik Arap Emirlikleri'nin araştırma kurumu Technology Innovation Institute (TII), BAE lehçesine özel Arapça dil modeli Falcon-Emirati-7B'yi yayınladı. Model, Arapçayı tek bir dil gibi ele alan genel amaçlı modellerin en çok zorlandığı alanda; günlük konuşma, deyim, atasözü ve kültürel bağlamda ciddi bir sıçrama hedefliyor.
Arapça Tek Dil Değil: BAE Lehçesi Neden Zor?
Modern Standart Arapça; haber, kitap ve ders kitaplarının dilidir, ama insanların günlük konuştuğu dil değildir. BAE'de sohbet, espri, pazarlık ve hikâye anlatımı Emirati lehçesiyle yapılır. Bu lehçenin kendi kelime dağarcığı, kendi ritmi ve nabati şiiri gibi kültürel katmanları var. Yalnızca Standart Arapça bilen bir model, bir cümledeki her kelimeyi doğru çevirip yine de ne anlatıldığını kaçırabilir. Ayrıca lehçe ağırlıklı olarak konuşma dilidir; internette yazılı örneği, Standart Arapça'ya kıyasla çok daha azdır.
Falcon-H1-Arabic Üzerine Kurulu
Falcon-Emirati-7B sıfırdan eğitilmedi. TII'nin Arapça model ailesi Falcon-H1-Arabic temel alındı. Bu aile, her blokta State Space (Mamba) ve Transformer attention'ı paralel çalıştırıp çıktıları birleştiren hibrit Falcon-H1 mimarisini kullanıyor; böylece uzun dizilerde doğrusal zaman verimliliği, uzun menzilli bağımlılıklarda ise attention hassasiyeti korunuyor. Aile 3B, 7B ve 34B ölçeklerinde geliyor; bağlam penceresi 128K ve 256K token'a kadar çıkıyor. Temel model zaten Standart Arapça ile Körfez, Levant, Mısır ve Mağrip lehçelerini birlikte görmüştü.
Neden 7B Seçildi?
TII'ye göre 7B, ailenin tatlı noktası: lehçe adaptasyonunun ihtiyaç duyduğu nüansı taşıyacak kadar büyük, eğitim ve çıkarım maliyetini yönetilebilir tutacak kadar küçük. 34B kaliteyi biraz daha artırabilirdi ama diyalekt odaklı bir sohbet modeli için maliyeti anlamsız kılıyordu; 3B ise hedeflenen kültürel ve dilsel derinliğe yer bırakmıyordu.
Üç Veri Kaynağı
Ekip, Emirati veri hattını üç kaynaktan kurdu. Birincisi, lehçeyi doğal olarak yazan Emirati siteleri ve forumlarından derlenen özgün metin. İkincisi, Emirati kültürü, mirası ve kimliği hakkında Standart Arapça içerik: modelin ne hakkında konuştuğunu bilmesi için. Üçüncüsü ise sözlük ve stil kurallarıyla sıkı biçimde kısıtlanmış sentetik lehçe verisi. Ekip, kısıtsız bırakılan sentetik verinin "grameri doğru ama lehçeyi konuşana tuhaf gelen" çıktı ürettiğini, bu yüzden sözlük desteğinin kritik olduğunu vurguluyor.
Alyah Benchmark'ta 84,83 Puan
Ölçüm için TII'nin toplulukla birlikte yayınladığı Alyah kullanıldı. Alyah, ana dili Emirati olan konuşmacılardan elle toplanan 1.173 örnekten oluşan tamamen yerel bir çoktan seçmeli kıyaslama; günlük selamlaşmadan görgü kurallarına, mecazlı dilden miras bilgisine ve Emirati şiirine kadar uzanıyor. Falcon-Emirati-7B, Alyah'ta yüzde 84,83 doğruluğa ulaşarak kendisiyle karşılaştırılan tüm Arapça ve çok dilli modellerin önüne geçti; üstelik kendisinden kat kat büyük modelleri de geride bıraktı. TII'nin çıkarımı net: lehçe yeterliliği ölçekle kendiliğinden gelmiyor, hedefli veri ve ölçüm gerektiriyor.
Kültürel Anlama da Ölçüldü
İkinci test ArabCulture-Dialogue kıyaslamasının BAE bölümüydü. 283 BAE senaryosunda modeller, üç seçenek arasından kültürel olarak en uygun yanıtı seçiyor. Falcon-Emirati-7B yüzde 85,57 ile ilk sırada yer aldı; ALLaM-7B yüzde 83,39, Jais-2-8B yüzde 73,79 ve Fanar-2-27B yüzde 71,50'de kaldı.
Açık Uçlu Üretim de Test Edildi
Çoktan seçmeli test, modelin doğru cevabı tanıyıp tanımadığını ölçer; kendiliğinden lehçeyle yanıt üretip üretmediğini ölçmez. Bu yüzden ekip aynı 1.173 soruda açık uçlu üretim de çalıştırdı ve yanıtları bir LLM hakemle (Gemini 3.7 Flash) hem içerik doğruluğu hem de yanıtın gerçekten Emirati lehçesinde olup olmadığı açısından değerlendirdi.
Nerede Denenir ve Sınırlar
Model, TII'nin Falcon sohbet platformunda denenebiliyor. Ekip yine de temkinli: her dil modeli gibi bu model de eğitim verisindeki önyargıları yansıtabilir; nadir ifadeler, çok yerel göndermeler ve veri bulunmayan uç durumlarda hata yapabilir. Lehçe ve kültürel nüans kısmen özneldir; ana dili konuşanlar bile "doğru" yanıt konusunda her zaman uzlaşmaz. Bu nedenle hassas veya resmî işlerde kullanmadan önce kendi senaryonuzda test edilmesi öneriliyor.
Sonuç
Falcon-Emirati-7B, 7B gibi küçük bir ölçekte lehçe ve kültür odaklı veri mühendisliğinin nelere kadir olduğunu gösteriyor. BAE için bu, egemen yapay zeka politikasının dil ayağı; genel olarak ise "büyük model her şeyi çözer" varsayımına karşı somut bir karşı örnek.