Baidu ERNIE 5.5 Flash Base Ağırlıklarını Yayınladı: 280B Parametre, 14B Aktif
Yazar: KOZBA
İçindekiler
Baidu, 5 Kasım 2026'da ERNIE 5.5 Flash Base modelinin ağırlıklarını Hugging Face üzerinde yayınladı. Model, ince ayar öncesi — yani ön eğitimin bittiği noktadaki — kontrol noktası olarak paylaşıldı. Bu tercih, modelin hazır bir ürün değil, geliştiricinin kendi verisiyle eğitime devam edebileceği bir başlangıç noktası olarak sunulduğu anlamına geliyor.
Teknik tablo: 280B toplam, 14B aktif
ERNIE 5.5 Flash, seyrek karışım-uzman (MoE) mimarisine sahip bir metin modeli. Temel sayılar şöyle:
- Toplam parametre: 280 milyar; token başına aktive edilen 14 milyar.
- Katman: 43 katman (1 yoğun + 42 MoE), 512 yönlendirilmiş uzman (top-10) + 1 paylaşılan uzman.
- Ön eğitim: sıfırdan, 33,5 trilyon token; eğitim bağlamı 128K.
- Çıkarım/ince ayar bağlamı: 1.048.576 token (1M).
- Tokenizer: yaklaşık 200 bin girişlik BPE; sayıları sağdan sola gruplayarak tokenize ediyor.
- Yayın formatı: FP8 ve BF16 safetensors.
Mimarinin asıl iddiası: maliyet
Baidu'nun açıklamasında öne çıkan nokta, mimari tercihlerin tek tek değil birlikte optimize edilmesi. Dikkat katmanlarında hibrit bir yaklaşım var: her yedi katmandan biri tam bağlam erişimini koruyor (MLA + seyrek dikkat), kalan 37 katman ise her 128 tokenı tek bir önbellek girdisine sıkıştırıyor (HCA). Böylece tüm dizi görülüyor ama KV önbelleğinin yalnızca küçük bir kısmı tutuluyor.
MoE tarafında ise tek yönlendirici yerine birden fazla bağımsız yönlendirici kullanılıyor (Multi-Router). Baidu'nun gerekçesi teknik: tek yönlendiricinin verdiği skorlar uzmanın gerçek faydasıyla zayıf korelasyona sahip ve top-k dışında kalan uzman hiç gradyan almadığı için hata kendini besliyor. Çoklu yönlendirici, aktive edilen uzman sayısını ve iletişim hacmini değiştirmeden seçim kalitesini artırıyor.
Buna ek olarak ECHO adı verilen yöntem, ayrı bir çok-token tahmin modülü yerine modelin kendi son katmanını kullanıyor; aynı katman spekülatif çözümlemede taslak model olarak da çalışıyor. mHC (manifold kısıtlı artık bağlantılar) ve MultiMax çıkış başlığı da aynı "eğitim maliyetini düşür, kaliteyi koru" çizgisinde.
Benchmark: aynı boyuttaki base modellerle kıyas
Baidu, modeli DeepSeek-V4-Flash-Base (284B-A13B), Hy3-preview-Base (295B-A21B) ve MiMo-V2.5-Base (310B-A15B) ile aynı değerlendirme hattında karşılaştırdı. Öne çıkan satırlar:
- MMLU (5-shot): 93,3 — DeepSeek 89,4, Hy3 87,5, MiMo 87,6.
- MMLU-Pro: 78,4 — DeepSeek 69,2.
- GPQA: 60,2 — DeepSeek 55,9.
- HumanEval+ (Pass@1): 82,3 — DeepSeek 69,5.
- LiveCodeBench: 40,1 — DeepSeek 31,9.
- LongBench-v2: 48,7 — DeepSeek 44,5.
- RepoQA: 91,7 — DeepSeek 81,0, MiMo 56,5.
Her satırda üstünlük yok: FullStackBench'te Hy3 (56,7) önde, ChineseSimpleQA'da DeepSeek (75,3) geçiyor, HELMET-Rerank ve InfiniteBench'te de rakipler birkaç puan önde. Yani tablo "her yerde birinci" değil, "çoğu satırda önde" diyor. Ayrıca bu skorlar Baidu'nun kendi değerlendirme hattından geliyor; bağımsız ölçümler birkaç hafta içinde netleşir.
Lisans: açık ağırlık, Apache değil
Model, "ERNIE 5.5 Flash Base Model License Agreement v1.0" adlı özel bir lisansla yayınlandı. Bu, ağırlıkların indirilebilir olduğu ama Apache 2.0 ya da MIT gibi tanıdık bir özgür lisansla gelmediği anlamına geliyor. Ticari kullanım planlayan ekiplerin lisans metnini ayrıca okuması gerekiyor; "açık kaynak" ifadesini bu model için "açık ağırlık" diye okumak daha doğru.
Nasıl çalıştırılır?
Baidu, iki servis yolunu belgelemiş durumda. SGLang için resmî Docker imajı (lmsysorg/sglang:dev-ernie-55-flash) ve --tp 4 gibi tipik paralelleştirme ayarları veriliyor. vLLM tarafında ise vLLM 0.32.0 ile birlikte Baidu'nun kendi eklentisi (vLLM-ERNIE) kuruluyor; FP8 KV önbellek ve uzman paralelliği açılıyor. Her iki sunucu da 1M token bağlamı kabul ediyor.
Modelin base sürüm olması pratikte şu anlama geliyor: sohbet formatı, talimat takibi ve güvenlik katmanı yok. Doğrudan ürüne konmaz; önce talimat ince ayarı veya tercih optimizasyonu gerekir. Model kartı da zaten bu kontrol noktasını "araştırma için temiz bir başlangıç" olarak tanımlıyor.
Türkiye'deki ekipler için ne anlama geliyor?
- Sunucu maliyeti: 14B aktif parametre, 280B'lik yoğun bir modele göre çok daha az GPU belleği ve bant genişliği istiyor; yerel kurulumda donanım planlaması kolaylaşıyor.
- Türkçe: Model çok dilli skorlarda iyi (MMMLU-lite 81,0) ama Türkçe için ayrı ölçüm yayınlanmadı. Kendi verinizle ince ayar yapacaksanız base sürüm tam bu iş için uygun.
- Uzun bağlam: 1M token desteği, sözleşme/mevzuat gibi uzun Türkçe dokümanlarla çalışan ekipler için pratik bir seçenek.
Sonuç
Baidu, bir sohbet modeli değil bir eğitim başlangıcı yayınladı. Ham skorlar dikkat çekici, ama gerçek değer lisans koşulları ve topluluğun bu ağırlıklarla ne yaptığında ortaya çıkacak. Post-trained (talimat verilmiş) ERNIE 5.5 Flash'ın da izleyen dönemde gelmesi bekleniyor.