İçindekiler
NVIDIA, Nemotron Labs çatısı altında geliştirdiği Dory 1.0 4B modelini yayımladı. Modelin ayırt edici tarafı mimarisi: aynı katman bloğu birden çok kez uygulanıyor, böylece tek bir kontrol noktası farklı hesaplama bütçelerine hizmet edebiliyor.
Döngülü mimari nedir?
Dory, "looped" yani döngülü bir dil modeli. Katman yığını üç gruba ayrılıyor: giriş, yinelemeli ve çıkış. Ortadaki 20 katmanlık paylaşılan blok, giriş ve çıkış bloklarının arasında birden fazla kez uygulanıyor ve girdi her döngüde yeniden veriliyor. Giriş ve çıkış blokları sekiz katmanlı. Mimari, aralarda kayan pencere dikkati ile tam dikkat katmanlarını harmanlayan normalize GPT omurgası üzerine kurulu.
Esnek çıkarım bütçesi
En pratik fayda elastik çıkarım hesaplaması: döngü sayısını değiştirerek aynı modelden farklı doğruluk-maliyet dengesi elde ediliyor. Yeniden eğitim ya da model değiştirme gerekmiyor. Bu, tek bir kontrol noktasının basit görevlerde tek döngü, zor görevlerde dört döngü ile çalışması anlamına geliyor. NVIDIA'ya göre ek hesaplama, uzun çıktı üretmek yerine gizli uzayda düşünmeye gidiyor; model görevi daha az token üreterek çözüyor.
Bellek verimliliği
Döngülü modellerde her döngü kendi KV önbelleğini tuttuğu için bellek kullanımı döngüyle birlikte büyür. NVIDIA, Dory'de son döngü KV önbelleği desteği sunuyor: yinelemeli dikkat katmanı başına tek önbellek tutulduğu için model, kaç döngü çalıştığından bağımsız olarak döngüsüz eşdeğeriyle aynı bellek yükünü taşıyor. Bu, uzun bağlamla çalışan ajan sistemlerinde bellek bütçesini öngörülebilir kılıyor.
Teknik künye
Model 4 milyar parametreli, BF16 hassasiyetinde ve 256 bin token bağlam penceresi sunuyor. Yalnızca İngilizce destekli. Lisans, OpenMDW 1.1 model lisans anlaşması; ticari ve ticari olmayan kullanıma açık. Yayın tarihi 16 Ekim 2026. BF16, MXFP8, NVFP4 ve Q5_K_M formatlarında indirilebiliyor. Model, NVFP4 adlı 4 bitlik kayan nokta formatında doğal olarak ön eğitildikten sonra BF16'da eğitime devam edilerek hazırlanmış.
Benchmark sonuçları
Döngü sayısının etkisi tabloda net: SWE-bench Verified'da tek döngüde 50,3, dört döngüde 61,8. SciCode 27,3'ten 35,11'e, Terminal-Bench 2.1 12,5'ten 22,2'ye, bankacılık senaryolu tau³-bench 11,6'dan 14,69'a çıkıyor. Karşılaştırma tablosunda Qwen3.5-4B (SWE-bench 54,7), Qwen3.5-9B (61), Gemma 4 26B A4B (57,4) ve Qwen3.6-35B-A3B (73,4) yer alıyor. Dory, dört döngüde kendisinden çok daha büyük bazı modellerle aynı bantta konumlanıyor; tek döngüde ise bu modellerin gerisinde kalıyor.
Kimler için?
Model, küçük ayak izinde genel amaçlı muhakeme hedefleyen ekipler için tasarlanmış. Aynı kontrol noktasını farklı görev zorluklarına uyarlama esnekliği, tek bir sunucuda değişken gecikme bütçeleriyle çalışan ajan sistemlerinde işe yarıyor. 4 milyar parametre, modeli yerel donanımda ve uç cihazlarda çalıştırmayı da mümkün kılıyor.
NVFP4 nedir ve neden önemli?
NVFP4, NVIDIA'nın 4 bitlik kayan nokta formatı. Dory, normalize GPT omurgası üzerinde doğrudan bu formatta ön eğitildikten sonra BF16'da eğitime devam edilerek hazırlanmış. Düşük hassasiyette eğitim, aynı donanımda daha büyük partiler ve daha hızlı deneme döngüleri anlamına geliyor. Modelin aynı ağırlıklarının BF16, MXFP8, NVFP4 ve Q5_K_M olarak ayrı ayrı sunulması, farklı dağıtım senaryolarında doğrudan kullanılabilmesini sağlıyor.
Döngülü yaklaşımın sınırları
Elastik hesaplama güçlü bir kaldıraç ama bedava değil: her ek döngü çıkarım süresini ve maliyetini artırıyor. Model yalnızca İngilizce destekliyor ve tek döngüde karşılaştırma tablosundaki daha büyük modellerin gerisinde kalıyor. Bu nedenle Dory, en yüksek mutlak puandan çok, sabit bir bellek bütçesinde doğruluk ayarlama esnekliğiyle öne çıkıyor.
Sonuç
Dory 1.0 4B, "daha büyük model" varsayımına alternatif bir yol sunuyor: aynı parametreleri farklı sayıda yineleyerek hesaplamayı ölçeklemek. Döngü sayısı arttıkça doğruluk belirgin biçimde yükseliyor, bellek yükü ise artmıyor. Yaklaşımın sınırı, modelin hâlâ yalnızca İngilizce desteklemesi ve tek döngüde rakiplerin gerisinde kalması.