Amazon ALoDLM 8B: Döngülü Difüzyon Modeli

Amazon, döngülü difüzyon dil modeli ailesi ALoDLM'i yayınladı: ALoDLM-1.7B ve ALoDLM-8B. İki model de karşılık gelen Qwen3 temel modelleri üzerine kuruluyor; ancak metni otoregresif biçimde, yani token token değil, paylaşılan transformatör katmanlarını tekrar tekrar uygulayarak üretiyor. Model kartı, ağırlıkların CC BY-NC 4.0 lisansıyla, yani yalnızca ticari olmayan araştırma kullanımı için paylaşıldığını belirtiyor.

Difüzyon dil modeli ne demek?

Maskeli difüzyonda model, bir dizi bilinmeyen konumu aynı anda çözmeye çalışır. Bazı konumlar eldeki bağlamdan hemen çözülebilirken bazıları ek iyileştirme turu gerektirir. Sabit derinlikli bir gürültü giderici her konuma aynı hesaplama derinliğini uygular; ALoDLM ise bu tahsisin daha iyi yapılıp yapılamayacağını araştırıyor.

ALoDLM, paylaşılan transformatör katmanlarına uyarlanabilir yineleme ekliyor. Erken tamamlanan tokenlar kalan konumlar için çözülmüş bağlam sağlıyor; çözülmemiş tokenlar gizli durumlarını koruyup ek yinelemeli geçişlerle iyileştiriyor. Tahmin güveni tokenların ne zaman kesinleşeceğini belirlerken, öğrenilmiş bir durdurma politikası yineleme döngüsünün ne zaman biteceğine karar veriyor. Yaklaşımın üç bileşeni var:

Kalıcı gizli iyileştirme: Paylaşılan katmanları, çözülmemiş temsilleri yinelemeli geçişler boyunca iyileştirmek için yeniden kullanmak.
Öğrenilmiş hesaplama tahsisi: Token bazlı hesaplama çizelgelerini gizli değişken olarak ele alıp token tahmini ile hesaplama tahsisini birlikte öğrenmek.
Çıkarım anında kontrol: Kapı eşiği q ve entropi eşiği τ ile yinelemeli iyileştirme ve paralel token kesinleştirme arasındaki dengeyi ayarlamak.

Kıyaslama sonuçları

Makalenin 11 kıyaslamalık tablosu, on modeli yan yana koyuyor. ALoDLM-8B, 8B grubunda ortalama 80,3 puanla en iyi sonucu alıyor; otoregresif temel model Qwen3-8B 78,5'te kalıyor. Diğer difüzyon modelleri ise 53,3 ile 75,1 arasında puan alıyor. Öne çıkan tek tek skorlar şöyle:

Bilgi ve akıl yürütme: ARC-Challenge'da 94,4 (Qwen3-8B 93,9), ARC-Easy'de 98,1 (96,1), MMLU-Pro'da 63,9 (56,8), GPQA-Diamond'da 49,5 (47,0).
Matematik: GSM8K'da 94,2 (93,6), MATH-500'de 80,8 (81,8).
Kod: HumanEval'de 87,8 (85,4), HumanEval+'ta 84,2 (79,3), MBPP+'ta 72,5 (74,5).

1.7B sınıfında da ALoDLM-1.7B, ortalama 65,5 puanla Qwen3-1.7B'nin 63,8 puanını ve diğer difüzyon modellerinin 61,0 puanını geçiyor.

Hız tarafı

Makale, tek bir NVIDIA B200 GPU üzerinde GSM8K doğruluğu ile tek akışlı üretim hızını karşılaştırıyor. Yayın notlarında ve topluluk paylaşımlarında, paralel kesinleştirme (paralel commit) modunda temel modele kıyasla yaklaşık üç kat üretim hızı bildiriliyor. Model kartı, hız ölçümlerinin kalite karşılaştırmasından ayrı bir çalışma moduna ait olduğunu ve taşınabilir çözücünün hızını göstermediğini açıkça not düşüyor.

Eğitim verisi ve mimari ayrıntıları

Eğitim verisi matematik problemleri ve çözümleri, programlama görevleri ve kod çözümleri ile talimat biçimli metinlerden oluşuyor. Model kartı, önek ve sonek transformatör bloklarını mimarinin isteğe bağlı bileşenleri olarak tanımlıyor. Değerlendirme, SDAR'ın benimsediği OpenCompass protokolünü izliyor: her modelin kendi sohbet şablonu, açgözlü token seçimi ve 4096 tokenlık üretim sınırı kullanılıyor. Her iki ALoDLM modeli 16 tokenlık pencereyle çalıştırılmış; ortalama kümülatif durdurma eşiği 1.7B sürümünde 0,4, 8B sürümünde 0,5. Her yinelemeli geçiş bir token kesinleştiriyor ve entropi tabanlı seçim devre dışı bırakılmış durumda; ardışık geçişler tek bir gürültü giderme adımı içinde birden fazla token kesinleştirebiliyor.

Nasıl denenir ve sınırlar

Modeller Python 3.12 ve Amazon'un amazon-science/ALoDLM deposuyla çalıştırılıyor. Kart, BF16 destekleyen bir NVIDIA GPU'da ALoDLM'e özel optimize edilmiş nano-vLLM motorunun kurulmasını ve üretimin bununla yapılmasını öneriyor; eğitim gerekmiyor. Amaçlanan kullanım, difüzyon dil modellemesi, uyarlanabilir hesaplama, matematiksel akıl yürütme ve kod üretimi üzerine ticari olmayan araştırma.

Model kartı, raporlanan kıyaslamaların otonom çalışma veya ciddi sonuçları olan kararlar için hazır olma anlamına gelmediğini vurguluyor.