vLLM Semantic Router'dan Decision 3.0: Altı Açık Karar Modeli Yayınlandı
Yazar: KOZBA
İçindekiler
vLLM Semantic Router ekibi, açık karar modeli ailesi Decision 3.0'ı yayınladı. Hugging Face'te vllm-sr organizasyonunda 10 Ekim'de yayınlanan altı checkpoint, 0,59 milyar ile 26,09 milyar parametre arasında değişiyor ve tamamı Apache-2.0 lisanslı. Modeller metin, JSON, görsel ve video okuyor; çıktı olarak tek bir kelime bile üretmeden her seçenek için olasılık döndürüyor.
Altı model, tek sözleşme
Modelsiz karar verenler için aile geniş bir yelpaze sunuyor:
- d3 — 26,09B parametre (0,46B görsel kodlayıcı dahil), Qwen3.8-27B tabanlı
- d3-flash — 8,39B, Qwen3.5-9B tabanlı
- d3-mini — 4,54B, Qwen3.5-4B tabanlı
- d3-nano — 2,21B, Qwen3.5-2B tabanlı
- d3-lite — 0,85B, Qwen3.5-0.8B tabanlı
- d3-edge — 0,59B, uç cihazlar için
Hepsi aynı istek sözleşmesini kullanıyor: bir durum (metin veya JSON, isteğe bağlı görsel ve video) ile adlandırılmış sorular sözlüğü gönderiliyor; yanıt, her soru için tipli olasılık dağılımı olarak geliyor. Üç soru biçimi var: çoktan seçmeli, evet/hayır ve puanlama. Aynı girdi üzerinde birden fazla soru tek çağrıda yanıtlanıyor; her soru kendi ileri geçişini yapıyor ve hiçbir yerde kod çözme döngüsü çalışmıyor.
Girdi sınırları
Model kartlarına göre bir istekte birden fazla görsel gönderilebiliyor ve her biri 1,6 megapiksele kadar okunuyor. Video tarafında MP4, WebM, MOV ve MKV destekleniyor; klipler saniyede 2 kare hızında örnekleniyor, toplamda en fazla 32 kare alınıyor ve her kare 0,2 megapiksel sınırında tutuluyor. Bir istekteki her soru, o isteğe eklenen tüm görsel ve videoları görüyor. Ağırlıklar BF16 biçiminde ve Transformers ile yükleniyor.
Rakamlar: Jev Decision Index
Ekip, sonuçları Jev 0.3.1 değerlendirme setini kullanarak açıklanan ağırlıklar üzerinde ölçtüğünü belirtiyor. Buna göre 27B'lik d3, metinde 64,7 ve görselde 71,6 puanla iki tabloda da ilk sırada yer alıyor. Boyut bazında karşılaştırmalar şöyle:
- d3-mini (4B): Jev Decision Index 54,2 — ezjev 4B s2 47,0, Decision 2.0 (4B) 45,0
- d3-lite (0,85B): 29,0 — jiwo 0.8B 24,3, EXAONE-4.0-1.2B-JEV v0.3 23,3
- d3-flash (9B), ekibin bir önceki jenerasyon 27B modeli Decision 2.0'ı geçiyor
- Video sıfır atış: Perception Test doğrulama setindeki 19.140 soruda 27B modeli 77,4, 4B modeli 70,3 puan alıyor; hiçbir model eğitimde video görmedi
Modeller AMD Instinct MI325X üzerinde eğitildi. Tüm depolarda güvenlik için dosya başına SHA-256 özeti içeren bir manifest ve sabitlenmiş taban model sürümü bulunuyor.
Çekince: duyuru gecikti
Ailenin yayınına dair resmî bir blog yazısı henüz paylaşılmadı; vLLM projesinin sosyal medya hesabı 11 Ekim'de ekibi tebrik etmekle yetindi. Jev Decision Index sıralaması da modeli yayınlayan ekibin kendi ölçümü; kartların kendisi bile Torchcast Decision 27B'nin kamusal sette d3'ü geçtiğini not ediyor. Yani indirmek için hiçbir engel yok, ama sıralamayı olduğu gibi kabul etmek için henüz erken.
Neden önemli?
Karar modelleri, ajan mimarilerinde "hangi modele gitsin, bu işlem güvenli mi, bu içerik spam mı" sorularını üretken modellere göre çok daha ucuza yanıtlıyor. Apache-2.0 lisanslı altı farklı boyutun aynı sözleşmeyle gelmesi, ekiplerin 0,6B'lik uç sürümü test edip yeterli bulursa üretime almasını, bulamazsa 27B'ye geçmesini mümkün kılıyor. Karar modeli yarışında asıl rekabet artık tek bir amiral gemisi modelde değil, boyut-verimlilik eğrisinde yaşanıyor.
Sonuç
Decision 3.0, açık ağırlıklı karar modellerinin görsel ve video girdisine uzandığı ilk ailelerden biri. Belgeleme ve duyuru tarafındaki eksikler kısa sürede kapanmazsa, ekiplerin üretim kararı vermek için topluluk ölçümlerini beklemesi gerekecek.