Nemotron 3.5 Super VL SageMaker JumpStart'ta: 120B Parametre, 1M Token Bağlam
NVIDIA

Nemotron 3.5 Super VL SageMaker JumpStart'ta: 120B Parametre, 1M Token Bağlam

· 4 DK

Yazar: KOZBA

İçindekiler
  1. Nemotron 3.5 Super VL nedir?
  2. Mimari: Mamba-2, MoE ve C-RADIO
  3. JumpStart'taki iki sürüm
  4. Benchmark sonuçları
  5. Neden önemli: ajanlar için arayüz anlama
  6. Diller, lisans ve sınırlar
  7. Kimler için uygun?
  8. Sonuç

NVIDIA'nın görsel-dil modeli Nemotron 3.5 Super VL, Amazon SageMaker JumpStart kataloğuna eklendi. AWS'nin 9 Kasım 2026 tarihli duyurusuna göre model, metin, görsel ve videoyu girdi olarak kabul edip metin üretiyor; iki farklı ağırlık varyantıyla dağıtılabiliyor.

Bu ekleme, açık ağırlıklı bir görsel-dil modelini kendi hesabında, kendi altyapında çalıştırmak isteyen ekipler için pratik bir kısayol anlamına geliyor. Modeli Hugging Face üzerinden indirip kurmak yerine JumpStart ekranından seçip birkaç satır SDK koduyla uç nokta açmak mümkün.

Nemotron 3.5 Super VL nedir?

Nemotron 3.5 Super VL, NVIDIA'nın Nemotron 3.5 ailesindeki görsel-dil modeli. Toplam 120 milyar parametreye sahip, ancak token başına yalnızca 12 milyar parametre aktif oluyor. Bu seyrek (MoE) yapı, modelin toplam boyutu büyürken çıkarım maliyetini görece düşük tutmasını sağlıyor.

NVIDIA modeli özellikle dört iş için konumlandırıyor: belge zekâsı, bilgisayar kullanımı ajanları için arayüz (GUI) anlama, video soru-cevap ve çok kipli ajan uygulamaları. Bağlam penceresi 1 milyon token'a kadar çıkıyor.

Mimari: Mamba-2, MoE ve C-RADIO

Dil omurgası 88 katmandan oluşuyor. Bu katmanlarda Mamba-2 ve MoE katmanları iç içe geçiyor; her MoE katmanında 512 yönlendirilmiş uzman (expert) var ve token başına bunlardan 22'si aktif. Omurgaya 8 dikkat (attention) katmanı eşlik ediyor. Model, Nemotron 3 Super Base üzerine kurulmuş ve Nemotron 3 Ultra Base'den damıtılmış.

Görsel tarafında C-RADIO adlı bir görsel kodlayıcı ile bir görsel-dil bağlayıcısı bulunuyor. Kodlayıcı, görselleri ve videodan örneklenen kareleri vektöre çeviriyor; bağlayıcı bunları dil omurgasının gömme uzayına taşıyor. Her iki varyantta da kodlayıcı ve bağlayıcı BF16 hassasiyetinde kalıyor.

Modelde ayrıca yerleşik bir Çoklu Token Tahmini (MTP) kafası var. Bu kafa, spekülatif kod çözme için kullanılıyor. Düşünme modu istek bazında açılıp kapatılabiliyor; enable_thinking parametresiyle yönetiliyor ve orta seviye bir bütçe de seçilebiliyor.

JumpStart'taki iki sürüm

JumpStart iki varyant sunuyor. NVFP4, BF16 ağırlıklardan niceleme farkındalıklı damıtmayla üretilmiş sürüm; BF16 ise tam hassasiyetli referans ağırlıklar. İkisi arasındaki fark yalnızca disk ve bellek değil, kullanım amacı:

  • NVFP4: yaklaşık 75 GB kontrol noktası boyutu, Blackwell GPU'larda 4 bit ağırlık ve aktivasyonla (W4A4) çalışıyor. Varsayılan örnek tipi ml.g7.24xlarge; yani 4 adet RTX PRO 4500 Blackwell Server Edition ve 128 GB GPU belleği.
  • BF16: yaklaşık 249 GB kontrol noktası boyutu, ml.p5en.48xlarge üzerinde 8 adet H200 ve 1.128 GB GPU belleği istiyor. İnce ayar, RL, damıtma ve alan uyarlaması gibi özelleştirme işleri için öneriliyor.

NVFP4'te görsel kodlayıcı, bağlayıcı, Mamba evrişimleri ve gömmeler BF16'da, MoE yönlendiricisi ise FP32'de tutuluyor. AWS, NVFP4 sürümünün JumpStart'ta varsayılan olduğunu belirtiyor.

Benchmark sonuçları

NVIDIA'nın model kartında BF16 ve NVFP4 için ayrı ayrı sonuçlar var. Görsel iş yükleri açısından en anlamlı satırlar şöyle:

  • MMLongBench-Doc (uzun belge, çok kipli): BF16 62,82 — NVFP4 62,82
  • OCRBench v2 (İngilizce): 68,12 — 68,34
  • CharXiv reasoning (grafik yorumlama): 80,82 — 79,88
  • Video-MME v2 (video anlama): 32,85 — 32,54
  • OSWorld-Verified (görsel bilgisayar kullanımı): 51,14 — 52,30

Metin ve ajan tarafında da dikkat çeken değerler var: GPQA-Diamond 89,52, LiveCodeBench v6 88,22, SWE-bench Verified 71,10, tau2-bench airline 76,50 ve BrowseComp 78. Nicelemenin en çok zorlandığı yer Terminal-Bench 2.1 oldu: BF16 66,70 iken NVFP4 60,80'e geriliyor.

Neden önemli: ajanlar için arayüz anlama

OSWorld-Verified, modelin ekran görüntüsüne bakarak arayüz üzerinde işlem yapma becerisini ölçüyor. 52 puanlık sonuç, modelin bilgisayar kullanımı ajanlarında ciddiye alınacak bir seviyeye geldiğini gösteriyor; ama insan düzeyinden hâlâ uzak. Video-MME v2'deki 32,85 ise videonun en zayıf halka olduğunu açıkça söylüyor.

Belge tarafı daha olgun: MMLongBench-Doc ve OCRBench v2 skorları, uzun faturalar, tablolar ve taranmış dokümanlar için modelin üretimde kullanılabileceğini gösteriyor. Nicelemenin bu iki testte neredeyse hiç kayıp vermemesi, NVFP4'ü maliyet açısından cazip kılıyor.

Diller, lisans ve sınırlar

Model İngilizce, Fransızca, Almanca, İtalyanca, Japonca, İspanyolca ve Çince destekliyor. Lisans OpenMDW 1.1; ticari ve ticari olmayan kullanıma açık. JumpStart'ın sunduğu sunum yapılandırmasında bağlam 520 ile 15.600 token arasında sınırlandırılmış durumda, yani modelin 1 milyon tokenlık üst sınırı bu kurulumda fiilen kullanılmıyor.

İki sınır daha var: JumpStart sunumunda yerleşik MTP kafası etkin değil ve LoRA adaptör sunumu desteklenmiyor. Bu iki özelliği kullanmak isteyenlerin modeli kendi altyapısında, örneğin NIM konteyneriyle çalıştırması gerekiyor.

Kimler için uygun?

Elinde taranmış belge, tablo veya ekran görüntüsü yığını olan ve bunları kendi hesabında işlemek isteyen ekipler için en net kullanım senaryosu. Veriyi üçüncü taraf bir API'ye göndermek istemeyen kurumlar, açık ağırlıklı ve kendi VPC'sinde çalışan bir modele bu yüzden yönelebiliyor. Bilgisayar kullanımı ajanı geliştirenler için de OSWorld skoru bir başlangıç noktası sunuyor.

Sonuç

Nemotron 3.5 Super VL, 120B toplam / 12B aktif yapısıyla "büyük model, küçük çıkarım faturası" dengesini hedefliyor. JumpStart'a eklenmesi, modeli denemek için gereken kurulum eşiğini düşürüyor: NVFP4 sürümü tek bir g7.24xlarge örneğinde ayağa kalkıyor. Buna karşılık video anlama ve uzun bağlam iddiasının pratikte ne kadar karşılık bulduğunu görmek için kendi verinizle test etmek gerekiyor. Model kartındaki benchmark tabloları iyi bir başlangıç, ama satın alma kararının yerini tutmuyor.

Paylaş