İçindekiler
NVIDIA'nın çok kipli modeli Nemotron 3.5 Super VL, Amazon EKS ve Amazon SageMaker HyperPod EKS üzerinde ajan iş yükleri için kullanılabilir hale geldi. AWS Machine Learning Blog'da yayınlanan teknik inceleme, modelin mimarisini ve dağıtım desenlerini NVIDIA Dynamo ile vLLM üzerinden anlatıyor. İnceleme, NVIDIA ve AWS çözüm mimarları tarafından birlikte kaleme alındı.
Modelin en dikkat çekici tarafı boyutu: 120 milyar parametreli bir mixture-of-experts (MoE) yapısı var, ancak her token için bunun yalnızca 12 milyar parametresi aktive ediliyor. Yani modelin toplam ağırlıkları GPU belleğinde duruyor, fakat token başına hesaplama maliyeti çok daha küçük bir modele benziyor.
Hibrit Mamba-Transformer mimarisi nedir?
Nemotron 3.5 Super VL, Mamba-2, attention ve expert katmanlarını iç içe kullanan hibrit bir MoE mimarisine sahip. Burada kritik nokta Mamba-2 katmanları: üretim sırasında sabit boyutlu bir durum taşıdıkları için bellekleri, KV önbelleğinde olduğu gibi dizi uzunluğuyla büyümüyor. Uzun bağlamlı işlerde bu fark doğrudan maliyete yansıyor.
Aynı model hem metin hem görsel, doküman ve video anlayabiliyor; akıl yürütme ile araç kullanımını tek çatı altında birleştiriyor. Pratikte bu, bir ajan kurarken ayrı bir görsel modeli veya ayrı bir doküman çözümleyici beslemek zorunda kalmamak anlamına geliyor.
Hangi işler için konumlandırılıyor?
- Kodlama: kodu test etmek, doğrulamak, hataları analiz edip düzeltme önermek.
- Web araştırması: arama araçlarının döndürdüğü kaynakları çapraz kontrol etmek ve doğrulamak.
- Doküman zekası: tablo, grafik ve sayfa düzenlerini okuyup özet üretmek.
- Siber güvenlik: zafiyet tespiti ve tehdit triyajı.
- Video anlama: arama, içerik incelemesi ve olay analizi.
Model, NVIDIA'nın referans uygulamaları, cookbook'ları ve NVIDIA Agent Toolkit üzerinden yaygın açık ajan çerçeveleriyle ve orkestrasyon sistemleriyle entegre oluyor. Yani ekipler modeli kendi ajan mimarilerine gömmek için sıfırdan entegrasyon yazmak zorunda değil.
AWS üzerinde nasıl çalıştırılıyor?
Dağıtım tarafında üç seçenek öne çıkıyor: Amazon EKS, EKS Auto Mode ve SageMaker HyperPod EKS. Çıkarım katmanı NVIDIA Dynamo ve vLLM ile kuruluyor. Bu kombinasyon, modelin birden fazla GPU'ya yayılmasını ve eşzamanlı isteklerin yönetilmesini sağlıyor.
AWS tarafında ayrıca Nemotron 3.5 Lightning modeli de Amazon SageMaker JumpStart üzerinde hazır durumda. Lightning, Super VL'den farklı olarak daha hafif ve hızlı yanıt odaklı bir seçenek; ikisi birlikte "büyük akıl yürütme modeli + hızlı yardımcı model" desenini kurmayı kolaylaştırıyor.
Performans nasıl ölçülüyor?
İnceleme, dağıtılan modelin performansını NVIDIA'nın aiperf aracıyla ölçmeyi öneriyor. aws-do-eks konteyneri, GPU ve EFA adaptör kullanımını görselleştirmeyi ve eşzamanlılık testlerini tek komutla çalıştırmayı sağlıyor. Yayında ayrıca bir NCCL all-reduce testi sırasında tam GPU kullanımını ve EFA trafiğini gösteren bir panel yer alıyor; bu, ağ katmanının çıkarım performansına etkisini görmek için pratik bir kontrol.
Başlamak isteyenler için referans uygulama, aws-samples/aws-do-eks deposunun agentic-ai/nemotron yolunda duruyor; model kendi AWS hesabınızda bu şablonla ayağa kaldırılabiliyor.
Neden önemli?
Ajan tartışmasının en somut sorusu şu: bir ajanı üretimde çalıştırmak ne kadar pahalı? Nemotron 3.5 Super VL'nin cevabı, seyrek aktivasyon ve sabit durumlu katmanlarla uzun bağlamı ucuzlatmak. Tek modelin metin, görsel, doküman ve videoyu birlikte işlemesi de mimariyi sadeleştiriyor.
Buna karşılık 120 milyar parametrenin tamamının GPU belleğinde durması, kurulum maliyetini ve donanım ihtiyacını hâlâ belirleyen faktör. Modelin açık ağırlıklarla mı yoksa yalnızca AWS üzerinden mi sunulduğu, kurumların yerinde çalıştırma kararını doğrudan etkileyecek. Bu ayrım netleşene kadar en gerçekçi yol, EKS veya HyperPod üzerinde bir pilot kurup aiperf ile kendi iş yükünüzde ölçüm yapmak.