NVIDIA Cosmos 3 Açık Modelleri Yayınlandı: 4 Yeni Checkpoint, 16B Parametre
NVIDIA

NVIDIA Cosmos 3 Açık Modelleri Yayınlandı: 4 Yeni Checkpoint, 16B Parametre

· 3 DK

Yazar: KOZBA

İçindekiler
  1. Dört yeni model
  2. Transfer-Auto: 11 kamera ve LiDAR
  3. Sim-Auto: kapalı döngüde gerçek zamanlı sürüş
  4. Sim-Bimanual: iki kollu robot simülasyonu
  5. Lisans ve donanım gereksinimleri
  6. Cosmos Framework ve hazır skill'ler
  7. Sentetik veri nasıl doğrulanır?
  8. Neden önemli?
  9. Sınırlar

NVIDIA, Cosmos 3 dünya modeli ailesine dört yeni açık ağırlıklı checkpoint ekledi. Hugging Face'te 5 Kasım'da yayımlanan blog yazısına göre modeller, sürüş simülasyonu ve iki kollu robot kontrolü için etkileşimli dünya simülasyonu üretiyor. Dördü de Cosmos 3 Nano'nun sonradan eğitilmiş türevleri ve 16 milyar eğitilebilir parametre taşıyor.

Dört yeni model

  • Cosmos3-Nano-Transfer-Auto: Farklı hava, ışık ve gün saatlerinde çok kameralı sürüş verisi üretir.
  • Cosmos3-Nano-Sim-Auto: Sürüş simülasyonu için senkronize kamera ve LiDAR gözlemi akıtır.
  • Cosmos3-Nano-Sim-Transfer: Simülatör kontrolleri ile metin istemini fotogerçekçi videoya çevirir.
  • Cosmos3-Nano-Sim-Bimanual: Robot veya kamera aksiyonlarından video öngörür.

Transfer-Auto: 11 kamera ve LiDAR

Çift yönlü model, çevrimdışı sentetik sürüş verisi üretmek için tasarlanmış. 11'e kadar standart ve balık gözü kamerayı senkronize ediyor, RGB ile LiDAR'ı birlikte üretebiliyor. Sahne yapısını ve trafik hareketini World Scenario Map (WSM) kontrolleri belirliyor; görünümü metin istemi yönlendiriyor.

Sim-Auto: kapalı döngüde gerçek zamanlı sürüş

Sim-Auto, Transfer-Auto'nun nedensel olarak damıtılmış akış sürümü. Birkaç gürültü giderme adımında, küçük latent kare parçaları halinde senkronize kamera videosu ve LiDAR üretiyor. Üretilen geçmiş ile güncellenen sürüş kontrolleri bir sonraki parçanın koşulu oluyor; bu da uzun ve etkileşimli rollout'ları mümkün kılıyor. WSM render'ı, otonom sürüş politikasından veya insan sürücü arayüzünden gelen girdileri sahne kontrolüne çeviriyor.

Sim-Bimanual: iki kollu robot simülasyonu

Model, iki kollu bir robotun aksiyonlarına ortamın nasıl tepki verdiğini simüle ediyor. YAM ve AgiBot gövde yapıları için etkileşimli iki kol simülasyonu sunuyor; kontroller bir politika modelinden (VLA ya da dünya-aksiyon modeli) veya insanın kullandığı joystick'ten gelebiliyor. Tek bir aksiyon dizisinde kamera gezinmesi ile robot manipülasyonu iç içe çalışabildiği için açık ve kapalı döngü kurulumlarda politika değerlendirmesi, pekiştirmeli öğrenme eğitimi ve teleoperasyon olmadan sentetik gösteri verisi üretimi yapılabiliyor.

Lisans ve donanım gereksinimleri

Dört model de OpenMDW1.1 lisansı altında; ticari ve ticari olmayan kullanıma izin veriyor. Model kartlarında mimari Mixture-of-Transformers (MoT) olarak geçiyor; Sim-Bimanual'ın ağırlık boyutu 15,17 milyar parametre ve BF16. Çalıştırmak için Linux, NVIDIA GPU, Docker ve NVIDIA Container Toolkit gerekiyor. Yayımlanan vLLM-Omni kurulumu tek bir GB200 üzerinde test edilmiş; bu bir minimum bellek şartı değil. Sunucu ağırlıkları indiriyor, istemciler örnek girdileri çekiyor.

Cosmos Framework ve hazır skill'ler

Modeller tek başına ağırlık olarak gelmiyor; bir araç zinciriyle birlikte yayımlanıyor. NVIDIA'nın Cosmos Framework deposunda her checkpoint için bir "skill" tanımı var: Transfer-Auto, Sim-Auto ve Sim-Bimanual için ayrı iş akışları, kendi verinizle sonradan eğitim adımlarını tarif ediyor. Kendi araç düzeneğinize uyarlamak istiyorsanız sıra şu: önce Transfer-Auto'yu kendi verinizle eğitin, sonra nedensel damıtma ile Sim-Auto'yu üretin. Robot tarafında aynı mantık gövde yapısına göre tekrarlanıyor.

Sentetik veri nasıl doğrulanır?

Üretilen sürüş sahneleri gerçek loglarla aynı istatistiği tutmuyorsa, algı yığını yanlış yönde eğitilir. Pratik kontrol üç başlıkta yapılıyor: sensör geometrisi (kamera iç ve dış parametreleri, LiDAR hizalaması), nadir olay dağılımı (yağmur, gece, ani fren oranları) ve politika davranışı (üretilen sahnelerde aracın kararları gerçek loglarla tutarlı mı). Bu üçü tutmuyorsa veri seti büyük görünür ama fayda üretmez.

Neden önemli?

Fiziksel yapay zekanın darboğazı model değil, veri. Sürüş ekipleri LiDAR ve kamera kombinasyonlarını gerçek yollarda toplamak zorunda kaldıkça nadir senaryolar (gece, yağmur, ani fren) pahalı kalıyor. Sentetik rollout bu senaryoları ölçeklenebilir hale getiriyor. Robot tarafında ise politika değerlendirmesi donanım gerektirmeden yapılabildiği için eğitim döngüsü kısalıyor.

Sınırlar

Dört model de Nano sınıfının türevi; Super (65B) ve Edge (4B) sürümleri ayrı duruyor. Sentetik veri gerçek sensör gürültüsünü ve nadir fiziksel olayları her zaman yakalamıyor; bu yüzden üretilen veri setlerinin gerçek veriyle karıştırılarak doğrulanması gerekiyor. GB200 referansı da kurumsal olmayan ekipler için maliyet sorusunu açık bırakıyor.

Paylaş