Meta Muse Artık Görüntülü Konuşuyor: Muse Realtime Avatar ABD'de Herkese Açıldı
Yazar: KOZBA
İçindekiler
Meta, Muse Voice özelliğini ABD'de herkese açtı. Kullanıcılar artık şirketin tüketici ajanı Muse ile sesli görüşmenin yanı sıra görüntülü konuşabiliyor. Avatar, Muse Realtime Avatar ve Muse Realtime Voice adlı iki modelin ortak çıktısıyla çalışıyor.
Ne açıldı?
Muse Voice, Eylül ayındaki Meta Connect konferansında tanıtılmıştı. Duyuru, Meta'nın yapay zeka biriminin başındaki Alexandr Wang tarafından X'te paylaşılan bir demo ile yapıldı. Özellik şu anda ABD ile sınırlı; Meta, Muse'un 18 yaş ve üzeri kullanıcılar için olduğunu belirtiyor.
Avatar "Jolly" ve özelleştirme
Muse'un ayırt edici tarafı, rakiplerin sesli sohbetlerinden farklı olarak animasyonlu bir karakter sunması. Varsayılan avatar "Jolly" olarak anılıyor; kullanıcılar bunu insana, hayvana veya başka bir karaktere dönüştürebiliyor. Meta, avatarın konuşma sırasında tonuyla uyumlu "ince ifadeler ve jestler" kullandığını söylüyor. Önemli bir sınır: Muse kullanıcıyı görmüyor, yalnızca duyuyor ve konuşmaya tepki veriyor.
Tek token akışı, iki çıktı
Sistemin çekirdeği, ses ve görüntünün aynı yerden beslenmesi. Muse Realtime Voice, konuşmanın hem ne söylendiğini hem nasıl söylendiğini taşıyan bir ses token'ı (VQ) akışı üretiyor. Bir ses kodlayıcısı bu token'ları konuşmaya çeviriyor; Muse Realtime Avatar ise aynı akışı tüketerek karşılık gelen görsel performansı üretiyor. Akışın paylaşılması, dudak hareketi ile ifadenin senkron kalmasını sağlıyor.
Mimari: nedensel, parça parça video
Muse Realtime Avatar, konuşma token'ı akışı, referans görsel ve son video latent'lerinden oluşan kayan bir pencereyle koşullanan, ses güdümlü bir Diffusion Transformer. Videoyu küçük nedensel parçalar halinde üretiyor; her parça tamamlandığında en yeni latent'ler bir sonrakinin hareket bağlamı oluyor. Böylece avatarın görünümü ve tavırları konuşma boyunca tutarlı kalırken hesaplama sınırlı kalıyor ve üretim, konuşma sürdüğü sürece devam edebiliyor.
120 değerlendirmeden 2'ye: 60 kat
Meta'nın mühendislik iddiası burada. Öğretmen model, her parça için 40 difüzyon adımı ve üç yönlü sınıflandırıcısız yönlendirme (CFG) kullanıyor; bu, adım başına üç model geçişi ve parça başına 120 model değerlendirmesi demek. Şirket, difüzyon sürecini ve CFG etkisini birlikte damıtarak yönlendirmesiz iki adımlı bir öğrenci model üretmiş. Sonuç: öğretmenin 120 değerlendirmede yaptığını 2 değerlendirmede yapan, 60 kat daha az hesaplama kullanan bir model. İnsan tercihi testinde öğrenci %55, öğretmen %45 aldı; yani kalite korunmakla kalmamış, tercih öğrenciye kaymış.
Sunucu tarafı: GB200'de 12 eşzamanlı oturum
Meta, bu optimizasyonlar ve ses-video orkestrasyonu ile sunum kapasitesini iki adımlı BF16 temel çizgisine göre 8 kat artırdığını söylüyor. Pratik karşılığı: tek bir GB200 üzerinde video üretimi için 12 eşzamanlı gerçek zamanlı oturum. Gecikme, blog yazısında "saniye altı" olarak tarif ediliyor.
Filigran ve güvenlik
Üretilen video, Meta Video Seal ile görünmez ve kalıcı bir filigran taşıyor; Meta bunun gerçek zamanlı deneyime gecikme eklemediğini belirtiyor. Şirket ayrıca kötüye kullanımı azaltmak için sıkı güvenlik gereklilikleri uyguladığını söylüyor.
Rakiplerle karşılaştırma
Piyasadaki sesli asistanların çoğu ya metin tabanlı bir sohbetin üzerine konuşma katmanı ekliyor ya da sabit bir avatar kullanıyor. Muse'un farkı, avatarın konuşmanın içeriğine ve tonuna göre jest üretmesi: aynı cümle, farklı tonlarda farklı beden diliyle karşılanıyor. Bu, gerçek zamanlı video üretimi gerektirdiği için maliyeti doğrudan çıkarım hızına bağlı. Meta'nın damıtma hamlesi tam bu yüzden kritik: 60 kat daha az değerlendirme, oturum başına maliyeti düşürmeden ölçeklenemezdi.
Neden önemli?
Meta'nın bahsi, insanların bir yapay zeka ajanına, sesi ve yüzü olan bir karakter üzerinden bağlanacağı. Şirket bunu açıkça söylüyor: Muse'u bu şekilde kişiselleştirmek, kullanıcının ajanla kurduğu bağı güçlendirebilir. Bu yaklaşımın bir de donanım ayağı var: Meta, Muse'u fiziksel dünyaya taşıyacak Tamagotchi benzeri bir giyilebilir cihaz üzerinde çalışıyor.
Sınırlar
Özellik ABD ile sınırlı ve Muse kullanıcıyı görmüyor; yani "görüntülü konuşma" iki yönlü bir kamera deneyimi değil, avatarın canlı performansı. Blog yazısındaki örneklerin tamamı uygulamada erişilebilen avatarları yansıtmıyor. Türkiye'den kullanmak isteyenler için tarih verilmedi.