Underdog Woof: 32 MB'lık Ses Modeli Tarayıcıda Çalışıyor
Diğer AI Modelleri

Underdog Woof: 32 MB'lık Ses Modeli Tarayıcıda Çalışıyor

· 3 DK

Yazar: KOZBA

İçindekiler
  1. Model 31 milyon parametreyle geliyor
  2. Tarayıcıda, internetsiz çalışan bir demo
  3. Bark ve 27 milyar parametreli model de portföyde
  4. Kurucunun hedefi: cihazda çalışan, açık ve özel yapay zeka
  5. Küçük modeller neden önemli?
  6. Özet

Yapay zeka dünyası daha büyük ve daha yetenekli modeller üretmek için yarışırken, bazı araştırmacılar ve girişimler ters yöne gidiyor: telefon veya bilgisayar gibi uç cihazlarda çalışabilecek küçük modeller geliştiriyor. Bu girişimlerden Underdog, Woof adını verdiği yeni ses modeliyle yapılmış bir oyun yayınladı. Modelin boyutu yalnızca 32 MB.

Model 31 milyon parametreyle geliyor

Underdog'un yeni metinden sese modeli Woof, 31 milyon parametre içeriyor ve yaklaşık 31,7 MB yer kaplıyor. Şirkete göre model, internet bağlantısı olmadan çoğu cihazda çalışabiliyor. Model herkesin indirebileceği şekilde açık olarak yayınlandı.

Tanıtım için hazırlanan oyun retro teknoloji temalı bir odada geçiyor. Odada daktilo, CRT monitör, müzik ayar düğmesi ve açma kapama sesi çıkaran bir masa lambası var. Oyuncu daktiloda klavyeyle istediği metni yazabiliyor ve oyun bu metni sesli olarak geri okuyor. Ayar düğmesi çevrilerek farklı müzik türleri de üretilebiliyor.

Tarayıcıda, internetsiz çalışan bir demo

Bütün bu etkileşim, Underdog'un ses üretim modeli üzerinden doğrudan tarayıcı içinde çalışıyor. Oyunun giriş ekranı, kasabadaki "davetsiz" bulut sağlayıcılarına karşı bir uyarı yapıyor; bu, bulut tabanlı modellere gönderme olarak okunabilir. Oyunda yenilmesi gereken karakterin adı da "Darkcloud".

Bu boyuttaki bir modelin büyük modellerin yerini alması beklenmiyor. Ancak yerel asistan deneyimleri kurmak veya kişiselleştirilmiş podcast üretmek için yeterli olabilir. Modelin tamamen cihaz üzerinde çalışması, ses verisinin dışarı çıkmaması anlamına geliyor.

Bark ve 27 milyar parametreli model de portföyde

Woof, Underdog'un ilk küçük modeli değil. Şirket haftalar önce, uç cihazlarda transkripsiyon ve dikte için tasarlanmış 167 MB boyutundaki Bark adlı sesten metne modelini yayınlamıştı. Underdog ayrıca dizüstü bilgisayarlarda çalışabilen 27 milyar parametreli bir model ve yerel barındırılan bir uygulama da duyurdu. Bu uygulama, Muse ve Instinct gibi bulut ürünlerine yerel alternatif olarak konumlandırılıyor ve bekleme listesiyle açılıyor.

Kurucunun hedefi: cihazda çalışan, açık ve özel yapay zeka

Underdog'un kurucusu Sigil Wen, uygulamayı Granola gibi not tutucular yerine kendi sistemini kurmak isteyen bir kullanıcı olarak geliştirmeye başladığını söylüyor. Amacı, kullanıcıların cihazında çalışan ve verisini kendi elinde tuttuğu bir yapay zeka düzeni kurmak.

Wen, "Bugünün en yetenekli modellerinin çoğunu, aylar içinde zaten sahip olduğunuz cihazlarda çalıştırabileceğimizi düşünüyorum" diyor. Şirketin manifestosu, açık, Amerikan yapımı, yetenekli ve insanlara özel yapay zeka imkanı tanıyan modelleri eğitmek üzerine kurulu.

Küçük modeller neden önemli?

Uç cihazda çalışan modeller üç pratik avantaj sunuyor. Birincisi gecikme: istek buluta gitmediği için yanıt süresi ağ koşullarından bağımsız. İkincisi gizlilik: ses veya metin cihazdan çıkmıyor. Üçüncüsü maliyet: çıkarım için token başına ödeme yapılmıyor.

Karşılığında, model kapasitesi ve ses kalitesi bulut modellerinin gerisinde kalıyor. 31 milyon parametreli bir ses modeli, uzun ve duygusal olarak karmaşık metinlerde büyük modellerle aynı sonucu vermez. Bu nedenle Woof'un gerçek kullanım alanı, kısa bildirimler, yerel asistan sesleri ve basit sesli geri bildirimler gibi sınırlı görevler olacak.

Yine de bu tür modellerin asıl katkısı tek tek ürünler değil, üretim hattının kendisi. Bir ses modelini 32 MB'a indirmek için kullanılan sıkıştırma, damıtma ve nicemleme teknikleri, aynı yaklaşımın başka görevlere taşınmasını kolaylaştırıyor. Underdog'un 167 MB'lık Bark modeliyle birlikte iki farklı yönde (sesten metne ve metinden sese) uç cihaz çözümü sunması, bunu tek bir demo değil bir hat olarak kurduğunu gösteriyor.

Türkiye'deki geliştiriciler için pratik fark şu: 32 MB'lık bir model, uygulama paketinin içine gömülebilecek kadar küçük. Bu, çevrimdışı çalışan bir mobil uygulamada sesli geri bildirim katmanı kurmak isteyen ekipler için ilk kez makul bir seçenek anlamına geliyor.

Özet

  • Underdog, 31 milyon parametreli Woof metinden sese modelini yayınladı; boyut yaklaşık 32 MB.
  • Model tarayıcıda ve internetsiz çalışıyor, açık indirmeye sunuldu.
  • Tanıtım için retro temalı bir oyun hazırlandı; yazılan metin sesli okunuyor.
  • Şirketin ayrıca 167 MB'lık Bark transkripsiyon modeli ve 27 milyar parametreli bir modeli var.
  • Kurucu Sigil Wen, yetenekli modellerin aylar içinde cihazlarda çalışacağını öngörüyor.
Paylaş