İçindekiler
Kütüphanede, toplantıda ya da açık ofiste sesli dikte kullanmak çoğu zaman mümkün değil; mikrofona konuşmak istemezsiniz. Açık kaynak proje lipflow bu işi tersine çeviriyor: mikrofonu tamamen devre dışı bırakıp kameradan dudak hareketlerinizi okuyor. GitHub'da 450 civarı yıldıza ulaşan proje, dil okuma (visual speech recognition) modellerini günlük kullanılabilir bir yazı girişine dönüştürmeyi hedefliyor.
lipflow nedir?
Bir tuşa basılı tutup sessizce konuşuyormuş gibi yapıyorsunuz; bıraktığınızda metin imlecin bulunduğu yere yazılıyor. Hiç ses çıkmıyor, mikrofon kullanılmıyor ve tüm işlem kendi bilgisayarınızda çalışıyor. Amaç, sesli dikte araçlarının (Wispr Flow gibi) sağladığı akıcılığı hiç konuşmadan elde etmek.
Nasıl çalışıyor?
Basılı tuttuğunuz tuş kamerayı devreye alıyor; yüz noktaları canlı olarak izleniyor ve ağız bölgesi saniyede 25 kare hızında kırpılıyor. Kareler, cihazın GPU'sunda çalışan bir dudak okuma (VSR) modelinden geçiyor, sonuçlar bir dil modeliyle birlikte ışın arama (beam search) ile çözülüyor ve cümle imlecinize yapıştırılıyor. Konuşurken yaklaşık 0,45 saniyede bir canlı önizleme de güncelleniyor.
LLM düzeltmesi neden gerekli?
Dudak okumada p/b/m, f/v, t/d/n gibi ağızda aynı görünen sesler karışıyor; ham çıktı zaman zaman "WALLET OFFICER" gibi anlamsız cümleler üretiyor. lipflow bunu çözmek için modelin en olası üç tahminini ve son dikte geçmişinizi bir dil modeline gönderiyor; model kastedilen cümleyi seçip büyük harf, noktalama ve sayıları düzeltiyor. İsteğe bağlı bu adımda Claude veya yerel küçük bir model kullanılabiliyor — yani tümüyle çevrimdışı kalmak da mümkün.
Kurulum: yaklaşık 8 dakikalık eğitim
Proje ağırlıklı olarak Apple Silicon Mac'lerde (macOS 13 ve üzeri) çalışıyor; kurulum sırasında 1,2 GB civarı model indiriliyor. İlk açılışta kamera, giriş izleme ve erişilebilirlik izinleri bir kez isteniyor. Ardından sessizce 24 cümle söylüyorsunuz: sistem hem sizin ifade tarzınıza hem de yüzünüze ince ayar yapıyor. Altı cümle test için ayrılıyor ve yeni model yalnızca eskisinden daha iyi okursa saklanıyor. Yazdığınız bir kelimeyi düzelttiğinizde bu kayıt bir sonraki eğitim turunda kullanılıyor. Windows ve Linux için de topluluk derlemeleri bulunuyor.
Fısıltı modu ve doğruluk
Geliştiricinin verdiği test sonuçlarına göre yalnızca dudaktan okuma denemelerde kelimelerin %31,9'unu yanlış çözüyor. Fısıltı modu açıldığında mikrofon yalnızca tuşa bastığınız sürece devreye giriyor ve dudak + ses birlikte değerlendirildiğinde hata oranı %6,9'a düşüyor.
Kimler için?
- Sesli dikte kullanamadığı ortamlarda (kütüphane, toplantı, toplu taşıma) yazı yazanlar,
- Konuşma zorluğu yaşayan ve alternatif bir yazı girişi arayanlar,
- Sesli dikte geçmişini dışa aktarıp sisteme kendi üslubunu öğretmek isteyenler,
- Videodaki konuşmayı dudaktan metne çevirmek isteyenler (proje dosya üzerinden de çalışabiliyor).
Kaynak: GitHub (amywork777/lipflow) ve projenin X paylaşımı. Performans rakamları geliştiricinin kendi test cümlelerine aittir; gerçek kullanımda sonuçlar farklılık gösterebilir.