IBM Granite Switch 4.1 Nedir? Karar ve ASR

IBM, Granite Switch 4.1 modellerini yayınladı. Bu sürümde sohbet, karar verme ve konuşma tanıma yetenekleri tek bir barındırılan uç noktadan sunuluyor. Şirket, model değiştirmek yerine aynı temel model üzerinde takılıp çıkarılabilen adaptörlerle farklı görevlerin çözülmesini hedefliyor.

Granite Switch nedir?

Granite Switch, geçen bahar tanıtılan modüler model geliştirme yaklaşımının yeni sürümü. Yaklaşımın özü şu: tek bir temel model kalıyor, görev bazlı adaptörler bu temelin üzerine ekleniyor. Böylece aynı GPU'da hem genel sohbet hem özelleşmiş kararlar hem de konuşma tanıma yapılabiliyor. Yeni sürümde Granite-Switch-4.1-8B ve Granite-Switch-4.1-30B modelleri "piller dahil" olarak, önceden seçilmiş faydalı adaptörlerle birlikte geliyor.

Üç yetenek, tek uç nokta

Decision aLoRA: genel amaçlı karar verme için etkinleştirilmiş LoRA adaptörü.
Guardian aLoRA: güvenlik odaklı karar görevlerinde ortalama olarak Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions ve Clef-Flash'ten daha iyi sonuç veriyor.
Granite-Speech-5.0-Turbo-CTC: OpenASR lider tablosunda en hızlı konuşma tanıma modeli; transkripsiyon görevleri için modele gömülü geliyor.

Bu üç teknoloji ve temel model tek modelde birleşiyor; toplam GPU belleği kullanımı, temel modelin tek başına kapladığı alana yakın kalıyor. Yani daha fazla yetenek, daha az GPU ile.

Neden bellek dostu? aLoRA ve KV cache

Switch adaptörleri önbellek verimli "Activated LoRA" olarak inşa edildi. Bu sayede temel modelden üretilen KV önbelleği, sonraki adaptör tabanlı kararlar için yeniden kullanılabiliyor. IBM ekibinin vLLM'e yaptığı katkılar düşük ranklı adaptör çıkarımını hızlandırıyor, birlikte konumlandırılmış konuşma tanıma kodlayıcısı da gecikmeyi düşürüyor. Sonuç: aynı uç nokta bir sohbet isteğinden karar isteğine, oradan sesli bir isteğe hızla geçebiliyor.

Jev-27B ile yarış

IBM, bir karşılaştırmada Granite-Switch-4.1-30B'yi (donmuş Granite temeli + 4 özelleşmiş aLoRA) Jev-27B ile (donmuş Qwen temeli + 1 genel karar LoRA) yarıştırdı. Şirkete göre Granite Switch modeli, gerçek dünyadan alınan 5 adımlı bir RAG iş akışını rakibinden belirgin biçimde daha hızlı tamamladı. Yaklaşımın avantajı, özelleşmiş adaptörlerin temel modelin KV önbelleğini paylaşması sayesinde neredeyse bedava eklenmesi: genel adaptörden geniş kapsama, özel adaptörlerden ise ilgilenilen görevlerde daha yüksek doğruluk elde ediliyor.

Doom deneyi: saniyede 60-100 karar

IBM'in 3 milyar parametreli özel bir Granite Switch modeli, klasik Doom oyununda saniyede 60 ila 100 karar verdi. Karşılaştırma için Jev için bildirilen hız saniyede 10 karar. Üstelik Granite Switch modeli, oyun oynarken konuşabiliyor ve soruları yanıtlayabiliyor. Bu deney, karar modellerinin yalnızca toplu işlerde değil, gerçek zamanlı ve etkileşimli senaryolarda da kullanılabileceğini göstermesi açısından dikkat çekici.

Kendi modelinizi derleyin

Granite-Switch-4.1-8B ve -30B hazır geliyor ama bunlarla sınırlı değilsiniz. Granite Libraries kataloğundaki adaptörleri karıştırıp kendi Switch modelinizi derleyebilirsiniz. IBM ayrıca Mellea üzerinde adaptör eğitmek için bir Adapter SDK yayınlamayı planlıyor. Örnek uygulama olarak Speech-to-Decisions Hugging Face alanında 8B model; sesi yazıya çeviriyor, özet çıkarıyor, zararlı içerik taraması yapıyor ve 15 kullanıcı tanımlı bayrağı gerçek zamanlı test ediyor.

Karar modelleri nedir, neden önemli?

Karar modelleri, metin üretmek yerine "evet/hayır", sınıf etiketi veya olasılık gibi kapalı biçimli çıktılar üreten modellerdir. İçerik moderasyonu, dolandırıcılık tespiti, yönlendirme ve politika denetimi gibi senaryolarda serbest metin üretmek yerine hızlı ve tutarlı bir karar vermek gerekiyor. Karar modelleri bu yüzden sohbet modellerine göre çok daha düşük gecikmeyle ve daha düşük maliyetle çalışabiliyor. Granite Switch 4.1'in öne çıkardığı fikir, tek bir uç noktadan hem sohbet hem karar hem de konuşma tanıma hizmeti verebilmek.

Kurumsal kullanım senaryoları

Yorum ve mesaj akışlarında gerçek zamanlı içerik moderasyonu ve zararlı içerik taraması
Çağrı merkezi kayıtlarının transkript edilip aynı anda sınıflandırılması
Belge iş akışlarında onay/red kararlarının standartlaştırılması
Müşteri taleplerinin doğru ekibe yönlendirilmesi

Bu senaryoların ortak noktası, aynı sistemden hem dil anlama hem hızlı karar hem de gerekirse sesli girdi işleme beklenmesi. Tek uç nokta yaklaşımı, altyapı maliyetini ve entegrasyon karmaşıklığını azaltıyor.

Açık ağırlıklı karar modellerinde rekabet

Karar modeli pazarında Jev gibi kapalı ve genel amaçlı modeller öne çıkıyordu. IBM'in yaklaşımı, genel bir karar adaptörünün yanına özelleşmiş adaptörler ekleyerek kapsamı korurken doğruluğu artırmaya dayanıyor. Bu, "tek büyük model yerine birleştirilebilir uzmanlar" tezinin somut bir uygulaması. Kurumlar için asıl soru, hız ve maliyet avantajının kendi veri setlerinde de korunup korunmadığı; bunun için modelin kendi görevlerinde test edilmesi gerekiyor.

Sonuç

Granite Switch 4.1, "her görev için ayrı model" yaklaşımına karşı verimli bir alternatif sunuyor. Karar modelleri pazarında Jev gibi kapalı oyunculara karşı açık ağırlıklı ve ucuz bir seçenek oluşturuyor; Guardian adaptörünün güvenlik kararlarındaki iddialı konumu ise kurumsal içerik moderasyonu ve uyum senaryolarında dikkatle izlenmeye değer.