GPU Hesaplamasının Yüzde 60'ı Boşa Gidiyor

VentureBeat'ın AI Impact Series etkinliğinde konuşan WEKA saha CTO'su Alan McSeveney, büyük dil modeli çıkarımı yapan GPU'ların hesaplama gücünün yüzde 60'a varan bölümünü zaten işlediği bağlamı yeniden hesaplamak için harcadığını söyledi. Analist Rob Strechay ile yapılan söyleşi 16 Ekim'de yayımlandı.

Kayıp nereden geliyor?

Çok turlu çıkarımda GPU, işlenmiş bağlamı KV önbelleğinde tutar; böylece her yeni mesajda aynı bağlamı baştan hesaplamaz. Ancak GPU belleği sınırlıdır: eski bağlam bellekten atıldığında, oturum devam ettiğinde GPU aynı geçmişi yeniden hesaplamak zorunda kalır.

McSeveney'e göre "hiçbir strateji olmadan çalıştırırsanız GPU yeni işte yüzde 30 dolayında kullanımda kalabilir. İyi bir stratejiyle yüzde 90'ın, en iyi durumda yüzde 95'in üzerini görürsünüz." Şirketler kendi yapay zeka altyapısını kurduğunda GPU'lar bütçenin yüzde 80'inden fazlasını alıyor; bu durumda döngüsünü yeniden hesaplamaya harcayan bir kart, ona göre "korkunç bir para israfı".

Çözüm: KV önbelleğini NVMe flaşa taşımak

Sunucu DRAM'ini büyütmek yerine NVMe flaş, KV önbelleğini tutmak için daha ekonomik bir yer sunuyor. McSeveney'e göre flaş, KV önbelleğinde DRAM'e denk veya ondan daha iyi performans veriyor, çok daha iyi ölçekleniyor ve çok daha ucuza geliyor. Mantık basit: veriyi olabildiğince hızlı GPU'dan çıkarın, GPU'yu başka bir kullanıcıya verin, ihtiyaç anında veriyi geri getirin.

Bu takasın hızı, tek bir GPU'nun kaç kişiye hizmet verebileceğini belirliyor. Önbellek yeterince hızlı taşınabilirse her GPU 4-5 kat daha fazla kullanıcıya hizmet verebiliyor.

WEKA'nın Augmented Memory Grid'i ne yapıyor?

NeuralMesh yazılımı üzerinde çalışan Augmented Memory Grid, KV önbelleğini GPU sunucularından alıp merkezî olarak saklıyor ve veri merkezindeki herhangi bir sunucuya geri yüklüyor. Böylece bir oturum bir sunucuda durup başka bir sunucuda kaldığı yerden devam edebiliyor; ikinci GPU geçmişi yeniden hesaplamak zorunda kalmıyor.

Şirketin verdiği rakamlara göre KV önbelleğini merkezî yüklemek, aynı GPU'larda kullanıcı sayısını 7 kat artırdı ve DRAM'e devretmeye kıyasla aynı sürede üretimi 200 binden 2 milyon tokene çıkardı.

Fayda kime gidiyor?

McSeveney, faydanın GPU'yu kontrol eden tarafta kaldığını söylüyor: kendi donanımını işleten şirket de çıplak GPU kiralayıp üzerinde kendi yazılımını çalıştıran da kazanıyor. "Bir temel model sağlayıcısına token başına ödeme yapıyorsanız, onların tarafındaki önbelleklemenin faydasının çoğu sizin değil onların cebine gider." Bu hesap, GPU arzı sıkıştıkça daha da önemli hale geliyor.

Kapasite sıkışıklığı ve Google'ın mesajı

McSeveney, Google'ın müşterilerine verdiği mesajı hatırlatıyor: Google Cloud için sipariş edilip henüz kurulmayan her GPU'nun tüm hizmet ömrü boyunca bir alıcısı var; Aralık'a kadar rezervasyon yapmayan müşteriler talep üzerine kapasiteye güvenmemeli. Aynı kısıtlı arzdan alım yapan hizmet sağlayıcıları da benzer sıkışmayı yaşayacak. "Kendi altyapınızın bir kısmını işletmek ilk aklınıza gelen olmayabilir," diyor McSeveney, "ama bir zorunluluk haline gelebilir."

Sektörde yön zaten bu: Mooncake ve DeepSeek'in tekniklerinden NVIDIA'nın Vera Rubin yığınına gömülü CMX bağlam belleği platformuna kadar daha agresif KV önbellek yeniden kullanımı ve devri konuşuluyor.

Not: rakamlar satıcı kaynaklı

Bu oranlar bir tedarikçi yöneticisinin söyleşide verdiği rakamlar; bağımsız test veya kıyaslama değil. Hangi iş yükünde, hangi donanımda ölçüldüğü açıklanmıyor. Karar verirken bu sayıları ölçüm yapmanız için bir sebep olarak okuyun, kesin sonuç olarak değil.

Sonuç

Yapay zeka altyapısında darboğaz giderek hesaplamadan belleğe kayıyor. GPU'yu yeniden hesaplamaya harcatmak, satın alınmış en pahalı donanımı boşta bekletmek anlamına geliyor. KV önbelleğini katmanlandırmak (flaş, merkezî önbellek, GPU Direct Storage) bugün ölçülebilir bir tasarruf kapısı; ama tek başına yeterli değil — uygulama ve iş akışı optimizasyonu olmadan kazanç sınırlı kalıyor.