Şirketlerin %81'i GPU Kapasitesinin Yarısını Kullanmıyor

NVIDIA CEO'su Jensen Huang, 21 Ekim'deki GTC Berlin konuşmasında şirketlere kendi "yapay zeka fabrikalarını" kurmalarını önerdi: "Bu yapay zeka ekonomisinin parçası olmak için sadece yapay zeka tüketmek istemezsiniz, üretmek de istersiniz." Ancak VentureBeat Intelligence'ın eylül ayı anketi, aynı şirketlerin mevcut donanımlarını bile tam kapasite kullanamadığını gösteriyor.

Anketin çarpıcı sonucu: Yarısı boş GPU'lar

Eylül ayı VB Pulse araştırmasına 100'den fazla çalışanı olan kurumlardan 102 yetkili katıldı. Bunlardan 68'i üretimde yapay zeka çalıştırıyor ve GPU kullanım oranını paylaştı. Bu 68 şirketin 55'i, yani %81'i ortalama kullanımın %50 veya altında olduğunu bildirdi. %50'nin üzerinde kullanım bildiren şirket sayısı yalnızca 13.

Daha da dikkat çekici olan, bu grubun %71'inin önümüzdeki 12 ay içinde yeni, ek veya mevcut platformu değiştirecek bir yapay zeka altyapısı devreye almayı planlaması. Yani kapasitenin önemli bölümü atıl dururken yeni alım kararı veriliyor.

Finans onayı olmadan altyapı kararı

Araştırmanın ikinci bulgusu, yatırım disiplini tarafında. Tüm katılımcıların %63'ü bir yıl içinde yeni platform planlıyor. Buna karşılık yalnızca %10'u finans ekibinin inceleyip onayladığı bir altyapı yatırım getirisi (ROI) rakamına sahip. Yeni platform planlayanların %91'inde böyle bir rakam yok; platform değiştirmeyi düşünmeyenlerin %89'unda da yok. Fark istatistiksel olarak anlamsız, yani ROI hesabı yapmak alım kararını açıklamıyor.

Üretimde platformu çalışan şirketlerde genel memnuniyet 5 üzerinden ortalama 4,0; uygulama kolaylığı 3,9; fiyat/performans ise 3,6. Operasyonel değerlendirme olumlu, ancak "bu işin toplam maliyeti karşılığını veriyor mu" sorusu yanıtsız kalıyor.

Satın alma kriterleri neye göre şekilleniyor?

Katılımcıların altyapı kararlarında öne çıkardığı kriterler:

Mevcut bulut ve veri yığınıyla entegrasyon: %48
Performans: %42
GPU bulunabilirliği: %35

Eylül ayında token başına maliyeti satın alma kriteri sayanların oranı %23'e çıktı; ağustosta bu oran %11'di. Yani maliyet bilinci artıyor ama hâlâ entegrasyonun gerisinde.

"Bellek" tek bir sorun değil, üç ayrı karar

Araştırma, kurumsal hafıza, ajan görev hafızası ve çıkarım (inference) hafızasının ayrı ayrı ele alınması gerektiğini vurguluyor. Kurumsal hafıza; politika, kayıt ve geçmiş kararlardan oluşuyor. Ajan görev hafızası, devam eden bir işin durumunu tutuyor. Çıkarım hafızası ise model servis edilirken kullanılan önbellek ve hesaplama kaynaklarını kapsıyor. Bu üç katmanı tek başlıkta toplamak, altyapı kararlarını bulanıklaştırıyor.

Ankette çıkarım hafızası tarafında NVIDIA ve Dell en çok değerlendirilen seçenekler oldu (%41 ve %39). Açık kaynak KV-cache araçları ile model seviyesindeki verimlilik tekniklerini kullanan veya değerlendirenlerin oranı %21'er. Katılımcıların %16'sı ise bu sınırları hiç ele almadığını ya da farkında olmadığını söyledi.

Doğru ölçü: Başarıyla tamamlanan görev maliyeti

Araştırmanın önerisi, yatırım kararını "token fiyatı" yerine "başarıyla tamamlanan görev başına maliyet" üzerinden vermek. Bu hesaba çıkarım, arama/getirme, depolama, tekrar denemeler ve insan kontrolü de girmeli. Yanlış kapatılan bir destek kaydı başarı sayılmamalı; düzeltme maliyeti de görev maliyetine eklenmeli.

Katılımcı profili bu bakışın neden önemli olduğunu gösteriyor: Başkan yardımcısı ve direktör seviyesindekilerin %52'si satın alma kriteri olarak toplam sahiplik maliyetini seçerken, bireysel katkı sağlayanlarda bu oran %4. Bireysel katkı sağlayanların %58'i ise entegrasyonu öne çıkarıyor. Yönetici ile uygulayıcı aynı masada farklı maliyet tanımlarıyla konuşuyor.

Türkiye'deki ekipler için pratik ders

Türkiye'de GPU kapasitesi hem pahalı hem kıt. Bu nedenle araştırmanın bulguları yerel ekipler için daha da kritik: Yeni donanım veya bulut kontratı imzalamadan önce mevcut kullanım oranını ölçmek, tek bir ajan iş akışını baz alarak darboğazı bulmak ve iyileştirmeyi tek değişkenle test etmek gerekiyor. Aksi hâlde kapasite artışı, kullanılmayan GPU sayısını artırmaktan öteye gitmiyor.

Sonuç

NVIDIA'nın "yapay zeka fabrikası" anlatısı güçlü; ancak sahadaki tablo, şirketlerin önce mevcut kapasiteyi verimli kullanmayı çözmesi gerektiğini söylüyor. Entegrasyon, bellek mimarisi ve görev bazlı maliyet ölçümü, yeni altyapı kararının önüne geçmiş durumda.