İçindekiler
Yapay zeka ajanları yalnızca yanıt üretmiyor; bilgi arıyor, veritabanına sorgu atıyor, kod yazıp test ediyor ve eyleme geçiyor. Bu adımların her biri bir CPU'ya dayanıyor. Ajanlar bir görev boyunca GPU muhakemesi ile CPU yürütmesi arasında sürekli gidip geliyor.
NVIDIA, Vera CPU'nun tam olarak bu iş yükü için tasarlandığını savunuyor. Şirketin yayınladığı karşılaştırma verilerine göre Vera, ajan hızı ve watt başına kapasiteyi tek bir CPU'da birleştiriyor.
100 megavatlık veri merkezi karşılaştırması
NVIDIA, 100 megavatlık bir veri merkezi senaryosunda Vera'yı iki farklı x86 çözümüyle karşılaştırdı: en hızlı x86 CPU ve enerji verimliliği en yüksek x86 CPU. Şirketin açıkladığı sonuçlara göre tek bir Vera CPU, bu iki referansın ikisinden de daha iyi performans gösteriyor.
- Vera, en hızlı x86 CPU'ya kıyasla watt başına 1,6 kat daha fazla ajan çalıştırıyor.
- Vera, enerji verimliliği en yüksek x86 CPU'ya kıyasla 2 kat daha hızlı ajan performansı sunuyor.
Bu iddianın pratik anlamı şu: veri merkezleri güç sınırına takıldığı için operatörler watt başına en fazla işi üreten donanımı seçmek zorunda. NVIDIA'ya göre Vera, hızlı ve yoğun x86 parçalarını karıştırmak yerine tek bir CPU ile her iki ihtiyacı karşılıyor.
İş ortaklarının üretim testleri
NVIDIA, Vera'yı kullanan şirketlerin üretim benzeri testlerinden şu sonuçları paylaştı:
- Perplexity: Ajan tabanlı kodlama görevlerini geleneksel CPU'lara göre 1,5 kat daha hızlı çalıştırdı. Şirket, Vera'yı yaklaşan bir üretim sisteminde kullanmayı planlıyor.
- DeepInfra: Üretim ajan iş yükünde, test edilen dört mimari arasında en hızlı sonucu vererek en iyi x86 işlemcinin 2,2 katı hıza ulaştı.
- ClickHouse: Vera'ya özel bir düzenleme yapılmamış standart ikili dosya, 176 çekirdekte neredeyse doğrusal ölçeklendi ve ClickBench donanım liderlik tablosunda zirveye çıktı.
- DuckLabs: Intel Xeon 6 referansına kıyasla TPC-H SF1000 testinde medyan performansın yaklaşık 1,5 katını elde etti.
- Daytona: 1.000 ajan sandbox'ını 10,8 saniyede devreye aldı; aynı iş x86 ile 88,4 saniye sürüyordu. 2.000 eşzamanlı sandbox'ta saniyede 12,7 tamamlanmış iş ölçüldü.
- Modal: Benzer x86 donanımına kıyasla çekirdek başına 2 kata kadar sandbox verimi elde etti; kazanç yük arttıkça büyüyor.
Neden CPU yeniden önemli hale geldi?
Üretken yapay zeka tartışması uzun süre GPU üzerinden yürüdü. Ancak ajan mimarileri, tek bir görev için onlarca araç çağrısı yapıyor. Her araç çağrısı bir süreç başlatma, veri ayrıştırma ve sonuç birleştirme adımı içeriyor; bunların tamamı CPU tarafında gerçekleşiyor. Sandbox başlatma süresi de doğrudan CPU'ya bağlı.
Daytona örneği bu etkiyi net gösteriyor: 1.000 sandbox için 10,8 saniye ile 88,4 saniye arasındaki fark, ajan platformlarının eşzamanlılık sınırını doğrudan belirliyor. Aynı şey kodlama ajanları için de geçerli; test döngüsü ne kadar hızlı dönerse ajan o kadar çok deneme yapabiliyor.
Türkiye'deki altyapı ekipleri için notlar
Vera'nın burada öne çıkardığı metrik, tepe performans değil watt başına ajan kapasitesi. Türkiye'de barındırma maliyetlerinin önemli bölümü güç ve soğutma olduğu için bu metrik doğrudan birim ekonomiyi etkiliyor. Yine de bu rakamlar NVIDIA'nın kendi yayınladığı karşılaştırmalar; bağımsız üçüncü taraf ölçümlerle doğrulanana kadar üretici iddiası olarak okunmalı.
İkinci not: yazılım tarafında ölçeklendirme davranışı kritik. ClickHouse'un özel düzenleme olmadan 176 çekirdekte doğrusal ölçeklenmesi, mevcut uygulamaların yeniden yazılmadan fayda sağlayabileceğine işaret ediyor. Ajan platformu işleten ekipler için ilk test, sandbox başlatma süresi ve eşzamanlı iş hacmi olmalı.
Özet
- NVIDIA Vera, 100 MW'lık karşılaştırmada en hızlı x86'ya göre watt başına 1,6 kat daha fazla ajan, en verimli x86'ya göre 2 kat hız iddia ediyor.
- Perplexity ajan kodlamada 1,5 kat, DeepInfra ajan orkestrasyonunda 2,2 kat hız bildirdi.
- Daytona 1.000 sandbox'ı 10,8 saniyede açtı; x86'da bu süre 88,4 saniyeydi.
- Rakamlar NVIDIA'nın kendi testlerine dayanıyor; bağımsız doğrulama henüz yok.