ARC Prize: Astra'nın ARC-AGI-3 Skoru Yüzde 62,7

ARC-AGI-3 benchmark'ı, ajansal modellerin talimat almadan oyun ortamlarının kurallarını keşfetmesini ölçüyor. ARC Prize Foundation, OpenAI'nin GPT-6 Astra için açıkladığı yüzde 99,9'luk skoru yeniden test etti ve kendi standart koşullarında yüzde 62,7 buldu.

İki koşu, iki farklı sonuç

ARC Prize, Astra'yı iki kez çalıştırdı ve iki sonucu da yayınladı. Sağlayıcıdan bağımsız standart harness'te (test iskeleti) model, en yüksek akıl yürütme eforunda yüzde 62,7'ye ulaştı; koşu başına maliyet 26.098 dolar. OpenAI'nin kendi sağlayıcı adaptöründe ise aynı model en yüksek eforda yüzde 98,6, yüksek eforda yüzde 99,9 aldı.

Modeli ve eforu sabit tutup yalnızca harness'i değiştirdiğinizde sonuç 36-45 puan oynuyor. Tartışmanın özü bu.

Fark nereden geliyor?

ARC Prize'ın standart harness'inde her istek "soğuk" başlıyor: model yalnızca kendisinin saklamayı seçtiği notları taşıyor, başka hiçbir şey istekler arasında geçmiyor. Sağlayıcı adaptöründe ise Astra istekler arasında opak bir akıl yürütme durumunu koruyor ve uzun etkileşimler için sıkıştırma kullanıyor; yani önceki işi yeniden kullanabiliyor.

ARC Prize, standart harness'i sağlayıcılar arası elma elma karşılaştırma sağlayan koşul olarak tanımlıyor. Adaptör sonucu tamamen değersiz değil: iki harness'in de çözdüğü 167 eşleşmede adaptör koşuları yaklaşık 3,66 kat daha hızlı ve yüzde 49 daha az token harcadı.

Yüzde 99,9 nasıl bu kadar yayıldı?

OpenAI, 3 Eylül 2026'daki lansmanda yüzde 99,9'u öne çıkardı. Üç gün sonra Nvidia CEO'su Jensen Huang bu sayıyı paylaşarak "AGI geldi" dedi; gönderi 10 milyondan fazla görüntüleme aldı. Rakam, genel yapay zekanın fiilen tamamlandığının kanıtı gibi okundu.

ARC Prize ne diyor?

Vakıf, benchmark'ı tasarlarken de aynı uyarıyı yapmıştı: benchmark'ın doyuma ulaşması tek başına AGI kanıtı değildir. Kurucu François Chollet ise nötr skoru küçümsemiyor; yüzde 62,7'yi etkileşimli akıl yürütmede "basamak atlaması" olarak nitelendirdi ve modelin benchmark seviyelerinin yüzde 96'sında insan eylem verimliliği eşiğini geçtiğini belirtti.

OpenAI'nin savunması

OpenAI, harness'inin iki ayarını gerçek dünya performansına daha yakın olmak için değiştirdiğini, bunu özellikle ARC-AGI-3'ü hedefleyerek yapmadığını söylüyor. Adaptör, modelin OpenAI ürünü içindeki davranışını yansıtıyor; orada durum taşıma bir hile değil, tasarım özelliği.

Neden önemli?

Bu tartışma bir "kim daha iyi" kavgası değil, ölçüm hijyeni sorunu. Benchmark skorları satın alma kararlarında, yatırım turlarında ve regülasyon tartışmalarında delil olarak kullanılıyor. Model artı iskelet sonucunun model sonucu gibi sunulması karşılaştırmayı geçersiz kılıyor.

Aynı ders kodlama ajanları için de geçerli: harness karmaşıklığı doğruluk değil maliyet çizgisi. Shandong Üniversitesi'nin 492 SWE-bench görevinde Claude Code ile yaklaşık 100 satırlık bir harness doğrulukta iki puan içinde kalırken görev başına maliyet 3 kata kadar değişiyordu.

Harness nedir, neden skoru değiştiriyor?

Harness, modelin etrafındaki iskelet: araç çağrılarını yöneten, not tutan, bağlamı sıkıştıran ve istekler arasında neyin taşınacağına karar veren katman. Bir benchmark'ta aynı model, farklı harness'lerde farklı skorlar alabilir; çünkü test edilen şey aslında "model artı etrafındaki mühendislik" olur.

Bu yüzden ARC Prize'ın itirazı teknik: standart harness her isteği sıfırdan başlatıp yalnızca modelin kendi seçtiği notları taşıyor. Sağlayıcı adaptörü ise akıl yürütme durumunu istekler arasında koruyor. İkisi de meşru kurulumlar, ama aynı soruyu sormuyorlar.

ARC-AGI-3 neden farklı bir test?

Benchmark 25 Mart 2026'da San Francisco'da duyurulduğunda frontier modeller insan seviyesinin çok gerisindeydi: Gemini 3.1 Pro yüzde 0,37, GPT-5.4 yüzde 0,26 çözebiliyordu. Test, ezberi ve kaba kuvveti cezalandıracak şekilde interaktif oyunlar üzerine kurulu; ajanın talimat almadan ortamın kurallarını keşfetmesi gerekiyor. Bu tasarım, skorun neden bu kadar hızlı yükseldiği sorusunu da beraberinde getiriyor.

Pratik sonuç

Bir modeli değerlendirirken skorun hangi harness'te alındığını sorun. Nötr koşulda yüzde 62,7 ile zirvede olmak hâlâ en güçlü kanıt; yüzde 99,9 ise testin modelin güçlü yanlarına göre kurulduğunda ne olduğunu gösteriyor. İkisi de son teknoloji, ama yalnızca biri karşılaştırma.