Kodlama Ajanlarında Harness Maliyeti 3 Katına Çıkarıyor: Doğruluk Aynı Kalıyor
Yazar: KOZBA
İçindekiler
Bir kodlama ajanını oluşturan iki parça var: dil modeli ve harness. Harness; sistem istemini, araç tanımlarını ve bağlam yönetimi kurallarını kapsıyor. Shandong Üniversitesi'nden iki araştırmacının yeni çalışması, harness değişiminin görev başına maliyeti 3 katına kadar çıkarabildiğini ama doğrulukta ölçülebilir bir iyileşme sağlamadığını gösteriyor.
Deney nasıl kuruldu?
Araştırmacılar üç üretim harness'ını karşılaştırdı: Claude Code, OpenCode ve mini-SWE-agent. Sonuncusu, yaklaşık 100 satır Python ile yazılmış, tek bir bash aracı sunan ve bağlam sıkıştırması yapmayan minimalist bir açık kaynak harness.
Beş model üç harness üzerinden çalıştırıldı: yerelde servis edilen iki açık ağırlıklı model (Qwen3.6-35B-A3B ve Qwen3.8-27B) ile API üzerinden erişilen üç model (DeepSeek-V4-Flash, GLM-5.3-Flash ve HY4-Preview). Üst segment referans olarak Claude Opus 5 de Claude Code içinde test edildi. Değerlendirme, SWE-bench Verified'dan 492 çevrimdışı görev üzerinde izole konteynerlerde yapıldı: insanların bir ila dört saatten fazla zaman harcadığı 45 zor görev ve kalan 447 görev.
Doğrulukta fark yok, maliyette var
447 görevlik havuzda ağır sıklet Claude Code ile minimalist mini-SWE-agent, iki Qwen modelinde de birbirine 2 puan içinde kaldı ve 5 puanlık marjla istatistiksel olarak eşdeğer bulundu. 45 zor görevde harness değiştirmek, görevlerin yaklaşık sekizde birinde (%13) sonucu geçti-kaldı arasında çevirdi; aynı harness'ı yeniden çalıştırmak da medyanda aynı oranı üretti.
İstatistiksel gürültü eşiğini aşan tek harness etkisi bir kayıp oldu: OpenCode büyük görev havuzunda 9 puana kadar geride kaldı. Bu farkın yaklaşık yarısı, model 32.000 token'lık çıktı sınırına adım ortasında takıldığında koşuların kesilmesiyle ilişkili. Claude Code aynı modelde aynı sınıra takıldı ama modeli otomatik olarak devam etmeye yönlendirdi.
Daha da çarpıcı olan, DeepSeek'in kendi harness'ının kendi modeli üzerindeki sonucu: geçme oranı diğer üç harness aralığında kaldı, maliyet ise test edilen harness'lar arasında en yüksek oldu. Araştırmacılar bunu "Bir üreticinin kendi harness'ı kendi modelinde puan avantajı sağlamıyor" diye özetliyor.
Maliyet farkı nereden geliyor?
Maliyet farkı ilk API çağrısında başlıyor. Harness'lar sistem istemi ve araç şemaları üzerinden çok farklı miktarda sabit bağlam gönderiyor: Claude Code 16.581 token, OpenCode 7.025 token, mini-SWE-agent 829 token. Ajanlar her turda konuşma dökümünü yeniden gönderdiği için bu başlangıç yükü adım sayısıyla çarpılıyor. Claude Code ayrıca modelin ara düşünme bloklarını yeniden göndererek ağırlığı artırıyor.
Araştırmacıların ifadesiyle "harness'ların adım başına ağırlığını ayıran şey, depo değil kendi metinleri". Girdi token'larının %96-99'u sağlayıcının istem önbelleğine düşse bile, önbellek fiyatlandırması farkı kapatmıyor; toplam fatura aynı modelde 3 kata kadar değişiyor. İlginç biçimde maliyet sıralaması modele göre de değişiyor: DeepSeek-V4-Flash üzerinde mini-SWE-agent deneme başına 141 model çağrısı yaparken Claude Code 104 çağrıda kaldı ve mini-SWE-agent yaklaşık 15,2 sent ile 14,6 sente göre biraz daha pahalı çıktı.
Kirlenmiş ölçümler ayıklandı
Ekip, ağ erişimli erken koşuları denetlediğinde 439 DeepSeek ve Qwen denemesinin 312'sinin (%71) GitHub'dan orijinal insan yazımı düzeltmeyi çektiğini keşfetti. Bu koşular atıldı ve nihai değerlendirmede ağ erişimi kapatıldı. Kodlama ajanı kıyaslamalarında sık görülen bu kirlenme, liderlik tablolarındaki puanların neden temkinli okunması gerektiğini gösteriyor.
Berkeley çalışması aynı yöne işaret ediyor
Bulgular, UC Berkeley Sky Computing Lab ve Arena'nın HarnessTax çalışmasını da doğruluyor. O ekip yedi modeli Claude Code, OpenAI'ın Codex CLI'si ve dört temel araç sunan minimal Pi harness'ı üzerinde test etti. Geçme oranları yalnızca birkaç puan değişirken çıkarım maliyeti 5 kata kadar arttı. Yedi modelin tamamında Claude Code'un ilk bağlamı Pi'ninkinin ortalama 10 katından büyüktü.
Ekipler ne yapmalı?
Araştırma, satın alma ve mimari kararları için birkaç somut ders veriyor. Aynı kurulumda tekrar çalıştırma, zor görevlerde sonucu %13'e kadar değiştirebiliyor; bu yüzden 45 görevlik bir test seti ancak 13 puanlık bir farkı yarı yarıya yakalayabiliyor. Üreticilerin 2-3 puanlık harness kazanımları, tek koşuya dayanıyorsa kanıtlanmış sayılmamalı. Kendi baseline konfigürasyonunuzu iki kez çalıştırmadan yeni bir iskelete geçmemek gerekiyor.
İkinci ders maliyet tarafında: sistem istemi ve araç şemalarını inceltmek, düşünme bütçesini model-harness çiftine göre ayarlamak gerekiyor. Claude Opus 5, bir yıl önceki Claude Code sürümünde genişletilmiş düşünme kapalıyken 45 görevin 34'ünü çözdü; yeni sürümde 35-36 sonuç alındı ama maliyet deneme başına yaklaşık 1,65 dolardan 73 sente indi. Buna karşılık Qwen3.6'da düşünmeyi kapatmak mini-SWE-agent'ın geçme oranını 11 puan düşürdü. Kısaca: aynı ayar her model-harness çiftinde aynı sonucu vermiyor.
VentureBeat'in Eylül ayı VB Pulse anketi de kurumsal taraftaki boşluğu gösteriyor: listelenen bir ajan orkestrasyon platformu kullanan 107 kurumun 23'ünün (%21) ajanların token harcamasını otomatik durduracak bir mekanizması yok. Harness seçimi bu nedenle yalnızca mühendislik değil, doğrudan bütçe kararı.