AWS 9 Aşamalı Ajan Değerlendirme Çerçevesi

Amazon Web Services, üretimde çalışan yapay zeka ajanlarının sessizce bozulmasını engellemek için 9 aşamalı bir değerlendirme çerçevesini açıkladı. 16 Ekim 2026'da yayımlanan teknik yazı, AWS'nin kendi satış operasyonlarında kullandığı çok ajanlı sistemin kalite döngüsünü Amazon Bedrock AgentCore Evaluations üzerine kurduğunu anlatıyor.

Sorun: ajanlar sessizce bozuluyor

Yazının çıkış noktası net: klasik yazılım hatayı yüksek sesle verirken ajanlar sessizce hata yapıyor. Gecikme ve hata oranı normal görünürken ajan yanlış cevap üretmeye devam ediyor. AWS ekibi, satış ekiplerinin kullandığı Müşteri İçgörü Ajanı'nda tam olarak bunu buldu: bir müşterinin üç aylık 410,08 dolarlık geliri "410,08 milyon dolar" olarak raporlandı, veride hiç bulunmayan bir yıllık tekrarlayan gelir tahmini sunuldu ve ajan kendi hesaplamalarını kaynaklı gerçek gibi gösterdi.

9 aşama nedir?

Çerçeve, ajanın yaşam döngüsünü ilk commit'ten üretime kadar dokuz soruyla tarif ediyor: Temel (iyi neye benzer?), Deney (hangi sürüm daha iyi?), Birleştirme (CI, neyi bozdum?), Kapı (CD, üretime hazır mı?), Kanarya (bir şey sessizce bozuldu mu?), Rakip (biri kırmaya çalışırsa?), Sürüklenme (canlıda kalite kayıyor mu?), Nabız (şu anda çalıştığını nasıl biliyoruz?) ve Geri Besleme Döngüsü (kendini nasıl iyileştirir?).

Beş boyut, üç seviye

Değerlendirme beş boyutta yürüyor: güvenlik, kalite, performans, maliyet ve operasyonel kontrol. Güvenlik ilk sırada; barajı geçemeyen ajan yayına çıkmıyor ve yayında kalmıyor. Çerçeve aynı zamanda üç seviyede uygulanıyor: araç seviyesi (her yeteneğin kendi değerlendirme sözleşmesi), ajan seviyesi (her alt ajan uçtan uca) ve çok ajanlı seviye (yönlendirme ve sentez tutarlılığı).

Ölçülen etki

Yazıdaki en çarpıcı rakam koordineli sürüm riskine ait: bir veri değişikliği, bir araç değişikliği ve eşleşen prompt güncellemesi birlikte çıkması gerekirken ayrı düştüğünde, sadece bu uyumsuzluk penceresi geçme oranını yüzde 78'den yüzde 38'e düşürdü. Bu, klasik izlemenin (gecikme, hata oranı, çalışma süresi) neden yetersiz olduğunu gösteriyor.

Hangi ürünler kullanılıyor?

Çözümün merkezinde AgentCore Evaluations var; yanında Bedrock Guardrails güvenlik için, CloudWatch metrik ve izleme için, S3 ile Redshift değerlendirme sonuçlarının saklanması için, Amazon Quick panolar için ve Lambda özel değerlendiriciler için kullanılıyor. AgentCore; istek üzerine değerlendirme, toplu değerlendirme, canlı trafikte çevrimiçi değerlendirme ve A/B testleri sunuyor.

Neden önemli?

DevOps bize test yazmadan kod göndermenin sorumsuzluk olduğunu öğretti; MLOps izleme olmadan model dağıtmanın tehlikeli olduğunu. AWS'nin anlattığı yaklaşım aynı dersi ajanlar için tekrarlıyor: sürekli ve çok seviyeli değerlendirme olmadan ajan işletmek kör uçuş yapmak demek. Kurumsal yapay zeka bütçelerinin bir bölümünün değerlendirme altyapısına kayması, 2026'nın dikkat çeken eğilimlerinden biri.

Ajanlar klasik izlemeden nasıl ayrılıyor?

Klasik yazılımda aynı girdi aynı çıktıyı üretir; makine öğrenmesi modellerinde çıktı olasılıksaldır ve MLOps bu belirsizliği yönetmek için doğdu. Ajanlar üçüncü bir katman ekliyor: otonom, çok adımlı muhakeme. Bu katmanda kritik soru "bir şey bozuldu mu?" değil, "ajan karar zincirinin tamamında sağlıklı karar verdi mi?" oluyor.

Kurumsal ekipler için pratik çıkarımlar

AWS'nin aktardığı deneyim, alt ajanların her birine kendi kalite sözleşmesini tanımlamanın gerekli olduğunu gösteriyor. Araç, ajan ve çok ajanlı seviyelerin her birinin kendi altın veri kümesi, kendi değerlendiricileri ve kendi terfi kriterleri olması gerekiyor. Bu yaklaşım, tek bir alt ajanın sessizce bozulup zincirdeki tüm yanıtları kirletmesini engelliyor.

Maliyet ve hız dengesi

Sürekli değerlendirme ek maliyet getiriyor; ancak yanlış bir cevabın iş kararını etkilemesi, değerlendirme giderinden çok daha pahalıya mal oluyor. AWS, istek üzerine değerlendirmeyi deneylerde, toplu değerlendirmeyi sürekli izlemede ve çevrimiçi değerlendirmeyi canlı trafikte kullanıyor. Amaç, kaliteyi son bir test adımı olarak değil ajanın çalışma sistemi olarak kurgulamak.