Anthropic METR Araştırmacılarına Çalışan Düzeyinde Erişim Verdi: Değerlendirmede Üç Kademeli Sistem
Yazar: KOZBA
İçindekiler
Anthropic, kâr amacı gütmeyen yapay zeka değerlendirme kuruluşu METR'ten altı araştırmacıya çalışan düzeyinde erişim verdiğini açıkladı. Araştırmacılar, şirketin modellerini, güvenlik uygulamalarını ve risk yönetimini bağımsız olarak değerlendirebilecek. Anlaşma, yapay zeka ajanlarının talimatlarının dışına çıktığı olayların art arda duyurulduğu bir döneme denk geliyor.
Anlaşma neyi kapsıyor?
Yeni düzenlemeyle METR ekibi, Anthropic tarafından verilen şirket dizüstülerini, ofis alanını ve şirketin kendi risk değerlendirme ekiplerinin kullandığına yakın iç araçları kullanabiliyor. Anthropic, çalışanlarını bu araştırmacılarla bilgi paylaşmaya teşvik ettiğini, paylaşımın hizalama riski üzerine çalışan bir meslektaşla paylaşım gibi görülmesi gerektiğini belirtiyor. Şirket, "kararlarımızdan kamuya karşı hesap verebilir olmak istiyoruz" diyerek hedefi, değerlendiricilerin bir frontier yapay zeka şirketinin sistemleri hakkında bildikleri ile şirketin kendi bildikleri arasındaki farkı kapatmak olarak açıklıyor.
Yayın üzerinde söz hakkı: veto yok, redaksiyon var
METR, Anthropic'in riskleri, olayları ve uygulamaları hakkındaki değerlendirmelerini kendisi yayınlayacak. Şirket, yayını engelleme hakkından feragat ettiğini söylüyor. Yine de dar ve önceden tanımlanmış kategorilerde redaksiyon isteyebiliyor: müşteri verileri, avukat-müvekkil ayrıcalığına giren bilgiler ve model mimarisine ilişkin ayrıntılar. METR, redaksiyonları kamuya açık biçimde yorumlayabilecek ve gerekçeli olup olmadıklarını, redakte edilen bilgiyi açığa çıkarmadan söyleyebilecek.
Bankacılıktan alınan model: yerleşik denetçiler
Anthropic, düzenlemeyi bankacılık sektöründeki denetim modeline benzetiyor: nasıl ki düzenleyiciler en büyük bankalara daimi denetçiler yerleştiriyorsa, burada da bağımsız değerlendiriciler yapay zeka laboratuvarının içine yerleştiriliyor. Şirket, sesli olarak anlaşmanın "iş birliği yerine denetim" mantığına dayandığını ima ediyor; ancak nihayetinde erişimi veren taraf yine şirketin kendisi.
Üç kademeli değerlendirme sistemi
- Alt kademe: Biyogüvenlik alanındaki kâr amacı gütmeyen SecureBio gibi kuruluşlar dar kapsamlı incelemeler yapar ve yayın için Anthropic'in onayına ihtiyaç duyar.
- Orta kademe: Daha fazla bilgiye erişir ve onay almadan yayın yapabilir.
- Üst kademe: METR'in yer aldığı katman; ek olarak çalışan düzeyinde erişim sağlar.
METR şu anda bu üst kademede bulunan tek değerlendirici. Yani sistemin en yüksek erişim seviyesinde tek bir kuruluş var; bu da bağımsızlığın ne kadar kurumsallaştığı sorusunu gündemde tutuyor.
Neden şimdi?
Anlaşma, ajanların talimat dışı davrandığı olayların geçen yıl ağustos sonundan bu yana bir-iki haftada bir açıklanmasının ardından geldi. Bu olaylar, yapay zeka şirketleri üzerinde bağımsız denetim çağrılarını keskinleştirdi. Açıklama aynı zamanda Anthropic CEO'su Dario Amodei'nin eylül ayında yazdığı ve teknolojinin gelişimini yavaşlatmanın ilk adımı olarak dış değerlendiricilerin laboratuvarlara yerleştirilmesini önerdiği yazısındaki taahhüdü yerine getiriyor. OpenAI kısa süre sonra aynı taahhüdü vermişti; her iki şirket ve Google, Meta, Nvidia ile xAI, bağımsız incelemeyi kabul eden bir Beyaz Saray mutabakatını da imzalamış durumda.
Bağımsız değerlendirme neden zor?
Bir yapay zeka laboratuvarını dışarıdan değerlendirmek, laboratuvarın içindeki bilgiye erişmeden neredeyse imkansız. Modellerin eğitim verisi, iç test sonuçları, olay raporları ve risk süreçleri kamuya açık değil. METR'e verilen çalışan düzeyinde erişim bu boşluğu kapatmayı amaçlıyor: araştırmacılar şirketin kendi araçlarını kullanarak, çalışanların eriştiği bilgilere yakın bir görüş elde ediyor. Ancak erişimi veren taraf yine şirketin kendisi olduğu için, değerlendirmenin kapsamı nihayetinde ev sahibinin belirlediği sınırlar içinde kalıyor.
Bu düzen neyi değiştirmiyor?
- Erişimi veren taraf şirket; dolayısıyla kapsam ve süre tek taraflı değiştirilebilir.
- Değerlendirme kuruluşu tek: üst kademede yalnızca METR var, bu da çeşitliliği sınırlıyor.
- Redaksiyon yetkisi şirkette kaldığı için en hassas teknik ayrıntılar kamuya çıkmayabilir.
- Yayın veto edilemese de değerlendirme takviminin kimin belirlediği açık değil.
Yine de bankacılıkta yerleşik denetçiler modelinin yapay zeka laboratuvarlarına taşınması, sektör için yeni bir standart denemesi. OpenAI'ın da benzer bir taahhüt vermesi ve Beyaz Saray mutabakatına birden fazla şirketin imza atması, bu yaklaşımın tek bir şirketin iyi niyetiyle sınırlı kalmayabileceğini gösteriyor. Gözlemlenebilir ilk çıktılar METR'in yayınları olacak.
Sonuç
METR'in çalışan düzeyinde erişimi, yapay zeka güvenliği tartışmasında somut bir adım: değerlendiriciler artık yalnızca dışarıdan test etmiyor, şirketin iç araçlarını ve süreçlerini görüyor. Ancak veto hakkının bulunmaması ile redaksiyon yetkisinin şirkette olması arasındaki denge, bağımsızlığın gerçek sınırını belirleyecek. Yayınlanacak ilk METR değerlendirmesi, bu düzenin ne kadar işlediğini gösterecek en önemli gösterge olacak.