Claude 123 Açık Kaynak Kütüphaneyi Resmen Doğruladı: 180 Milyon Satırlık İspat
Claude

Claude 123 Açık Kaynak Kütüphaneyi Resmen Doğruladı: 180 Milyon Satırlık İspat

· 4 DK

Yazar: KOZBA

İçindekiler
  1. İspatlanan şey tam olarak ne?
  2. İspat sürecinde bulunan hatalar
  3. Üç güvenilir bileşen
  4. OSS-Fuzz dışındaki deneyler
  5. Verimlilik ve sınırlar

Anthropic'in Frontier Red Team ekibi, resmi yöntemler şirketi Theorem ile birlikte yürüttüğü çalışmanın sonuçlarını 22 Ekim 2026'da yayımladı. Buna göre Claude, Google'ın OSS-Fuzz programındaki 123 açık kaynak kütüphanede 239 fuzz test giriş noktası için makine tarafından kontrol edilen resmi ispatlar üretti. Doğrulama kaynak kodda değil, derlenmiş RISC-V assembly seviyesinde yapıldı.

İspatlanan şey tam olarak ne?

Kütüphanelerin mevcut fuzz testleri, tek kurallı bir resmi şartnameye dönüştürüldü: test, 64 MB'ın altındaki her girdi için çökmemeli. İspat, Theorem'in RISC-V komut seti ve Linux süreçlerine ilişkin resmi semantiği üzerinden tanımlandı, ardından Rocq ispat denetleyicisi her ispatı şartnameye karşı kontrol etti.

Kapsam geniş: 64 MiB altındaki tüm girdiler ve tüm bellek yerleşimleri için ne AddressSanitizer ile enstrümante edilmiş ikili ne de düz ikili hata veriyor, çöküyor ya da modellenmemiş davranış sergiliyor; ikisi de aynı okuma-yazma izlerini, çıkış davranışını ve dosya sistemi durumunu üretiyor.

Rakamlar tek başına ölçeği anlatıyor: Claude çalışma boyunca yaklaşık 1 milyar satır Rocq yazdı, bunun yaklaşık 180 milyon satırı ispat denetleyicisinden geçti. Tipik bir ispat 600 bin satır civarında; medyan ikili uzunluğu 18 bin RISC-V komutu. 391 satırlık cJSON ayrıştırıcısı için 630 bin satırlık, 51 bin satır bağlanan fftw3 için 480 bin satırlık ispat üretildi.

İspat sürecinde bulunan hatalar

Çalışmanın en dikkat çekici yanı, ispat denemelerinin fuzz testlerinin kolay kolay yakalayamayacağı hataları ortaya çıkarması oldu. Bir açıcıda, yalnızca 20 MB civarındaki girdilerde ve nadir bir bellek yerleşiminde tetiklenen sayaç alt taşması ve buna bağlı sınır dışı yazma bulundu. Bir görüntü çözücüde 64 MB girdi ve 2 GB'tan fazla bellek gerektiren sınır dışı okuma tespit edildi.

Başka bir bulgu, aynı dosyaya iki tanıtıcı üzerinden belirli bir çağrı dizisi gerektiren sınır dışı okumaydı. Ekip ayrıca libexpat'ta derin iç içe girdi gerektiren CVE-2026-56132 açığını yeniden keşfetti. Çökmeye yol açmayan mantık hataları da çıktı: bir uygulamanın hangi dosyaları yükleyebileceğine dair kısıt her zaman uygulanmıyordu. Anthropic, yaygın kullanılan kritik uygulamalarda on yıldan uzun süredir gizli kalan bir mantık hatası bulunduğunu, yaygın bir PDF okuyucuda ise bir haftada normalde bir yılda bildirilen kadar güvenlik hatası tespit edildiğini belirtiyor.

Üç güvenilir bileşen

Yaklaşımın zarafeti, güvenilmesi gereken parça sayısını üçe indirmesi: RISC-V ve Linux süreçlerinin resmi modelleri, ispatların tam teorem ifadeleri ve Rocq denetleyicisinin kendisi. İspatların bir alt kümesi, RISC-V ve işletim sistemi semantiğiyle birlikte GitHub'da yayımlandı.

Claude'a ispatı tamamlamadan önce kod yamalama izni verildiği için ekip yamaları cezalandırdı, hangi girdileri değiştirdiğini ispatlayana ek puan verdi ve yamaları denetledi. Bu, ödül korsanlığını (reward hacking) engellemeye yönelik bir önlemdi.

OSS-Fuzz dışındaki deneyler

Ekip Claude'a RFC 1950 standardının, yani zlib sıkıştırma formatını tanımlayan belgenin resmi şartnamesini yazdırdı ve Linux çekirdeğinin zlib uygulamasının bu şartnameyi doğru uyguladığını ispatlattı. İspat doğrudan x86 için derlenmiş ikili üzerinde, Claude'un ürettiği x86 semantiğiyle yapıldı. Anthropic, x86 semantiği üretilirken resmi referans dokümanlarında yüzlerce hata ve donanımda daha az sayıda hata bulunduğunu, semantiği adım adım yürüterek bir Ubuntu kullanıcı alanının önyüklenebildiğini aktarıyor.

Başka bir deneyde Claude, Python'un geniş bir alt kümesi için Rust dilinde yorumlayıcı yazdı ve Verus aracıyla CPython semantiğine uyduğunu ispatladı. 1,7 milyon rastgele Python programı üzerinde yapılan testlerde davranış %99,95 oranında CPython ile aynıydı. Kasıtlı olarak yerleştirilen yedi hatadan beşi rastgele testlerden sağ çıktı; yedisinin tamamı ispatı bozdu.

Verimlilik ve sınırlar

Ekip, 36 küçük doğrulama göreviyle maliyeti de ölçtü. Claude Opus 5.5, görevlerin yarısını Opus 5'e göre yaklaşık %40 daha az token ile ispatlıyor. Ortak çalışma alanında birbirlerinin ispatlarını kopyalayabilen ajanlar, tek başına çalışanlara göre %17 daha az token harcadı.

Anthropic'in kendi sınırlamaları da net: ispatlar kütüphanelerin hatasız olduğu anlamına gelmiyor. Kapsam tek iş parçacıklı, statik bağlanmış RISC-V ikilileri ve musl libc ile sınırlı; oysa kullanıcıların çoğu bu kütüphaneleri x86 veya ARM üzerinde glibc ile dinamik bağlayarak çalıştırıyor. AddressSanitizer da tüm bellek güvenliği hatalarını yakalamıyor.

Theorem, aynı hattı uygun açık kaynak projelere OSS Verify programı üzerinden ücretsiz sunuyor. Şirketin yol haritasında glibc, OpenSSL ve cURL gibi kritik altyapıyı kapsayacak şekilde Nix ekosisteminin tamamını doğrulamak var. Bu, "güvenlik inşa yoluyla" yaklaşımının yalnızca güvenlik kritik projelerde değil, ana akım kod tabanlarında da düşünülebilir hale gelmesi anlamına geliyor.

Paylaş