Ajanlar Siteye Giremiyor: Cloudflare Botlara Not Veriyor

Yapay zeka ajanları artık tarayıcıda sayfa açabiliyor, form doldurabiliyor, satın alma tamamlayabiliyor. Sorun şu: gittikleri sitelerin bir kısmı onları içeri almıyor. The Verge'in derlemesine göre son haftalarda Meta'nın Muse'u, xAI'nin Grok'u, OpenAI'ın Dots'u ve Instinct gibi ajanları kullanan kişiler, popüler sitelerde görevlerini tamamlayamadıklarını bildiriyor.

Engel koyanlar arasında Yelp, Delta Air Lines, JPMorgan Chase ve Charles Schwab var. Yelp, yalnızca veri lisanslama programına ödeme yapan ajanlara izin verdiğini TechCrunch'a söyledi. Delta, kullanıcı adına bilet kesilmesini engelliyor. JPMorgan ve Charles Schwab ise güvenlik gerekçesiyle ajanların hesap erişimini kapatıyor. Daha önce çalışan Cars.com ve Amtrak gibi sitelerin de artık erişilemez hale geldiği, bunun sessiz engellemelerin yaygınlaştığına işaret ettiği belirtiliyor.

Cloudflare'ın yeni sistemi: kimlik yetmiyor, davranış ölçülüyor

Bu tablonun arkasındaki en büyük altyapı oyuncusu Cloudflare. Şirket 16 Ekim 2026'da yayımladığı "Continuous accountability for Verified bots" yazısıyla, doğrulanmış botları bir kez onaylayıp bırakmayan bir sistemi duyurdu. Sistem şu anda şirket içinde çalışıyor ve iki sinyali izliyor: bot, sitenin robots.txt dosyasında yayımladığı tercihlere uyuyor mu; ve site HTTP 429 (çok fazla istek) döndürdüğünde hızını kesiyor mu?

Cloudflare bu gözlemleri "güven bandı" (trust band) adını verdiği açıklanabilir bir aralığa dönüştürüyor. Şirketin altını çizdiği nokta, tek seferlik ihlallerin skoru düşürmemesi: aranan şey, site tercihlerini sürekli görmezden gelen tekrarlayan davranış kalıpları.

Üç kural ve bir emsal

Cloudflare'ın doğrulanmış bot programı bugüne kadar üç şart istiyordu: kendini doğru ve güvenli biçimde tanıtmak (Web Bot Auth ile imzalı istek), yalnızca beyan ettiği işi yapmak ve kötüye kullanıma girmemek. Yeni sistem üçüncü şarta, yani "zarar verme" kuralına işlerlik kazandırıyor. Şirketin elinde bir emsal de var: 2025'te Perplexity'nin botu, taramaya kapalı sitelere erişmeye çalıştığı ve engelleri aşmaya uğraştığı için doğrulanmış bot listesinden çıkarılmıştı.

Ajan trafiği artık ayrı bir kategori

Cloudflare, bot trafiğini Temmuz 2026'dan bu yana üç ayrı davranış olarak sınıflandırıyor: Search (arama indeksi ve RAG için tarama), Training (model eğitimi) ve Agent (bir insan adına gerçek zamanlı işlem yapan sohbet ve tarayıcı ajanları). 15 Eylül 2026'dan itibaren reklam gösteren yeni alan adlarında Agent davranışı varsayılan olarak reklamlı sayfalarda engelleniyor; eski "Block AI Bots" ayarını açık tutan mevcut alan adları da bu varsayılana taşındı.

Ağustos'ta duyurulan Bot Preference Sync, panelde seçilen politikayı robots.txt'e otomatik yazıyor; Bot Management bu kuralı uyguluyor; yeni güven sistemi ise uygulamanın gerçekten işleyip işlemediğini gözlemliyor. Cloudflare'a göre yıllık bot başvuruları 2023'ten bu yana yaklaşık yedi kat arttı.

Henüz cevaplanmamış sorular

Şirket kaç güven bandı olacağını, davranışın hangi sürede izleneceğini, eşiklerin ne olacağını ve kötü skor alan bir botun yeniden yükselip yükselemeyeceğini açıklamadı. Skorların Radar'da yayımlanması ve müşterilerin kendi eşiklerini seçebilmesi planlanıyor; tarih verilmedi. "Handled" yani trafiğin "nasıl işleneceği" de net değil: engelleme, doğrulama sorgusu, hız sınırı veya yalnızca kayıt tutma seçenekleri masada.

SEO ve yayıncı tarafında ne anlama geliyor?

Bu değişiklik iki yönlü bir tercih yaratıyor. Sıkı eşik sunucuyu ve içeriği koruyor ama yapay zeka asistanlarının sayfalarınızı çekme ve kaynak gösterme sıklığını düşürebiliyor. Gevşek eşik erişimi açık tutuyor, karşılığında bot davranışı üzerindeki kontrolünüz azalıyor. Karar verirken robots.txt'deki yapay zeka politikası, 429 sonrası bot davranışı ve sunucu yükü birlikte okunmalı.

Rakamlarla özet

3 kategori: Search, Training ve Agent davranışları
2 sinyal: robots.txt uyumu ve HTTP 429 tepkisi
15 Eylül 2026: Yeni alan adlarında Agent varsayılanının değiştiği tarih
~7 kat: 2023'ten bu yana artan yıllık bot başvurusu
1 emsal: 2025'te listeden çıkarılan Perplexity botu

Sonuç

Ajanların web'e girişi artık bir teknik mesele değil, ticari ve hukuki bir müzakere. Site sahipleri "kim geliyor" sorusundan "geldikten sonra ne yapıyor" sorusuna geçiyor. Önümüzdeki dönemde ajan trafiğini yöneten politikaların, tıpkı Core Web Vitals gibi teknik SEO'nun standart başlıklarından biri olması bekleniyor.