Cloudflare: arama indeksini koruyup AI eğitimini kesmek

Birkaç hafta önce “AI bot’u engelle” tek anahtarı birçok sitede arama indeksini de riske atıyordu: mixed-use crawler’lar (hem arama hem eğitim) en kısıtlayıcı kurala bağlanıyordu. Eylül 2026 ortasında Cloudflare bu karışıklığı ürün dilinde ayırmaya çalıştı.

Yeni çerçeve kabaca üç bağımsız kontrol:

- Search — insanlara içerik bulduran indeksleme - Training — model eğitimi / fine-tune için toplama - Agent — kullanıcı adına gerçek zamanlı gezen otomatik sistemler

Buna eklenen ikinci parça: Accountable etiketi. Şeffaflık ve ayrık crawler kriterlerini karşılayan (veya takvim taahhüt eden) operatörler — duyuruda Apple, Google ve Microsoft — eğitim engeli açıkken bile arama tarafında daha tutarlı muamele görebilir. Mixed-use kalanlar, Training engeli açıkken bloklanmaya devam eder.

İş süreci checklist’i (özellikle yayıncı / e-ticaret / içerik sitesi):

1. Cloudflare AI bot ayarlarını üç ayrı niyet olarak gözden geçir; tek “Block AI” alışkanlığını bırak 2. Reklamlı sitelerde önerilen varsayılanları oku; “hiç dokunmadım” hâlâ bir karardır 3. Google / Bing / Apple crawler’larının Accountable listesinde olup olmadığını Cloudflare Radar / dokümantasyondan doğrula 4. Security event log’da Search crawler 403’lerini Training engeliyle ilişkilendirip ilişkilendirmedigini ayır 5. robots.txt ve Bot Preference Sync’i aynı niyet diline çek

Yapay zeka çağında içerik sahipliği artık “botları kapat” cümlesiyle bitmiyor. Doğru soru: aramada kalsın mı, model korpusuna girmesin mi, ajan gezsin mi? Üç cevap üç kontrol ister; tek toggle ile üçünü çözmek Eylül 2026’da daha da zor — ve Cloudflare’in yeni ayrımı tam da bu karışıklığa cevap vermeye çalışıyor.