OpenAI crawler'ını engellemek mantıklı mı?
GPTBot'u robots.txt'te engelleyen büyük yayınlar var. Sebepleri, sonuçları ve sizin için ne anlama geldiği.
2023 yazında The New York Times, Reuters, The Atlantic gibi büyük yayınlar robots.txt'lerinde GPTBot'u engellediler. Sonraki aylarda bazıları OpenAI ile lisans anlaşması yaptı, bazıları ise engellemeyi sürdürüyor.
Engellemenin mantığı
Bot'u engelleyenlerin temel argümanı: "İçeriğimizden AI eğitim verisi olarak yararlanılıyor ama OpenAI bize para vermiyor. Yayın işine para kazandıran bir şey almıyorsanız, neden ücretsiz vericileri olalım?"
Engellemenin maliyeti
- AI cevaplarında geçme şansınız düşer.
- SEO etkisi: AI önerisi sonrası kullanıcı brand search yapar.
- Yetkililik sinyali kaybı.
- Rakipleriniz tarayıcıysa size karşı GEO avantajı kazanır.
Sizin için doğru karar ne?
- İçeriğim para mı kazandırıyor (paywall, abonelik)? → Engellemek mantıklı olabilir.
- İçeriğim marka pazarlaması mı? → Engellemek yarar getirmez.
- Sektörümde rakiplerim GPTBot'u allow ediyor mu? → Çoğu allow ediyorsa, siz de allow edin.
Çoğu marka için cevap: allow et
Eğer içerik üreten bir yayın değilseniz (çoğu marka değil), GPTBot'u engellemenin bir mantığı yok. Marka pazarlaması yapan bir şirketseniz GPTBot, ClaudeBot, PerplexityBot — hepsini explicit allow edin.
Hibrit yaklaşım: bölümsel engelleme
Hassas ya da premium içeriğiniz varsa, tüm siteyi değil sadece o bölümleri engelleyebilirsiniz:
User-agent: GPTBot
Allow: /
Disallow: /premium/
Disallow: /members-only/