AI crawler'ları sitenizi nasıl tarıyor?
GPTBot, ClaudeBot, PerplexityBot — her birinin davranışı farklı. Hangi sayfalarınızı, ne sıklıkla, nasıl alıyorlar? Loglarınızda neyi aramalı?
AI crawler'ları geleneksel Googlebot'a benzer ama davranışları farklıdır. Her bir AI sağlayıcısı kendi bot'unu çıkardı; her birinin user-agent'ı, tarama sıklığı, JS render etme yeteneği ve öncelik politikası değişiyor. Bunu anlamak, sitenizdeki "AI bot trafiği"ni optimize etmenin temeli.
Hangi bot'ları tanımalısınız?
2026 itibarıyla aktif olarak sitenize uğrayan ve tanımanız gereken AI bot'ları:
- GPTBot (OpenAI): Eğitim verisi için tarama. Düşük frekans, geniş kapsam. JS render YOK.
- ChatGPT-User (OpenAI): Anlık kullanıcı sorgusu sırasında tarama. Tetiklenince hızlı; "browse" özelliği için.
- OAI-SearchBot (OpenAI): Yeni SearchGPT için. Daha agresif tarama.
- ClaudeBot (Anthropic): Eğitim için ana bot. JS render sınırlı.
- Claude-Web (Anthropic): Browse benzeri özellikler için.
- PerplexityBot: Çok agresif. Cevap üretmek için her arama anında çağırıyor. JS render kısmen var.
- Google-Extended (Google): Gemini için ayrı consent flag'i. JS render Googlebot ile aynı.
- Bytespider (ByteDance): TikTok arkası AI için. TR pazarında düşük.
Davranış farkları
Bot'ların davranışı arasındaki farklar pratik etkisi olan farklar:
GPTBot ayda bir-iki kez sitenizi taramakla yetinir; geniş kapsamlı ama düşük frekans. ClaudeBot benzer ama biraz daha sık. PerplexityBot ise her kullanıcı sorgusu için sitenizi alabilir; günde onlarca kez gelebilir. Google-Extended ise zaten Googlebot'la birlikte tarama yapıyor — onu açmak/kapatmak ek bir işlem.
JS render konusunda durum daha kritik: GPTBot JS render etmez. Bu, modern bir SPA (single page application) olarak inşa edilmiş sitenizdeki içeriğin AI eğitim verisine girememesi demek. Eğer önemli içerikleriniz JS ile yükleniyorsa, GPTBot için boş sayfa gibi görünürsünüz.
Sunucu loglarında nasıl ayırt edilir?
Web sunucunuzun erişim loglarında AI bot trafiğini ayırt etmek için User-Agent header'ına bakın. Tipik bir GPTBot isteği şöyle görünür:
52.230.152.165 - - [22/Apr/2026:14:32:11 +0000] "GET / HTTP/1.1" 200 5234 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot"Aylık olarak hangi AI bot'unun kaç istek yaptığını sayın; bu sizin "AI crawl budget" göstergeniz. Düzgün kurulmuş bir kurumsal site için aylık AI bot trafiği toplam trafiğin %5-15'i arasında olmalı. Çok düşük (%1 altı) ise görünmüyorsunuz — robots.txt'i kontrol edin, llms.txt ekleyin. Çok yüksek (%30+) ise sunucu yükünüze yansıyabilir, optimizasyon gerek.
Bot trafiğini iyileştirmek için 5 adım
AI bot ziyaretlerini hem nicelik hem nitelik olarak artırmak için pratik 5 adım:
- 1. robots.txt'te tüm AI bot'larını explicit allow edin.
- 2. Sitemap.xml ile öncelikli sayfalarınızı belirtin.
- 3. llms.txt ile bot'lara kestirme yol verin.
- 4. SSR/SSG kullanarak JS-bağımsız içerik sunun.
- 5. Sayfa hızını optimize edin; yavaş sayfada bot daha az kalır.
Bu adımlar 1-2 günde uygulanabilir. Etkisi 2-4 haftada loglarınızda görünmeye başlar. Bot trafiği arttıkça AI cevaplarındaki görünürlüğünüz de paralel olarak iyileşir.