Tüm yazılar
Teknik9 dk okuma·
AI crawler logları nasıl analiz edilir?
Sunucu loglarınızda GPTBot, ClaudeBot ne sıklıkla geliyor? Bu veriyi okumayı öğrenin — aylık analiz framework'ü ve aksiyon önerileri.
Independent AI ekibi · Teknik içerik
Web sunucunuzun erişim logları AI crawler'larının davranışını size doğrudan gösterir — kaç istek, hangi sayfalara, hangi yanıt kodları. Bu veri GEO performansınızın görünmez ama kritik bir göstergesi.
Hangi araçları kullanmalı?
- Nginx/Apache access logları (default lokasyon).
- GoAccess: Terminal-bazlı log analizör.
- AWStats / Matomo: Web tabanlı dashboard.
- Cloudflare Analytics: CDN kullanıyorsanız bot trafiğini ayırır.
- Datadog / New Relic: Kurumsal seviye.
Aylık raporda ne aramalı?
- Bot başı istek sayısı.
- En çok talep edilen URL'ler.
- 404 oranı (%1'in altında olmalı).
- 5xx oranı (%0.5'in altı).
- Ortalama yanıt süresi.
Tipik bot trafiği patterleri
- GPTBot: aylık 100-2000 istek. Düşük frekans, geniş kapsam.
- ClaudeBot: aylık 50-1000 istek.
- PerplexityBot: çok agresif, aylık 500-5000 olabilir.
- Toplam AI bot trafiği toplam trafiğin %5-15'i ideal.
Log analizinden çıkacak aksiyonlar
- Bot trafiği düşüyorsa: robots.txt, llms.txt, sitemap.xml kontrol et.
- 404 oranı yüksekse: Broken link'leri tespit et.
- Belirli bot çekiyor diğerleri değilse: User-agent'ı doğru tanıdığından emin ol.
- Cevap süresi yavaşsa: cache, CDN, image optimization ekle.
Otomasyon önerileri
- Cron job ile aylık GoAccess raporu otomatik üretip email yolla.
- Datadog/New Relic dashboard'unda "AI Bot Traffic" widget kur.
- Anomali alert'leri kur.