Tüm yazılar
Teknik6 dk okuma·
AI crawler budget nedir?
Googlebot'un "crawl budget" kavramı vardı. AI bot'ları için benzer bir konsept ortaya çıkıyor.
Independent AI ekibi · Teknik içerik
AI crawler budget — bir AI bot'unun sitenize ayırdığı maksimum tarama miktarı. Bu kavram Googlebot için yıllardır tartışılıyordu; AI bot'ları için yeni ama benzer bir mantık çalışıyor.
Bot bazlı budget değişimi
- GPTBot: aylık 100-2000 sayfa arası. Düşük frekans.
- ClaudeBot: GPTBot'a benzer.
- PerplexityBot: çok daha agresif. Aylık 500-5000 sayfa.
- Google-Extended: Googlebot ile aynı budget içinde.
Budget'ı maksimize etme yolları
- Sayfa hızı yüksek.
- Duplicate content yok.
- Sitemap.xml ile öncelikleri belirt.
- robots.txt'te düşük değerli sayfaları disallow.
- llms.txt ile en kritik sayfalara işaret koy.
- Canonical URL'ler düzgün.
Crawl efficiency formülü
Crawl Efficiency = (Indexlenen önemli sayfa / Toplam taranan sayfa). Yüksek olmalı (%70+). Düşükse bot zamanını önemsiz sayfalarda boşa harcıyor demek.
Büyük site optimization
- Pagination URL'lerini canonical ile birleştir.
- Filter/sort URL'lerini robots.txt'te disallow.
- Önemli kategori sayfalarına internal link verimliliği.
- Lazy-load images.
- CDN kullanımı.
İlgili yazılar
Tüm yazılar →AI crawler'ları sitenizi nasıl tarıyor?
Teknik · 10 dk
GEO için teknik SEO hâlâ gerekli mi?
Teknik · 8 dk
AI crawler logları nasıl analiz edilir?
Teknik · 9 dk
AI search için en iyi CMS hangisi?
Teknik · 8 dk
Headless CMS yapıları GEO'ya avantaj sağlar mı?
Teknik · 7 dk
AI destekli marka monitoring nasıl yapılır?
Ürün · 8 dk