Tüm yazılar
Teknik6 dk okuma·
AI crawler budget nedir?
Googlebot'un "crawl budget" kavramı vardı. AI bot'ları için benzer bir konsept ortaya çıkıyor.
Independent AI ekibi · Teknik içerik
AI crawler budget — bir AI bot'unun sitenize ayırdığı maksimum tarama miktarı. Bu kavram Googlebot için yıllardır tartışılıyordu; AI bot'ları için yeni ama benzer bir mantık çalışıyor.
Bot bazlı budget değişimi
- GPTBot: aylık 100-2000 sayfa arası. Düşük frekans.
- ClaudeBot: GPTBot'a benzer.
- PerplexityBot: çok daha agresif. Aylık 500-5000 sayfa.
- Google-Extended: Googlebot ile aynı budget içinde.
Budget'ı maksimize etme yolları
- Sayfa hızı yüksek.
- Duplicate content yok.
- Sitemap.xml ile öncelikleri belirt.
- robots.txt'te düşük değerli sayfaları disallow.
- llms.txt ile en kritik sayfalara işaret koy.
- Canonical URL'ler düzgün.
Crawl efficiency formülü
Crawl Efficiency = (Indexlenen önemli sayfa / Toplam taranan sayfa). Yüksek olmalı (%70+). Düşükse bot zamanını önemsiz sayfalarda boşa harcıyor demek.
Büyük site optimization
- Pagination URL'lerini canonical ile birleştir.
- Filter/sort URL'lerini robots.txt'te disallow.
- Önemli kategori sayfalarına internal link verimliliği.
- Lazy-load images.
- CDN kullanımı.