AI botları ve robots.txt: hangisine izin vermeli?
GetSeoHit ekibi · Güncelleme:
KISA YANITAI botlarını ikiye ayırın: yanıtlarda kaynak göstermek için tarayan arama botları ve model eğitimi için kullanılan botlar. Arama botlarını engellerseniz o yanıtlarda kaynak olamazsınız. Eğitim botlarını engellemek ise bilinçli bir tercih olabilir.
Arama ve eğitim botu farkı
OAI-SearchBot ve PerplexityBot arama yanıtları için kullanılır. GPTBot ve Google-Extended ise eğitimle ilgili tercihlerle ilişkilidir. Şirketlerin kuralları değişebilir; karar vermeden önce güncel dokümanlarına bakın.
Örnek robots.txt
Arama botlarına açık, eğitim botuna kapalı bir örnek için: her bot için ayrı User-agent grubu yazın ve Allow ya da Disallow kuralı verin. Bir bota özel grup yazdığınızda, o bot genel * grubunu dikkate almaz.
Sık yapılan hatalar
Şu hatalara dikkat edin:
- Tüm siteyi yanlışlıkla Disallow: / ile kapatmak
- CDN veya güvenlik duvarının botu robots.txt’den bağımsız engellemesi
- Staging kurallarının canlıya taşınması
Kontrol edin
Ücretsiz AI bot kontrolü aracımız robots.txt dosyanızı okuyup her bot için durumu gösterir. Güvenlik duvarı engellerini göremez; bunlar sunucu günlüğüyle doğrulanır.