robots.txt
Kısaca
Sitenin kökündeki, hangi botun hangi adresleri tarayabileceğini söyleyen düz metin dosya.
Örnek
"User-agent: GPTBot" altında "Disallow: /" satırı OpenAI'ın eğitim botunu tüm siteden uzak tutar.
AILens'te nerede görürsünüz
robots.txt sağlığı (TEC-001), AI botlarının erişimi (AGT-010) ve eğitim botu kararı (AGT-011) kontrolleri.
robots.txt bir rica dosyasıdır, kilit değildir. Ayrıca izin verseniz bile güvenlik duvarı botu engelleyebilir; AGT-012 bunu kontrol eder.
Karıştırılan terimler
Bu yazıda anlatılanları sitenizde kontrol edin.
Sitenizi kontrol edin