← Araçlar
AI crawler erişim kontrolü
robots.txt dosyanızı okuyup 16 yapay zekâ tarayıcısının sitenize girip giremediğini tablo hâlinde gösterir.
Denetim yalnızca herkese açık dosyaları okur; siteye hiçbir şey yazmaz ve oturum açmaz.
Kısa cevap
GPTBot veya ClaudeBot sitemi tarayabiliyor mu?
AI crawler erişim kontrolü, bir alan adının /robots.txt dosyasını çekip RFC 9309 kurallarına göre yorumlar ve GPTBot, ClaudeBot, PerplexityBot, Google-Extended dâhil 16 tarayıcı için izinli, engelli veya belirtilmemiş sonucunu verir. Grup eşleşmesi ve en uzun kural kuralı uygulanır; dosyada 'Disallow' aramakla aynı şey değildir.
Özet
- Bir tarayıcının kendi grubu varsa, yıldız (*) grubu o tarayıcı için hiç geçerli değildir — eksik bıraktığı kurallar için bile.
- Allow ve Disallow çakıştığında satır sırası değil, en uzun desen kazanır.
- 'Belirtilmemiş' ile 'izinli' aynı şey değildir: tarayıcı bugün girebilir, ama site bu konuda bir şey söylememiştir.
Sık sorulanlar
Yapay zekâ tarayıcılarını engellemeli miyim?
- Bu iki ayrı karardır ve birbirine karıştırılmamalıdır. Eğitim amaçlı tarayıcıları (GPTBot, Google-Extended, ClaudeBot) engellemek içeriğinizin model eğitiminde kullanılmasını sınırlar ve meşru bir lisans tercihidir. Cevap üreten tarayıcıları (OAI-SearchBot, PerplexityBot, Claude-SearchBot) engellemek ise markanızı cevaplardan tamamen çıkarır.
Bu sayfa şu aramalara cevap veriyor
- gptbot engelleme
- robots.txt yapay zeka botları
- claudebot nedir
Projenizi konuşalım.
Yeni bir marka, yenilenmesi gereken bir web sitesi ya da arama görünürlüğü — nereden başlamak istediğinizi yazın, size uygun yol haritasını birlikte çıkaralım.