Robots.txt Oluşturucu nedir?
robots.txt, sitenizin kök dizininde duran ve tarayıcı botlarına hangi bölümleri tarayabileceklerini söyleyen metin dosyasıdır. Bu araç varsayılan izin/engel kuralını, botlara özel kuralları, tarama gecikmesini ve site haritası adresini görsel olarak seçmenizi sağlar. WordPress, e-ticaret ve yönetim paneli için hazır şablonlar ile yapay zekâ eğitim botlarını (GPTBot, CCBot, Google-Extended) engelleme seçeneği içerir.
Nasıl kullanılır?
- 1Varsayılan kuralı ve varsa hazır şablonu seçin.
- 2Engellenecek klasörleri, özel botları ve site haritası adresini ekleyin.
- 3Çıktıyı indirip sitenizin köküne robots.txt adıyla yükleyin.
Sık sorulan sorular
robots.txt sayfayı Google'dan kaldırır mı?
Hayır. robots.txt yalnız taramayı engeller; bağlantı alan sayfa yine dizinde görünebilir. Kaldırmak için noindex kullanın.
Disallow: / ne anlama gelir?
Tüm siteyi o bot için taramaya kapatır. Yanlışlıkla bırakılırsa site arama sonuçlarından düşebilir.
Yapay zekâ botlarını engellemeli miyim?
İçeriğinizin yapay zekâ modellerinin eğitiminde kullanılmasını istemiyorsanız GPTBot, CCBot ve Google-Extended'ı engelleyebilirsiniz; arama sıralamanızı etkilemez.