XML Site Haritası ve robots.txt Doğru Kullanımı

SEO üzerinde çalışırken XML Site Haritası ve robots.txt Doğru Kullanımı konusunu doğru kavramak hem zaman kazandırır hem de ileride çıkabilecek sorunların önüne geçer. Aşağıda konunun özünü 5 başlık altında topladık.

Temel kavram ve amaç

Site haritası arama motoruna "dizine eklemeni istediğim sayfalar bunlar" der; robots.txt ise taranmasını istemediğiniz alanları belirtir. İkisi birbirini tamamlar ama sık yapılan hatalar yüzünden yeni içerik haftalarca keşfedilmeyebilir ya da önemli sayfalar yanlışlıkla kapatılabilir.

Bilmeniz gereken 5 temel nokta

• Yalnız dizinlenebilir adresler: Site haritasında 404, yönlendirme ya da noindex sayfa bulunmamalıdır.
• lastmod: Sayfa gerçekten değiştiğinde güncellenen tarih, yeniden taramayı hızlandırır.
• robots.txt gizlemez: Disallow taramayı engeller ama gizli bilgi korumaz; özel alanlar şifreyle korunmalıdır.
• CSS ve JS'yi engellemeyin: Google sayfayı çizebilmek için stil ve betik dosyalarına erişmelidir.
• Search Console: Site haritasını gönderin; Kapsam raporu dizine eklenmeyen sayfaları ve nedenlerini gösterir.

Uygulamalı örnek

Teoriyi somutlaştırmak için kısa bir uygulama örneğine bakalım:

User-agent: *
Allow: /
Disallow: /yonetim/
Disallow: /giris
Disallow: /api/
Disallow: /*?siralama=

Sitemap: https://ferdigiden.com.tr/sitemap.xml

Kodu doğrudan kopyalamak yerine her satırın ne yaptığını anlayarak uyarlamanız, ileride çıkacak hataları çözmeyi kolaylaştırır.

Avantajları

Kısaca özetlemek gerekirse:

• Arama motorlarının sayfayı doğru anlamasını kolaylaştırır
• Organik trafiği uzun vadede artırır
• Kullanıcı deneyimini ve sayfada kalma süresini iyileştirir

Özetle

XML Site Haritası ve robots.txt Doğru Kullanımı konusunda ele aldığımız 5 nokta, günlük çalışmada en sık ihtiyaç duyulan kısmı kapsıyor. Özellikle Yalnız dizinlenebilir adresler ve Search Console başlıklarını uygulamaya geçirmek iyi bir başlangıç olur.

İlgili içerikler:

• Schema.org JSON-LD ile Google'da Zengin Sonuç Alma
• Core Web Vitals: LCP, INP ve CLS'yi İyileştirme
• Canonical Etiketi ve Yinelenen İçerik Sorunu

Daha fazla uygulamalı içerik için Akademi derslerine ve blog yazılarına göz atabilirsiniz.