Robots.txt ve sitemap denetimi

robots.txt ve site haritası ne işe yarar?

robots.txt, sitenizin kök dizininde duran ve tarayıcılara hangi yollara girmemeleri gerektiğini söyleyen basit bir metin dosyasıdır. Site haritası ise tersini yapar: arama motorlarına önemli sayfalarınızın listesini sunar. Biri yasak bölgeleri, diğeri gezilecek yerleri gösterir. İkisi birlikte tarama bütçesinin doğru yerde harcanmasına yardım eder. Bu araç iki dosyayı da okur, kuralları yorumlar ve sonuçları anlaşılır bir tabloya döker. Kök dizinde dosya yoksa ya da sunucu hata döndürüyorsa bunu açıkça yazarız, böylece sessiz kalan bir sorunla karşılaşmazsınız.

Engelleme ile indeksten çıkarma aynı şey değildir

En sık yapılan yanlış, robots.txt ile bir sayfanın aramadan kaldırılacağını düşünmektir. Disallow kuralı yalnız taramayı durdurur. Başka sitelerden bağlantı alan bir adres, içeriği okunmamış olsa bile sonuçlarda görünebilir. Bir sayfayı gerçekten dizinden çıkarmak için noindex etiketi kullanılmalı ve sayfanın taranabilir kalması gerekir, çünkü arama motoru etiketi ancak sayfayı okuyabilirse görür. robots.txt herkese açıktır, bu yüzden gizli yolları yazmak onları saklamaz, tam tersine görünür kılar. Gerçek gizlilik için kimlik doğrulaması gerekir. Dosya bir kural kitabıdır, güvenlik önlemi değildir.

Önek kuralları sürpriz yaratabilir

robots.txt kuralları önek olarak çalışır. Disallow: /seo satırı yalnız o klasörü değil, /seo-analiz ya da /seoya-giris gibi aynı harflerle başlayan tüm adresleri de engeller. Sonda eğik çizgi kullanmak bu riski azaltır. Küçük bir yazım farkı binlerce sayfayı taramanın dışında bırakabilir.

• Tüm siteyi kapatan Disallow: / satırının yayında unutulması
• CSS ve JavaScript klasörlerinin engellenmesi, sayfanın yanlış çizilmesi
• Sitemap satırında eski alan adının ya da http adresinin kalması
• User-agent gruplarının karışması, botun beklenmeyen kurala uyması
• Dosyanın 200 yerine yönlendirme ya da hata döndürmesi

Yapay zekâ botlarına kapıyı açmak mı, kapatmak mı?

ChatGPT, Claude, Perplexity ve benzeri hizmetlerin kendi tarayıcıları vardır. Bazıları model eğitimi için, bazıları kullanıcı sorusuna canlı yanıt vermek için çalışır. Tablodaki bot listesi bunların her birinin mevcut kurallarınıza göre erişip erişemediğini gösterir. Bu bir teknik karardır ama aynı zamanda iş kararıdır. Yapay zekâ yanıtlarında kaynak olarak görünmek istiyorsanız arama amaçlı botları engellememeniz gerekir. İçeriğinizin eğitimde kullanılmasını istemiyorsanız yalnız ilgili botları kapatabilirsiniz. Birçok sitede bu tercih bilinçli yapılmamıştır, güvenlik eklentisi ya da CDN ayarı botları sessizce engelliyor olabilir.

Sağlıklı bir site haritası nasıl olur?

Site haritasında yalnız indekslenmesini istediğiniz, 200 döndüren ve canonical durumda olan adresler bulunmalıdır. Yönlendirilen, silinmiş ya da noindex sayfaları listelemek güveni azaltır. Tek bir dosya en fazla 50.000 adres ve açılmış halde 50 MB olabilir, daha büyük siteler dizin dosyası kullanır. lastmod alanı yalnız gerçekten değişen sayfalarda güncellenmelidir; her gün tüm tarihleri yenilemek bu alanı anlamsız kılar. Araç örnek adresleri yoklayarak listenin güncel olup olmadığına dair fikir verir. Bu bir örneklemedir, tüm adreslerin tek tek denetlendiği anlamına gelmez.

Değişiklik yaptıktan sonra

robots.txt güncellemeleri hemen yayında olsa da arama motorları dosyayı önbelleğe aldığı için etkisi bir süre sonra görülür. Büyük değişikliklerden önce dosyanın yedeğini alın. Site haritanızı Search Console ve Bing Webmaster Tools üzerinden gönderin, ayrıca robots.txt içinde Sitemap satırıyla belirtin. Search Console'daki sayfalar raporu, engellenen ve taranan ama dizine eklenmeyen adresleri gösterir. Bu denetim aynı IP adresinden 30 günde bir çalışır. Yapay zekâ yanıtlarında markanızın nasıl geçtiğini izlemek isterseniz seopanel planlarındaki GEO özelliğini inceleyebilirsiniz.

Kısa kontrol listesi

Yayın öncesinde dosyanın 200 döndüğünü, tüm siteyi kapatan bir satır olmadığını ve site haritası adresinin doğru alan adını gösterdiğini doğrulayın. Bu üç kontrol bir dakika sürer.