Teknik SEO

Site haritası ve robots.txt rehberi: Doğru kurulum ve sık yapılan hatalar

2 Kasım 20268 dk okuma

robots.txt ile site haritası ne işe yarar, ne yaramaz? Doğru sözdizimi, örnek dosyalar, Search Console kontrolü ve siteyi aramadan silen yaygın hatalar.

Bir web sitesinde arama motorlarıyla doğrudan konuşan iki küçük dosya vardır: robots.txt ve site haritası. Biri "buraya girme" der, diğeri "şu sayfalar var" der. Basit görünürler, ama yanlış kullanıldıklarında sonuçları büyük olur. Tek bir satır bütün siteyi taramadan çıkarabilir, hatalı bir site haritası ise Google'a yanlış adresleri öne çıkarır.

Bu yazıda iki dosyanın ne yaptığını ve ne yapmadığını, doğru sözdizimini, örnek dosyaları ve en sık yapılan hataları Google'ın resmî belgelerine göre anlatıyoruz. Teknik bilginiz az da olsa kendi dosyanızı okuyup kontrol edebileceksiniz.

İki dosyanın farkı

En sık karıştırılan nokta şudur: robots.txt taramayı yönetir, site haritası keşfi kolaylaştırır. Hiçbiri dizine eklemeyi tek başına belirlemez.

`robots.txt`: Tarayıcılara sitenizde hangi adreslere erişebileceklerini söyler. Asıl amacı sunucunuzu gereksiz isteklerle yormamaktır.
Site haritası: Sitenizdeki önemli sayfaları ve dosyaları listeler. Hangi sayfaların önemli olduğunu, ne zaman güncellendiğini ve dil sürümlerini gösterebilir.
`noindex`: Sayfanın arama sonuçlarında görünmemesini sağlar. Dizin kontrolü için doğru araç budur.

Bu ayrımı akılda tutmak için şöyle düşünebilirsiniz: robots.txt kapıdaki görevlidir, site haritası bina krokisidir, noindex ise "bu odayı rehberde gösterme" talimatıdır.

robots.txt nedir, ne değildir?

Google'ın belgesi bu dosyanın bir sayfayı Google'dan gizleme yöntemi olmadığını özellikle belirtir. Şu üç sınırı bilmek gerekir.

Engel, zorunluluk değildir. Düzgün tarayıcılar kurallara uyar, her tarayıcı uymaz. Gizli bilgiler için parola kullanın.

Engellenen adres yine aramada çıkabilir. Başka bir site o adrese bağlantı verirse Google adresi içeriğini okumadan dizine ekleyebilir. Sonuçta açıklama metni olmadan görünür.

Engel, `noindex` etiketini görünmez kılar. Sayfada noindex var ama robots.txt taramayı engelliyorsa Google etiketi okuyamaz. Sayfa bağlantı aldığı için sonuçlarda kalabilir. Bu durum en yaygın yanlış anlamalardan biridir. Bir sayfayı aramadan çıkarmak istiyorsanız taramaya izin verin ve noindex kullanın.

Bir de medya dosyaları için fark vardır. Görsel, video ve ses dosyalarında robots.txt bu dosyaların aramada çıkmasını önlemeye yardımcı olur. HTML sayfalarında ise bu etkiyi beklemeyin.

robots.txt nasıl yazılır?

Dosya kurallarını kısa tutun. Çoğu site için uzun bir dosya gerekmez.

Konum: Dosya sitenin kökünde olmalıdır: https://www.alanadiniz.com/robots.txt. Alt klasöre konulan dosya çalışmaz. Alt alan adları için ayrı dosya gerekir. Kurallar yalnızca dosyanın bulunduğu protokol, alan adı ve port için geçerlidir.

Biçim: Dosya adı tam olarak robots.txt olmalı, UTF-8 düz metin olmalıdır. Word gibi kelime işlemcilerle hazırlamayın. Google dosyanın ilk 500 KiB kısmını okur, sonrasını yok sayar.

Yapı: Dosya gruplardan oluşur. Her grup User-agent satırıyla başlar. Yollar büyük-küçük harfe duyarlıdır. # ile başlayan satırlar açıklamadır.

Tipik bir küçük site dosyası şu satırlardan oluşur:

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Sitemap: https://www.alanadiniz.com/sitemap.xml

Bu dosya tüm tarayıcılara yönetim ve sepet klasörlerine girmemesini söyler, geri kalanı serbest bırakır ve site haritasını gösterir. Hiçbir şey engellemek istemiyorsanız Disallow: satırını boş bırakabilirsiniz.

Joker karakterler: * herhangi bir karakter dizisini, $ adresin sonunu ifade eder. Parametreli adresleri süzmek için kullanışlıdır. Örneğin Disallow: /*?siralama= sıralama parametreli adresleri kapsar. Bu kurallar güçlüdür, dikkatli yazın.

Öncelik: Bir tarayıcı için en belirli User-agent grubu uygulanır. Çakışmada en uzun eşleşen yol kazanır, eşitlikte en az kısıtlayıcı kural geçerlidir.

Desteklenmeyenler: Google crawl-delay satırını yok sayar. robots.txt içinde noindex de desteklenmez.

Sunucu hataları robots.txt'yi nasıl etkiler?

Az bilinen ama önemli bir ayrıntı: Google dosyanızı alırken aldığı durum kodu taramayı etkiler.

200: Dosya işlenir.
4xx: Dosya yok sayılır ve tarama kısıtı uygulanmaz. Yani dosyanın olmaması sorun değildir. 429 bunun istisnasıdır.
5xx: İlk 12 saat tarama durur, sonra son başarılı sürüm en fazla 30 gün kullanılır.
3xx: En fazla beş yönlendirme takip edilir.

Yani robots.txt adresinin sürekli 500 hatası vermesi, bütün sitenin taranmasını durdurabilir. Bu dosyayı sağlıklı tutmak önemlidir. Güncellemenin yansıması da zaman alır: Google içeriği genellikle en fazla 24 saat önbellekte tutar.

Hangi sayfalar engellenmeli?

Çok az sayıda şey engellenmelidir. Tipik adaylar şunlardır:

Yönetim ve giriş sayfaları.
Sepet, ödeme ve hesap adımları.
Site içi arama sonuçları.
Sonsuz sayıda kombinasyon üreten filtre adresleri.

Şunları engellemeyin:

CSS ve JavaScript dosyaları. Google sayfayı doğru işleyemez.
Görünmesini istediğiniz sayfalar.
noindex eklediğiniz sayfalar.
Canonical ile yönettiğiniz kopya sayfalar. Google'ın canonical etiketini okuyabilmesi gerekir.

Küçük bir sitede tarama bütçesi çoğu zaman sorun değildir. Dosyayı kısa tutun, ihtiyaç olmadıkça kural eklemeyin.

Site haritası nedir, gerçekten gerekli mi?

Google, küçük sitelerde site haritasının şart olmayabileceğini söyler. Burada küçük site, aramada görünmesini istediğiniz yaklaşık 500 veya daha az sayfası olan site demektir. İç bağlantıları sağlamsa Googlebot önemli sayfaları ana sayfadan bulabilir. Şu durumlarda ise özellikle yararlıdır:

Site büyükse ve her sayfaya bağlantı vermek zorsa.
Site yeniyse ve dışarıdan az bağlantı alıyorsa.
Çok sayıda video veya görsel varsa ya da haber yayınlıyorsanız.

Gerekli olmasa da zarar vermez. WordPress, Wix veya Blogger gibi sistemler çoğu zaman haritayı kendileri üretir. Önce /sitemap.xml adresini açıp var olup olmadığına bakın.

Şunu da hatırlayın: Site haritası bir ipucudur. Listedeki her adresin taranacağı veya dizine ekleneceği garanti edilmez.

Doğru site haritası nasıl hazırlanır?

Temel kurallar şunlardır.

Sınır: Tek dosya en çok 50.000 adres veya sıkıştırılmamış 50 MB olabilir. Fazlası için dosyayı bölün ve bir site haritası dizini kullanın.
Kodlama: UTF-8.
Adres biçimi: Tam ve mutlak adres yazın. /sayfa değil, https://www.alanadiniz.com/sayfa.
Yalnız kanonik adresler: Aramada görünmesini istediğiniz adresler bulunmalı. Yönlendirilen, noindex olan, 404 dönen ve canonical ile başka sayfaya işaret eden adresleri çıkarın.

Bir kaydın parçaları şöyledir:

<url> bir sayfanın kaydını açar.
<loc>https://www.alanadiniz.com/hizmetler</loc> sayfanın tam adresidir.
<lastmod>2026-10-15</lastmod> son önemli değişiklik tarihidir.
Tüm kayıtlar <urlset> öğesinin içinde durur, dosya XML bildirimiyle başlar.

`lastmod` dürüst olmalı. Google bu alanı, tutarlı ve doğrulanabilir olduğunda kullanır. Tarih, sayfanın son önemli değişikliğini yansıtmalıdır: ana metin, yapılandırılmış veri veya bağlantı değişikliği gibi. Telif yılı veya kenar çubuğundaki küçük değişiklik bunun için geçerli değildir. Her gün bütün sayfaların tarihini güncelleyen eklentiler bu sinyalin değerini düşürür.

`priority` ve `changefreq`: Google bu iki değeri kullanmaz. Eklemek zarar vermez, ama uğraşmaya değmez.

Metin site haritası: Küçük siteler için her satırda bir adres olan .txt dosyası da kabul edilir. RSS 2.0 ve Atom 1.0 da site haritası olarak kullanılabilir.

Google'a nasıl bildirilir?

Üç temel yol vardır.

Search Console: Site Haritaları raporundan dosya adresini gönderirsiniz. Durumu buradan izlersiniz. Sahip izni gerekir.
`robots.txt`: Sitemap: satırıyla tam adresi belirtirsiniz.
Search Console API: Otomatik gönderim için.

Eski bir yöntem olan ping adresi kullanımdan kalktı. Google 2023'te bu desteğin kaldırıldığını duyurdu. Eski eklentiler zarar vermez, ama işe de yaramaz.

Bir not: Search Console'daki rapor yalnızca bu raporla veya API ile gönderilen haritaları gösterir. robots.txt ile bulunan haritalar listelenmez. Ayrıca rapordan bir haritayı silmek Google'ın adresleri unutmasını sağlamaz.

Dosyalarınızı nasıl test edersiniz?

Yayınladıktan sonra şu kontrolleri yapın.

Gizli pencerede /robots.txt adresini açın. Dosya herkese açık mı?
Search Console'daki robots.txt raporuna bakın. Google dosyanızı aldı mı, hata var mı?
Önemli bir sayfayı URL Denetleme aracında test edin. "Tarama izni" görünüyor mu?
Site Haritaları raporunda durum "Başarılı" mı? "Getirilemedi" ise sebep çoğu zaman robots.txt engeli veya 404'tür.
Haritadaki birkaç adresi açın. Hepsi 200 dönüyor mu?

Hızlı bir görünüm için robots ve sitemap denetimi aracı, dosyalarınızın durumunu ve yapay zekâ tarayıcılarına verdiğiniz erişimi gösterir.

Altyapıya göre pratik notlar

WordPress: Temel bir sanal robots.txt ve site haritası çoğu kurulumda hazır gelir, SEO eklentileri bunları değiştirir. Birden fazla eklenti aynı işi yapıyorsa çelişki oluşabilir. Tek eklenti kullanın.

Wix, Blogger ve benzerleri: Dosyayı doğrudan düzenleyemeyebilirsiniz. Google da bu durumda platformun arama ayarlarını kullanmanızı önerir.

Next.js ve özel yazılım: Dosyaları üretmek için çatının kendi yöntemini kullanın ve test sunucusunda oluşturduğunuz kuralların yayına taşınmadığından emin olun. Ortam değişkenine bağlı Disallow kuralları yayın hatalarının sık görülen kaynağıdır.

En sık yapılan hatalar

Geliştirme satırının yayında kalması. Disallow: / tüm siteyi taramadan çıkarır. Yayın öncesi kontrolde ilk bakılacak satırdır. Detaylar için yayın öncesi kontrol listesine bakın.
Noindex sayfayı engellemek. Google etiketi okuyamaz.
Kaynak dosyalarını engellemek. Sayfa Google'a bozuk görünür.
Büyük-küçük harf hatası. /Urunler/ ve /urunler/ farklı yollardır.
Site haritasında kirli adresler. Yönlendirme ve 404 dolu harita Google'a yanlış sinyal verir.
Yanlış sürümdeki adresler. Site https://www iken haritada http:// adresleri bulunması.
Sahte tarih. Her gün değişen lastmod.

Otopilot bu dosyalar için neyi kontrol eder, neyi yapar?

Otopilot site denetimi, taramada robots.txt ve site haritasını okur ve kurallara uyar. Tüm siteyi engelleyen robots.txt, eksik robots.txt, robots.txt içinde site haritası belirtilmemesi, eksik veya okunamayan site haritası ve haritada noindex sayfa bulunması gibi durumları kuralla yakalar.

Bağlı kanal destekliyorsa SEO onarımı düzeltme hazırlar. robots.txt değişikliği riskli sayılır ve tam otomatik modda bile onayınızı bekler. Pixel kanalı bu dosyalara dokunamaz, çünkü tarayıcıda çalışır. Wix, ikas, Shopify ve OpenCart gibi kanallarda site düzeyi düzeltmeler de desteklenmez; bunlar için WordPress eklentisi veya API kanalı gerekir. Okunamayan site haritası ise elle düzeltilmek üzere size bırakılır.

Google'ın bu dosyaları nasıl değerlendirdiğini ise Search Console'dan görürsünüz. Bu bilgi aracın göremediği bir bilgidir. Planlar için fiyatlar sayfasına bakabilirsiniz.

Sık sorulan sorular

robots.txt dosyam yoksa sorun olur mu?

Hayır. Dosya yoksa Google 404 alır ve kısıt uygulamadan tarar. Yine de site haritasını belirtmek için basit bir dosya eklemek faydalıdır.

Bir sayfayı Google'dan nasıl tamamen kaldırırım?

Taramaya izin verin ve noindex ekleyin, ya da sayfayı parola ile koruyun veya kaldırın. robots.txt ile engellemek bu iş için uygun değildir.

Site haritası sıralamayı artırır mı?

Doğrudan hayır. Site haritası keşfi kolaylaştırır. Sıralama içerik ve diğer sinyallere bağlıdır.

Kaç site haritası gönderebilirim?

Birden çok site haritası gönderebilirsiniz. Bir dosya 50.000 adresi geçerse bölmeniz gerekir. Rapor en fazla 1.000 gönderilmiş haritayı gösterir.

Yapay zekâ botlarını robots.txt ile engellemeli miyim?

Bu bir iş kararıdır. GPTBot gibi tarayıcılar bu dosyaya göre yönetilebilir. Ancak Google'ın yapay zekâ özellikleri Googlebot ile ilişkilidir ve ayrı ayarları vardır. Ayrıntılar yapay zekâ cevapları yazısında yer alıyor.