Sayfa neden indekslenmiyor? İndekslenmeme Teşhis Botu ile 9 adımlı kontrol

Yeni bir yazı yayınladınız, haftalar geçti ve Google'da hâlâ yok. "Sayfa neden indekslenmiyor?" sorusunun tek bir cevabı yoktur. Bazen robots.txt'deki tek bir satır, bazen yanlışlıkla bırakılmış bir noindex etiketi, bazen de sayfanın hiçbir yerden bağlantı almaması sorunun kaynağıdır. Otopilot'un İndekslenmeme Teşhis Botu bu olasılıkları sırayla kontrol eder ve hangisinin gerçekten engel olduğunu gösterir.

Bu rehber botun 9 adımını, sonuçların nasıl okunacağını, panelde nasıl kullanıldığını ve neyi bilemeyeceğini anlatır. Ürün sayfası İndekslenmeme Teşhis Botu adresindedir; fiyat ve süre seçenekleri orada yazar.

Sayfa neden indekslenmiyor: 9 adımda neye bakılır?

Bot, adresini verdiğiniz sayfayı kendi sunucusundan açar ve aşağıdaki adımları sırayla işler. Her adımın sonucu dört durumdan biridir: Sorun yok, Dikkat, Engel ya da Yapılamadı.

Tablodaki ayrım önemlidir. Kırmızı işaretli adımlar Google'ın sayfayı dizine almasını doğrudan engeller. Sarı işaretli adımlar tek başına engel değildir, ama Google'ın sayfayı bulmasını, taramasını ya da asıl sayfa olarak seçmesini zorlaştırır.

Birkaç adımın ayrıntısı:

• robots.txt: Bot robots.txt dosyasını okur ve kuralı Googlebot için yorumlar. Engel varsa hangi satırın engellediğini yazar. robots.txt yoksa bu, taramaya izin verildiği anlamına gelir. robots.txt sunucu hatası yüzünden okunamıyorsa uyarı verilir; Google robots.txt'ye uzun süre ulaşamazsa siteyi taramayı durdurabilir.
• noindex: Hem sayfadaki robots meta etiketine hem de sunucunun gönderdiği X-Robots-Tag başlığına bakılır. Başlıkla gelen noindex, sayfa kaynağına bakarak fark edilmesi en zor olanıdır.
• Site haritası: Önce robots.txt'deki Sitemap satırlarına, sonra /sitemap.xml ve /sitemap_index.xml adreslerine bakılır.
• İçerik: Sayfa başlığı "bulunamadı" sayfası gibi görünüyorsa Google'ın bunu soft 404 sayabileceği belirtilir.

Pratikte en sık karşılaşılan senaryolar

Teşhis botunun çıktısı soyut kalmasın diye, site sahiplerinin en sık yaşadığı durumları ve botta nasıl göründüklerini özetleyelim.

Yayına alınan site hâlâ geliştirme ayarıyla çalışıyor. Site hazırlanırken arama motorlarından gizlemek için WordPress'te "arama motorlarının siteyi dizine eklemesini engelle" seçeneği açılır ya da tüm sayfalara noindex eklenir. Site yayına alındığında bu ayar unutulur. Botta noindex adımı kırmızı çıkar ve hangi etiketin ya da başlığın sorumlu olduğu yazar. Çözüm ayarı kapatmak ve teşhisi yeniden çalıştırmaktır.

robots.txt'de fazla geniş bir kural. Yönetim paneli ya da arama sayfalarını engellemek için yazılmış bir Disallow satırı, beklenmedik biçimde blog dizinini de kapsayabilir. Bot hangi satırın engellediğini gösterdiği için hangi kuralı daraltmanız gerektiği hemen anlaşılır.

Eski adresten yeni adrese zincirleme yönlendirme. Site birkaç kez taşındıysa bir adres önce http'den https'e, sonra www'li hâline, sonra yeni kalıcı bağlantı yapısına yönlenebilir. Zincir uzadıkça tarama zorlaşır. Bot, 3 ve daha fazla adımlık zincirleri ayrıca uyarır.

Canonical yanlış sayfayı gösteriyor. Şablon ya da eklenti hatası yüzünden tüm yazılar canonical olarak ana sayfayı gösterebilir. Bu durumda Google yazılarınızı ana sayfanın kopyası sayabilir. Bot canonical'ın gösterdiği adresi yazar; sayfanın kendisini göstermiyorsa uyarı verir.

Yetim sayfa. Sayfa yayında, site haritasında, ama sitenin hiçbir yerinden bağlantı almıyor. Google sayfayı bulsa bile önemsiz sayabilir. Projeniz taranmışsa bot İç bağlantılar adımında bunu gösterir.

İnce ya da soft 404 görünen içerik. Stokta olmayan ürün sayfası, boş bir etiket sayfası ya da 150 kelimenin altında metin taşıyan bir sayfa, teknik olarak açılsa da dizine alınmayabilir. Bot bunu engel değil uyarı olarak işaretler, çünkü karar yine içeriğin yararlılığına bağlıdır.

Bu senaryoların ortak noktası, hepsinin sayfa kaynağına tek tek bakarak bulunabilmesi ama zaman almasıdır. Bot aynı kontrolleri tek seferde ve aynı sırayla yapar; size kalan iş, işaretlenen adımı düzeltmektir.

Teşhis sonucu nasıl okunur?

Adımların üstünde genel bir sonuç kutusu bulunur. Dört sonuçtan biri çıkar:

Engel var. Kırmızı işaretli en az bir adım vardır. Önce bunları düzeltin; diğer uyarılar ikinci sıradadır.

Uyarı var. Doğrudan engel yoktur, ama dizine girmeyi zorlaştıran sorunlar vardır. Canonical başka bir adresi gösteriyorsa, sayfa site haritasında yoksa ya da hiç iç bağlantı almıyorsa bu sonuç çıkar.

Engel yok. Kontrol edilen adımların hiçbirinde sorun çıkmamıştır. Bu durumda sebep büyük olasılıkla keşif, zaman ya da içerik kalitesidir.

Dizinde. Projede Search Console bağlıysa ve Google'ın URL Denetimi sayfanın dizinde olduğunu söylüyorsa bu sonuç çıkar. Aramada göremiyorsanız sorun dizin değil, sıralamadır.

Sonucun altındaki Yapılacaklar bölümü her bulgu için ne yapılacağını sıralar. Teknik bir engel bulunamazsa bot şu yolu önerir: sayfaya sitenizin önemli sayfalarından bağlantı verin, site haritasında olduğundan emin olun, Search Console'da URL Denetimi ile dizine eklenmesini isteyin ve birkaç hafta bekleyin.

Panelde adım adım kullanım

Bot bir lisansla açılır. Lisans etkin olduğunda:

1. Sol menüde Modüller altındaki Lisanslarım sayfasını açın.
2. İndekslenmeme Teşhis Botu kartında Panelde aç düğmesine basın. İndekslenmeme Teşhisi ekranı açılır.
3. Google'da görünmeyen sayfanın tam adresini yazın (örneğin https://ornek.com/yazi). Adresi http:// ya da https:// olmadan yazarsanız https:// eklenir.
4. Teşhis et düğmesine basın. Kontrol genellikle birkaç saniye ile yarım dakika arasında sürer.
5. Üstteki sonuç kutusuna, ardından adım listesine bakın. Kırmızı işaretler engel, sarı işaretler uyarıdır.
6. Düzeltmeleri yaptıktan sonra teşhisi yeniden çalıştırın. Sorun kalmadıysa Search Console'da URL Denetimi ile dizine eklenmesini isteyin.
7. Son 20 teşhis Son teşhisler listesinde saklanır; birine tıklayarak sonucu yeniden açabilirsiniz.

Ayrı bir proje ayarı gerekmez. Adresin alan adı panelinizdeki bir projenin alan adıyla aynıysa iki ek bilgi otomatik eklenir: son site taramasından sayfaya kaç iç bağlantı verildiği ve projede Search Console bağlıysa Google'ın URL Denetimi sonucu. Projeniz yoksa ya da site henüz taranmadıysa İç bağlantılar adımı "Yapılamadı" görünür. Bu durumda siteyi proje olarak ekleyip site denetimini bir kez çalıştırmanız yeterlidir.

Sınırlar ve dürüst notlar

Google'ın bir sayfayı neden dizine almadığını yalnız Google kesin bilir. Bot teknik engelleri ve belirtileri gösterir; içerik kalitesi kararını Google verir. Bunun dışında bilmeniz gereken sınırlar şunlardır:

• Günlük sınır: Günde en çok 30 teşhis yapılabilir. Sayaç İstanbul saatine göre gün değişiminde sıfırlanır.
• Googlebot değil: Sayfa Googlebot olarak değil kendi tarayıcımızla açılır. Siteniz botları ülkeye, IP'ye veya kullanıcı ajanına göre farklı karşılıyorsa sonuç Google'ın gördüğünden farklı olabilir.
• JavaScript yok: Ham HTML kontrol edilir. JavaScript ile sonradan eklenen içerik ve etiketler, örneğin JavaScript ile eklenen bir noindex, görülmez.
• Site haritası okuma sınırı: En çok 50.000 adres ve 50 harita dosyası okunur. .gz ile sıkıştırılmış haritalar okunmaz.
• Search Console adımı: Yalnız projeye bağlı mülkün kapsamındaki adresler için ve günlük URL Denetimi hakkı dolmadıysa eklenir.
• İç ağ adresleri: Güvenlik nedeniyle localhost, iç ağ ve özel IP adreslerine bağlanılmaz.
• Dizine ekleme isteği gönderilmez: Bot sayfanızı Google'a göndermez; isteği Search Console'dan siz yaparsınız.

Sık karşılaşılan bir durum da şudur: sayfa tarayıcıda açılıyor, ama teşhis 403 diyor. Cloudflare, Wordfence gibi bir güvenlik duvarı bot isteklerini engelliyor olabilir. Googlebot'un engellenmediğinden emin olun; Search Console'daki canlı URL testi Google'ın gördüğünü gösterir.

Düzeltmeden sonra ne kadar beklemeli?

Bir engeli kaldırdığınızda sonuç hemen görünmez. Google'ın sayfayı yeniden taraması, değerlendirmesi ve dizine alması zaman alır. Bu süre site büyüklüğüne, sayfanın önemine ve sitenin genel tarama düzenine göre değişir; kesin bir süre vermek mümkün değildir. Bu yüzden düzeltmeyi yaptıktan sonra teşhisi yeniden çalıştırıp tüm adımların yeşile döndüğünü doğrulayın, ardından URL Denetimi ile dizine ekleme isteyin ve sonucu birkaç gün arayla takip edin. Aynı sayfa için her gün yeniden istek göndermek süreci hızlandırmaz.

Bot yapay zekâ kullanmaz, ücretli bir dış servis çağırmaz. Kontroller kendi sunucumuzdan yapılır. Lisans biterse yeni teşhis yapılamaz, eski sonuçlar silinmez.

Diğer Otopilot özellikleriyle birlikte kullanım

Teşhis botu tek bir sayfaya derinlemesine bakar. Sitenin geneline bakmak için başka araçlar daha uygundur.

Dizinden düşen sayfaları düzenli izlemek için Google Verileri altındaki Google Index Monitörü kullanılır; Google Analytics ve dizin izleme rehberi bunu anlatır. Tüm sitede noindex, canonical ve kırık bağlantı sorunlarını bulmak için site denetimi ve SEO örümceği rehberine bakın. robots.txt ve site haritasını hızlıca denetlemek isterseniz robots.txt ve site haritası denetimi aracı üyeliksiz çalışır.

Dizine kapalı kopya sayfaların sorun listenizi nasıl şişirdiğini dizine kapalı sayfalar ve göreli link tuzağı yazısı anlatır. İndekslemeyi hızlandırmak, IndexNow ve site haritası gönderimi ise Google indeksleme ve IndexNow rehberinin konusudur. Teşhis botu "neden yok?" sorusuna, o rehber "nasıl daha hızlı olur?" sorusuna yanıt verir.

Teşhiste bulunan bir canonical ya da meta sorunu sitenizdeki birçok sayfayı etkiliyorsa düzeltmeyi tek tek yapmak yerine SEO onarım akışıyla toplu ilerleyebilirsiniz.

Sık sorulan sorular

Sayfamı Google'a gönderiyor musunuz?

Hayır. Dizine ekleme isteğini Search Console'dan siz yaparsınız. Bot, isteği göndermeden önce engel olup olmadığını kontrol etmenizi sağlar.

"Engel yok" çıktı ama sayfa hâlâ dizinde değil, neden?

Teknik engel yoksa en sık sebepler Google'ın sayfayı henüz keşfetmemesi, içeriğin benzer sayfalarla çakışması ya da yeterince yararlı bulunmamasıdır. İç bağlantı verin, içeriği zenginleştirin ve birkaç hafta bekleyin.

Canonical başka bir sayfayı gösteriyor, bu neden engel değil?

Canonical bir öneridir. Google başka bir adresi asıl sayfa olarak seçebilir, ama bu her zaman hata değildir. Kopya sayfalarda bilinçli olarak kullanılır. Yanlışlıkla konduysa düzeltin.

İç bağlantılar adımı neden "Yapılamadı" görünüyor?

Adresin alan adı panelde ekli bir projeyle eşleşmiyor ya da site henüz taranmamış olabilir. Siteyi proje olarak ekleyip site taramasını çalıştırın; www farkı sorun değildir.

Sayfa tarayıcıda açılıyor ama teşhis 403 diyor, neden?

Güvenlik duvarınız (Cloudflare, Wordfence vb.) bot isteklerini engelliyor olabilir. Bu, Googlebot'un da engellendiği anlamına gelmez, ama kontrol etmeye değer. Search Console'daki canlı URL testi Google'ın sayfayı nasıl gördüğünü gösterir. Güvenlik kurallarınızda doğrulanmış arama motoru botlarına izin verildiğinden emin olun.

Günde kaç teşhis yapabilirim?

Günde en çok 30 teşhis yapılabilir. Son 20 teşhisin sonucu listede saklanır, bunları yeniden açmak hakkınızdan düşmez.

Yapay zekâ kullanıyor mu?

Hayır. Teşhis tamamen kurallı çalışır ve yapay zekâ anahtarı gerektirmez.

Kaynaklar

• Google Arama Merkezi: noindex ile dizine eklemeyi engelleme
• Google Arama Merkezi: robots.txt'ye giriş
• Google Arama Merkezi: Kopya URL'leri birleştirme (canonical)
• Search Console Yardım: URL Denetimi aracı
• Search Console Yardım: Sayfa dizine ekleme raporu