Yapay zekâ görünürlük kontrolü: ChatGPT, Perplexity ve Claude botları sitenizi okuyabiliyor mu?

"Sitem ChatGPT'de neden hiç geçmiyor?" sorusunu son aylarda çok duyuyoruz. Bu sorunun birçok cevabı olabilir: içerik soruyu yanıtlamıyor olabilir, marka yeterince tanınmıyor olabilir ya da rakipler daha net kaynaklar sunuyor olabilir. Ama bazen sebep çok daha basittir. Yapay zekâ araçlarının botları sayfaya hiç giremiyordur ve site sahibinin bundan haberi yoktur.

Otopilot'un yeni ücretsiz aracı Yapay Zekâ Görünürlük Kontrolü tam olarak bu ilk kapıyı kontrol eder. Bir sayfa adresi yazarsınız, araç robots.txt dosyanızın her yapay zekâ botu için ne söylediğini, sunucunuzun otomatik isteklere nasıl yanıt verdiğini, llms.txt dosyanızı ve markanızı tanıtan yapısal veriyi tek ekranda gösterir. Bu yazıda aracın neyi ölçtüğünü, sonucu nasıl okuyacağınızı ve neyi ölçemediğini anlatıyoruz.

Sorun: görünmeyen bir kapı

Bir sayfanın yapay zekâ yanıtlarında kaynak olarak gösterilebilmesi için önce ilgili botun o sayfayı okuyabilmesi gerekir. Bu erişim üç yerde kesilebilir:

• robots.txt dosyasında. Birkaç yıl önce eklenmiş bir kural ya da hazır bir şablondan kopyalanmış satırlar yapay zekâ botlarını kapatıyor olabilir.
• Güvenlik katmanında. Cloudflare gibi hizmetlerin bot koruması ya da güvenlik duvarı kuralları otomatik isteklere 403 ya da doğrulama sayfası döndürebilir. Bu engel robots.txt dosyasında görünmez.
• Sayfanın kendisinde. robots meta etiketindeki noindex, nosnippet ya da none değerleri sayfanın alıntılanmasını sınırlar.

Sorunun zor tarafı, bunların hiçbirinin site sahibine bir uyarı göstermemesidir. Site tarayıcıda normal açılır, Google aramasında görünmeye devam eder ama yapay zekâ botları kapıda kalır.

Araç neleri kontrol eder?

Araç bir sayfa adresi için şu kontrolleri yapar:

1. robots.txt kararları. Dosyanızı okur ve girdiğiniz sayfa için listedeki her botun izinli olup olmadığını hesaplar.
2. Otomatik isteklere yanıt. Sayfayı kendi botumuzla ister. 403, 429 ya da doğrulama sayfası gibi engel işaretleri gelirse bunu gösterir.
3. Cloudflare işaretleri. Site Cloudflare arkasındaysa bunu bilgi olarak yazar. robots.txt içinde Cloudflare tarafından yönetilen bir bölüm ya da Content-Signal satırları varsa ayrıca listeler.
4. llms.txt dosyası. Sitenin kökünde llms.txt olup olmadığına bakar, varsa kısa bir önizlemesini gösterir.
5. Yapısal veri. Sayfada Organization ya da LocalBusiness verisi, WebSite verisi ve sameAs bağlantıları olup olmadığını kontrol eder.
6. Önizleme denetimi. Sayfada noindex, nosnippet ya da none işareti varsa uyarır.

Hangi botlar kontrol edilir?

Bütün yapay zekâ botları aynı işi yapmaz. Araç botları amaçlarına göre üç gruba ayırır ve her grubu ayrı değerlendirir.

Google-Extended ve Applebot-Extended gerçek birer tarayıcı değildir. robots.txt içinde, içeriğin yapay zekâ modelleri için kullanılıp kullanılamayacağını bildiren kontrol adlarıdır. Google'ın tarayıcıları hakkındaki açıklama Google tarayıcıları belgesinde yer alır.

Eğitim botunu engellemek hata mı?

Hayır, ve araç bunu hata saymaz. İçeriğinizin model eğitiminde kullanılmasını istemiyorsanız GPTBot, ClaudeBot ve CCBot gibi botları engellemek meşru bir tercihtir. Bu botlar engellendiğinde sonuç ekranında yalnız bilgi notu görürsünüz.

Asıl dikkat edilmesi gereken yer yanıt ve kullanıcı isteği botlarıdır. Sık yapılan hata, tüm yapay zekâ botlarını tek bir kuralla kapatmaktır. Böyle bir kural eğitim botlarıyla birlikte yanıt botlarını da durdurur ve sayfa yanıtlarda kaynak gösterilemez hâle gelir. Listedeki tüm yanıt botları engelliyse araç bunu hata olarak, bir kısmı engelliyse uyarı olarak gösterir. Kararı her bot için ayrı vermenizi öneririz. robots.txt yazımıyla ilgili temel bilgiler için site haritası ve robots.txt rehberine bakabilirsiniz.

Adım adım kullanım

1. Yapay Zekâ Görünürlük Kontrolü sayfasını açın.
2. Sayfa adresi alanına kontrol etmek istediğiniz adresi yazın. Ana sayfayla başlamak iyi bir fikirdir, ama önemli bir hizmet ya da rehber sayfanız varsa onu da ayrıca kontrol edin. robots.txt kuralları klasöre göre farklılaşabilir.
3. "Analiz et" düğmesine basın. Kontrol birkaç saniye sürer.
4. Ekranın üstünde skor ve özet kartları görünür: robots.txt bulundu mu, llms.txt var mı, sayfa yanıtı hangi HTTP kodu, Organization ve WebSite verisi var mı.
5. Aşağıdaki bot tablosunda her botun izinli ya da engelli olduğunu, sahibini ve grubunu görürsünüz.
6. Kontrol listesinde uyarı ya da hata olan satırları açın. Her satırda ne görüldüğü, neden önemli olduğu ve nasıl düzeltileceği yazar.

Sonuç nasıl okunur?

Sonucu okurken önce iki yüksek etkili kontrole bakın: yanıt ve arama botları, otomatik isteklere yanıt. Bu ikisi geçiyorsa erişim tarafında temel bir sorun yok demektir. Ardından yapısal veri kontrollerine geçin.

• Yanıt botları hata veriyorsa robots.txt dosyanızda bu botları kapatan kuralı bulun. Genellikle User-agent: * altında geniş bir Disallow ya da yapay zekâ botlarını listeleyen bir blok olur.
• Otomatik isteklere yanıt hata veriyorsa güvenlik katmanınız botları durduruyor olabilir. Cloudflare kullanıyorsanız panelde yapay zekâ botlarını engelleme ayarına ve güvenlik kurallarına bakın.
• "Belirlenemedi" görüyorsanız araç o bilgiyi okuyamamıştır. Örneğin robots.txt dosyası okunamadıysa bot kararları tahmin edilmez.
• robots.txt hiç yoksa botlar tüm siteyi tarayabilir. Araç bu durumda botları izinli sayar.

Skor bu kontrollerin ağırlıklı özetidir. Model eğitimi botları ve llms.txt bilgi amaçlıdır, skoru düşürmez.

Örnek: eğitimi kapatıp yanıtları açık bırakmak

Pek çok site sahibinin istediği düzen şudur: içerik model eğitiminde kullanılmasın, ama yapay zekâ araçları soruları yanıtlarken sayfayı okuyup kaynak gösterebilsin. Bunun için robots.txt dosyasında yalnız eğitim botlarını ayrı ayrı kapatmak yeterlidir. Örneğin şu satırlar eğitim botlarını durdurur:

• User-agent: GPTBot ve altında Disallow: /
• User-agent: ClaudeBot ve altında Disallow: /
• User-agent: CCBot ve altında Disallow: /
• User-agent: Google-Extended ve altında Disallow: /

OAI-SearchBot, ChatGPT-User, PerplexityBot ve Claude-SearchBot için ayrı bir kural yazmazsanız bu botlar genel User-agent: * kuralınıza uyar. Genel kuralınız siteyi açık bırakıyorsa yanıt botları da sayfaları okuyabilir.

Değişikliği yayımladıktan sonra aracı yeniden çalıştırın. Bot tablosunda eğitim botları engelli, yanıt ve kullanıcı isteği botları izinli görünmelidir. Tabloda beklemediğiniz bir engel görürseniz dosyanızda daha önce eklenmiş, unutulmuş bir kural olabilir. Bazı eklentiler ve barındırma panelleri robots.txt dosyasını kendileri ürettiği için, dosyayı elle düzenlediğiniz hâlde değişiklik görünmüyorsa bu ayarlara da bakın.

Cloudflare ve kesin ölçülemeyen engeller

Burada dürüst olmamız gereken bir nokta var. Cloudflare yapay zekâ botlarını gerçek bot adreslerine ve imzalarına göre tanır. Bizim isteğimiz başka bir adresten geldiği için, Cloudflare'in gerçek GPTBot ya da PerplexityBot isteğine nasıl davrandığını dışarıdan kesin olarak göremeyiz. Bu yüzden araç sitenin Cloudflare arkasında olduğunu bilgi olarak yazar ve panel ayarlarına ayrıca bakmanızı önerir. Sayfa bizim isteğimize engel döndürüyorsa bunu açıkça gösteririz. Döndürmüyorsa bu, gerçek botların da geçtiği anlamına gelmeyebilir.

llms.txt gerekli mi?

llms.txt, yapay zekâ araçlarına sitenin kısa bir özetini ve önemli sayfaların listesini sunmak için önerilmiş bir dosyadır. Bazı geliştirici araçları ve belge siteleri bu dosyayı kullanır. Büyük arama ve yanıt motorlarının kaynak seçiminde bu dosyayı kullandığına dair kesin bir açıklama yoktur. Bu yüzden araç llms.txt eksikliğini hata saymaz, yalnız bilgi olarak gösterir. Eklemek zararsızdır ve birkaç dakikanızı alır, ama bir sihirli anahtar gibi görülmemelidir.

Yapısal veri neden bu kontrolde?

Yapay zekâ araçları farklı kaynaklardaki bilgileri birleştirirken markanın kim olduğunu anlamaya çalışır. Ana sayfadaki Organization ya da LocalBusiness verisi markanızın adını, logosunu ve iletişim bilgilerini makinelerin okuyacağı biçimde bildirir. sameAs bağlantıları sosyal medya hesaplarınızı ve kayıt sayfalarınızı bu markaya bağlar. WebSite verisi sitenin adını tek yerde tanımlar. Google'ın Organization yapısal verisi belgesi hangi alanların önerildiğini anlatır. Verinizi yazdıktan sonra JSON-LD doğrulayıcı ile kontrol edebilirsiniz.

Sınırlar

• Araç yanıtlarda gerçekten görünüp görünmediğinizi ölçmez. Yalnız erişim koşullarını ölçer. İzin şarttır ama yeterli değildir.
• Tek bir sayfa kontrol edilir. robots.txt kuralları klasöre göre değişebileceği için önemli sayfaları ayrı ayrı kontrol edin.
• Gerçek botların adresinden istek göndermeyiz. Güvenlik katmanının gerçek botlara davranışı dışarıdan kesin ölçülemez.
• Kullanım sınırı vardır. Araç üyeliksizdir ama aynı IP adresinden günlük kullanım sınırı uygulanır. Sınır dolduğunda ekranda ne zaman yeniden deneyebileceğiniz yazar.

Erişimi düzelttikten sonraki adım, soruları doğrudan yanıtlayan, tarihli ve kaynak gösteren içerikler üretmektir. Bu konuyu yapay zekâ yanıtlarında görünürlük rehberinde ve Google yapay zekâ cevaplarında görünmek yazısında ele aldık. Markanızın yanıtlarda ne sıklıkla geçtiğini düzenli izlemek isterseniz Otopilot'un GEO modülü bu işi panelde yapar.

Diğer ücretsiz araçlar

• SEO Puan Rozeti: Tüm site raporundan gelen puanı tarihli bir rozetle gösterir. Rehberi okuyun.
• Rakip Karşılaştırma: İki sayfayı aynı ölçütlerle yan yana koyar. Rehberi okuyun.
• Haftalık SEO Karnesi: Ana sayfanızın puanını her pazartesi e-postayla gönderir. Rehberi okuyun.
• Sosyal Paylaşım Önizleme: Bağlantınızın paylaşım kartını dört platformda gösterir. Rehberi okuyun.

Sık sorulan sorular

GPTBot'u engellersem ChatGPT sitemi gösterir mi?

GPTBot model eğitimi için veri toplar. ChatGPT yanıtlarında arama yaparken OAI-SearchBot, kullanıcı bir bağlantı paylaştığında ChatGPT-User kullanılır. Bu ikisi açıksa GPTBot'u engellemeniz yanıtlarda görünmeyi doğrudan engellemez.

Araç sitemin yapay zekâ yanıtlarında görünüp görünmediğini söyler mi?

Hayır. Araç erişim koşullarını ölçer. Yanıtlarda kaynak gösterilmek için erişim şarttır ama tek başına yeterli değildir.

Tüm botlar izinli görünüyor ama yine de yanıtlarda yokum. Neden?

Yapay zekâ araçları hangi kaynağı göstereceğini içeriğin soruyla ilgisine, güncelliğine, açıklığına ve sitenin güvenilirliğine göre seçer. Erişim yalnız ilk adımdır.

llms.txt yoksa skorum düşer mi?

Hayır. llms.txt bilgi olarak gösterilir ve skoru etkilemez.

robots.txt dosyam yok. Bu kötü mü?

robots.txt yoksa botlar tüm siteyi tarayabilir. Araç bu durumda botları izinli sayar. Yine de bir robots.txt ve site haritası tanımlamak tarama düzeni için iyi bir alışkanlıktır.

Kontrolü ne sıklıkla yapmalıyım?

robots.txt dosyanızı, güvenlik katmanı ayarlarınızı ya da SEO eklentinizi her değiştirdiğinizde kontrolü yeniden çalıştırın. Bunun dışında birkaç ayda bir bakmak yeterlidir. Barındırma firması değişikliği, tema güncellemesi ya da yeni bir güvenlik eklentisi de bu ayarları sessizce değiştirebileceği için bu tür değişikliklerden sonra da kontrol etmenizi öneririz.

Kaynaklar

• Google: Yaygın Google tarayıcıları ve Google-Extended
• Google: robots.txt dosyasına giriş
• Google: Yapay zekâ özellikleri ve web siteniz
• Google: Organization yapısal verisi
• Google: Robots meta etiketi ve X-Robots-Tag