Claude'da görünmek: ClaudeBot, Claude-SearchBot ve Claude-User farkı

Claude'da görünmek, bir kullanıcı Claude'a web araması gerektiren bir soru sorduğunda sitenizin cevabın kaynakları arasında yer alması demektir. Claude da ChatGPT ve Perplexity gibi web aramasıyla güncel bilgi toplayabilir ve aramaya dayandığı cevaplarda kaynak bağlantısı verir. Bu yüzden Claude, yapay zekâ görünürlüğü çalışmasında atlanmaması gereken asistanlardan biridir.

Anthropic'in tarayıcı yapısı ise ilk bakışta karışık görünür: üç ayrı bot vardır ve her biri farklı bir işe yarar. Bu yazıda resmî belgeye dayanarak bu üç botu ayırıyor, robots.txt kararlarınızı nasıl vereceğinizi ve Claude tarafındaki etkiyi nasıl izleyebileceğinizi anlatıyoruz.

Claude web'den nasıl bilgi alır?

Anthropic'in geliştirici belgesi web arama aracının işleyişini üç adımda anlatır: Claude soruya göre arama yapıp yapmayacağına karar verir, arama çalıştırılır ve sonuçlar Claude'a verilir, Claude da cevabını kaynak göstererek yazar. Aynı belgede web aramasında alıntıların her zaman açık olduğu, her alıntının kaynak sayfanın adresini, başlığını ve alıntılanan metnin kısa bir parçasını taşıdığı belirtilir.

Belge, Claude'un ne zaman arama yaptığını da açıklar: güncel olaylar, değişen fiyatlar, belirli kuruluşlar ya da ürünler hakkında değişmiş olabilecek bilgiler ve açıkça arama istenen durumlar. Yerleşik bilgi gerektiren sorularda ise arama yapmadan doğrudan cevap verebilir.

Bu, site sahibi için iki ayrı görünürlük yolu olduğu anlamına gelir:

• Arama yoluyla görünmek: Claude'un web araması sitenizi bulur, okur ve cevapta kaynak olarak gösterir. Bu yol erişim ayarlarınıza ve içeriğinizin soruya cevap verme gücüne bağlıdır.
• Model bilgisiyle anılmak: Claude markanızı eğitim sürecinde gördüğü kaynaklardan tanıyor olabilir ve arama yapmadan adınızı anabilir. Bu yol, markanızın web'de ne kadar ve nasıl anıldığına bağlıdır; bağlantı içermez.

Arama yoluyla görünmek, ölçülebilir ve tıklama getirebilir olduğu için çoğu işletme için önceliklidir.

Claude'da görünmek için hangi botlar açık olmalı?

Anthropic'in destek sayfası üç botu tanımlar ve her birini engellemenin etkisini ayrı ayrı yazar.

Tablodan çıkan sonuç açıktır: Claude'da görünmek istiyorsanız Claude-SearchBot ve Claude-User açık kalmalıdır. ClaudeBot ise eğitim tercihinizle ilgilidir; onu kapatmak arama görünürlüğünüzü doğrudan etkilemez.

Anthropic ayrıca botlarının robots.txt yönergelerine uyduğunu ve her alt alan adı için ayrı robots.txt kuralı yazılması gerektiğini belirtir. Yani blog.alanadiniz.com ve magaza.alanadiniz.com gibi alt alan adlarınız varsa her birinin kendi robots.txt dosyası olmalıdır.

Eğitimi kapatıp görünürlüğü korumak isteyen bir site için kural basittir:

• User-agent: ClaudeBot ve altında Disallow: /
• Claude-SearchBot ve Claude-User için bir şey yazmazsanız genel User-agent: * kuralınıza uyarlar.

Bütün sağlayıcıların botlarını tek tabloda görmek için yapay zekâ botları ve robots.txt rehberine bakabilirsiniz.

IP engelleme ve Crawl-delay

Bazı site sahipleri robots.txt yerine güvenlik duvarında IP engellemeyi tercih eder. Anthropic bu yaklaşımı önermez: IP adreslerini engellemenin botların robots.txt dosyasını okumasını engelleyebileceğini ve vazgeçme tercihinizin güvenilir biçimde uygulanmasını önleyebileceğini belirtir. Başka bir deyişle, "kapattım" sandığınız bot sizin tercihinizi hiç öğrenemeyebilir.

Sunucu yükü kaygınız varsa daha iyi bir yol var. Anthropic, standart dışı Crawl-delay uzantısını desteklediğini yazar. Örneğin User-agent: ClaudeBot grubunun altına Crawl-delay: 1 satırı eklemek, taramayı yavaşlatmanızı sağlar. Bu yöntem botu tamamen kapatmadan yükü azaltır.

Yine de dikkat edilmesi gereken birkaç nokta:

• Bot korumaları: Cloudflare gibi hizmetlerin yapay zekâ botlarını engelleyen hazır ayarları olabilir. Bu ayarlar robots.txt'nizden bağımsız çalışır ve Claude-SearchBot'u da durdurabilir.
• Önbellek ve 403 yanıtları: Bir güvenlik katmanı botlara 403 döndürüyorsa robots.txt'de "açık" görünseniz bile bot içeriği göremez.
• Taklit ziyaretçiler: Kullanıcı aracısı satırına "ClaudeBot" yazan her ziyaretçi Anthropic değildir. Anthropic tarayıcı IP'lerinin bir listesini yayımladığını belirtir; şüpheli trafiği değerlendirirken bu listeyi esas alın. Ayrıntılar yapay zekâ botu doğrulama yazısında.

Claude'un alıntılayacağı içerik

Claude'un web araması, cevabın her parçasını bir kaynağa bağlayan alıntılar üretir. Belgedeki alıntı yapısına bakınca alıntının kaynak sayfadan kısa bir metin parçası içerdiği görülür. Bu da içerik tarafında net bir ders verir: Sayfanızın içinde, tek başına okunduğunda anlamlı olan, soruya doğrudan cevap veren cümleler bulunmalıdır.

Uygulamada bunu sağlamak için:

1. Her başlık bir soruya karşılık gelsin: "Fiyatlandırma" yerine "Web sitesi bakımı aylık ne kadar tutar?" gibi.
2. Cevap başlığın hemen altında olsun: İlk iki cümle sorunun cevabını versin, ayrıntı sonra gelsin.
3. Cümleler bağlamdan kopunca da anlaşılsın: "Bu nedenle bunu öneriyoruz" gibi önceki paragrafa dayanan cümleler alıntılandığında anlam kaybeder. "Bu nedenle haftalık yedekleme öneriyoruz" daha alıntılanabilirdir.
4. Tarih ve kaynak verin: Güncellik isteyen bilgide sayfanın güncelleme tarihini gösterin, resmî bilgiye bağlantı verin.
5. İçerik HTML'de olsun: Ana metnin JavaScript çalıştırılmadan sunucudan geldiğinden emin olun. Bir botun sayfayı nasıl gördüğünü GEO hazırlık testi gösterir.

Bu ilkelerin örneklerle anlatımı GEO uyumlu içerik yazısında bulunuyor.

Örnek senaryo: Eğitimi kapatan bir yayıncı

Bir sektör dergisi düşünelim. Derginin içeriği ücretli abonelikle satılan araştırma yazılarından ve herkese açık haberlerden oluşuyor. Yayıncı, içeriğinin model eğitiminde kullanılmasını istemiyor ama haberlerinin Claude'un cevaplarında kaynak gösterilmesini istiyor.

Bu yayıncı için makul bir yapılandırma şöyle olur: robots.txt'de ClaudeBot'a Disallow: / yazılır; Claude-SearchBot ve Claude-User için ayrı bir grup yazılmaz ya da Allow: / ile açık bırakılır; ücretli araştırma yazıları ise zaten giriş gerektiren bir alanda durduğu için botlar tarafından okunamaz. Sunucu yükü kaygısı varsa ClaudeBot yerine arama botları için Crawl-delay satırı eklenebilir.

Yayıncının dikkat etmesi gereken nokta, bot koruma hizmetinin ayarlarıdır. Bazı hazır ayarlar "yapay zekâ botlarını engelle" seçeneğinde eğitim ve arama botlarını ayırt etmeden durdurabilir. Bu durumda robots.txt'deki özenli yapılandırma işe yaramaz. Ayarı açtıktan sonra bot ziyaretlerini birkaç hafta izlemek, Claude-SearchBot'un hâlâ gelip gelmediğini gösterir.

Aynı mantık bir e-ticaret sitesi için de geçerlidir. Ürün sayfalarının eğitim verisine girmesi çoğu zaman bir sakınca oluşturmaz; ama ürünlerin Claude'un önerilerinde kaynak gösterilmesi doğrudan satış fırsatıdır. Bu yüzden e-ticaret siteleri için genellikle bütün Anthropic botlarını açık bırakmak daha mantıklıdır.

Claude tarafındaki etkiyi nasıl izlersiniz?

Burada dürüst olmak gerekiyor: Otopilot'un GEO kategorisi bugün yanıt ölçümünü ChatGPT, Gemini ve Perplexity üzerinden yapar; Claude yanıtlarında anılma payını ölçen bir motor kaydı yoktur. Bu nedenle Claude için anılma payı ekranı göremezsiniz. Ama Claude'un sitenizle ilişkisini iki dolaylı yoldan izleyebilirsiniz.

Bot ziyaretleri. Otopilot'un bot kataloğunda ClaudeBot, Claude-SearchBot ve Claude-User bulunur. Bot takip kanalınız kuruluysa (WordPress eklentisi ya da geliştirici API'si ile sunucu kayıtları) GEO → Trafik ve rapor → Yapay zekâ bot ziyaretleri ekranında bu botların hangi gün hangi sayfaları okuduğunu görürsünüz. Claude-SearchBot'un düzenli gelmesi, sitenizin Claude'un arama tarafında dizinlendiğinin dolaylı bir işaretidir. Claude-User ziyaretleri ise bir kullanıcının sorusu için sayfanızın okunduğunu gösterir. Bot takibinin kurulumu etkileşim ve bot takibi sayfasında anlatılıyor.

Yönlendirilen ziyaretler. Claude'un cevabındaki bir kaynağa tıklayan kullanıcı sitenize gelir. GA4 bağlıysa Yapay zekâdan gelen ziyaretler ekranı claude.ai kaynaklı oturumları diğer yapay zekâ kaynaklarıyla birlikte son 28 gün için listeler. Bazı uygulamalar yönlendiren bilgisini göndermediği için bu sayı gerçek trafiğin altında kalabilir. Ölçümün inceliklerini yapay zeka trafiği ölçme yazısında anlattık.

Bu iki veriyi birlikte okumak anlamlıdır. Claude-User ziyaretleri artarken claude.ai yönlendirmeleri de artıyorsa, sayfalarınız Claude'un cevaplarında kullanılıyor ve kullanıcılar kaynağa tıklıyor demektir.

Elle kontrol yapmak isterseniz düzenli bir yöntem izleyin. Müşterilerinizin sorduğu on soruyu bir listeye yazın, her birini Claude'a web aramasını gerektirecek biçimde sorun ve cevaptaki kaynak bağlantılarını tarihleriyle bir tabloya not edin. Aynı listeyi ayda bir tekrarlamak, ölçüm aracı olmadan da kaba bir eğilim görmenizi sağlar. Sorularda marka adınızı kullanmayın; aksi hâlde görünürlüğü değil, sorunun biçimini ölçmüş olursunuz.

Sık sorulan sorular

ClaudeBot'u engellersem Claude'da görünmez miyim?

Anthropic'in belgesine göre ClaudeBot eğitim verisi toplar; onu engellemek sitenizin gelecekteki içeriğinin eğitim veri setlerinden çıkarılması gerektiğini bildirir. Arama görünürlüğü için önemli olan botlar Claude-SearchBot ve Claude-User'dır. Bu ikisi açık kaldığı sürece ClaudeBot'u kapatmak Claude aramasındaki görünürlüğünüzü doğrudan etkilemez.

Anthropic botları robots.txt'ye uyar mı?

Anthropic, botlarının sektör standardı robots.txt yönergelerine uyduğunu belirtir. Ayrıca standart dışı Crawl-delay uzantısını desteklediğini de yazar. Her alt alan adı için ayrı robots.txt kuralı gerektiğini unutmayın; ana alan adındaki kural alt alan adlarına uygulanmaz.

Claude'da markamın anılıp anılmadığını Otopilot ölçebiliyor mu?

Bugün ölçemiyor. GEO yanıt ölçümü ChatGPT, Gemini ve Perplexity için yapılır. Claude tarafında Otopilot size bot ziyaretlerini ve GA4 bağlıysa claude.ai'den gelen ziyaretleri gösterir. Claude'daki anılmayı kontrol etmek için müşteri sorularınızı Claude'a elle sorup kaynakları not edebilirsiniz.

Claude-User ziyaretleri neden düzensiz?

Claude-User otomatik tarama yapmaz; bir kullanıcı Claude'a sorduğunda sayfayı o anda okur. Bu nedenle ziyaretler kullanıcıların sorularına bağlı olarak dalgalanır. Düzenli ve sık ziyaret beklenmesi gereken bot, arama tarafında dizinleme yapan Claude-SearchBot'tur.

Claude için llms.txt eklemeli miyim?

Anthropic'in tarayıcı belgesi llms.txt'yi bir görünürlük koşulu olarak tanımlamaz. Dosya bir zarar vermez ve bazı yapay zekâ ajanları için sitenizin kısa bir özetini sunar, ama Claude'da görünmeyi belirleyen asıl etkenler Claude-SearchBot ve Claude-User erişimi ile içeriğinizin soruya verdiği cevaptır. Dosyanın biçimini llms.txt nedir yazısında anlattık.

Claude bir sayfamı yanlış özetliyor. Ne yapabilirim?

Claude'un web aramasıyla verdiği cevaplarda alıntılanan metin parçası kaynak sayfadan gelir. Önce o parçanın sayfanızda gerçekten nasıl geçtiğine bakın: Bağlamından koparıldığında yanlış anlaşılabilecek bir cümle olabilir. Cümleyi kendi başına doğru anlaşılacak biçimde yeniden yazmak, sonraki cevaplarda hatayı azaltır. Eski ve güncel olmayan bilgileri sayfadan kaldırmak ya da tarihini açıkça göstermek de aynı işe yarar.

Alt alan adlarım için ayrı kural yazmam gerekir mi?

Evet. Anthropic, robots.txt kuralının her alt alan adı için ayrıca yazılması gerektiğini belirtir. Ana alan adınızda ClaudeBot'u kapatmanız, destek.alanadiniz.com ya da blog.alanadiniz.com üzerindeki içeriği kapatmaz. Her alt alan adının kökünde kendi robots.txt dosyası bulunmalı ve tercihlerinizi tutarlı biçimde yansıtmalıdır.

Kaynaklar

• Anthropic: Web taraması ve site sahiplerinin tarayıcıyı engellemesi
• Claude belgeleri: Web arama aracı
• RFC 9309: Robots Exclusion Protocol
• Google Search Central: JavaScript SEO temel bilgileri