Yapay zeka botları robots.txt rehberi: Hangi botu açmalı, hangisini kapatmalı?

Yapay zeka botları robots.txt dosyanızdaki kurallara göre sitenize girer ya da girmez. Sorun şu ki her şirket birden fazla bot kullanıyor ve bu botların görevleri farklı: biri model eğitimi için veri toplar, biri arama yanıtları için sayfa dizinler, biri de kullanıcı bir bağlantıyı sorduğunda sayfayı anlık okur. Hepsini tek kalemde kapatırsanız yapay zekâ yanıtlarından da çıkarsınız; hepsini açık bırakırsanız içeriğinizin eğitimde kullanılmasına da izin vermiş olursunuz.

Bu rehber, büyük sağlayıcıların resmî belgelerine dayanarak her botun ne yaptığını, robots.txt kuralına uyup uymadığını ve sık karşılaşılan senaryolar için hangi kuralların yazılacağını anlatıyor. Kendi sitenizin bugünkü durumunu görmek için yazıyı okurken yapay zekâ kontrolü aracını ayrı bir sekmede açabilirsiniz.

Yapay zekâ botları neden tek tip değildir?

Klasik arama motorlarında durum görece basitti: Googlebot ya da Bingbot sayfanızı tarar, dizine alır, sonuçlarda gösterir. Yapay zekâ şirketlerinde ise en az üç ayrı amaç var.

• Eğitim: İçerik, gelecekteki modellerin eğitim verisine girebilir. OpenAI'da GPTBot, Anthropic'te ClaudeBot bu iş için kullanılır.
• Arama dizini: Yapay zekâ asistanının web aramasında sitenizi kaynak olarak gösterebilmesi için sayfalar önceden okunur. OpenAI'da OAI-SearchBot, Anthropic'te Claude-SearchBot, Perplexity'de PerplexityBot bu roldedir.
• Kullanıcı isteği: Bir kullanıcı sohbette bir adres paylaştığında ya da asistan bir soruyu cevaplamak için sayfayı o anda açtığında kullanılan ajanlardır. ChatGPT-User, Claude-User ve Perplexity-User bu gruptadır.

Bu ayrım önemlidir çünkü kararlarınız da ayrı olabilir. Pek çok yayıncı içeriğinin eğitimde kullanılmasını istemez ama yapay zekâ yanıtlarında kaynak olarak gösterilmeyi ister. Bu, robots.txt ile mümkün olan ve yaygın bir tercihtir.

Yapay zeka botları robots.txt dosyasında nasıl yazılır?

Aşağıdaki tablo, belgelerinde robots.txt davranışını açıkça anlatan sağlayıcıların botlarını özetler. "robots.txt'ye uyar mı?" sütunu doğrudan sağlayıcının kendi ifadesine dayanır.

Robots.txt yazımı basittir: Her grup bir User-agent satırıyla başlar, altına Disallow ya da Allow satırları gelir. Bir bot için ayrı bir grup yazmazsanız o bot genel User-agent: * grubundaki kurallara uyar. Ayrı bir grup yazarsanız bot yalnız kendi grubuna bakar, genel grubu yok sayar. Bu ikinci nokta en sık yapılan hatanın kaynağıdır: Birisi GPTBot için bir grup açar, içine yalnız bir klasörü kapatan satır yazar ve genel gruptaki diğer yasakların GPTBot'a da uygulandığını sanır.

Google-Extended için ayrıca not düşelim. Google'ın belgesine göre bu belirteç, içeriğin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamalarında arama dizininden içerik sağlama (grounding) işinde kullanılıp kullanılamayacağını yönetir. Aynı belge, Google-Extended'ın sitenin Google Aramadaki yerini etkilemediğini ve sıralama sinyali olmadığını da yazar. Yani Google-Extended'ı kapatmak Google arama sonuçlarındaki sıranıza dokunmaz.

Üç hazır senaryo ve kuralları

Aşağıdaki senaryolar en sık karşılaştığımız tercihleri kapsar. Kuralları kendi sitenize uyarlamadan önce mevcut robots.txt dosyanızın yedeğini alın.

Senaryo 1: Eğitimi kapat, yanıtları açık bırak

Bu, içeriğinin model eğitimine girmesini istemeyen ama ChatGPT, Claude ve Perplexity aramalarında kaynak olarak gösterilmek isteyen siteler içindir.

• User-agent: GPTBot ve altında Disallow: /
• User-agent: ClaudeBot ve altında Disallow: /
• User-agent: Google-Extended ve altında Disallow: /
• User-agent: CCBot ve altında Disallow: / (Common Crawl'ın açık veri tarayıcısı)

OAI-SearchBot, Claude-SearchBot, Claude-User ve PerplexityBot için bir şey yazmanıza gerek yoktur; genel kuralınız siteyi açık bırakıyorsa bu botlar da sayfaları okuyabilir. Yine de niyetinizi belgelemek için bu botlara ayrı grupta Allow: / yazmak zararsızdır.

Google-Extended kararını verirken bir ayrıntıyı tartın: Google'ın belgesine göre bu belirteç Gemini uygulamalarındaki dayanak kullanımını da kapsar. Gemini'de kaynak olarak görünmek sizin için önemliyse Google-Extended'ı kapatmadan önce bu etkiyi değerlendirin. Konuyu Gemini'de görünmek yazısında ayrıntılı anlattık.

Senaryo 2: Her şeyi açık bırak

Hiçbir yapay zekâ botu için özel grup yazmazsanız ve genel kuralınız siteyi açıyorsa, belgelerinde robots.txt'ye uyduğunu söyleyen botların hepsi sitenizi okuyabilir. Haber ve içerik yayıncılarının dışında çoğu işletme sitesi için bu makul bir varsayılandır: Hizmet tanıtan bir sitenin eğitim verisine girmesi genellikle bir risk oluşturmaz, markanın modellerde tanınmasına katkı sağlayabilir.

Senaryo 3: Belirli klasörleri kapat

Üye alanı, sepet, arama sonuç sayfaları ya da taslak klasörleri gibi bölümleri bütün botlara kapatmak istiyorsanız bunu genel grupta yapın. Ama bir yapay zekâ botu için ayrı grup yazdıysanız aynı Disallow satırlarını o gruba da eklemeyi unutmayın. Aksi hâlde o bot genel gruptaki yasakları görmez.

robots.txt'nin yetmediği durumlar

robots.txt bir rica dosyasıdır; teknik bir kilit değildir. Belgeleri bunu uygulayacağını söyleyen botlar kurala uyar, ama birkaç durumda dosya tek başına yeterli olmaz.

• Kullanıcı ajanları: OpenAI, ChatGPT-User için kullanıcı başlattığı işlemlerde robots.txt kurallarının uygulanmayabileceğini yazar. Perplexity de Perplexity-User'ın kullanıcı istediği için genellikle robots.txt'yi dikkate almadığını belirtir.
• Güvenlik duvarı ve CDN: robots.txt açık olsa bile bir bot koruma hizmeti yapay zekâ botlarını ağ düzeyinde durdurabilir. Bu durumda dosyanız "açık" der ama bot sayfayı hiç göremez. Cloudflare ve benzeri hizmetlerin bot ayarlarını ayrıca kontrol edin.
• Gecikme: OpenAI, robots.txt değişikliğinin arama sistemlerine yansımasının yaklaşık 24 saat sürebileceğini yazar; Perplexity de 24 saate kadar süre verir. Değişikliğin hemen etki etmesini beklemeyin.
• Taklit botlar: Kendini GPTBot olarak tanıtan her ziyaretçi gerçekten OpenAI değildir. Engelleme ya da izin kararını sunucu düzeyinde verecekseniz önce botun doğrulanması gerekir. Yöntemleri yapay zekâ botu doğrulama yazısında anlattık.

Anthropic ayrıca IP adreslerini engellemenin önerilmediğini, bunun botların robots.txt dosyasını okumasını engelleyip vazgeçme tercihinizin güvenilir biçimde uygulanmasını önleyebileceğini belirtir. Yani "robots.txt yerine IP engelleyeyim" yaklaşımı, tam tersi bir sonuç doğurabilir.

robots.txt ile noindex arasındaki fark

robots.txt bir sayfanın taranıp taranmayacağını söyler; bir sayfanın yanıtlarda gösterilip gösterilmeyeceğini her zaman tek başına belirlemez. OpenAI'ın yayıncılar için sık sorulan sorular sayfası, içeriğinin ChatGPT özetlerinde ve kısa alıntılarında yer almasını istemeyen yayıncılara noindex meta etiketini önerir ve önemli bir not düşer: Tarayıcının bu etiketi okuyabilmesi için ilgili sayfayı taramasına izin verilmiş olması gerekir.

Bu ayrıntı sezgiye aykırıdır ama mantıklıdır. Bir sayfayı robots.txt ile kapatırsanız bot sayfaya hiç girmez ve sayfanın içindeki noindex etiketini de göremez. Yani "hem kapatayım hem noindex koyayım" yaklaşımı, noindex'in okunmasını engeller. Google da arama tarafında benzer bir mantıkla çalışır: noindex'in etkili olması için sayfanın taranabilmesi gerekir.

En sık gördüğümüz robots.txt hataları

• Eklenti kalıntısı: Bir güvenlik ya da SEO eklentisinin yıllar önce eklediği ve bütün "bot" kelimesi geçen ajanları kapatan bloklar.
• Büyük-küçük harf ve yazım: Bot adlarının yanlış yazılması. Belirteçleri sağlayıcının belgesindeki biçimiyle kopyalayın.
• Alt alan adları: Ana alan adında yazılan kuralın blog. ya da magaza. gibi alt alan adlarına uygulanacağını sanmak. Her alt alan adının kendi robots.txt dosyası vardır.
• Geliştirme ortamından taşınan dosya: Test sitesinde her şeyi kapatan Disallow: / satırının canlıya taşınması. Yayın sonrası kontrol listenize robots.txt'yi ekleyin.

Kurallarınızı nasıl test edersiniz?

Bir kural yazdıktan sonra iki ayrı şeyi doğrulamanız gerekir: Dosyanın sizin kastettiğinizi söyleyip söylemediği ve botların gerçekten gelip gelmediği.

Birinci kontrol için Otopilot'un yapay zekâ kontrolü aracı robots.txt dosyanızı okur ve her yapay zekâ botu için ana sayfanın açık mı kapalı mı olduğunu ayrı satırda gösterir. Arama amaçlı bir bot istemeden kapanmışsa bunu açıkça işaretler. Daha geniş bir resim için GEO hazırlık testi aynı bot kontrolünü llms.txt, şema, sunucu tarafı içerik ve site haritasıyla birlikte puanlar.

İkinci kontrol için sunucu tarafı ölçüm gerekir. Otopilot panelinde GEO → Trafik ve rapor → Yapay zekâ bot ziyaretleri ekranı, bot takip kanalınızdan gelen ziyaretleri gösterir: hangi bot, hangi gün, hangi sayfa. Bot takibini WordPress eklentisi ya da geliştirici API'si ile kurmanızı öneririz; tarayıcıda çalışan piksel, JavaScript çalıştırmayan botları göremez. Kurulum ayrıntıları etkileşim ve bot takibi sayfasında.

Bir değişiklikten sonra izlenecek sıra şöyle olabilir:

1. robots.txt dosyasını güncelleyin ve tarayıcıda alanadiniz.com/robots.txt adresini açarak yayına çıktığını görün.
2. Yapay zekâ kontrolü aracıyla her botun durumunu okuyun.
3. Bir iki gün bekleyin; sağlayıcıların belirttiği yansıma süresini hesaba katın.
4. Bot ziyaretleri ekranında arama amaçlı botların gelip gelmediğine bakın.
5. Gelmiyorlarsa güvenlik duvarı ve CDN ayarlarını kontrol edin.

Sık sorulan sorular

GPTBot'u engellersem ChatGPT yanıtlarından çıkar mıyım?

OpenAI'ın belgesine göre ChatGPT arama yanıtlarında görünmeyi belirleyen bot OAI-SearchBot'tur. GPTBot'u engellemek yalnız içeriğinizin model eğitiminde kullanılmasını istemediğinizi bildirir. OAI-SearchBot açık kaldığı sürece sayfalarınız ChatGPT aramasında kaynak olarak gösterilebilir.

Google-Extended'ı kapatırsam Google'daki sıram düşer mi?

Google'ın belgesine göre düşmez. Google-Extended sitenin Google Aramaya dahil edilmesini etkilemez ve sıralama sinyali olarak kullanılmaz. Ancak aynı belgeye göre bu belirteç Gemini uygulamalarında dayanak kullanımını da kapsadığı için Gemini'deki görünürlüğünüzü etkileyebilir.

Bütün yapay zekâ botlarını tek satırla kapatabilir miyim?

robots.txt'de "bütün yapay zekâ botları" diye bir belirteç yoktur. Her botu adıyla yazmanız gerekir. User-agent: * altında Disallow: / yazmak ise yalnız yapay zekâ botlarını değil, Googlebot ve Bingbot dahil bütün tarayıcıları kapatır; bunu yapmayın.

Claude için hangi botu açık bırakmalıyım?

Anthropic'in belgesine göre Claude-SearchBot arama için dizinleme yapar, Claude-User ise kullanıcı sorularında sayfaları okur; ikisini engellemek görünürlüğü azaltabilir. ClaudeBot eğitim içindir. Eğitimi kapatıp görünürlüğü korumak istiyorsanız yalnız ClaudeBot'a Disallow yazın.

Kurallarım doğru ama bot ziyareti gelmiyor, neden?

En sık neden, bir güvenlik duvarının ya da CDN bot korumasının yapay zekâ botlarını ağ düzeyinde durdurmasıdır. İkinci olasılık, sitenizin henüz bu botların tarama listesine girmemiş olmasıdır. Önce koruma ayarlarınızı kontrol edin, sonra bot ziyaretlerini birkaç hafta izleyin.

Kaynaklar

• OpenAI: Tarayıcılar ve kullanıcı ajanları
• Anthropic: Web taraması ve site sahiplerinin tarayıcıyı engellemesi
• Perplexity: Perplexity tarayıcıları
• Google Search Central: Yaygın Google tarayıcıları ve Google-Extended
• RFC 9309: Robots Exclusion Protocol