Yapay zeka botu doğrulama: GPTBot ve PerplexityBot ziyaretleri gerçek mi?

Yapay zeka botu doğrulama, sunucu kayıtlarınızda "GPTBot", "PerplexityBot" ya da "ClaudeBot" olarak görünen bir ziyaretin gerçekten o şirketten gelip gelmediğini kontrol etmektir. Bu kontrol gereklidir, çünkü kullanıcı aracısı (user agent) satırı ziyaretçinin kendisi tarafından yazılır ve herkes kendini istediği bot gibi tanıtabilir. Kazıyıcılar ve kötü niyetli tarayıcılar engellenmemek için sık sık tanınmış botların adını kullanır.

Doğrulama yapmadan alınan kararlar iki yönde de hata üretir. Sahte bir "GPTBot" trafiğini görüp "ChatGPT sitemi okuyor" diye sevinebilirsiniz; ya da sunucunuzu yoran sahte bir botu engellerken gerçek arama botunu da engelleyebilirsiniz. Bu yazıda sağlayıcıların resmî olarak önerdiği doğrulama yöntemlerini, bunları sunucu kayıtlarına nasıl uygulayacağınızı ve Otopilot'un bu işi nasıl yaptığını anlatıyoruz.

Kullanıcı aracısı neden yetmez?

Bir HTTP isteğinin kullanıcı aracısı başlığı, isteği gönderen yazılımın kendini nasıl tanıttığıdır. Gerçek GPTBot isteği bu başlıkta "GPTBot" yazar; ama aynı metni bir satırlık betikle herkes yazabilir. Başlık bir kimlik kartı değil, bir beyandır.

Bu yüzden doğrulama, ziyaretçinin kontrol edemediği bir şeye dayanır: isteğin geldiği IP adresine. Sağlayıcılar iki yoldan birini sunar:

• Yayımlanan IP aralıkları: Sağlayıcı, botlarının kullandığı IP aralıklarını herkese açık bir JSON dosyasında yayımlar. İsteğin IP'si bu aralıklardan birindeyse ziyaret doğrulanmış sayılır.
• Ters DNS ve ileri DNS: IP adresinin ters DNS kaydı sağlayıcının alan adıyla bitmeli, o ana makine adının ileri DNS sorgusu da aynı IP'ye dönmelidir. Google bu yöntemi Googlebot için belgeler.

Hangi sağlayıcının hangi yöntemi sunduğunu aşağıdaki tabloda topladık.

Google-Extended için ayrı bir doğrulama yapılmaz, çünkü Google'ın belgesine göre Google-Extended bir tarayıcı değil, robots.txt belirtecidir; kayıtlarınızda kullanıcı aracısı olarak görünmez.

Yapay zeka botu doğrulama adım adım

Elinizde bir erişim kaydı (access log) olduğunu varsayalım. Elle doğrulama için izlenecek yol şöyledir:

1. Bot satırlarını ayıklayın: Kullanıcı aracısında GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot ya da Claude-User geçen satırları filtreleyin.
2. IP adreslerini toplayın: Her bot adı için benzersiz IP adreslerinin listesini çıkarın.
3. Resmî listeyi indirin: İlgili sağlayıcının JSON dosyasını indirin. Listeler değişebilir; eski bir kopyaya güvenmeyin. Perplexity, güvenlik duvarı kuralları için bu uç noktaların esas alınmasını açıkça önerir.
4. Karşılaştırın: Her IP'nin listedeki aralıklardan birine düşüp düşmediğine bakın.
5. Sınıflandırın: Listedeki IP'den gelen ziyaret doğrulanmıştır. Listede olmayan IP'den gelen ama bot adı taşıyan ziyaret şüphelidir. Sağlayıcının yöntem sunmadığı durumlarda sonuç bilinmiyordur.

Google için ters DNS yöntemi şöyle işler: IP adresinin ters DNS kaydını sorgularsınız; sonuç googlebot.com ya da google.com ile bitmelidir. Sonra bu ana makine adının ileri DNS sorgusunu yaparsınız; dönen IP ilk IP ile aynı olmalıdır. İki adım birlikte, birinin ters DNS kaydını taklit etmesini işe yaramaz hâle getirir.

Bu işi her gün elle yapmak gerçekçi değildir. Sunucunuzda bir betikle otomatikleştirebilir ya da bir izleme aracına bırakabilirsiniz. Önemli olan, kararlarınızı doğrulanmış veriye dayandırmanızdır.

Bir kayıt satırında nelere bakılır?

Erişim kaydının her satırı, doğrulama ve teşhis için gereken bilgileri taşır. Sunucu yazılımına göre biçim değişse de şu alanlar hemen her kayıtta bulunur:

• IP adresi: Doğrulamanın dayandığı tek güvenilir alan.
• Zaman: Ziyaretin tarihi ve saati; bot sıklığını ve robots.txt değişikliğinden sonraki davranışı izlemek için gerekir.
• İstek yolu: Hangi sayfanın okunduğu. Botun robots.txt dosyasını okuyup okumadığı da buradan görülür.
• Durum kodu: Sunucunun verdiği yanıt. Arama botlarına 403 ya da 429 dönüyorsa bir güvenlik katmanı onları durduruyor olabilir.
• Kullanıcı aracısı: Ziyaretçinin kendini nasıl tanıttığı; doğrulanmadan güvenilmemesi gereken alan.

Durum koduna özellikle dikkat edin. robots.txt'de açık görünen bir arama botunun bütün isteklerine 403 dönüyorsa, sorun kurallarda değil, güvenlik duvarındadır.

Örnek: Kayıtlarda ani bir GPTBot artışı

Bir e-ticaret sitesinin kayıtlarında bir gece içinde binlerce "GPTBot" isteği görüldüğünü düşünelim. İstekler ürün filtre sayfalarına yoğunlaşmış ve sunucu yavaşlamış. İlk tepki GPTBot'u robots.txt ile kapatmak olabilir. Ama önce IP'ler kontrol edildiğinde isteklerin büyük kısmının OpenAI'ın gptbot.json listesindeki aralıklarda olmadığı, birkaç barındırma şirketine ait adreslerden geldiği görülüyor.

Bu durumda robots.txt değişikliği sorunu çözmez, çünkü sahte bir tarayıcı robots.txt'ye uymak zorunda değildir. Doğru adım, şüpheli IP'leri ve davranışı hedefleyen bir hız sınırı ya da güvenlik duvarı kuralıdır. Gerçek GPTBot ise kararınıza göre açık ya da kapalı kalabilir; iki karar birbirinden bağımsızdır.

Doğrulanmış veriyle hangi soruları cevaplarsınız?

Doğrulama yalnız güvenlik için değil, GEO çalışmasının teşhisi için de gereklidir. Doğrulanmış bot ziyaretleri şu soruları cevaplamanızı sağlar:

• Arama botları geliyor mu? OAI-SearchBot, PerplexityBot ve Claude-SearchBot düzenli geliyorsa siteniz bu asistanların arama tarafında okunuyor demektir. Hiç gelmiyorlarsa sorun büyük olasılıkla robots.txt'de ya da güvenlik duvarındadır.
• Hangi sayfalar okunuyor? Botların en çok okuduğu sayfalar ile sizin önemli saydığınız sayfalar örtüşüyor mu? Önemli bir hizmet sayfası hiç okunmuyorsa iç bağlantı ve site haritası tarafını kontrol edin.
• Kullanıcı ajanları ne zaman geliyor? ChatGPT-User, Perplexity-User ya da Claude-User ziyaretleri, bir kullanıcının o anda sorusu için sayfanızın açıldığını gösterir. Bu, yapay zekâ cevaplarında kullanılmanın en doğrudan işaretlerinden biridir.
• Engelleme işe yarıyor mu? Eğitim botunu robots.txt ile kapattıysanız, belgelerinde kurala uyduğunu söyleyen botun ziyaretlerinin kesilmesi beklenir. Kesilmiyorsa kuralınızı ya da botun gerçekliğini kontrol edin.

Bot ziyaretleri ile yapay zekâdan gelen kullanıcı trafiği farklı şeylerdir. Botlar sayfanızı okur; kullanıcılar ise bir cevaptaki bağlantıya tıklayıp gelir. İkinci ölçümü yapay zeka trafiği ölçme yazısında anlattık.

Otopilot bot ziyaretlerini nasıl doğrular?

Otopilot'un bot takibi, kataloğundaki her bot için sağlayıcının önerdiği yöntemi uygular: ters DNS sorgusu ya da yayımlanan IP aralıkları. Her ziyaret üç gruptan birine düşer:

• Doğrulandı: Ziyaretin gerçek bot olduğu teyit edildi.
• Şüpheli: Kendini bot olarak tanıtıyor ama doğrulanamadı; taklit bir kullanıcı aracısı olabilir.
• Bilinmiyor: Bu bot için katalogda bir doğrulama yöntemi tanımlı değil ya da doğrulama sonuçsuz kaldı.

Katalogda OpenAI'ın üç botu ile Perplexity'nin iki botu IP listeleriyle, Googlebot ailesi ve Bingbot ise ters DNS ve IP listeleriyle doğrulanır. Anthropic botları katalogda yer alır ve ziyaretleri sayılır, ancak doğrulama sonucu bu botlar için "bilinmiyor" olarak gösterilebilir.

Verinin kaynağı da önemlidir. Bot takibi üç kanaldan beslenebilir:

1. Piksel: Tarayıcıda çalışır; JavaScript çalıştırmayan botları göremez. Yapay zekâ botlarını izlemek için tek başına yeterli değildir.
2. WordPress eklentisi: Sunucu tarafında gelen bot isteklerini gönderir. Tam sayfa önbellek eklentisi varsa bazı istekleri göremeyebilir.
3. Geliştirici API'si: Sunucunuzun erişim kayıtlarını gönderirsiniz. Geliştirici belgelerinde bu iş için hazır bir örnek betik bulunur; betik yalnız bot izi taşıyan satırları gönderir ve aynı satırı iki kez göndermez.

Eksiksiz bir resim için sunucu tarafı bir kaynak öneriyoruz. Panelde GEO → Trafik ve rapor → Yapay zekâ bot ziyaretleri ekranı yapay zekâ botlarının ziyaretlerini özetler; ayrıntılı ekran Bot Ziyaretleri sayfasıdır. Ham kayıtlar 90 gün, günlük toplamlar 400 gün saklanır. Kurulum ve kişisel veri tarafı site etkileşim ölçümü rehberinde, özellik tanıtımı ise etkileşim ve bot takibi sayfasında.

Şüpheli botlarla ne yapmalı?

Şüpheli ziyaretlerin varlığı tek başına bir alarm değildir; hemen her sitede görülür. Ama bazı durumlarda önlem almak gerekir.

• Yük oluşturuyorlarsa: Şüpheli trafik sunucunuzu yoruyorsa, güvenlik duvarında bot adına değil IP'ye ve davranışa göre kural yazın. "GPTBot adı taşıyanları engelle" kuralı gerçek GPTBot'u da engeller.
• Gerçek botlara izin verirken: Bot koruma hizmetinde bir izin listesi oluşturuyorsanız, sağlayıcıların JSON dosyalarındaki IP aralıklarını esas alın. Anthropic'in IP engellemeyi önermediğini ve bunun robots.txt tercihinizin okunmasını engelleyebileceğini de hatırlayın.
• İçerik kopyalanıyorsa: Şüpheli tarayıcıların içeriğinizi kopyalayıp başka sitelerde yayımladığından şüpheleniyorsanız, bu bir telif ve marka koruma konusudur; robots.txt bu tür tarayıcıları durdurmaz.

Engelleme kararlarının yapay zekâ görünürlüğünüze etkisini önceden görmek için yapay zekâ kontrolü aracı robots.txt dosyanızın her bot için ne söylediğini gösterir. Bot bazında kural örnekleri yapay zekâ botları ve robots.txt rehberinde yer alıyor.

Hangi yolu seçerseniz seçin, doğrulamayı bir kez yapıp bırakmayın. Sağlayıcılar yeni botlar ekleyebilir, mevcut botların görevlerini değiştirebilir ya da IP listelerini güncelleyebilir. Bot kataloğunuzu ve doğrulama listelerinizi düzenli aralıklarla resmî belgelerle karşılaştırmak, yanlış engelleme ve yanlış sevinç riskini azaltır.

Sık sorulan sorular

Kayıtlarımda GPTBot görüyorum, ChatGPT sitemi okuyor mu?

Önce doğrulayın. OpenAI GPTBot'un IP aralıklarını gptbot.json dosyasında yayımlar; ziyaretin IP'si bu aralıklardaysa gerçek GPTBot'tur. Ayrıca GPTBot'un eğitim botu olduğunu, ChatGPT aramasında sayfaları okuyan botun OAI-SearchBot olduğunu unutmayın. Arama görünürlüğü için OAI-SearchBot ziyaretlerine bakın.

Ters DNS her yapay zekâ botu için çalışır mı?

Çalışmaz. Google ve Bing ters DNS doğrulamasını belgeler, ama OpenAI ve Perplexity botları için resmî yöntem yayımlanan IP listeleridir. Her sağlayıcının kendi belgesinde önerdiği yöntemi kullanın; bir sağlayıcının yöntemini diğerine uygulamak yanlış sonuç verir.

Doğrulama için IP listelerini ne sıklıkla güncellemeliyim?

Perplexity, IP listelerinin düzenli güncellendiğini ve güvenlik duvarı kurallarında bu dosyaların esas alınması gerektiğini belirtir; diğer sağlayıcıların listeleri de zamanla değişebilir. Otomatik bir sistemde listeleri en az günde bir kez yenilemek makul bir yaklaşımdır. Elle kontrol yapıyorsanız, her kontrol öncesinde dosyanın güncel hâlini indirin.

Piksel kurulu ama hiç yapay zekâ botu görünmüyor, neden?

Piksel ziyaretçinin tarayıcısında JavaScript ile çalışır. JavaScript çalıştırmayan bir bot pikseli hiç tetiklemez, bu yüzden ziyareti görünmez. Yapay zekâ botlarını izlemek için WordPress eklentisi ya da geliştirici API'si ile sunucu tarafı veri göndermeniz gerekir.

Anthropic botları için doğrulama sonucu neden "bilinmiyor"?

Otopilot kataloğunda her bot için sağlayıcının belgelediği yöntem kullanılır. Anthropic botları katalogda yer alır ve ziyaretleri sayılır, ancak bu botlar için tanımlı bir otomatik doğrulama yöntemi olmadığında sonuç "bilinmiyor" olarak gösterilir. Bu, ziyaretin sahte olduğu anlamına gelmez; yalnız teyit edilemediğini söyler.

Kaynaklar

• OpenAI: Tarayıcılar ve kullanıcı ajanları
• Perplexity: Perplexity tarayıcıları
• Anthropic: Web taraması ve site sahiplerinin tarayıcıyı engellemesi
• Google Search Central: Googlebot ve diğer Google tarayıcılarını doğrulama
• Bing: Bing hangi tarayıcıları kullanır?