Otopilot Spider — Masaüstü Crawler
Hazırlayan Ersin DorlakSon güncelleme:
Bu Sayfa Ne Yapar
Otopilot Spider, sitenizi kendi bilgisayarınızdan tarayan ve sonucu projenize "Spider (yerel)" kaynağıyla aktaran komut satırı uygulamasıdır; bu ekranda uygulamanın lisans anahtarını, indirme bağlantılarını, bağlı cihazlarınızı ve son aktarımlarınızı yönetirsiniz. Bulut taraması sunucularımızdan çalışır; yalnız iç ağdan erişilen, IP kısıtlı ya da bulut taramasına güvenlik duvarıyla kapalı sitelerde ya da büyük sitelerde kendi makinenizden tarama gerekebilir.
Ekranda dört bölüm vardır. Masaüstü Erişim Lisansı kartı lisansın Aktif ya da Pasif olduğunu, Lisans Anahtarı'nı, Kopyala ve Yenile düğmelerini ve Cihaz Kotası: bilgisini gösterir; lisans yoksa Lisans Aktive Et düğmesi çıkar. İndirme alanında yalnız derlenmiş platformların düğmeleri görünür (ör. Linux (x64), Windows (x64), macOS (Apple Silicon), macOS (Intel)); altında yayındaki sürüm ve indirilebilir platform listesi yazar. Kullanım kartı örnek komutları ve paket hakkınızı, Son aktarımlar listesi aktarım durumlarını, Bağlı Cihazlar tablosu ise lisansla giriş yapan makineleri listeler.
Uygulama sp-spider login komutuyla lisans anahtarını alır ve cihazı doğrular; sp-spider crawl komutu taramayı yapar ve --project parametresiyle sonucu projeye parça parça gönderir, --offline ile yalnız yerelde kaydeder. Gelen veri bulut taramasıyla aynı kural motoruyla puanlanır ve aynı denetim raporu olarak açılır; aktarım tamamlanınca sayfa sayısı ve skorla bildirim gelir. Her aktarımda paketinizin sayfa sınırı kadar sayfa alınır, fazlası reddedilir; varsayılan paket tanımlarında sınır Temel'de 550, Kurumsal'da 500.000 sayfadır ve her pakette bir cihaz bağlanabilir. Spider iç ağdaki siteleri de tarayabilir, ancak panele yalnız proje alan adına ait sayfalar kabul edilir. İkili dosyalar henüz imzalı değildir; SHA-256 değerini indirdikten sonra doğrulayabilirsiniz.
Ekran, bulut taramasının ulaşamadığı siteleri ya da çok büyük siteleri tarayan teknik kullanıcılar ve ajanslar içindir. Sonunda kendi makinenizden alınmış, panelde diğer denetimlerle aynı biçimde okunabilen bir SEO denetim raporunuz olur.
Sık yanlış anlamalar: lisans anahtarını yenilemek, eski anahtarı kullanan tüm cihazların bağlantısını keser. Listede olmayan işletim sistemi için sürüm sözü verilmez. Spider bir masaüstü penceresi açmaz, komut satırından çalışır.
Anlatılan sayfayı panelde aç(giriş yapınca açılır)
Ön Koşullar
- Spider lisansı planınıza dahildir; ilk kullanımda Lisans Aktive Et ile anahtar oluşturmanız gerekir.
- İndirme alanında listelenen işletim sistemlerinden birini çalıştıran bir bilgisayarınız ve temel komut satırı bilginiz olmalıdır; listede sisteminiz yoksa siteyi bulut taramasıyla (SEO Analizleri) denetleyin.
- Paketinizde bir cihaz hakkı vardır; yeni bir makine bağlamak için eskisini Cihazı Kaldır ile çıkarmanız gerekir.
- Sonucu panele aktarmak için taranan adres projenizin alan adına ait olmalı ve bilgisayarınızın saati doğru olmalıdır.
Adım Adım Kullanım
- Sol menüde Masaüstü Spider sayfasını açın ve Masaüstü Erişim Lisansı kartına bakın. Lisans yoksa Lisans Aktive Et düğmesine basın; anahtar oluşturulur ve kart Aktif durumuna geçer.
- Lisans Anahtarı alanındaki anahtarı Kopyala ile alın; "Lisans anahtarı kopyalandı!" bildirimi çıkar. Anahtarı yalnız kendi makinenizde kullanın.
- İndirme alanında işletim sisteminize uygun düğmeye basın; düğmede dosya boyutu yazar. Yayındaki sürüm satırı hangi platformların derlendiğini listeler. İndirdikten sonra dosyanın SHA-256 değerini sayfadaki değerle karşılaştırın.
- İkili dosyalar henüz imzalı olmadığı için platform uyarısını geçin: Linux'ta chmod +x sp-spider-linux-x64 ile çalıştırma izni verin; macOS'ta Gatekeeper uyarısında xattr -d com.apple.quarantine komutunu, Windows'ta SmartScreen çıkarsa "Ek bilgi > Yine de çalıştır" adımını kullanın (bu notlar yalnız ilgili platform yayınlandığında görünür).
- Terminalde sp-spider login komutunu lisans anahtarınızla çalıştırın. Cihaz doğrulanınca Bağlı Cihazlar tablosunda cihaz adı, işletim sistemi ve Çevrimiçi durumuyla görünür.
- Projenin kimliğini Proje Ayarları adresinden alın ve sp-spider crawl https://örnek.com --project <proje-id> komutuyla taramayı başlatın. Sonucu panele göndermeden yalnız kendi makinenizde görmek için --offline kullanın.
- Tarama sırasında ve sonrasında Son aktarımlar listesini izleyin: Yükleniyor uygulamanın sayfa parçalarını gönderdiğini, İşleniyor raporun hazırlandığını, Tamamlandı raporun hazır olduğunu gösterir. Satırda aktarılan sayfa sayısı (ör. 3200 sayfa) yazar.
- Aktarım tamamlanınca satırdaki Denetimi aç bağlantısıyla raporu açın. Rapor bulut taramasıyla aynı ekranda görünür, kaynak satırında "Spider (yerel)" yazar; paket sınırı aşıldıysa ilk kaç sayfanın alındığı belirtilir.
- Bağlı Cihazlar tablosunda Cihaz & HWID, İşletim sistemi / sürüm ve Durum sütunlarını kontrol edin; çevrimdışı cihazlarda Son görülme: zamanı yazar. Çok cihazlı ekiplerde Cihaz ara... kutusunu kullanın.
- Makine değiştirdiyseniz eski cihazın satırında Cihazı Kaldır deyin ve onay penceresinde Evet, Sil ile onaylayın. Cihaz Spider'a bağlanma hakkını kaybeder, kotanızda yer açılır ve yeni cihazı bağlayabilirsiniz.
- Anahtarın başkasının eline geçtiğinden şüpheleniyorsanız Yenile düğmesine basın ve Lisans Yenileme penceresinde Evet, Yenile ile onaylayın. Eski anahtarı kullanan tüm cihazların bağlantısı kesilir; kendi makinenizde sp-spider login ile yeni anahtarla tekrar giriş yapın.
Aktarım kuralları
- İç ağdaki siteleri de tarayabilirsiniz; ancak panele aktarım yalnız proje alan adınıza ait sayfalar için kabul edilir.
- Aktarılan denetimin kaynağı "Spider (yerel)" olarak gösterilir ve bulut taramasıyla aynı kural motoruyla puanlanır.
- Her aktarımda paket sınırı kadar sayfa alınır; fazlası reddedilir ve raporda belirtilir.
- Cihazı kaldırdığınızda kotanızda yer açılır ve başka bir cihaz bağlayabilirsiniz.
Ekrandaki öğeler
- Masaüstü Erişim Lisansı — Lisansın Aktif / Pasif durumu.
- Lisans Aktive Et — İlk lisans anahtarını oluşturur.
- Lisans Anahtarı / Kopyala — Anahtar ve kopyalama düğmesi.
- Yenile — Yeni anahtar üretir; Lisans Yenileme penceresinde Evet, Yenile ile onaylanır.
- Cihaz Kotası: — Kullanılan ve toplam cihaz hakkı.
- İndirme düğmeleri — Windows (x64), macOS (Apple Silicon), macOS (Intel), Linux (x64); yalnız derlenmiş olanlar görünür.
- Sürüm satırı — Yayındaki sürüm, platform listesi ve SHA-256 notu; imzasız dosya uyarıları.
- Kullanım — Örnek komutlar, paket sayfa sınırı ve iç ağ notu.
- Son aktarımlar — Yükleniyor, İşleniyor, Tamamlandı, Başarısız, İptal durumları ve Denetimi aç.
- Bağlı Cihazlar — Cihaz & HWID, İşletim sistemi / sürüm, Durum (Çevrimiçi / Son görülme:), Cihazı Kaldır, Cihaz ara....
Sonuçları nasıl yorumlarsınız
Son aktarımlar listesindeki durum, işin hangi aşamada olduğunu söyler. Yükleniyor uzun süre değişmiyorsa uygulama yarıda kapanmış olabilir; komutu yeniden çalıştırın. İşleniyor normalde birkaç dakika sürer. Başarısız aktarımda rapor oluşmamıştır; çoğu zaman aktarımda işlenebilir HTML sayfa yoktur. İptal durumu yeni bir aktarım başlattığınızda ya da lisansı yenilediğinizde eski aktarımın kapatıldığını gösterir. Rapor açıldıktan sonra skor ve bulgular bulut taramasıyla aynı ölçekte okunur; iki kaynağı karşılaştırırken bulut taramasının erişemediği sayfaların Spider raporunda görünmesi beklenen bir farktır.
Örnek senaryo
örnek.com, bir üreticinin bayilerine açtığı sipariş sitesi; site yalnız şirket ağından erişilebiliyor ve bulut taraması güvenlik duvarına takılıyor. BT sorumlusu Masaüstü Spider ekranında Lisans Aktive Et ile anahtar oluşturur, şirket ağındaki Linux sunucuya Linux (x64) dosyasını indirir, SHA-256 değerini doğrular ve çalıştırma izni verir. sp-spider login ile giriş yaptığında sunucu Bağlı Cihazlar tablosunda Çevrimiçi görünür.
Ardından sp-spider crawl https://örnek.com --project <proje-id> komutunu çalıştırır. Son aktarımlar listesinde satır önce Yükleniyor, sonra İşleniyor ve Tamamlandı olur; yanında 4200 sayfa yazar. Denetimi aç ile açılan raporda kaynak "Spider (yerel)" olarak görünür ve eksik başlıklar, kırık bağlantılar diğer denetimlerle aynı ekranda listelenir. Birkaç ay sonra sunucu değiştiğinde eski cihazı Cihazı Kaldır ile çıkarıp yeni sunucuyu bağlar.
İpuçları
- Büyük sitelerde önce --offline ile küçük bir bölümü tarayıp sonucu yerelde kontrol edin, sonra --project ile tam taramayı gönderin.
- Lisans anahtarını betiklere düz metin olarak yazmayın; anahtar sızarsa Yenile ile değiştirin ve cihazlarda yeniden giriş yapın.
- Tarama yapan makinenin saatini otomatik eşitlemeye bağlayın; saat farkı aktarımı reddettirir.
- Bulut taramasına güvenlik duvarı nedeniyle erişilemiyorsa önce WAF Geçişi ayarını deneyin; Spider'ı yalnız iç ağ ya da IP kısıtlı siteler için kullanmak bakım yükünü azaltır.
- Paket sayfa sınırınızı Kullanım kartında görün ve taramayı buna göre bölümlere ayırın.
Sık yapılan hatalar
- Anahtarı yeniledikten sonra diğer cihazlarda yeniden giriş yapmayı unutmak.
- Yanlış proje kimliğiyle aktarım yapıp "alan adına ait değil" hatası almak.
- Yeni makineye geçerken eski cihazı kaldırmadan giriş yapmaya çalışmak; cihaz kotası dolu hatası alınır.
- Spider'ı masaüstü penceresi olan bir program sanıp çift tıklayarak çalıştırmaya çalışmak; komutlar terminalden verilir.
Sık Karşılaşılan Sorunlar
- İndirilebilir bir Spider sürümü yayınlanmadı.: Henüz yayında bir sürüm yok, bu yüzden indirme düğmeleri görünmez. Bu sırada sitenizi bulut taramasıyla (SEO Analizleri) denetleyebilirsiniz.
- İşletim sistemim indirme listesinde yok: Yalnız derlenmiş platformların düğmesi görünür; diğer sistemler için sürüm sözü verilmez. Bulut taramasını kullanın ya da listedeki bir sistemde (sanal makine dahil) Spider'ı çalıştırın.
- Cihaz kotası dolu.: Paketinizdeki cihaz hakkı kullanılıyor. Kullanmadığınız cihazı Bağlı Cihazlar tablosunda Cihazı Kaldır ile çıkarın, sonra yeni makinede sp-spider login çalıştırın.
- Lisans anahtarı geçersiz ya da yenilenmiş.: Anahtar yanlış girilmiş ya da Yenile ile değiştirilmiş. Ekrandan güncel anahtarı kopyalayıp sp-spider login komutunu yeniden çalıştırın.
- Saat farkı çok büyük; bilgisayarınızın saatini kontrol edin.: İstekler zaman damgalı imzalanır; bilgisayar saati yanlışsa sunucu isteği reddeder. İşletim sisteminizde otomatik saat eşitlemeyi açıp komutu tekrar çalıştırın.
- Taranan adres projenizin alan adına ait değil.: Panele yalnız proje alan adındaki sayfalar aktarılır. --project parametresindeki proje kimliğinin doğru siteye ait olduğunu kontrol edin; başka bir site için --offline kullanın.
- Plan hakkı nedeniyle ilk 5000 sayfa alındı.: Aktarım paketinizin sayfa sınırını aştı ve fazlası alınmadı. Taramayı belirli bir bölümle sınırlayın ya da daha yüksek sınır için paketinizi yükseltin.
- Spider aktarımı işlenemedi: Tarama dosyası işlenirken hata oluştu (ör. aktarımda işlenebilir HTML sayfa yoktu). Komutu yeniden çalıştırın; sorun sürerse destek talebinde aktarım tarihini belirtin.
- Bu cihaz kaldırılmış.: Cihaz Bağlı Cihazlar tablosundan çıkarılmış. Aynı makinede yeniden kullanmak için sp-spider login ile tekrar giriş yapın; cihaz kotanızda yer olmalıdır.
İlgili Kılavuzlar
Bu adımları kendi sitenizde uygulayın
Önce ücretsiz site analiziyle sitenizdeki sorunları görün. Hesabınız varsa rehberde anlatılan sayfayı panelde açın.