Crawling

Site taşımalarında en sık gördüğüm hata şu: yeni site güzel, hızlı, her şey yerinde görünüyor. Ama eski sitede trafik getiren sayfaların bir kısmı hiçbir yere yönlenmiyor. Sonuç: iki ay sonra "trafik neden düştü?" toplantısı. Bunu önceden yakalamanın en ucuz yolu, eski sitenin arşivdeki URL'lerini alıp yenisinde tek tek denemek.

robots.txt standardının sevdiğim bir özelliği var: anlamadığı her şeyi sessizce görmezden geliyor. Bu da dosyaya not, açıklama, hatta ASCII çizim eklemeyi mümkün kılıyor. # Merhaba bot. Bu site John Flaxman'a ait. # Sorun olursa: https://t.me/flaxizm user-agent: * disallow: /admin/ disallow: /*?preview= sitemap: https://johnflaxman.com/sitemap.xml

hreflang'in en sık bozulan kuralı şu: bağlantılar karşılıklı olmalı. A sayfası B'yi gösteriyorsa, B de A'yı göstermeli. Göstermiyorsa arama motoru ikisini de görmezden gelebilir. Elle kontrol etmek on sayfada eğlenceli, bin sayfada değil.

User-agent'ında "Googlebot" yazan her istek Googlebot değil. Kazıyıcıların önemli bir kısmı kendini Googlebot gibi tanıtıyor, çünkü birçok site onları engellemiyor. Log analizine başlamadan önce bu sahteleri ayıklamak gerekiyor.

Bazen sadece bir sitenin URL listesine ihtiyacım oluyor. Masaüstü tarayıcısı açmak, proje oluşturmak, ayar yapmak için fazla. wget zaten her sunucuda var.

Bir sayfadaki bağlantıları tek tek kontrol etmek yavaş. curl_multi ile PHP'de onlarca isteği aynı anda gönderebilirsin, ek kütüphane gerekmiyor.