Search Console arayüzü en fazla 1.000 satır gösteriyor. Orta büyüklükte bir sitede bile bu, uzun kuyruğun neredeyse tamamını görmemek demek. API ise istek başına 25.000 satıra kadar veriyor ve sayfalama yapabiliyorsun.
Googlebot bir sayfayı tekrar ziyaret ederken çoğu zaman "en son şu tarihte gördüm, değişti mi?" diye soruyor (If-Modified-Since). Sunucun "değişmedi" (304) derse, sayfanın tamamı tekrar gönderilmiyor. Hem sunucu yükü düşüyor hem de tarama bütçesi değişen sayfalara kalıyor.
Statik dosyalarda bunu sunucu kendisi yapıyor. Dinamik PHP sayfalarında ise senin eklemen gerekiyor.
User-agent'ında "Googlebot" yazan her istek Googlebot değil. Kazıyıcıların önemli bir kısmı kendini Googlebot gibi tanıtıyor, çünkü birçok site onları engellemiyor.
Log analizine başlamadan önce bu sahteleri ayıklamak gerekiyor.
Sunucu loglarından gerçek Googlebot ziyaretlerini ayıklamak »
Google 2019'da rel="next" ve rel="prev" etiketlerini uzun süredir dizine eklemede kullanmadığını açıkladı. Birçok kişi bunu "sayfalama artık önemsiz" diye yorumladı. Önemsiz değil, sadece kuralları değişti.
Her taşımada aynı yönlendirmeleri tekrar tekrar yazdığımı fark edince, en çok kullandıklarımı bir yerde toplamaya karar verdim. Hepsi Apache ve mod_rewrite için.
Görseller çoğu sitede sayfa ağırlığının en büyük kısmı. Aynı zamanda Google Görseller'den gelen trafiğin kaynağı. İkisini birden doğru yapmak birkaç basit kurala bakıyor.
Bazen sadece bir sitenin URL listesine ihtiyacım oluyor. Masaüstü tarayıcısı açmak, proje oluşturmak, ayar yapmak için fazla. wget zaten her sunucuda var.
Birkaç yıl boyunca her ay farklı SEO araçlarına ciddi paralar ödedim. Bir gün faturaları topladım ve kendime şunu sordum: bu araçların gerçekten kullandığım kısmı ne kadar?
Cevap: çok az. Asıl ihtiyacım olan, belirli kelimelerde belirli sayfaların nerede durduğunu her gün aynı koşullarda ölçmekti.
Search Console'daki "URL denetimi" aracı tek tek çalışıyor. Aynı bilgiyi API ile günde 2.000 URL'ye kadar toplu alabilirsin: dizinde mi, en son ne zaman tarandı, Google hangi canonical'ı seçti?
Denetimlerde sık gördüğüm bir kombinasyon:
<link rel="canonical" href="https://ornek.com/urun/mavi-tisort">
<meta name="robots" content="noindex">Bu sayfa varyant sayfası, asıl ürüne işaret ediyor ve "beni dizine ekleme" diyor. Mantıklı görünüyor ama iki farklı şey söylüyor.
Canonical ve noindex'i aynı sayfada kullanmak neden kötü fikir »