robots.txt kurallarını Python ile test etmek
Bir robots.txt değişikliğini canlıya almadan önce "şu URL'ler hâlâ taranabilir mi?" sorusunu tek tek tarayıcıda denemek zahmetli. Python'un standart kütüphanesinde bunun için hazır bir modül var.
Bir robots.txt değişikliğini canlıya almadan önce "şu URL'ler hâlâ taranabilir mi?" sorusunu tek tek tarayıcıda denemek zahmetli. Python'un standart kütüphanesinde bunun için hazır bir modül var.
Bir sitemap dosyası en fazla 50.000 URL ya da 50 MB (sıkıştırılmamış) olabiliyor. Bundan büyük sitelerde URL'leri birden fazla dosyaya bölüp hepsini bir sitemap index dosyasında toplaman gerekiyor.
robots.txt standardının sevdiğim bir özelliği var: anlamadığı her şeyi sessizce görmezden geliyor. Bu da dosyaya not, açıklama, hatta ASCII çizim eklemeyi mümkün kılıyor.
# Merhaba bot. Bu site John Flaxman'a ait.
# Sorun olursa: https://t.me/arthurflaxman
user-agent: *
disallow: /admin/
disallow: /*?preview=
sitemap: https://johnflaxman.com/sitemap.xmlrobots.txt dosyasına yorum yazmak: tarayıcılar neyi görmezden gelir? »
Site taşımalarından birkaç yıl sonra neredeyse her sitede yönlendirme zincirleri birikiyor. A → B → C → D gibi. Her adım biraz zaman kaybettiriyor. Tarayıcılar belli bir sayıdan sonra zinciri takip etmeyi bırakıyor.
Soft 404, sunucunun 200 OK dediği ama sayfanın aslında "burada bir şey yok" dediği durum. Arama motoru bunu genelde fark eder ve sayfayı dizine almaz, ama Search Console raporu gelene kadar haftalar geçebilir.
Ben önceden yakalamayı tercih ediyorum.
Bir sayfanın teknik SEO etiketlerine bakmak için eklenti kurmayı sevmiyorum. Eklentiler sayfanın işlenmiş halini mi, sunucudan gelen halini mi gösteriyor, çoğu zaman belli değil. Konsol ise ne gördüğünü açıkça söylüyor.
Aşağıdaki parçayı bir yer imine kaydedip her sayfada çalıştırıyorum.
Tarayıcı konsolunda canonical, hreflang ve robots etiketlerini tek seferde görmek »
PageSpeed Insights'taki "laboratuvar" puanı, tek bir test cihazında tek bir yükleme. Sıralamaya giren ise gerçek kullanıcı verisi, yani Chrome kullanıcılarından toplanan son 28 günlük değerler. Bu veriye CrUX API ile doğrudan ulaşabilirsin.
CrUX API ile gerçek kullanıcı Core Web Vitals verisini çekmek »
hreflang'in en sık bozulan kuralı şu: bağlantılar karşılıklı olmalı. A sayfası B'yi gösteriyorsa, B de A'yı göstermeli. Göstermiyorsa arama motoru ikisini de görmezden gelebilir.
Elle kontrol etmek on sayfada eğlenceli, bin sayfada değil.
Bir sayfanın site içinden kaç bağlantı aldığı, arama motoruna o sayfanın ne kadar önemli olduğunu anlatan en güçlü sinyallerden biri. Hiç bağlantı almayan "yetim" sayfalar ise çoğu zaman keşfedilmiyor bile.
Masaüstü tarama aracı olmadan da bunu çıkarmak mümkün.
Bir sitenin iç bağlantı sayılarını komut satırından çıkarmak »
Hazır eklentilerin ürettiği sitemap'lerde en sık gördüğüm iki sorun var: lastmod her gün "bugün" oluyor, ya da sitemap'te noindex ya da yönlendirilen sayfalar bulunuyor. İkisi de arama motorunun sitemap'ine güvenini azaltıyor.
Kendi sitemap'imi kendim üretiyorum. Aslında o kadar da zor değil.