Robots.txt Kontrolü
robots.txt erişilebilirliği, User-agent ve Disallow özeti.
Sık sorulan sorular
Tam dosya görünür mü?
İlk birkaç KB önizleme gösterilir; ayrıntılı kurallar ham metinden okunur.
404 ne anlama gelir?
robots.txt yoksa arama motorları varsayılan tarama davranışını uygular.
Sitemap satırları?
Sitemap URL’leri için Sitemap Kontrol aracını kullanın.
www / kök farkı?
Girdiğiniz host ile https://host/robots.txt istenir; canonical host tutarlı olmalıdır.
Disallow listesi neden yok?
Tekrarlayan UX önlenir; Disallow sayısı özetlenir, kurallar önizlemede görülür.
HTTP mi HTTPS mi?
Worker yalnızca HTTPS üzerinden robots.txt çeker.
Yönlendirme takip edilir mi?
Evet, aynı site içi 3xx yanıtlar takip edilir.
Loglanan veri?
Yalnızca host, durum kodu ve süre; robots.txt içeriği loglanmaz.