588 shaares
4 résultats
taggé
crawl
Un article qui présente bien les différents aspects de l'optimisation du crawl de Googlebot dans un objectif SEO de découverte et indexation. Je partage cette vision concernant le délai entre une page publiée et le 1er crawl de Googlebot dessus plutôt que de chercher à crawler un maximum de pages. Rien de nouveau dans cet article mais c'est bien présenté.
Un mémo assez pratique pour bien configurer ScreamingFrog dans le cadre d'analyses SEO sur des sites à assez gros volumes de page. Va falloir que j'écrive une page à ce sujet sur le wiki
Malgré du léchage de bottes, cet article est un bon guide présentant toutes les fonctionnalités de l'outil OnCrawl pour l'analyse de logs.
Une grosse liste des user agents existants sur le web.