Liens en vrac de Ramenos (v2)
898 shaares
7 résultats
taggé
crawl
Fonctionnement schématisé du crawler de chez Google
Quelques bons conseils de ScreamingFrog pour crawler des sites ecommerces
Pour garder son site dans Google mais empêcher qu'il soit crawlé par Gemini pour nourrir l'IA.
Un article qui présente bien les différents aspects de l'optimisation du crawl de Googlebot dans un objectif SEO de découverte et indexation. Je partage cette vision concernant le délai entre une page publiée et le 1er crawl de Googlebot dessus plutôt que de chercher à crawler un maximum de pages. Rien de nouveau dans cet article mais c'est bien présenté.
Un mémo assez pratique pour bien configurer ScreamingFrog dans le cadre d'analyses SEO sur des sites à assez gros volumes de page. Va falloir que j'écrive une page à ce sujet sur le wiki
Malgré du léchage de bottes, cet article est un bon guide présentant toutes les fonctionnalités de l'outil OnCrawl pour l'analyse de logs.
Une grosse liste des user agents existants sur le web.