Liens en vrac de Ramenos
1531 shaares
13 results
tagged
crawl
Je suis bien d'accord avec ça. Structurer sa page web, ce n'est pas pour faire joli, mais aider les crawler à comprendre la structure de votre contenu.
En plus avec les crawlers des agents AI, il faut vraiment les prendre par la main donc bon...
En plus avec les crawlers des agents AI, il faut vraiment les prendre par la main donc bon...
Les différents bots de Google
Extraire les éléments d'une page pour construire un Schema au format JSON LD depuis Screaming Frog
Ok donc toutes les URLs en unknown ont genre le niveau 0 de priorité pour Google. Au moins, c'est officiel.
Guidelines Google mises à jour en matière de crawl pour la navigation à facettes. Depuis la nuit de temps, on dit en SEO que c'est dangereux si pas contrôlé. Google l'annonce enfin de façon officielle
Ce qu'il faut savoir sur le crawl avec Googlebot. Mettre les données non-critiques sur un hostname différent peut rendre le process plus efficace pour le bot.
Et si le terme crawl budget est souvent mal utilisé, le problème vient souvent du temps entre le crawl et le rendu final de la page par Gbot
Et si le terme crawl budget est souvent mal utilisé, le problème vient souvent du temps entre le crawl et le rendu final de la page par Gbot
Fonctionnement schématisé du crawler de chez Google
Quelques bons conseils de ScreamingFrog pour crawler des sites ecommerces
Pour garder son site dans Google mais empêcher qu'il soit crawlé par Gemini pour nourrir l'IA.
Un article qui présente bien les différents aspects de l'optimisation du crawl de Googlebot dans un objectif SEO de découverte et indexation. Je partage cette vision concernant le délai entre une page publiée et le 1er crawl de Googlebot dessus plutôt que de chercher à crawler un maximum de pages. Rien de nouveau dans cet article mais c'est bien présenté.
Un mémo assez pratique pour bien configurer ScreamingFrog dans le cadre d'analyses SEO sur des sites à assez gros volumes de page. Va falloir que j'écrive une page à ce sujet sur le wiki
Malgré du léchage de bottes, cet article est un bon guide présentant toutes les fonctionnalités de l'outil OnCrawl pour l'analyse de logs.
Une grosse liste des user agents existants sur le web.