Recherche : [robotstxt] - Shared Bookmarks

1856 shaares

1856 shaares

Filtres

Liens par page

20 50 100

2 résultats taggé robotstxt

RFC 9309: Robots Exclusion Protocol | RFC Editor

Le protocole robots.txt respecté et utilisé par Googlebot... Mais pas les LLMs !

robotstxt · algo · google · seo

October 28, 2026 at 11:34:51 AM EDT * · permalien

·

https://www.rfc-editor.org/info/rfc9309/

Google's common crawlers | Google Search Central | Documentation | Google for Developers

Les différents bots de Google

google · googlebot · robotstxt · crawl

February 27, 2025 at 9:57:17 AM EST · permalien

·

https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers?hl=en

Filtres

Liens par page

20 50 100