C'est un petit fichier texte placé à la racine de votre site, souvent oublié, et pourtant capable de faire disparaître un site entier de Google en une seule ligne. Le fichier robots.txt indique aux robots des moteurs de recherche quelles parties de votre site ils peuvent explorer. Bien le comprendre évite des erreurs coûteuses.
Le rôle du fichier robots
Quand un robot comme Googlebot arrive sur votre site, il commence par lire le fichier robots.txt pour connaître les règles d'exploration. Ce fichier peut autoriser ou interdire l'accès à certains dossiers ou certaines adresses, pour tous les robots ou pour des robots précis.
Il sert principalement à éviter que les robots perdent leur temps sur des zones sans intérêt pour le référencement : espace d'administration, résultats de recherche interne, pages de filtres, paniers d'achat.
Une syntaxe simple
Le fichier se compose de groupes de règles. Chaque groupe commence par l'identification du robot concerné, puis liste les chemins interdits ou autorisés. On peut aussi y indiquer l'adresse du sitemap XML, ce qui aide les moteurs à le trouver.
Les règles reposent sur des préfixes d'adresse : interdire un dossier bloque toutes les pages qu'il contient. Des caractères spéciaux permettent de cibler des motifs, comme toutes les adresses contenant un paramètre donné.
Ce que le fichier robots ne fait pas
C'est le malentendu le plus répandu : bloquer une page dans le fichier robots.txt n'empêche pas son indexation. Si d'autres sites font des liens vers cette page, Google peut l'afficher dans ses résultats, simplement sans description, puisqu'il n'a pas pu la lire.
Pour empêcher qu'une page apparaisse dans Google, il faut au contraire laisser le robot l'explorer et y placer une balise noindex. Les deux mécanismes sont complémentaires, mais ne doivent pas être confondus.
Autre point essentiel : le fichier robots.txt est public et purement déclaratif. Les robots malveillants l'ignorent. Il ne protège donc en rien des contenus confidentiels, qui doivent être sécurisés par un mot de passe.
Les erreurs graves à éviter
Certaines erreurs ont des conséquences immédiates :
- Bloquer tout le site, souvent un reste de la période de développement oublié lors de la mise en ligne. Le site disparaît progressivement de Google ;
- Bloquer les fichiers CSS et JavaScript, ce qui empêche Google d'afficher correctement les pages et de juger leur ergonomie mobile ;
- Bloquer des pages que l'on souhaite désindexer, ce qui empêche Google de voir la balise noindex ;
- Laisser un fichier inaccessible ou renvoyant une erreur serveur, qui peut freiner l'exploration.
Les robots des intelligences artificielles
Un nouvel usage est apparu : de nombreux sites utilisent désormais ce fichier pour autoriser ou refuser l'accès aux robots des entreprises d'intelligence artificielle, qui collectent des contenus pour entraîner leurs modèles ou alimenter leurs réponses. C'est un choix stratégique : les bloquer protège vos contenus, les autoriser peut vous valoir des citations dans les réponses des assistants.
Tester votre fichier
La Search Console propose un rapport dédié au fichier robots.txt, qui indique la version lue par Google et les éventuelles erreurs. La documentation de Google sur robots.txt détaille la syntaxe et les règles d'interprétation.
Mon conseil
Ouvrez dès maintenant l'adresse de votre fichier robots.txt dans votre navigateur et vérifiez qu'il ne bloque ni l'ensemble du site, ni vos ressources CSS et JavaScript. Gardez-le simple : quelques règles ciblées sur les zones réellement inutiles et l'adresse de votre sitemap suffisent dans la grande majorité des cas.
