La bienvenue sur notre blog d'entreprise

Dans cet espace, nous vous proposons de partager nos découvertes et échanger autour de thèmes divers portant directement, ou indirectement, sur notre activité et les technologies que nous employons.

N'hésitez pas à intervenir, l'accès aux commentaires est libre.

Accueil > Blogs > Le blog de Françoise > Mot-clé « Drupal »

Le robots.txt de Drupal

Portrait de Françoise
Soumis par Françoise le mer, 07/10/2009 - 09:30
dans

Si on utilise les modules « Path » et « PathAuto », pour éviter le « duplicate content » (contenu en double exemplaire), rappelons qu'il est nécessaire après l'installation d'un Drupal bien frais d'éditer et retoucher le robots.txt d'origine, sous peine de risquer de retrouver son site dans le bac à sable de Google ou d'avoir du contenu indexé non désiré.

Comment procéder ? Juste éditer à la racine du site le présent robots.txt (par exemple avec nano) et rajouter tout en bas :

# Rajout
Disallow: /node/
Disallow: /comment/
Disallow: /taxonomy/
Disallow: /archive/
Disallow: *?page=
Disallow: *?from=
Disallow: /*sort=
Disallow: /*?quicktabs_
Disallow: /aggregator/
Disallow: /tracker/
Disallow: /tracker
Disallow: /user/
Disallow: /*?*
Disallow: /*feed
Disallow: /*feeds
Disallow: /u/
Disallow: /privatemsg/
Disallow: /mail/
Disallow: /files/
Disallow: /search/
Disallow: /book/print/
Disallow: /print/
Disallow: /forward/
Disallow: /event/*/table/
Disallow: /event/*/list/
Disallow: /event/*/month/
Disallow: /event/*/week/
Disallow: /event/*/day/
# Type de contenu à ne pas indexer
Disallow: /logs/

Voilà tout.

Commentaires

#1. Juste une petite précision

Portrait de Patrice
Soumis par Patrice le mer, 07/10/2009 - 16:14
Juste une petite précision encore, il faut pas oublier de préserver ce fichier à la racine du site, et donc surtout ne pas le remplacer lors d'une update de Drupal ;)

#2. Merci bien, j'avais oublié de

Portrait de Visiteur
Soumis par Visiteur le dim, 11/10/2009 - 07:37

Merci bien, j'avais oublié de rajouter mes directives ! Grrrr, j'ai une bonne partie de mon site en duplicate content.

Poster un nouveau commentaire

Le contenu de ce champ est gardé secret et ne sera pas montré publiquement.
  • Les lignes et les paragraphes vont à la ligne automatiquement.
  • Les adresses de pages web et de messagerie électronique sont transformées en liens automatiquement.

Plus d'informations sur les options de formatage