Interdire l'indexation d'un site / domaine : Robots.txt ?

Bonjour,

Je ne sais pas si c'est du référencement à proprement dit donc désolé si je suis dans la mauvaise section

Il y a quelques temps, j'ai fait un site pour un ami.

J'avais mis une page index d'attente et un dossier /test où je testais mes pages en construction. Dans le fichier robots, j'avais pris soin d'interdire l'indexation de ce dossier /test et sur les pages en développement j'avais mis les noindex nofollow et noarchive.

Lorsque j'ai testé GGA pour voir si tout se passait bien, j'ai été surpris de voir que GG avait indexé le dossier /test et les pages...

Pour mon site, je me suis souvenu de ça et je l'ai fait en local.

Mais une question me vient : J'aurais surement un sous-domaine du type membre.domain.ltd ou un dossier domain.ltd/membre, peu importe. Et bien sur, je ne veux pas qu'il soit visible.

Alors étant donné que GG fait un peu ce qu'il veut avec les meta apparemment, que pour "cacher" un dossier ce n'est de toute façon pas glop de le mettre dans le robots, quoi faire pour ne pas qu'il figure dans le robots et qu'il ne soit pas indexé quand même ?

Et là j'ai trouvé des articles sur le net en rapport avec Apache et x-robot-tag qui m'a l'air pas mal.

Quelqu'un a déjà essayé ou peut m'en dire plus ?

Merci

Bonjour Gimx,

Mon expérience dit plutôt que Google respecte robots.txt, mais que parfois on n'utilise pas bien ce fichier et on en conclut un peu vite que Google n'a pas respecté les directives.

Il faut avant tout savoir que robots.txt ne doit jamais être utilisé pour sécuriser une partie d'un site. Pour sécuriser, il faut utiliser un système d'authentification (mots de passe). Si l'objectif est seulement de cacher provisoirement une partie de site à Google, une authentification fonctionne très bien aussi, mais tu peux utiliser robots.txt sans problème

Si un robot ne respecte pas robots.txt, il ne respectera pas non plus le x-robot-tag.

Pour ça, la meilleure solution est une redirection 301 de domain.ltd/membre vers membre.domain.ltd.

Jean-Luc

Salut Jean-Luc,

Oui j'avoue que c'est la 1ére fois que je vois ça de la part de GG. Mais le robots.txt était bon... Bon bref, ce n'est plus le problême

Donc pour complétement sécuriser une partie d'un site, que penses tu de ça :

- La partie sécurisée par authentification bien sur
- le x-tag (pour éviter de faire apparaitre le dossier dans le txt)

Valable ?

Merci pour tes réponses

Je ne comprends pas. S'il faut un mot de passe pour accéder à la partie sécurisée, Googlebot n'y aura pas accès et il n'indexera donc aucun contenu.

Hors Google (et Yahoo ?), je ne crois pas que soit supportée par les autres robots.

Il y a une astuce avec robots.txt. Si tu mets ceci:l'accès sera interdit à toutes les URL commençant par /abracada, c'est-à-dire à /abracada, à /abracadabra, à /abracadabra/xyz.jpg, à /abracadasecret, à /abracadasecret/machin.html,... Il est donc possible d'utiliser robots.txt, sans que les robots ou les visiteurs puissent deviner les noms des répertoires protégés si ceux-ci sont bien choisis.

Jean-Luc

Cet article t'intéressera peut être : Robots.txt vs Rel=Nofollow vs Meta Robots Nofollow

Je rejoins Jean Luc, rien ne vaut une demande d'authentification

Oui je suis d'accord avec vous pour l'auth

Merci Jean-Luc, effectivement tu as raison, c'est un détail qui m'a échhappé. J'ai regardé sur le net et il semblerait qu'il n'y ait que GG et Y! qui le supporte. Donc useless...

Merci pour le lien Aurélien, j'avais loupé cet article. Je comprends mieux les subtiles différences