Robots.txt et veille concurrentielle

Hello,

Je me pose une petite question (légèrement hors sujet mais bon),
J'ai pris l'habitude d'aller voir les fichiers robots.txt de mes concurrents, pour voir ce qu'ils veulent cacher aux moteurs de recherche. Entre autre choses ça m'a permis de trouver les stats serveur de fréquentation du site de notre principal concurrent (bon j'ai pas encore eu le temps d'analyser ça, mais c'est toujours bon à prendre pour analyser son seo).

Est-ce que vous faites la même chose ? Êtes-vous déjà tombé sur des trucs bien croustillants ?
Est-ce bien légal ?

Tu n'as rien piraté, donc pas de panique.

Oui, cela m'arrive aussi de fouiller un peu, de tester des adresses. Mais en général, je perds plus de temps qu'autre chose.

Je n'y avais jamais pensé d'aller voir les robots.txt des concurrents

Au passage, voici celui de google :
http://www.google.com/robots.txt

Cela est amha tout à fait légal.

Cela peut être utile pour comprendre notamment les manœuvres de bot herding et Pr Sculpting.

je ne sais si justement ca entre dans le cadre de l'intrusion dans un système informatisé ou non

Google peut les indexer et tu peux consulter le cache donc aucune crainte à mon avis.

Exemple : http://209.85.229.132/search?q=cache:4V ... =firefox-a

Après la justice est tellement tordue que...

hum... qu'est-ce qui se passe si on met un disallow sur son robots.txt dans son robots.txt ? ^^

Tu casses Google !
C'est comme chercher google dans Google.

Fais gaffe, il y a quelques jours Google a été cassé pendant plusieurs heures à cause de cela.

A ne surtout pas faire.

Il y a quelques temps, j'ai eu un petit souci sur mon hébergement, pour des raisons obscurs (mauvaise confif) le fichier robots.txt n'a plus été accessible pendant 2 semaines.
Cela n'a pas loupé :
=> Des messages à la mort sous Google Webmaster tools
=> Plus de passage du/des bots Google.