Services : Actualité Emploi Blog Forum Flux
Formation Trafic : Référencement Liens sponsorisés Affiliation Ecommerce Nom de domaine E-réputation Marketing Mobile Black Hat
Formation Technique : Performance Web Html Css Sql Curl Asp Dotnet Php Ajax Wordpress Twitter Google Analytics

Forum Oseox
Oseox

Robots.txt et veille concurrentielle

Forum Référencement et Trafic
Nous sommes le Sam 24 Fév 2018 18:27

Heures au format UTC [ Heure d’été ]




Poster un nouveau sujet Répondre au sujet
Auteur Message
MessagePosté: Lun 18 Mai 2009 17:08 
Hello,

Je me pose une petite question (légèrement hors sujet mais bon),
J'ai pris l'habitude d'aller voir les fichiers robots.txt de mes concurrents, pour voir ce qu'ils veulent cacher aux moteurs de recherche. Entre autre choses ça m'a permis de trouver les stats serveur de fréquentation du site de notre principal concurrent (bon j'ai pas encore eu le temps d'analyser ça, mais c'est toujours bon à prendre pour analyser son seo).

Est-ce que vous faites la même chose ? Êtes-vous déjà tombé sur des trucs bien croustillants ?
Est-ce bien légal ?


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Lun 18 Mai 2009 17:22 
Avatar de l’utilisateur
Tu n'as rien piraté, donc pas de panique.

Oui, cela m'arrive aussi de fouiller un peu, de tester des adresses. Mais en général, je perds plus de temps qu'autre chose. :?


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Lun 18 Mai 2009 20:10 
Avatar de l’utilisateur
Je n'y avais jamais pensé d'aller voir les robots.txt des concurrents


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Lun 18 Mai 2009 20:32 
Professionnel
Professionnel
Avatar de l’utilisateur
Au passage, voici celui de google :
http://www.google.com/robots.txt


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mar 19 Mai 2009 15:26 
Administrateur
Avatar de l’utilisateur
Cela est amha tout à fait légal.

Cela peut être utile pour comprendre notamment les manœuvres de bot herding et Pr Sculpting.


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mer 20 Mai 2009 10:48 
je ne sais si justement ca entre dans le cadre de l'intrusion dans un système informatisé ou non


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mer 20 Mai 2009 11:27 
Administrateur
Avatar de l’utilisateur
Google peut les indexer et tu peux consulter le cache donc aucune crainte à mon avis.

Exemple : http://209.85.229.132/search?q=cache:4V ... =firefox-a

Après la justice est tellement tordue que... :)


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mer 20 Mai 2009 11:30 
hum... qu'est-ce qui se passe si on met un disallow sur son robots.txt dans son robots.txt ? ^^


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mer 20 Mai 2009 12:49 
Avatar de l’utilisateur
Tu casses Google !
C'est comme chercher google dans Google.

Fais gaffe, il y a quelques jours Google a été cassé pendant plusieurs heures à cause de cela.


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mer 20 Mai 2009 14:08 
Avatar de l’utilisateur
BaN a écrit:
hum... qu'est-ce qui se passe si on met un disallow sur son robots.txt dans son robots.txt ? ^^

A ne surtout pas faire.

Il y a quelques temps, j'ai eu un petit souci sur mon hébergement, pour des raisons obscurs (mauvaise confif) le fichier robots.txt n'a plus été accessible pendant 2 semaines.
Cela n'a pas loupé :
=> Des messages à la mort sous Google Webmaster tools
=> Plus de passage du/des bots Google.


Haut
 Profil Envoyer un e-mail  
 
Afficher les messages postés depuis:  Trier par  
Poster un nouveau sujet Répondre au sujet  [ 10 messages ] 

Heures au format UTC [ Heure d’été ]


Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité


Vous ne pouvez pas poster de nouveaux sujets
Vous ne pouvez pas répondre aux sujets
Vous ne pouvez pas éditer vos messages
Vous ne pouvez pas supprimer vos messages
Vous ne pouvez pas joindre des fichiers

Rechercher:
Aller à:  
Abonnez-vous au flux RSS

Blog

Forum

Offres d'emploi

Copyright : Moteur, traduction et optimisation
Merci de votre visite sur le forum Oseox