Services : Actualité Emploi Blog Forum Flux
Formation Trafic : Référencement Liens sponsorisés Affiliation Ecommerce Nom de domaine E-réputation Marketing Mobile Black Hat
Formation Technique : Performance Web Html Css Sql Curl Asp Dotnet Php Ajax Wordpress Twitter Google Analytics

Forum Oseox
Oseox

Fréquence de crawl entre 2 pages et configuration serveur

Forum Référencement et Trafic
Nous sommes le Mer 22 Nov 2017 02:49

Heures au format UTC [ Heure d’été ]




Poster un nouveau sujet Répondre au sujet
Auteur Message
MessagePosté: Mer 13 Avr 2011 09:05 
Avatar de l’utilisateur
Petite question de la part des équipes techniques chez moi:
"Est ce qu'on sait combien de temps Googlebot attends entre le crawl de 2 pages du site?" Le fond de la question étant: "Y a-t-il un risque que Google fasse des requêtes trop rapprochées et qu'il soit bloqué/banni par le serveur? Si oui comment configurer le serveur?"
Je vous avoue avoir a peine compris la question et n'avoir aucune idée de la réponse.
Vous avez des pistes??


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mer 13 Avr 2011 10:23 
Personnellement, je ne me suis jamais posé la question, mais je pense que Google utilise plusieurs IP pour crawler un site donc peux de chances qu'il soit blacklisté.


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mer 13 Avr 2011 14:58 
Avatar de l’utilisateur
@yassine: j'avoue que je ne m'étais jamais posé la question non plus mais comme on me la pose, j'essaie de trouver une réponse...
Par ailleurs j'ai déjà soulevé la possibilité du multi-IP mais la réponse qui m'a été retournée est "même si il utilise plusieurs IP, si il balances 10 requêtes/seconde avec 1 IP, le robot va se faire shooter"


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Jeu 12 Mai 2011 11:26 
Avatar de l’utilisateur
En général, GG espace les requetes et crawl depuis différents datacenters (donc différentes IP)

Sinon, dans le webmaster tool, je crois que tu peu configurer la fréquence de crawl en fonction de tes besoins...


Haut
 Profil Envoyer un e-mail  
 
Afficher les messages postés depuis:  Trier par  
Poster un nouveau sujet Répondre au sujet  [ 4 messages ] 

Heures au format UTC [ Heure d’été ]


Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité


Vous ne pouvez pas poster de nouveaux sujets
Vous ne pouvez pas répondre aux sujets
Vous ne pouvez pas éditer vos messages
Vous ne pouvez pas supprimer vos messages
Vous ne pouvez pas joindre des fichiers

Rechercher:
Aller à:  
Abonnez-vous au flux RSS

Blog

Forum

Offres d'emploi

Copyright : Moteur, traduction et optimisation
Merci de votre visite sur le forum Oseox