Blog OSEOX : Marketing, Trafic et E-commmerce

Stopper l'activité des robots lorsque vous avez trop de visiteurs

17 décembre 2008

Par Aurélien Bardon,

Ce billet est une traduction de cet article

Une discussion dans le groupe Google Webmaster Help parle des cas où les robots de Google crawlent un site alors que le serveur est déjà surchargé. Le membre demande s'il existe une technique pour dire à Google d'arrêter de crawler lors de ces périodes.

JohnMu de Google nous apprend qu'il existe un moyen. Il explique qu'il est possible d'utiliser les entêtes HTTP 503 afin de dire aux robots de revenir plus tard. Il faut bien entendu envoyer cet entête aux robots des moteurs de recherche et continuer à envoyer les entêtes normaux aux visiteurs.

Voici ce qu'a dit précisément John :

Une chose que vous pouvez faire pour encourager Googlebot (et les autres robots) à ne pas visiter votre site lorsqu'il est surchargé et de retourner un entête HTTP 503. Cela nous avertira que vous ne pouvez pas actuellement délivrer le contenu de votre site mais que nous pouvons revenir plus tard pour le consulter. La difficulté est alors de reconnaitre les robots des moteurs de recherche afin de n'envoyer qu'à eux les entêtes 503 lorsque votre serveur commence à attendre ses limites.

John avait d'ailleurs déjà recommandé d'utiliser les 503 lorsqu'un site n'est plus accessible et lors de maintenance afin d'indiquer à Google que votre contenu n'a tout simplement pas disparu. En effet, un entête HTTP 503 signifie que votre site se porte bien mais qu'il faut simplement revenir plus tard et que l'inaccessibilité est simplement temporaire.

Maintenant, il est vrai que le fait d'automatiser cette procédure lors de périodes précises ou lorsque le CPU de votre serveur atteint la zone critique doit être vraiment "rigolo" pour les développeurs... De manière logique, la règle est : "Envoyer des entêtes 503 à GoogleBot et aux autres moteurs entre telle heure et telle heure ou lorsque l'utilisation du CPU est supérieur à X%".

Un seul problème reste encore à élucider : Est ce que le fait de ne pas montrer le contenu aux robots alors que les visiteurs peuvent le voir n'est pas une forme de cloaking bordline ?

S'il vous plait, aidez nous à faire connaître cet article

• Google :
  -
• Facebook : Aimez | Twitter : Tweetez

Suivez nous sur Twitter et Facebook

Formez-vous avec notre newsletter professionnelle (gratuite)

Aurélien Bardon

Editeur du portail Oseox.fr, Aurélien Bardon est expert en création de trafic et e-commerçant. Après avoir travaillé en agence et chez l'annonceur, aussi bien pour des petites sociétés que pour de grands comptes, il intervient aujourd'hui au sein de l'agence web Aseox.

N'oubliez pas de vous abonner au flux

S'inscrire à la newsletter (info exclusive)

Je vous recommande de lire aussi :

• Entêtes HTTP et référencement