Blog OSEOX : Marketing, Trafic et E-commmerce

RSS referencement
Ajouter à netvibes
Ajouter à google

Oseox c'est aussi plus de 500 formations web, un forum et des services gratuits.

Référencement

Stopper l'activité des robots lorsque vous avez trop de visiteurs

Aurélien Bardon

17 décembre 2008

Stopper l'activité des robots lorsque vous avez trop de visiteurs Pendant les fêtes, il est recommandé d'avoir un serveur performant et des pages qui s'affichent vite. Voici une technique astucieuse afin de ne pas perdre d'argent à cause des robots.

Par Aurélien Bardon,

Ce billet est une traduction de cet article

Une discussion dans le groupe Google Webmaster Help parle des cas où les robots de Google crawlent un site alors que le serveur est déjà surchargé. Le membre demande s'il existe une technique pour dire à Google d'arrêter de crawler lors de ces périodes.

JohnMu de Google nous apprend qu'il existe un moyen. Il explique qu'il est possible d'utiliser les entêtes HTTP 503 afin de dire aux robots de revenir plus tard. Il faut bien entendu envoyer cet entête aux robots des moteurs de recherche et continuer à envoyer les entêtes normaux aux visiteurs.

Voici ce qu'a dit précisément John :

Une chose que vous pouvez faire pour encourager Googlebot (et les autres robots) à ne pas visiter votre site lorsqu'il est surchargé et de retourner un entête HTTP 503. Cela nous avertira que vous ne pouvez pas actuellement délivrer le contenu de votre site mais que nous pouvons revenir plus tard pour le consulter. La difficulté est alors de reconnaitre les robots des moteurs de recherche afin de n'envoyer qu'à eux les entêtes 503 lorsque votre serveur commence à attendre ses limites.

John avait d'ailleurs déjà recommandé d'utiliser les 503 lorsqu'un site n'est plus accessible et lors de maintenance afin d'indiquer à Google que votre contenu n'a tout simplement pas disparu. En effet, un entête HTTP 503 signifie que votre site se porte bien mais qu'il faut simplement revenir plus tard et que l'inaccessibilité est simplement temporaire.

Maintenant, il est vrai que le fait d'automatiser cette procédure lors de périodes précises ou lorsque le CPU de votre serveur atteint la zone critique doit être vraiment "rigolo" pour les développeurs... De manière logique, la règle est : "Envoyer des entêtes 503 à GoogleBot et aux autres moteurs entre telle heure et telle heure ou lorsque l'utilisation du CPU est supérieur à X%".

Un seul problème reste encore à élucider : Est ce que le fait de ne pas montrer le contenu aux robots alors que les visiteurs peuvent le voir n'est pas une forme de cloaking bordline ?

Formez-vous avec notre newsletter professionnelle (gratuite)


(En cadeau, un guide sur le Référencement de plus de 30 pages)

Editeur du portail Oseox.fr, Aurélien Bardon est expert en création de trafic. Après avoir travaillé en agence et chez l'annonceur, aussi bien pour des petites sociétés que pour de grands comptes, il fonde en 2009 l'agence web Aseox.

suivre Aurélien Bardon sur twitter

N'oubliez pas de vous abonner au flux

S'inscrire à la newsletter (info exclusive)

Recevoir 80 tests Référencement ?
(PDF gratuit de 31 pages)
(Désabonnement en 1 clic)
oseox Sitemap SEO
oseox Monitoring
E-commerce

E-commerçants ? Vous recherchez un partenaire ?

18/03/2015 par Aurélien Bardon : 14127 lectures.

chapeau bas de bloc
Référencement

Code promo SEOCampus 2015

06/03/2015 par Aurélien Bardon : 12974 lectures.

chapeau bas de bloc
Développement Web

CDI Full Stack Developer

18/12/2014 par Aurélien Bardon : 16187 lectures.

chapeau bas de bloc
Référencement

Compte rendu du SEOcamp'US de Lille 2014

09/12/2014 par Aurélien Bardon : 14143 lectures.

chapeau bas de bloc
Référencement

Apéro Référencement à Lille le 5 décembre

02/12/2014 par Aurélien Bardon : 12135 lectures.

chapeau bas de bloc
Internet

Interview de Julien Ringard

26/11/2014 par Aurélien Bardon : 11389 lectures.

chapeau bas de bloc
Internet

Interview de Mounira Hamdi, spécialiste SMO

19/11/2014 par Aurélien Bardon : 14440 lectures.

chapeau bas de bloc
Internet

Le programme du SEOCAMP'US de Lille dévoilé

18/11/2014 par Aurélien Bardon : 11858 lectures.

chapeau bas de bloc
Internet

Interview de Nicolas Gallet

17/11/2014 par Aurélien Bardon : 10333 lectures.

chapeau bas de bloc
Internet

Interview de Elie Sloïm

14/11/2014 par Aurélien Bardon : 12683 lectures.

chapeau bas de bloc

Forum Marketing

Oseox sur Google Plus Oseox sur Twitter Oseox sur Facebook RSS Blog Concours