Vitesse de crawl plus rapide via Google Webmaster Tools : Mouai
Ce billet est une traduction de cet article
Récemment, j'étais en train de travailler pour un client et j'ai décidé de me livrer à une petite expérimentation, tout simplement parce que quelques fois... je n'ai rien à faire de mieux. Je voulais savoir si le fait de modifier la vitesse du crawl dans Google Webmaster Tools changeait vraiment quelque chose. Une partie de moi pensait que le but pour Google n'était que de faire croire aux gens que leurs robots viendraient plus souvent alors qu'une autre partie voulait tout simplement faire confiance à Google.
J'ai rapidement écris un script qui stocke toutes les informations sur le user agent, les pages visitées ainsi que les dates de visites dans une base de données. Je l'ai laissé tourner pendant 200 jours. Pendant 90 jours, j'avais activé l'option de vitesse du crawl "Plus rapide", le reste du temps, l'option cochée était "Normal". J'ai également tracké le temps entre la mise en ligne d'une nouvel article sur le blog de mon client et la première visite du robot Google.
Concrètement, j'ai tracké GoogleBot pendant 55 jours sur "Normal" puis 90 jours sur "Plus rapide" et enfin une nouvelle fois 55 jours sur "Normal".
Voici quelques information avant de nous plonger dans les données que j'ai collectées. Le site avait 45 pages en cache et avait plus d'une année d'ancienneté au moment où j'ai démarré cette expérience. Les nouveaux articles sur le blog furent ajoutés au rythme de 2 ou 3 par semaine, il était donc ajouté du "contenu frais" au site. Ce site se positionne bien sur sa marque ainsi que sur quelques mots clés en rapport avec sa thématique.
Au cours de cette expérience, plus de 80 articles furent donc ajoutés sur le site. Pendant que la vitesse du crawl était en "Normal" cela prenait en moyenne 3,4 jours avant que Google visite la première visite de Google sur une nouvelle page. Lorsque la vitesse était configurée sur "Plus rapide", cela prenait en moyenne 2,9.
Note : J'ai n'ai pas pris en compte le temps entre la mise en ligne et la mise en cache de la page mais bien le temps entre la mise en ligne et la première visite de GoogleBot.
Visites de GoogleBot pendant 90 jours avec l'option "Plus rapide"
Visites de GoogleBot pendant 110 jours avec l'option "Normal"
Lorsque la vitesse de crawl était fixée sur "Normal", Google visitait en moyenne le site 6 fois par jour et surtout le Mardi, le Vendredi et le Dimanche.
Lorsque la vitesse de crawl était fixée sur "Plus rapide", Google visitait en moyenne le site 7,5 fois par jour et surtout le Mercredi, le Jeudi et le Samedi.
Après 90 jours, il a visité 135 pages de plus que si l'option "Normal" avait été cochée.
Si vous regardez sur le graphique ci-dessus, vous verrez qu'il y a une légère amélioration lorsque le crawl est configuré sur "Plus rapide" mais seulement pour une partie des 90 jours.
Après avoir vu les résultats, j'en suis arrivé à la conclusion que le fait de changer la vitesse d'indexation dans Google Webmaster Tools ne changait en fait quasiment rien au comportement du robot.
NDT : Google vient de mettre à jour Google Webmaster Tools est a changé l'option de vitesse de crawl...
