Indexation Google en temps réel
Dans un de ces derniers articles publié sur son blog, Matt Cutts s'extasie devant la vitesse d'indexation de Google qui s'approche dans certains cas du "temps réel".
Plusieurs notes ont déjà été rédigées à ce sujet
Voici une partie de l'article rapidement traduis.
Quand j'ai rejoint Google en 2000, nous ne mettions à jour notre index que tous les 3 à 4 mois au maximum. A cette époque cela n'était pas si mal pour un moteur de recherche. Je me souviens d'ailleurs d'un moteur qui à la même période n'avait pas mis à jour son index depuis plus d'une année. Dès la mi-2000, Google mettait à jour son index chaque mois. Les gens utilisaient le cycle lunaire afin de prévoir la prochaine "Google Dance" 🙂
Maintenant, ceux qui se souviennent de la mise à jour "Fritz" lèvent la main. Il s'agit de la Google Dance où Google passa d'un batch mensuel à des mises à jour incrémentales. Cela signifie que nous mettions à jour une partie de notre index de manière quotidienne ou quasi quotidienne.
L'équipe dédiée à l'indexation continua à travailler dur et plusieurs personnes ont remarqué que l'index de Google devenait de plus en plus frais. Désormais certains documents sont accessibles en quelques minutes contre quelques jours ou mois auparavant.
J'ai remarqué que même si les moteurs de recherche s'améliorent sensiblement (index plus frais, plus gros et plus pertinent), les internautes continuent à élever leur niveau d'exigence. Je ne peux imaginer attendre plus d'un mois avant que les moteurs de recherche mettent à jour leur index contenant les nouveaux évènements... mais il y a quelques années, c'était comme cela que les choses se déroulaient.
Et il suffit que vous tombiez quelques fois sur un index frais pour que vous remontiez encore une fois vos attentes.
[...]
Matt continue son article et relate comment il a découvert (capture d'écran à l'appui) un "Minty Fresh Indexing" que l'on peut traduire par "un index ultra frais" 🙂 puis il conclut en félicitant les Googlers qui ont amélioré la capacité de Google à indexer, à mettre à jour et à classer rapidement des pages web.
Vous vous demandez certainement comment Google arrive à repérer des nouvelles pages aussi rapidement ? On peut imaginer qu'il utilise certains services comme ceux présentés sur cette page. Dans tous les cas, cela reste un exploit comparé aux autres moteurs.
A mon humble avis, Google distance de très très très loin ses concurrents et à tous les niveaux :
- Algorithmique : Classement, anti spam etc...
- Infrastructure : Nombre de serveurs, configuration, puissance de calcul et de stockage....
- Organisation
- Stratégie de croissance et d'évolution
- Communication
- ...
Cela est malheureux à dire mais Yahoo et MSN Live font vraiment pitiés bien pâle figure si on les compare à Google. Je me rappelle fréquemment de cette phrase de M. Manber (Comment fonctionne l'algorithme de Google), employé débauché de chez Amazon :
"J'ai passé les trois premiers mois à dire "J'ai une idée", se souvient-il. "Et ils répondaient invariablement, "On y a pensé aussi et c'est déjà là-dedans", ou bien "ça ne marche pas, on a déjà essayé."
Qu'en pensez-vous ?
