Les formulaires et le web invisible

Le web invisible représente tout le contenu qui n'est pas accessible aux moteurs de recherche. Souvent, il s'agit de contenu stocké en base de données. L'accès peut notamment être payant (abonnement), restreint (mot de passe) etc... ou tout simplement inaccessible aux moteurs étant donné les technologies utilisées.

La plupart des sites web utilisent des formulaires au sein de leurs pages. Un problème important peut se présenter lorsque pour accéder à du contenu, il est nécessaire de remplir un formulaire. En effet, les robots contrairement aux internautes ne les valident pas.

On imagine mal, GoogleBot indiquer la taille de l'appartement qu'il souhaite acheter (et pourtant...).

Le contenu placé derrière les formulaires devient alors tout à fait invisible. Cela empêche l'indexation, tout positionnement dans les SERP est alors impossible.

Formulaire, référencement et GoogleBot

Google a annoncé en Avril 2008 que leur robot était capable de remplir intelligemment des formulaires, de les valider puis de crawler les pages suivantes. Info ou intox ? Difficile à dire. Techniquement, renseigner et valider automatiquement un formulaire n'est pas compliqué, en revanche, le faire intelligemment est d'une toute autre difficulté...

Google Adsense et zone d'authentification

Un exemple de la capacité des robots Google se trouve dans leur service Google Adsense. Il est possible d'indiquer aux robots un login et un mot de passe afin qu'il puisse se connecter à un espace privé, crawler les pages et au final diffuser de la publicité pertinente.

Exemples fréquents de problèmes rencontrés avec les formulaires

J'ai eu l'occasion d'intervenir sur plusieurs sites où les formulaires étaient le principal problème de visibilité. C'est souvent le cas pour :

Les sites de recrutement : L'internaute doit préciser toute une série d'informations sur le poste qu'il recherche avant de valider. S'il s'agit du seul moyen pour accéder aux offres autant dire que la visibilité en prend un sérieux coup... Je me rappelle notamment d'un site de recrutement où le module ne fonctionnait qu'avec des formulaires, était écrit uniquement en javascript et appartenait à un prestataire externe :p

Les sites immobiliers : L'internaute doit indiquer ses choix (vente, achat), la ville, le type de biens etc...

Une solution pour faire indexer sa base de données

La solution pour faire indexer tout ce contenu est finalement assez simple. Il suffit de mettre en place des liens vers des pages de résultats. Ainsi le robot pourra y accéder sans difficulté. L'optimisation du référencement naturel de ces pages de listing doit être réalisée avec la même minutie que toutes les autres pages du site.

Par ailleurs, au delà du gain de visibilité, il s'agit d'un moyen pour offrir à l'internaute un second élément de navigation. En hiérarchisant les liens vers les pages de résultats avec des résultats de plus en plus fins, on s'approche alors du système de navigation d'un annuaire.

Source

  1. Crawling through HTML forms

suivre Aurélien Bardon sur twitter

Une question ? Venez la poser sur notre forum référencement !

A propos de l'auteur

Aurélien Bardon

Editeur du portail Oseox.fr, est expert en création de trafic et e-commerçant. Après avoir travaillé en agence et chez l'annonceur, aussi bien pour des petites sociétés que pour de grands comptes, il fonde en 2009 l'agence web Aseox.

Newsletter Marketing