Robots.txt vs Rel=Nofollow vs Meta Robots Nofollow
Ce billet est une traduction partielle de ce billet.
NDT : Il s'agit d'un récapitulatif sur l'impact des URLs / liens dans un robots.txt, sur une page contenant un meta robot noindex ou un meta robot nofollow ainsi que de l'attribut rel=nofollow posé sur un lien.
Robots.txt
Crawlé par Googlebot ?
Non (officiellement, officieusement...)
Affiché dans l'index ?
Si le document est linké, il n'y aura que l'URL d'affichée. Éventuellement plus à partir d'informations obtenues depuis d'autres sites comme Dmoz.
Engrange du PageRank ?
Oui.
Risque ? Gaspillage ?
Tout le monde peut consulter votre robots.txt pour voir le contenu que vous ne voulez pas faire indexer. De nombreux lancement ont été découvert par des gens qui s'amuse à rechercher des changements dans les robots.txt.
Mal utiliser les instructions dans ce fichier peut couter cher !
Meta Robots noindex
Crawlé par Googlebot ?
Oui.
Affiché dans l'index ?
Non.
Engrange du PageRank ?
Oui mais peut être redistribué.
Risque ? Gaspillage ?
Les liens sur une page en noindex sont toujours crawlés par les robots même si la page n'apparait pas dans les pages de résultats (A moins que le noindex soit utilisé conjointement à un nofollow)
Les pages utilisant un meta robot nofollow en même temps qu'un meta robot noindex continuent d'accumuler du pagerank mais n'en passera plus aux autres pages.
Meta robots nofollow
Crawlé par Googlebot ?
La page de destination sera crawlée uniquement si elle est linkée ailleurs. (officiellement, officieusement...)
Affiché dans l'index ?
La page de destination apparaita si elle est linkée ailleurs.
Engrange du PageRank ?
Non. Aucun pagerank ne sera distribué.
Risque ? Gaspillage ?
Si vous donnez du pagerank à une page qui elle même ne redistribue pas de pagerank alors cela sera une grande source de gaspillage.
link rel=nofollow
Crawlé par Googlebot ?
La page de destination sera crawlée si elle est linkée ailleurs.
Affiché dans l'index ?
La page de destination sera affichée si elle est linkée ailleurs.
Engrange du PageRank ?
Aucun pagerank ne sera distribué à la page de destination
Risque ? Gaspillage ?
Si vous faites quelque chose de borderline et que vous utilisez nofollow sur vos liens internes pour sculpter votre pagerank, vous apparaitrez plus comme un "SEO" et vous serez certainement plus facilement pénalisé par un ingénieur google pour spam.
