Services : Blog Forum Flux
Formation Trafic : Référencement Liens sponsorisés Affiliation Ecommerce Nom de domaine E-réputation Marketing Mobile Black Hat Outils Referencement
Formation Technique : Performance Web Html Css Sql Curl Asp Dotnet Php Ajax Wordpress Twitter Google Analytics PrestaShop

Forum Oseox
Oseox

Interroger Google en php : Limite à ne pas dépasser

Forum Référencement et Trafic
Nous sommes le Sam 18 Aoû 2018 07:10

Heures au format UTC [ Heure d’été ]




Poster un nouveau sujet Répondre au sujet
Auteur Message
MessagePosté: Lun 9 Mar 2009 19:50 
Administrateur
Avatar de l’utilisateur
Je travaille actuellement sur un projet qui nécessite que j'interroge Google assez intensément (dans un premier temps) via un script codé en PHP.

En gros j'interroge Google toutes les 2 secondes par salves de 500 à 1000 requêtes.

Pour l'instant cela fonctionne à la perfection. J'aimerai faire plus mais je préfère jouer la sécurité pour ne pas faire blacklister mon IP.

Avez vous une idée de la limite à ne pas dépasser pour une ip donnée par heure ? par jour ?

Merci.


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Lun 9 Mar 2009 20:44 
Avatar de l’utilisateur
Demande à ranks ou à Magic Yooyo. ;)


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Lun 9 Mar 2009 23:29 
Avatar de l’utilisateur
Toi aussi tu essaye de surveiller le référencement de Google ?

Oui bon Ok je sais c'est naze je sors ... (j'ai honte de moi :oops: )


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mar 10 Mar 2009 07:28 
Avatar de l’utilisateur
Tu as déjà de la chance que ton @IP ne soit pas déjà blacklistée car interroger GG Google toutes les 2 secondes par salves de 500 à 1000 requêtes tu n'y va pas de main morte :P

Ne serait il pas judicieux d'interroger via un Proxy ?
Par exemple, pour chaque interrogation, configurer un proxy (pas toujours le meme), et lire à travers ce proxy le flux html issue de GG.

C'est juste une idée de bon matin ;)


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mar 10 Mar 2009 10:02 
Avatar de l’utilisateur
Les proxies sont une fausse bonne idée :
1. Ils sont souvent déjà blacklistés définitivement et se font cramer très très vite. Tu passeras plus de temps à chercher des proxies qu'autre chose
2. Il faut se limiter aux proxies avec IP identifiables comme IP française, sous-peine de déformation lourde des résultats

Pour le reste. Nos test chez Yooda ont montré que la profondeur d'analyse est un déterminant fort du blocage d'IP.
Pourquoi ? Parce que le moteur protège son index encore plus que sa bande passante. Un internaute moyen ira chercher 3 pages au grand maximum. Le volume de requêtes disponible décroit avec la profondeur de celles-ci ;)


Attention, j'ai plusieurs retours d'expérience qui semblent montrer que les IP de serveurs peuvent être définitivement blacklistées. Ce qui n'est pas le cas d'IP de FAI.


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mar 10 Mar 2009 10:35 
Administrateur
Avatar de l’utilisateur
Merci pour vos réponses et précieuses informations.

Pour l'instant mon script tourne sur une machine en local donc IP de FAI et il n'y a pas de de profondeur ce qui peut expliquer ma réussite jusqu'à maintenant :)


Haut
 Profil Envoyer un e-mail  
 
MessagePosté: Mar 10 Mar 2009 12:46 
Avatar de l’utilisateur
Lionel, si je te comprends bien

    - Profondeur d'analyse importante : Si je fais quelques requêtes me retournant un paquet de liens (par ex. 200 URL a chaque interrogation) => Grande chance d'être blacklisté

    - Profondeur d'analyse faible : Si je fais beaucoup de requêtes mais ne retournant que très peu URL (Max. 30 URL) => Peu de chance d'être blacklisté

J'ai bien tout compris ?

(Et entre nous , Yooda Match Density ça aide ;) )


Haut
 Profil Envoyer un e-mail  
 
Afficher les messages postés depuis:  Trier par  
Poster un nouveau sujet Répondre au sujet  [ 7 messages ] 

Heures au format UTC [ Heure d’été ]


Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité


Vous ne pouvez pas poster de nouveaux sujets
Vous ne pouvez pas répondre aux sujets
Vous ne pouvez pas éditer vos messages
Vous ne pouvez pas supprimer vos messages
Vous ne pouvez pas joindre des fichiers

Rechercher:
Aller à:  
cron
Abonnez-vous au flux RSS

Blog

Copyright : Moteur, traduction et optimisation
Merci de votre visite sur le forum Oseox