Compteur de clic - crawler

17 réponses

Auteur	Message
krucial \| Administrateur Inscrit le : 09/03/2005	# Le 18/04/2006 à 15:13 Salut à tous J'aimerai mettre en place une methode simple et efficace pour ne pas compter les moteurs / crawlers / aspirateurs dans un compteur de clic. J'ai pensé à mettre un cookie, faire un reload, et si il y a cookie, alors ce n'est pas un moteur et je compte le clic. Avez-vous rencontrer ce genre de probleme ? Des idées ? Mici JC - Mes sites \| Affiliation devis travaux \| Cotes voitures anciennes
Bool \| Olivier Modérateur Inscrit le : 09/05/2005	# Le 18/04/2006 à 15:15 Hello, mis a part le Javascript, je ne vois pas... Les seules fois où j'ai utilisé un crawler, il gérait les cookies, donc bon... daevel : infogérance et conseil \|\| moi
krucial \| Jean Christophe Administrateur Inscrit le : 09/03/2005	# Le 18/04/2006 à 15:23 arf ! Ok merci quand meme pour ta reponse JC - Mes sites \| Affiliation devis travaux \| Cotes voitures anciennes
Limit \| Cyril Membre Inscrit le : 11/05/2005	# Le 18/04/2006 à 16:16 fais une liste à exclure avec les referers? Forum Gratuit - Blog gratuit
krucial \| Jean Christophe Administrateur Inscrit le : 09/03/2005	# Le 18/04/2006 à 16:20 impossible cette solution pour moi. JC - Mes sites \| Affiliation devis travaux \| Cotes voitures anciennes
linkfr \| Pierre Membre Inscrit le : 09/05/2005	# Le 18/04/2006 à 16:55 euh avec un robots.txt deny all Pierre ::: Teletoday.com - A la télé ce soir !
Bool \| Olivier Modérateur Inscrit le : 09/05/2005	# Le 18/04/2006 à 17:09 le robots.txt ça bloque la quasi totalité des moteurs de recherche, je suppose quasiment aucun crawler, et coté aspirateurs je crois qu'il n'y a que httrack qui le respecte... daevel : infogérance et conseil \|\| moi
krucial \| Jean Christophe Administrateur Inscrit le : 09/03/2005	# Le 18/04/2006 à 19:01 J'avais entendu qu'il arrivait a google de quand meme lire les fichiers "proteges" par robots.txt, meme si il ne les indexait pas. Dans ce cas, le probleme est le meme. C'est completement faux ou google le fait vraiment ? JC - Mes sites \| Affiliation devis travaux \| Cotes voitures anciennes
Fred \| Frédéric Modérateur Inscrit le : 09/05/2005	# Le 18/04/2006 à 19:15 Il y a bien le rel="nofollow" sur le lien, mais je ne sais pas si Google n'est pas le seul à l'accepter... "Le bois ne rend pas les coups"
Bool \| Olivier Modérateur Inscrit le : 09/05/2005	# Le 18/04/2006 à 19:20 Pas sûr à 100%, mais pour moi Google respecte vraiment le robots.txt. Sinon chez moi cela déclencherait le système anti aspiration, et le robot serait banni du site... daevel : infogérance et conseil \|\| moi
Rano \| Jean Modérateur Inscrit le : 13/04/2005	# Le 18/04/2006 à 19:24 Ce que fait google c'est qu'il référence l'url qu'il trouve, sans la visiter. Et on peut voir l'url en faisant site:lesite.com sur google. Apparait alors juste l'url, sans contenu. Sauf que meme l'url on voulait qu'il ne l'affiche pas... Chambres d'hote tavel Séjours en provence Forum mariage
Bool \| Olivier Modérateur Inscrit le : 09/05/2005	# Le 18/04/2006 à 19:28 Pour ce problème précis tu peux faire par "jeton" : chaque URL contient un identifiant alléatoire correspondant à un jeton, ce jeton n'étant utilisable qu'une seule fois et pendant une courte période. Ainsi même si Google référence l'URL, ça n'a aucune importance. daevel : infogérance et conseil \|\| moi
Geo 113 \| Geoffrey Modérateur Inscrit le : 04/05/2005	# Le 19/04/2006 à 08:38 uai mais là ca deviens le bousin, je ne connais pas l'idée que kru a dans la tête mais par exemple dans le cas ou tu veux filer le lien à un copain bam le jeton est plus bon tu perd un visiteur Cosmix Rendez imprévisible l'Economie; Mentez aux sondages
Bool \| Olivier Modérateur Inscrit le : 09/05/2005	# Le 19/04/2006 à 08:41 Bah ça ferait quand même la redirection hein, mais sans compter le clic. Mais comme tu le dis, vu qu'on ne sait pas ce qu'il veut faire, difficile de savoir ce qui pourrait être le mieux... daevel : infogérance et conseil \|\| moi
Fred \| Frédéric Modérateur Inscrit le : 09/05/2005	# Le 19/04/2006 à 09:39 Ca doit être pour ne pas fausser les stats de clics sur les marques blanches vacancéo, j'imagine. Y'a pas moyen que tu fasses une détection sur l'user-agent pour compter ou non le clic ? C'est sûr que certains passeraient au travers mais tu choperais les principaux. "Le bois ne rend pas les coups"
Bool \| Olivier Modérateur Inscrit le : 09/05/2005	# Le 19/04/2006 à 10:28 bah pour enlever le plus gros, le mieux serait de cumuler plusieurs méthodes : - robots.txt : pour virer la plupart des robots - user agent : pour virer la plupart des aspirateurs - filtre IP : pour virer les quelques crawler et robots ne respectant pas le robots.txt Ca ne fera pas tout, mais c'est déjà ça non ? daevel : infogérance et conseil \|\| moi
krucial \| Jean Christophe Administrateur Inscrit le : 09/03/2005	# Le 19/04/2006 à 10:35 Oui Fred, c'est exactrement pour ca. Bool, en effet, je vais partir la dessus. Il y a deja le filtre Ip qu'il faut que je mette a jour pour les moteurs. Pour le robots.txt, ce qui m'ennuie c'est que j'ai envie que les moteurs crawlent l'url, je veux juste les reconnaitre pour pas les compter. Quelques fois, on ne sait pourquoi, une url de redir est super bien dans google. J'ai pas envie de m'en priver JC - Mes sites \| Affiliation devis travaux \| Cotes voitures anciennes
flush \| Jean-Philippe Modérateur Inscrit le : 09/05/2005	# Le 19/04/2006 à 11:16 tu demandes le numéro de CB avant de clicker ok je sors ---> @+ Jean-Philippe

Auteur

Message

krucial |
Administrateur

Inscrit le : 09/03/2005

# Le 18/04/2006 à 15:13

Salut à tous

J'aimerai mettre en place une methode simple et efficace pour ne pas compter les moteurs / crawlers / aspirateurs dans un compteur de clic.

J'ai pensé à mettre un cookie, faire un reload, et si il y a cookie, alors ce n'est pas un moteur et je compte le clic.

Avez-vous rencontrer ce genre de probleme ? Des idées ?

Mici

JC - Mes sites | Affiliation devis travaux | Cotes voitures anciennes

Bool | Olivier
Modérateur

Inscrit le : 09/05/2005

# Le 18/04/2006 à 15:15

Hello,

mis a part le Javascript, je ne vois pas... Les seules fois où j'ai utilisé un crawler, il gérait les cookies, donc bon...

daevel : infogérance et conseil || moi

krucial | Jean Christophe
Administrateur

Inscrit le : 09/03/2005

# Le 18/04/2006 à 15:23

arf ! Ok merci quand meme pour ta reponse

JC - Mes sites | Affiliation devis travaux | Cotes voitures anciennes

Limit | Cyril
Membre

Inscrit le : 11/05/2005

# Le 18/04/2006 à 16:16

fais une liste à exclure avec les referers?

Forum Gratuit - Blog gratuit

krucial | Jean Christophe
Administrateur

Inscrit le : 09/03/2005

# Le 18/04/2006 à 16:20

impossible cette solution pour moi.

JC - Mes sites | Affiliation devis travaux | Cotes voitures anciennes

linkfr | Pierre
Membre

Inscrit le : 09/05/2005

# Le 18/04/2006 à 16:55

euh avec un robots.txt deny all

Pierre ::: Teletoday.com - A la télé ce soir !

Bool | Olivier
Modérateur

Inscrit le : 09/05/2005

# Le 18/04/2006 à 17:09

le robots.txt ça bloque la quasi totalité des moteurs de recherche, je suppose quasiment aucun crawler, et coté aspirateurs je crois qu'il n'y a que httrack qui le respecte...

daevel : infogérance et conseil || moi

krucial | Jean Christophe
Administrateur

Inscrit le : 09/03/2005

# Le 18/04/2006 à 19:01

J'avais entendu qu'il arrivait a google de quand meme lire les fichiers "proteges" par robots.txt, meme si il ne les indexait pas.
Dans ce cas, le probleme est le meme. C'est completement faux ou google le fait vraiment ?

JC - Mes sites | Affiliation devis travaux | Cotes voitures anciennes

Fred | Frédéric
Modérateur

Inscrit le : 09/05/2005

# Le 18/04/2006 à 19:15

Il y a bien le rel="nofollow" sur le lien, mais je ne sais pas si Google n'est pas le seul à l'accepter...

"Le bois ne rend pas les coups"

Bool | Olivier
Modérateur

Inscrit le : 09/05/2005

# Le 18/04/2006 à 19:20

Pas sûr à 100%, mais pour moi Google respecte vraiment le robots.txt. Sinon chez moi cela déclencherait le système anti aspiration, et le robot serait banni du site...

daevel : infogérance et conseil || moi

Rano | Jean
Modérateur

Inscrit le : 13/04/2005

# Le 18/04/2006 à 19:24

Ce que fait google c'est qu'il référence l'url qu'il trouve, sans la visiter. Et on peut voir l'url en faisant site:lesite.com sur google. Apparait alors juste l'url, sans contenu. Sauf que meme l'url on voulait qu'il ne l'affiche pas...

Chambres d'hote tavel
Séjours en provence
Forum mariage

Bool | Olivier
Modérateur

Inscrit le : 09/05/2005

# Le 18/04/2006 à 19:28

Pour ce problème précis tu peux faire par "jeton" : chaque URL contient un identifiant alléatoire correspondant à un jeton, ce jeton n'étant utilisable qu'une seule fois et pendant une courte période. Ainsi même si Google référence l'URL, ça n'a aucune importance.

daevel : infogérance et conseil || moi

Geo 113 | Geoffrey
Modérateur

Inscrit le : 04/05/2005

# Le 19/04/2006 à 08:38

uai mais là ca deviens le bousin, je ne connais pas l'idée que kru a dans la tête mais par exemple dans le cas ou tu veux filer le lien à un copain bam le jeton est plus bon tu perd un visiteur

Cosmix
Rendez imprévisible l'Economie; Mentez aux sondages

Bool | Olivier
Modérateur

Inscrit le : 09/05/2005

# Le 19/04/2006 à 08:41

Bah ça ferait quand même la redirection hein, mais sans compter le clic.

Mais comme tu le dis, vu qu'on ne sait pas ce qu'il veut faire, difficile de savoir ce qui pourrait être le mieux...

daevel : infogérance et conseil || moi

Fred | Frédéric
Modérateur

Inscrit le : 09/05/2005

# Le 19/04/2006 à 09:39

Ca doit être pour ne pas fausser les stats de clics sur les marques blanches vacancéo, j'imagine.
Y'a pas moyen que tu fasses une détection sur l'user-agent pour compter ou non le clic ? C'est sûr que certains passeraient au travers mais tu choperais les principaux.

"Le bois ne rend pas les coups"

Bool | Olivier
Modérateur

Inscrit le : 09/05/2005

# Le 19/04/2006 à 10:28

bah pour enlever le plus gros, le mieux serait de cumuler plusieurs méthodes :
- robots.txt : pour virer la plupart des robots
- user agent : pour virer la plupart des aspirateurs
- filtre IP : pour virer les quelques crawler et robots ne respectant pas le robots.txt

Ca ne fera pas tout, mais c'est déjà ça non ?

daevel : infogérance et conseil || moi

krucial | Jean Christophe
Administrateur

Inscrit le : 09/03/2005

# Le 19/04/2006 à 10:35

Oui Fred, c'est exactrement pour ca. Bool, en effet, je vais partir la dessus. Il y a deja le filtre Ip qu'il faut que je mette a jour pour les moteurs. Pour le robots.txt, ce qui m'ennuie c'est que j'ai envie que les moteurs crawlent l'url, je veux juste les reconnaitre pour pas les compter. Quelques fois, on ne sait pourquoi, une url de redir est super bien dans google. J'ai pas envie de m'en priver

JC - Mes sites | Affiliation devis travaux | Cotes voitures anciennes

flush | Jean-Philippe
Modérateur

Inscrit le : 09/05/2005

# Le 19/04/2006 à 11:16

tu demandes le numéro de CB avant de clicker
ok je sors --->

@+ Jean-Philippe

Répondre

Vous ne pouvez pas participer au forum, car votre inscription n'a pas été validée. Pour vous faire valider en tant que Membre, cliquez ici.