Ne pas compter les bots

39 réponses

Page 1 2

Auteur	Message
krucial \| Administrateur Inscrit le : 09/03/2005	# Le 02/07/2007 à 18:59 Salut Je voudrais savoir si certains d'entres vous on mis en place une technique pour ne pas compter les clics des crawlers et autres bots. Je ne sais pas sur quoi partir. Filtrer les USER_AGENT ? Filtrer les utilisateurs refusants les cookies, via une double redir ? Qu'en pensez vous ? JC - Mes sites \| Affiliation devis travaux \| Cotes voitures anciennes
toutgagner \| Olivier Modérateur Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:02 c'est sûr que ça trompe... cet après midi je regardais mes stats "location vacances" sur webmastravel (+5000%), je me suis dit, qu'est-ce qui se passe, ça déchire... je suis retombé en jetant un oeil aux stats des plateformes... merde, les robots achètent pas Jeux-concours La Bible du voyageur malin Voyages discount New job : Attaché parlementaire
devtribu \| Olivier Modérateur Inscrit le : 16/06/2005	# Le 02/07/2007 à 19:05 Dans le robots.txt je disallow les user_agent des principaux bots sur les pages de comptages de clics. Dans les stats de requetes, je vire aussi par ip ou par user_agent. L'essentiel des hits se font par les gros moteurs (google, msn, yahoo, ...) qui ont des user_agent précis Février 2019, mon futur livre Tout JavaScript chez Dunod https://amzn.to/2PoLd0f
LePhasme \| Guillaume Membre Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:24 Vous retirez tout ce qui comporte %bot% dans le user agent et la vous en filtrer comme meme un bon 90% je pense ! Paris Apartments Rentals Avertisseur Autonome de Fumee Viadeo
Zalex14 \| Alexandre Modérateur Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:28 User_agent aussi. Un truc comme ça : http://danzcontrib2.free.fr/activiterobots.php (détection des bots) au moment du clic filtre pas mal Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.
bhamp0 \| Benjamin Membre Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:31 Suffit de créer un piège à bot (comme les souris) ! Par exemple : un premier lien, caché des visiteurs, tout en haut du code, qui mène vers une page dont le seul but est d'enregistrer l'IP/User-Agent du bot ... comme seuls les bots iront visiter ce lien, tu remplis progressivement une liste des bots Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
tonguide \| Jeremy Modérateur Inscrit le : 09/05/2005	# Le 02/07/2007 à 19:54 Comment tu le caches ? oublie pas les mal voyants
bhamp0 \| Benjamin Membre Inscrit le : 09/05/2005	# Le 02/07/2007 à 20:16 tonguide> en même temps, sur un site Ajax, les mal-voyants sont pas mal dans la merde ... enfin bref, un lien avec un title "Ne pas cliquer, ça sert à rien, c'est pour faire chier les bots", je crois que les mal voyants vont pas cliquer ;) Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
SquawK \| Blabla Modérateur Inscrit le : 09/05/2005	# Le 02/07/2007 à 20:17 les bots intelligents non plus Comparatif pc portable
Bool \| Olivier Modérateur Inscrit le : 09/05/2005	# Le 03/07/2007 à 09:29 bhamp0 : tu sous estimes la curiosité des gens daevel : infogérance et conseil \|\| moi
bhamp0 \| Benjamin Membre Inscrit le : 09/05/2005	# Le 03/07/2007 à 09:38 Bool> non mais y'aura 99.9% des gens qui verront jamais ce lien (on fait un lien caché avec un display:none ou un truc du genre), seuls ceux qui regardent le code pourront avoir la curiosité de faire un copier-coller du lien En outre, pour tonguide qui me parlait des mal-voyants, la plupart des logiciels pour mal-voyants enlèvent le contenu placé en display:none (et donc ce lien ne leur sera pas présenté non plus). Jusqu'à ce que vous trouviez un bot qui regarde également le css pour choisir ses liens, on a gagné (surtout que il suffit de piéger une fois le bot pour le répertorier à tout jamais dans la base de données et ne plus compter ses clics ) Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
Zalex14 \| Alexandre Modérateur Inscrit le : 09/05/2005	# Le 03/07/2007 à 12:41 Les moteurs suivent les liens dans un bloc en display:none ? J'avais compris le contraire. Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.
bhamp0 \| Benjamin Membre Inscrit le : 09/05/2005	# Le 03/07/2007 à 12:49 Bah euh ... y'a aussi d'autres techniques que le display:none On peut faire un top:-5000px, un left:-5000px, ... en tout cas, les bots "cons" se feront avoir par ce genre de techniques. Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
Bool \| Olivier Modérateur Inscrit le : 09/05/2005	# Le 03/07/2007 à 13:17 Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même. daevel : infogérance et conseil \|\| moi
bhamp0 \| Benjamin Membre Inscrit le : 09/05/2005	# Le 03/07/2007 à 13:40 Bool> en effet. En outre, je donne une solution pour cacher un div, mais il en existe des dizaines ... Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !
Zalex14 \| Alexandre Modérateur Inscrit le : 09/05/2005	# Le 03/07/2007 à 15:11 Bool a dit : Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même. Ha bah oui, je viens de tester avec un lien dans un div display:none et j'ai choppé un bot yahoo Je les pensais plus malins les bots des gros moteurs de recherche. Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.
zimounet \| Quentin Membre Inscrit le : 22/03/2006	# Le 03/07/2007 à 20:39 Zalex14 a dit : Bool a dit : Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même. Ha bah oui, je viens de tester avec un lien dans un div display:none et j'ai choppé un bot yahoo Je les pensais plus malins les bots des gros moteurs de recherche. Et si j'ai un menu en arborescence qui s'ouvre avec un changement du display en javascript? tu voudrais que le bot ne suivent pas mon menu? Bon si c'est l'mien p'tet que oui je sais pas... ^^ Ah, c'est balot madame Chombier!
Zalex14 \| Alexandre Modérateur Inscrit le : 09/05/2005	# Le 04/07/2007 à 15:52 zimounet a dit : Et si j'ai un menu en arborescence qui s'ouvre avec un changement du display en javascript? tu voudrais que le bot ne suivent pas mon menu? Bon si c'est l'mien p'tet que oui je sais pas... ^^ En fait il me semblait que pour éviter le spamdexing, les gros bots dont google, commencaient à interpréter certains éléments css pour éviter que les pages soient remplis de liens visibles que pour les moteurs et pas pour les internautes. Edit , c'est ce type d'infos que j'avais lu à plusieures reprises il y a déjà pas mal de temps : http://www.webrankinfo.com/actualites/200606-googl... Pour revenir au bots, y'en a un qui s'acharne sur partoch depuis deux jours et je ne vois pas réellement pourquoi : http://www.shopwiki.com Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.
Geo 113 \| Geoffrey Modérateur Inscrit le : 04/05/2005	# Le 04/07/2007 à 18:11 pour se constituer une base de données de titre de chanson ou album surment Cosmix Rendez imprévisible l'Economie; Mentez aux sondages
Zalex14 \| Alexandre Modérateur Inscrit le : 09/05/2005	# Le 04/07/2007 à 20:38 certainement. je bannis Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

Auteur

Message

krucial |
Administrateur

Inscrit le : 09/03/2005

# Le 02/07/2007 à 18:59

Salut

Je voudrais savoir si certains d'entres vous on mis en place une technique pour ne pas compter les clics des crawlers et autres bots. Je ne sais pas sur quoi partir. Filtrer les USER_AGENT ? Filtrer les utilisateurs refusants les cookies, via une double redir ?

Qu'en pensez vous ?

JC - Mes sites | Affiliation devis travaux | Cotes voitures anciennes

toutgagner | Olivier
Modérateur

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:02

c'est sûr que ça trompe... cet après midi je regardais mes stats "location vacances" sur webmastravel (+5000%), je me suis dit, qu'est-ce qui se passe, ça déchire... je suis retombé en jetant un oeil aux stats des plateformes... merde, les robots achètent pas

Jeux-concours
La Bible du voyageur malin
Voyages discount
New job : Attaché parlementaire

devtribu | Olivier
Modérateur

Inscrit le : 16/06/2005

# Le 02/07/2007 à 19:05

Dans le robots.txt je disallow les user_agent des principaux bots sur les pages de comptages de clics.

Dans les stats de requetes, je vire aussi par ip ou par user_agent.
L'essentiel des hits se font par les gros moteurs (google, msn, yahoo, ...) qui ont des user_agent précis

Février 2019, mon futur livre Tout JavaScript chez Dunod https://amzn.to/2PoLd0f

LePhasme | Guillaume
Membre

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:24

Vous retirez tout ce qui comporte %bot% dans le user agent et la vous en filtrer comme meme un bon 90% je pense !

Paris Apartments Rentals Avertisseur Autonome de Fumee Viadeo

Zalex14 | Alexandre
Modérateur

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:28

User_agent aussi.
Un truc comme ça : http://danzcontrib2.free.fr/activiterobots.php
(détection des bots) au moment du clic filtre pas mal

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

bhamp0 | Benjamin
Membre

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:31

Suffit de créer un piège à bot (comme les souris) !
Par exemple : un premier lien, caché des visiteurs, tout en haut du code, qui mène vers une page dont le seul but est d'enregistrer l'IP/User-Agent du bot ... comme seuls les bots iront visiter ce lien, tu remplis progressivement une liste des bots

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

tonguide | Jeremy
Modérateur

Inscrit le : 09/05/2005

# Le 02/07/2007 à 19:54

Comment tu le caches ? oublie pas les mal voyants

bhamp0 | Benjamin
Membre

Inscrit le : 09/05/2005

# Le 02/07/2007 à 20:16

tonguide> en même temps, sur un site Ajax, les mal-voyants sont pas mal dans la merde ... enfin bref, un lien avec un title "Ne pas cliquer, ça sert à rien, c'est pour faire chier les bots", je crois que les mal voyants vont pas cliquer ;)

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

SquawK | Blabla
Modérateur

Inscrit le : 09/05/2005

# Le 02/07/2007 à 20:17

les bots intelligents non plus

Comparatif pc portable

Bool | Olivier
Modérateur

Inscrit le : 09/05/2005

# Le 03/07/2007 à 09:29

bhamp0 : tu sous estimes la curiosité des gens

daevel : infogérance et conseil || moi

bhamp0 | Benjamin
Membre

Inscrit le : 09/05/2005

# Le 03/07/2007 à 09:38

Bool> non mais y'aura 99.9% des gens qui verront jamais ce lien (on fait un lien caché avec un display:none ou un truc du genre), seuls ceux qui regardent le code pourront avoir la curiosité de faire un copier-coller du lien
En outre, pour tonguide qui me parlait des mal-voyants, la plupart des logiciels pour mal-voyants enlèvent le contenu placé en display:none (et donc ce lien ne leur sera pas présenté non plus).
Jusqu'à ce que vous trouviez un bot qui regarde également le css pour choisir ses liens, on a gagné (surtout que il suffit de piéger une fois le bot pour le répertorier à tout jamais dans la base de données et ne plus compter ses clics )

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

Zalex14 | Alexandre
Modérateur

Inscrit le : 09/05/2005

# Le 03/07/2007 à 12:41

Les moteurs suivent les liens dans un bloc en display:none ?
J'avais compris le contraire.

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

bhamp0 | Benjamin
Membre

Inscrit le : 09/05/2005

# Le 03/07/2007 à 12:49

Bah euh ... y'a aussi d'autres techniques que le display:none On peut faire un top:-5000px, un left:-5000px, ... en tout cas, les bots "cons" se feront avoir par ce genre de techniques.

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

Bool | Olivier
Modérateur

Inscrit le : 09/05/2005

# Le 03/07/2007 à 13:17

Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même.

daevel : infogérance et conseil || moi

bhamp0 | Benjamin
Membre

Inscrit le : 09/05/2005

# Le 03/07/2007 à 13:40

Bool> en effet.
En outre, je donne une solution pour cacher un div, mais il en existe des dizaines ...

Quand on voit c'qu'on voit, et qu'on entend c'qu'on entend, on a raison d'penser c'qu'on pense !

Zalex14 | Alexandre
Modérateur

Inscrit le : 09/05/2005

# Le 03/07/2007 à 15:11

Bool a dit :
Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même.

Ha bah oui, je viens de tester avec un lien dans un div display:none et j'ai choppé un bot yahoo

Je les pensais plus malins les bots des gros moteurs de recherche.

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

zimounet | Quentin
Membre

Inscrit le : 22/03/2006

# Le 03/07/2007 à 20:39

Zalex14 a dit :

Bool a dit :
Je pense pas qu'il y ait beaucoup de robots avec un interpréteur CSS quand même.

Ha bah oui, je viens de tester avec un lien dans un div display:none et j'ai choppé un bot yahoo

Je les pensais plus malins les bots des gros moteurs de recherche.

Et si j'ai un menu en arborescence qui s'ouvre avec un changement du display en javascript? tu voudrais que le bot ne suivent pas mon menu?

Bon si c'est l'mien p'tet que oui je sais pas... ^^

Ah, c'est balot madame Chombier!

Zalex14 | Alexandre
Modérateur

Inscrit le : 09/05/2005

# Le 04/07/2007 à 15:52

zimounet a dit :
Et si j'ai un menu en arborescence qui s'ouvre avec un changement du display en javascript? tu voudrais que le bot ne suivent pas mon menu?

Bon si c'est l'mien p'tet que oui je sais pas... ^^

En fait il me semblait que pour éviter le spamdexing, les gros bots dont google, commencaient à interpréter certains éléments css pour éviter que les pages soient remplis de liens visibles que pour les moteurs et pas pour les internautes.

Edit , c'est ce type d'infos que j'avais lu à plusieures reprises il y a déjà pas mal de temps :
http://www.webrankinfo.com/actualites/200606-googl...

Pour revenir au bots, y'en a un qui s'acharne sur partoch depuis deux jours et je ne vois pas réellement pourquoi :
http://www.shopwiki.com

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

Geo 113 | Geoffrey
Modérateur

Inscrit le : 04/05/2005

# Le 04/07/2007 à 18:11

pour se constituer une base de données de titre de chanson ou album surment

Cosmix
Rendez imprévisible l'Economie; Mentez aux sondages

Zalex14 | Alexandre
Modérateur

Inscrit le : 09/05/2005

# Le 04/07/2007 à 20:38

certainement. je bannis

Mieux vaut s'attendre au prévisible que d'être surpris par l'inattendu.

Page 1 2

Répondre

Vous ne pouvez pas participer au forum, car votre inscription n'a pas été validée. Pour vous faire valider en tant que Membre, cliquez ici.