Liste des robots de recherche qui visitent les sites référencés par RISI
Qu'est ce qu'un robot de recherche
Logiciel employé par les moteurs de recherche pour parcourir le web à la recherche des pages web qui le compose afin de les indexer . Le robot interroge en premier lieu le fichier robot.txt afin d'adapter son comportement aux desiderata du webmaster du site à indexer. Les pages trouvées sont analysées et intégrées à une base de données nommée index qui est interrogée par les internautes lors de leurs recherches. Les robots parcourent le web en suivant les liens hypertextes entre pages, d'ou l'importance de faire des plans de site et autres sitemap.
Outils entièrement automatiques, ils sont interrogeables par formulaire de requête.
Très puissants, ils explorent automatiquement les sites (sur les noms des documents, les titres, les mots du texte, le code source...), et constituent ainsi un énorme stock de données à partir desquelles les questions posées trouvent des réponses.
Très utiles pour des questions précises, ils restent efficaces à condition d'éviter les termes polysémiques ou trop larges.
Inconvénients : les résultats sont fournis en très grand nombre, les documents intéressants obtenus sont mélés à des ressources dépourvues d'intérêt et à une publicité envahissante.
Les robots se différencient pricipalement par la taille et la qualité de leur corpus (pages indexées) et par leurs critères de présentation des résultats de requête.
cliquez sur les noms en bleu pour avoir une connaissance plus précise de tel ou tel robot
| Visiteurs Robots/Spiders |
|
| Liste des robots qui passent régulièrement sur les sites référencés par RISI |
Hits |
Bande passante |
Dernière visite |
| Yahoo Slurp |
1538+205 |
29.60 Mo |
22 Août 2007 - 04:19 |
| MSNBot |
360+280 |
12.16 Mo |
22 Août 2007 - 04:20 |
| Voila |
320+314 |
5.39 Mo |
22 Août 2007 - 04:09 |
| Googlebot |
250+27 |
10.02 Mo |
22 Août 2007 - 01:55 |
| SBIder |
117+107 |
3.64 Mo |
22 Août 2007 - 03:55 |
| Unknown robot (identified by 'crawl') |
134+63 |
3.87 Mo |
17 Août 2007 - 00:12 |
| Yahoo-MMCrawler |
106+11 |
4.31 Ko |
21 Août 2007 - 16:36 |
| Unknown robot (identified by 'bot/' or 'bot-') |
116+1 |
2.21 Mo |
19 Août 2007 - 09:09 |
| Speedy Spider |
80+36 |
2.90 Mo |
22 Août 2007 - 02:06 |
| Unknown robot (identified by 'robot') |
41+45 |
1.18 Mo |
21 Août 2007 - 23:07 |
| AskJeeves |
25+21 |
1.66 Mo |
20 Août 2007 - 18:18 |
| Google AdSense |
38+6 |
1.13 Mo |
22 Août 2007 - 02:03 |
| Unknown robot (identified by hit on 'robots.txt') |
0+44 |
16.26 Ko |
21 Août 2007 - 22:37 |
| EchO! |
43 |
1.50 Mo |
13 Août 2007 - 21:24 |
| Unknown robot (identified by 'spider') |
26+6 |
1.37 Mo |
22 Août 2007 - 01:34 |
| GigaBot |
21+11 |
735.96 Ko |
21 Août 2007 - 18:38 |
| Walhello appie |
14+16 |
395.05 Ko |
20 Août 2007 - 21:40 |
| LinkWalker |
13+13 |
4.85 Ko |
20 Août 2007 - 01:31 |
| Nutch |
17+4 |
680.14 Ko |
21 Août 2007 - 04:19 |
| Internet Shinchakubin |
13 |
20.06 Ko |
21 Août 2007 - 09:37 |
| Scooter |
0+11 |
4.31 Ko |
12 Août 2007 - 23:50 |
| Asterias |
7 |
0 |
20 Août 2007 - 08:44 |
| SurveyBot |
0+6 |
2.35 Ko |
20 Août 2007 - 02:19 |
| Alexa (IA Archiver) |
3+3 |
316.15 Ko |
21 Août 2007 - 19:03 |
| MJ12bot |
4+2 |
236.74 Ko |
20 Août 2007 - 05:30 |
| BaiDuSpider |
3+2 |
210.32 Ko |
16 Août 2007 - 05:37 |
| The World Wide Web Worm |
5 |
129.25 Ko |
19 Août 2007 - 19:53 |
| Turn It In |
2+1 |
67.50 Ko |
11 Août 2007 - 18:04 |
| Girafabot |
0+2 |
802 Octets |
20 Août 2007 - 07:10 |
| Perman surfer |
1+1 |
30.06 Ko |
02 Août 2007 - 05:23 |
| Holmes |
0+1 |
401 Octets |
13 Août 2007 - 22:59 |
| Robozilla |
1 |
0 |
09 Août 2007 - 23:17 |
| larbin |
0+1 |
406 Octets |
09 Août 2007 - 23:59 |
| MSIECrawler |
1 |
0 |
15 Août 2007 - 13:55 |
|
|
|
|
