Les moteurs de recherche • Aperçu général • Les différentes technologie • Et plus en détail : les spiders
Les moteurs de recherche
• Aperçu général
• Les différentes technologie
• Et plus en détail : les spiders
Comment fonctionne un moteur de recherche ?
•La collecte d’information•L’indexation des données collectées•Classement des résultats en fonction de leurs pertinences
•Affichage des résultats les uns en-dessous des autres
Fonctionnement
Technologie utilisée
Donnée valable pour 2009
La collecte d’information avec les
spiders
Les spiders qu’est ce que c’est ?
• Les spiders (bots) sont des programmes de navigation visitant en permanence les pages web et leurs liens en vue d’indexer leurs contenus.
• Il détecte les liens des pages est les visites 24h/24h.
Les différents bots
• Les bots les plus connu : Googlebot de Google, Yahoo! Slurp de Yahoo!, MSNBot de Microsoft Bing, Exabot d’Exalead.
Les spiders ou crawler
Qu’est ce qui font ?
• Contrôles des différentes versions enregistrer dans les bases de données du spider.
• Avant la visite était mensuel, maintenant les bots visites des sites plusieurs fois par jour.
Les spiders
Politique de sélection
• Une étude de 2009 a montré que seulement 40% à 70% du web est indexé.
• 1999 : Un moteur de recherche indexe pas plus de 16% du web.
Le web profond ou le deep web
• Le web profond : les robots sont incapables de trouver les pages qui n’ont aucun lien qui pointe vers eux.
• Google a développé les Sitemaps et mod_oai pour permettre la découverte des ces ressources.
Source
• Olivier Andrieu - Reussir son referencement web
• http://en.wikipedia.org/wiki/Web_crawler/
• http://roxors.pbworks.com/w/page/87922261/Lucas%20Roche