Brioude Internet Référencement Notre expertise au service de vos projets
Accueil » Glossaire référencement » Glossaire référencement (C) » Crawler
L'expert de votre visibilité
sur Internet depuis 1998
Crawler
Crawler ou comment explorer un site
Le crawler aussi dénommé robot ou spider est une fonction des moteurs de recherche, un logiciel utilisé pour repérer et indexer dans la base de données des moteurs de recherche les adresses URL de sites. Le crawler balaye toutes les pages accessibles et collecte les ressources du web, vidéo, image, texte, PDF...
Les crawlers lisent le code source et plus précisément le code HTML qui structure le contenu d'une page web. Ce code est dans un premier temps stocké dans les bases de données des moteurs puis analysé pour une classification des contenus dans les index des moteurs. Il existe des crawlers libres (Nutch, GNU Wget...) et des crawlers propriétaires (Googlebot, Slurp, MSNbot...)
Voir aussi : crawl
