Le crawler, appelé aussi spider ou robot logiciel, explore des sites pour indexer et analyser les contenus depuis les résultats d’un moteur de recherche. Il permet aussi de recenser et lire du contenu dans un but d’analyse pour une application tierce par exemple.