Le crawl est un robot d’indexation pour un site web, comme par exemple les moteurs de recherche, en cliquant sur les liens proposés, afin de découvrir toutes les pages du site au travers d'une navigation naturelle. Le robot va alors examiner votre page pour ensuite connaître ses performances et la référencer.