Erreur SEO : le bot

n’a pas pu crawler la page

En référencement naturel, pour avoir les meilleurs résultats, il faut maîtriser certaines techniques. Aussi, il faut savoir que les critères de classement par les moteurs de recherche n’ont de cesse de changer. Ce qui signifie que votre site et vos pages doivent évoluer en permanence afin d’avoir plus de chance d’être mieux positionnés dans les résultats qui s’affichent sur les moteurs de recherche. D’ailleurs, certaines erreurs peuvent pénaliser votre site ou certaines de vos pages en impactant négativement sur leur référencement naturel et entraine une baisse de trafic. Tel est le cas pour certaines pages qui n’ont pas pu être crawlées par les robots des moteurs de recherche. Lumière est faite sur cette erreur SEO fréquente dans ce qui suit.

Le Crawl, c’est quoi ?

Le Crawl est l’action d’explorer les pages d’un site internet. La réalisation de cette tâche revient aux crawlers. Il peut s’agir des robots des moteurs de recherche ou bien d’un outil de crawl tout simplement. Pour Google, le robot en charge de cette exploration est Googlebot. Il a donc pour mission de scanner et de parcourir les pages de tous les sites Web. Pour ce faire, les robots de Google suivent les liens qu’ils y trouvent. Le crawl joue un rôle majeur dans le référencement d’un site Internet. Plusieurs crawls par jour peuvent ainsi être effectués par un moteur de recherche sur votre site. Et, avec les milliers, voire les millions de site qui existent actuellement, un bon taux de crawl est nécessaire afin que votre site soit mieux indexé et bénéficier d’un bon référencement.

Erreur SEO : le bot n’a pas pu crawler la page

Pourquoi ma page n’a-t-elle pas

pu être crawlée ?

Bon nombre de sites rencontre des problèmes de crawl. Certaines pages peuvent en effet, ne pas avoir été crawlées. Il s’agit en général de pages orphelines. Une page orpheline est caractérisée par l’absence ou l’inexistence de pages parentes. Concrètement, les robots des moteurs de recherche peuvent ne pas crawler votre page car elle ne dispose d’aucun lien qui pointe vers celle-ci. Cette difficulté à crawler réside dans le fait que, pour mener à bien leur tâche et parcourir entièrement un site, les robots suivent les liens. La page orpheline est donc inatteignable. Il s’agit surtout des pages redirigées, des pages expirées, des pages dont la migration n’a pas été réalisée correctement ou encore des pages comportant des erreurs.

Comment détecter et corriger les

erreurs de crawl ?

Pour parcourir votre site, les robots passent de liens en liens. Dès fois, ils peuvent tomber sur des liens qui les renvoient vers des pages déplacées ou inexistantes. Pour éviter et corriger les erreurs de crawl sur votre site, vous pouvez les identifier via votre compte GWT. En allant dans la rubrique « erreurs d’exploration », vous pouvez avoir tous les détails concernant les URLs avec lesquelles Google rencontre des problèmes d’exploration. Une fois les informations en votre possession, vous avez deux options, vous pouvez soit procéder à la suppression de tous les liens qui pointent vers les pages inexistantes soit les rediriger vers des pages de substitution. Des outils gratuits de crawl sont d’ailleurs disponibles en ligne pour vous faciliter la tâche.

Comment régler le probleme: Le bot n’a pas pu crawler la page

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *