+33 (0) 3 20 74 03 24

La création d’un contenu de qualité et l’acquisition régulière de liens externes de qualité sont, nous le savons, de très puissants leviers pour optimiser le référencement d’un site internet. Les moteurs de recherche ont besoin d’un contenu de plus en plus expert, riche en sémantique et capable de répondre rapidement aux attentes des internautes. La fiabilité et la popularité des sites ont depuis plusieurs années un poids important et le netlinking est aujourd’hui essentiel, notamment sur certains secteurs très compétitifs.

Mais nous ne devons pas oublier que ces atouts ne donneront pas leur plein potentiel, loin de là, si le SEO technique du site n’est pas bon et que l’accessibilité de vos pages stratégiques est mauvaise. Car une notion très importante, au cœur de toute bonne stratégie SEO, n’est pas maitrisée si nous nous intéressons seulement au SEO en surface : Le budget Crawl des moteurs de recherche.

Connaitre et améliorer son budget Crawl

Définition : Un budget crawl est le temps qu’accorde un moteur de recherche au parcours de votre site sur une durée déterminée. Nous savons que le web compte aujourd’hui plusieurs milliards d’URLs qu’il est économiquement impossible et environnementalement inacceptable de crawler tous les jours. Les moteurs de recherche ont donc créé un système de budget crawl par page/site, c’est à dire une durée de crawl et un nombre d’URLs à crawler par site maximum. Ce budget est défini par la taille d’un site, la popularité d’un site et sa typologie (un site d’actualités sera plus souvent crawlé qu’un site vitrine de par la nature de son contenu par exemple). Ce temps d’attention, que nous accorde les moteurs de recherches, doit être le plus bénéfique possible pour notre site et tout SEO doit veiller à ce que ce budget crawl soit correctement utilisé et soit le plus important possible pour son site.

C’est dans cette gestion du budget crawl que l’analyse de logs se révèle un formidable outil pour détecter les failles d’un site, même lorsqu’il obtient de très belles performances en référencement depuis des années.
L’analyse de logs, en détectant le passage des robots indexeurs, a cette capacité de lever un plafond de verre et, bien réalisée, d’améliorer considérablement la connaissance d’un site et de son interprétation par les bots des moteurs de recherche.

Top 8 des analyses SEO possibles avec les logs

Nous allons lister ici plusieurs analyses que sont rendues possibles et viables grâce à l’analyse des logs d’un site internet. Il est question ici d’utiliser de la data pour améliorer son SEO, et pas uniquement son instinct et son expérience en référencement naturel.

Quel est le volume de mon budget crawl :

Et oui, seul l’analyse de logs vous permet de savoir précisément la fréquence de passage des GoogleBot sur votre site ! Vous aurez ainsi la possibilité de savoir si ce volume est régulier tout au long de l’année ou s’il existe des périodes où les robots ont été particulièrement présents sur votre site internet. Un budget crawl peut varier de jour en jour, et de pages en pages. L’analyse de logs vous donnera des données précises !

Est ce que mon budget crawl est gaspillé ?

Tout SEO a pu un jour avoir cette sensation de travailler fort pour un site internet, de développer son contenu, d’améliorer son SEO technique, d’acquérir des liens de qualité mais de ne pas voir les résultats suivre. Cela peut être du à un mauvais crawl de la part des moteurs de recherche de votre site, qui peuvent passer beaucoup de temps sur des zones non stratégiques de votre site. Nous avons déjà observé dans les logs d’un site une passion des robots pour des modules de newsletters, des forums internes inutilisés, des URLs en 404, des URLs redirigées ou encore que 90% du crawl d’un site partait uniquement sur la homepage, ne laissant que 10% aux nombreuses autres pages stratégiques de celui-ci. Lever le voile sur la manière dont est utilisée votre budget Crawl !

Est ce que j’ai configuré correctement mon fichier Robots.txt ?

Cette question est forcément en lien avec le gaspillage de budget crawl. Un SEO va configurer un robots.txt en ayant l’objectif que les moteurs de recherche ne passent pas du temps sur des pages ou des fichiers inutiles sur le site. Mais sans analyse de logs, est-il vraiment possible d’être exhaustif et sûr de la qualité de son fichier robots.txt ? Même un développeur peut avoir de très (mauvaises) surprises en remarquant qu’un fichier oublié ou qu’une facette non détectée peut accaparer du budget crawl. L’analyse de logs a le mérite de corriger ce fichier selon les données obtenues au moment du passage des robots.

Est ce que Google crawl correctement mon site ?

Éviter un gaspillage de crawl est donc indispensable. Mais nous pouvons également aller plus loin dans notre analyse en vérifiant que les robots indexeurs passent plus de temps sur les pages les plus stratégiques de notre site, et qui ont un contenu régulièrement renouveler. Ainsi, une page Produit a en général besoin de beaucoup moins d’attentions (ou du moins de manière moins régulière) qu’une page Catégorie qui contiendra un listing Produit qui peut évoluer, ou bien sûr qu’une page « Actualités ». En segmentant correctement vos pages par URL et par typologie de contenu, vous aurez ainsi la possibilité de vérifier que Googlebot priorise bien vos URLs selon leur objectif.

Est ce que je peux anticiper des visites de GoogleBot et produire des optimisations SEO avant son passage ?

Cette analyse n’est possible qu’après un certain temps, mais il est bien possible de dégager des tendances de crawl sur un site, et ce qui peut être une décision prise à l’instinct » peut désormais être appuyer par de la data. Nous imaginons tous que Googlebot fait plus d’efforts pour aller crawler les sites marchands à la veille d’une période de soldes et qu’il est impératif d’être prêt à ce moment là. Une analyse de logs pourra vous confirmer, ou non, cette augmentation du crawl sur votre site mais aussi détecter d’autres périodes dans l’année ou ce crawl peut connaitre des fluctuations. Vous pourrez ainsi planifier la date de vos optimisations pour être prêts au moment de ce passage et ne surtout pas rater le train en route !

Est ce que je peux supprimer mes anciennes redirections 301 qui alourdissent mon fichier .htAccess ?

C’est une question aussi que tout SEO et développeur peut se poser un jour, notamment lorsqu’il y a une volonté d’améliorer la web performances d’un site et d’éviter un lourd fichier .htAccess après un travail important de redirections sur le site : Est-ce que je peux réduire la taille de ce fichier et des appels présents en supprimant les anciennes redirections sur des pages qui n’existent plus depuis des lustres. Encore une fois, la seule méthode pour être sûr et certain que ces pages ne sont plus crawlées par Googlebot et qu’il est effectivement possible de supprimer ces redirections obsolètes est d’analyser les hits des moteurs de recherches et de vérifier que ces pages ne sont plus crawlées.

Est ce que je peux avoir des datas historiques sur les codes retour de mon site et son crawl ?

Obtenir l’historique des codes retour d’un site internet peut être utile pour comprendre une hausse ou une baisse soudaine d’un site internet. Ce travail peut particulièrement être intéressant après une refonte d’un site internet, la mise en ligne d’un nouveau catalogue ou la suppression importante de pages. Les logs permettent d’analyser plusieurs semaines, voir mois, après une opération délicate sur un site qui a pu voir le trafic chuter ou augmenter de manière importante et de mieux comprendre les raisons de cette situation. Il sera ainsi beaucoup plus facile d’appliquer des recommandations SEO pour relancer le site après avoir détecter le facteur bloquant ou favorable selon les performances.

Est-ce que mon site est réellement passé à l’Index Mobile First ?

Encore une fois, nous pouvons faire confiance aux informations fournies par Google dans sa Search Console…Mais dans les faits, nous avons des résultats souvent très surprenant, avec des sites encore crawlées en version desktop malgré la mention dans la Search Console d’un passage à l’Index Mobile First…Qui croire ? Les logs ne mentent pas !

A vous de jouer ! N’hésitez pas à nous contacter pour toute demande d’analyse de logs !