410 GONE

Besoin d'un conseil e-Commerce / Magento? SEO ? les deux? Contactez-moi!

Tutoriel : Comment faire de l'analyse de logs gratuite?

Dès lors que l'on parle de référencement naturel technique et que l'on peut creuser plus loin son analyse, on arrive vite à l'analyse de logs. En tant qu'expert dans le seo technique, notre agence SEO vous propos ses services afin d'analyser clairement ce qui pose problème à google bot sur votre site Internet. En règlant ces problèmes vous améliorerez votre référencement et donc votre chiffre d'affaires.

Le crawl budget : pourquoi analyser ses logs?

Commençons par définir ce qu'est le crawl budget : C'est le temps de parcours et d'analyse de votre site que google s'autorise quotidiennement. On peut faire un calcul simple: crawl budget/temps de chargement moyen de vos pages = nombres de pages visitées quotidiennement. Bien entendu, plus google crawl votre site fréquemment, plus il découvrira de nouvelles pages vite, plus votre référencement s'améliorera ! L'analyse de logs apache est donc une arme très puissante de l'optimisation on site de votre seo.

Optimiser le crawl budget en réduisant le temps de chargement

On l'a dit, le nombre de pages analysées par googlebot (et les autres) dépend en partie du temps de chargement. On va donc avoir pour objectif de réduire celui-ci au maximum. Pour cela des outils d'analyses comme la search console ou même gtmetrix peuvent vous aider. Récemment l'outil audit dans chrome permet une analyse très fine des raisons pour lesquelles votre page ne se charge pas suffisament vite. Quoi qu'il en soit plus vous baissez le temps de chargement, plus le nombre de page analysées quotidiennement augmentera. On observe d'ailleurs une corrélation à ce sujet dans la search console dans la section statistiques sur l'exploration. A noter que google crawl toujours en http 1 et pas encore en http2 donc pour l'instant il faut continuer de merger css et Js. 

Optimiser le crawl budget en limitant le nombre de requêtes :

Une fois que toutes nos pages se chargent (pour la partie html) en moins de 250ms (on y croit, vous allez y arriver, un peu de cache varnish de nginx et c'est réglé !) on va passer à l'étape 2 : choisir quelles pages google va parcourir. Là on rentre dans la partie la plus technique de cette analyyse car on va aller au delà du simple rel=nofollow. On va essayer de réduire le nombre de requêtes faites par google. Objectif: retirer le crawl des facettes, des feeds x ou y, des images du thèmes etc... (On utilisera pour ses dernières un sprite en css, c'est une technique qui consiste à mettre tous les pictogrammes dans un même fichier jpg ou png puis grâce aux css définir quelle zone du fichier on appel. On peut également mettre des pictogrammes dans un fichier de police d'écriture.

 Comment récupérer ses logs google bot ?

Bon vous allez me demander où les trouver ces logs à analyser? Alors c'est assez simple et presque pas technique. Il faut simplement aller glisser ces quelques lignes dans votre virtual host apache et reload la configuration du serveur. Vous aurez un fichier log qui va commencer à se remplir avec le bon format de données pour screaming frog log analysis.

SetEnvIf User-Agent ".*bot*" seobot
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"" variables
CustomLog "|/usr/sbin/rotatelogs /home/monreportoire/log/prod/apache2/seo/seo.log.%Y-%m-%d-%H_%M_%S 604800" variables env=seobot

Cette configuration spécifique permet d'isoler dans un dossier et des fichiers dédiés uniquement les requêtes faites par des bots seo, ce qui facilitera leur sauvegarde en vue d'export pour analyse dans un outil tiers.

Screaming frog log analysis

Vous l'avez compris dans la vidéo je vous parle de screaming frog log analysis. L'avantage de ce logiciel est qu'il est extrêmement simple à installer, ne nécessite quasiment aucun paramétrage et propose une version gratuite illimitée. Autant dire que si vous souhaitez checker le seo d'un site jusqu'à 2 à 300 pages : c'est clairement suffisant, et si vous avez besoin de plus la licence est à un prix tout à fait abordable. J'apprécie tout particulièrement la fonction import url pour tester les urls orphilines et identifier les urls à retirer (dont on parlait au paragraphe précèdent. Pour le télécharger c'est ici : https://www.screamingfrog.co.uk/log-file-analyser/ Si vous n'avez pas vu la vidéo tutoriel youtube c'est ici :

Les autres outils d'analyse de logs:

Oncrawl

oncrawl - outil d'analyse de logsOncrawl propose différentes solutions y compris sans engagement en fonction du nombres de lignes à analyser. Les prix vont des 9.90€ mensuel à 250€ et plus si besoin. On est donc sur un tarif assez faible pour débuter. L'avantage de oncrawl c'est qu'on a beaucoup de graphiques et que l'analyse de vos pages est très visuelle et moins technique, si vous devez faire du reporting à des équipes métiers, c'est appréciable. Il vous faudra cependant pousser les logs régulièrement vers leur ftp mais cela s'automatise assez facilement avec un cron jenkins ou autre. Plus d'informations sur : http://fr.oncrawl.com

Watussi box

La watussi box est un produit d'analyse de logs gratuit, je n'ai malheureusement pas eu le temps de le tester, je vous invite à le faire si vous le souhaitez et n'hésitez pas à me faire vos retours. plus d'informations sur : http://box.watussi.fr/

Botify

botify - outil d'analyse de logsJ'ai eu la chance d'assister à une démo de l'outil d'analyse de logs de botify en 2017, et je dois reconnaitre que l'outil est également très complet. Les tarifs sont plus élevés que sur oncrawl mais de ce que j'ai pu en voir, les possibilités sont énormes et les graphiques produits sont super qualitatifs. La partie pages orphelines ressort particulièrement bien pour une analyse très visuelle. Bravo ! Plus d'informations sur : https://www.botify.com/

Et si je veux vous confier mon analyse de logs?

Si vous avez compris l'intérêt de faire de l'analyse de logs mais que ce sujets vous semblent trop technique où tout simplement que vous n'avez pas le temps, vous pouvez tout à fait nous confier vos logs pour une prestation d'analyse. Nous pourrons au choix mettre en place un suivi régulier ou faire une analyse ponctuelle en vue d'une refonte ou après une refonte. Durant cette analyse, les principaux points seronts :

  • Urls orphelines
  • Urls en 404 à rediriget ou à mettre en 410 Gone
  • Optimisation du crawl budget
  • Répartition crawl mobile et desktop

Combien coute une prestation d'analyse de logs ?

Cela dépend bien sur du volume de log à analyse, mais pour une mise en place d'une analyse de logs ponctuelle il faut prévoir 1200€. Cette prestation inclut la mise en place de l'outil d'analyse, l'analyse en elle même puis bien sur la rédactione et la présentation du livrable de restitution de votre analyse.

Conclusion ?

Que vous souhaitiez faire une analyse ponctuelle et une maintenance dans la durée, il existe des outils d'analyse à tous les tarifs. N'hésitez donc pas à passer à l'analyse de logs votre site pour en tirer le maximum de "seo juice" et doper votre visibilité sur internet !

Pourquoi faut il faire de l'analyse de logs pour doper son crawl budget et optimiser son SEO ? Souhaites vous également consulter ces articles ?