Nous contacter

Tutoriel : Comment faire de l'analyse de logs gratuite ?

Dès lors que l'on parle de référencement naturel technique et que l'on peut creuser plus loin son analyse, on arrive vite à l'analyse de logs. En tant qu'expert dans le SEO technique, notre agence SEO vous propose ses services afin d'analyser clairement ce qui pose problème à Google Bot sur votre site Internet. En réglant ces problèmes, vous améliorerez votre référencement et donc votre chiffre d'affaires !

Le crawl budget

Pourquoi analyser ses logs ?

Commençons par définir ce qu'est le crawl budget : C'est le temps de parcours et d'analyse de votre site que google s'autorise quotidiennement. On peut faire un calcul simple: crawl budget/temps de chargement moyen de vos pages = nombres de pages visitées quotidiennement. Bien entendu, plus google crawl votre site fréquemment, plus il découvrira de nouvelles pages vite, plus votre référencement s'améliorera ! L'analyse de logs apache est donc une arme très puissante de l'optimisation on site de votre SEO.

Réduire le temps de chargement

On l'a dit, le nombre de pages analysées par Google bot (et les autres) dépend en partie du temps de chargement. On va donc avoir pour objectif de réduire celui-ci au maximum. Pour cela, des outils d'analyses comme la Search Console ou même GTmetrix peuvent vous aider. Récemment, l'outil audit dans Chrome permet une analyse très fine des raisons pour lesquelles votre page ne se charge pas suffisamment vite. Quoi qu'il en soit, plus vous baissez le temps de chargement, plus le nombre de page analysées quotidiennement augmentera. On observe d'ailleurs une corrélation à ce sujet dans la Search Console dans la section "statistiques sur l'exploration". A noter que Google crawle toujours en http 1 et pas encore en http2 : il faut donc continuer de merger CSS et JS. 

Limiter le nombre de requêtes

Une fois que toutes nos pages se chargent (pour la partie HTML) en moins de 250ms (on y croit, vous allez y arriver, un peu de cache Varnish de Nginx et c'est réglé !), on va passer à l'étape 2 : choisir quelles pages Google va parcourir. Là, on rentre dans la partie la plus technique de cette analyse car on va aller au delà du simple rel=nofollow. On va essayer de réduire le nombre de requêtes faites par Google. Objectif: retirer le crawl des facettes, des feeds x ou y, des images du thèmes etc... On utilisera pour ces dernières un sprite en CSS, une technique qui consiste à mettre tous les pictogrammes dans un même fichier jpg ou png puis, grâce aux CSS, définir quelle zone du fichier on appelle. On peut également mettre des pictogrammes dans un fichier de police d'écriture.

Comment récupérer ses logs google bot ?

Il est assez simple de trouver vos logs à analyser. Il faut simplement aller glisser ces quelques lignes dans votre virtual host apache et reload la configuration du serveur. Vous aurez un fichier log qui va commencer à se remplir avec le bon format de données pour Screaming Frog Log Analysis.

SetEnvIf User-Agent ".*bot*" seobot
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"" variables
CustomLog "|/usr/sbin/rotatelogs /home/monreportoire/log/prod/apache2/seo/seo.log.%Y-%m-%d-%H_%M_%S 604800" variables env=seobot

Cette configuration spécifique permet d'isoler dans un dossier et des fichiers dédiés uniquement les requêtes faites par des bots seo, ce qui facilitera leur sauvegarde en vue d'export pour analyse dans un outil tiers.

Screaming Frog Log Analysis

Vous l'avez compris, dans cette vidéo, Patrick Valibus vous parle de Screaming Frog Log Analysis. L'avantage de ce logiciel est qu'il est extrêmement simple à installer, ne nécessite quasiment aucun paramétrage et propose une version gratuite illimitée. Si vous souhaitez vérifier le SEO d'un site jusqu'à 200 ou 300 pages, c'est clairement suffisant, et si vous avez besoin de plus la licence est à un prix tout à fait abordable. J'apprécie tout particulièrement la fonction import url pour tester les urls orphilines et identifier les urls à retirer (dont on parlait au paragraphe précèdent. Pour le télécharger c'est ici : https://www.screamingfrog.co.uk/log-file-analyser/ Si vous n'avez pas vu la vidéo tutoriel youtube c'est ici :

Les autres outils d'analyse de logs

oncrawl
botify

Oncrawl

Oncrawl propose différentes solutions y compris sans engagement en fonction du nombres de lignes à analyser. Les prix vont des 9.90€ mensuel à 250€ et plus si besoin. On est donc sur un tarif assez faible pour débuter. L'avantage de oncrawl c'est qu'on a beaucoup de graphiques et que l'analyse de vos pages est très visuelle et moins technique, si vous devez faire du reporting à des équipes métiers, c'est appréciable. Il vous faudra cependant pousser les logs régulièrement vers leur ftp mais cela s'automatise assez facilement avec un cron jenkins ou autre. Plus d'informations sur : http://fr.oncrawl.com

Watussi box

La watussi box est un produit d'analyse de logs gratuit, je n'ai malheureusement pas eu le temps de le tester, je vous invite à le faire si vous le souhaitez et n'hésitez pas à me faire vos retours. plus d'informations sur : http://box.watussi.fr/

Botify

J'ai eu la chance d'assister à une démo de l'outil d'analyse de logs de botify en 2017, et je dois reconnaitre que l'outil est également très complet. Les tarifs sont plus élevés que sur oncrawl mais de ce que j'ai pu en voir, les possibilités sont énormes et les graphiques produits sont super qualitatifs. La partie pages orphelines ressort particulièrement bien pour une analyse très visuelle. Bravo ! Plus d'informations sur : https://www.botify.com/

Nous confier votre analyse de logs

Suivi régulier ou analyse ponctuelle, nous analysons pour vous vos URLs orphelines, vos 404 à passer en 301 ou 410, l'optimisation de votre crawl budget, et la répartition du crawl mobile et desktop !

JE DEMANDE UNE PRESTATION EN ANALYSE DE LOGS

Conclusion ?

Que vous souhaitiez faire une analyse ponctuelle et une maintenance dans la durée, il existe des outils d'analyse à tous les tarifs. N'hésitez donc pas à passer à l'analyse de logs votre site pour en tirer le maximum de "seo juice" et doper votre visibilité sur internet ! Si vous souhaitez en savoir plus sur l'importance du maillage interne, consulter notre article sur la détection des pages orphelines en SEO.