Pourquoi les fichiers journaux sont-ils importants pour le référencement ?

Pour commencer, ils contiennent des informations qui ne sont pas disponibles ailleurs

Les fichiers journaux sont également l’un des seuls moyens de voir le comportement réel de Google sur votre site. Ils fournissent des données utiles pour l’analyse et peuvent aider à éclairer des optimisations précieuses et des décisions basées sur les données.

L’analyse régulière des fichiers journaux peut vous aider à comprendre quel contenu est exploré et à quelle fréquence, et répondre à d’autres questions concernant le comportement d’exploration des moteurs de recherche sur votre site.

Il peut s’agir d’une tâche intimidante à effectuer, donc cet article fournit un point de départ pour votre parcours d’analyse de fichiers journaux.

Que sont les fichiers journaux ?

Les fichiers journaux sont des enregistrements des personnes qui ont accédé à un site Web et du contenu auquel elles ont accédé. Ils contiennent des informations sur la personne qui a fait la demande d’accès au site Web (également appelée « le client »).

Il peut s’agir d’un robot de moteur de recherche, tel que Googlebot ou Bingbot, ou d’une personne consultant le site. Les enregistrements des fichiers journaux sont collectés et conservés par le serveur Web du site, et ils sont généralement conservés pendant une certaine période de temps.

Quelles données contient un fichier journal ?

Un fichier journal ressemble généralement à ceci :

27.300.14.1 – – [14/Sep/2017:17:10:07 -0400] “GET https://allthedogs.com/dog1/ HTTP/1.1” 200 “https://allthedogs.com” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

Décomposé, celui-ci contient :

  • L’IP du client.
  • Un horodatage avec la date et l’heure de la demande.
  • La méthode d’accès au site, qui peut être GET ou POST.
  • L’URL demandée, qui contient la page consultée.
  • Le code d’état de la page demandée, qui affiche le succès ou l’échec de la demande.
  • L’agent utilisateur, qui contient des informations supplémentaires sur le client à l’origine de la demande, y compris le navigateur et le bot (par exemple, s’il provient d’un mobile ou d’un ordinateur de bureau).

Certaines solutions d’hébergement peuvent également fournir d’autres informations, notamment :

  • Le nom d’hôte.
  • L’IP du serveur.
  • Octets téléchargés.
  • Le temps mis pour faire la demande.

Comment accéder aux fichiers journaux

Comme mentionné, les fichiers journaux sont stockés par le serveur Web pendant un certain temps et ne sont mis à la disposition que du ou des webmestres du site.

La méthode pour y accéder dépend de la solution d’hébergement, et la meilleure façon de savoir comment y accéder est de rechercher leurs documents, voire de les rechercher sur Google !

Pour certains, vous pouvez accéder aux fichiers journaux à partir d’un CDN ou même de votre ligne de commande. Ceux-ci peuvent ensuite être téléchargés localement sur votre ordinateur et analysés à partir du format dans lequel ils sont exportés.

Pourquoi l’analyse des fichiers journaux est-elle importante ?

L’analyse des fichiers journaux peut aider à fournir des informations utiles sur la façon dont votre site Web est vu par les robots des moteurs de recherche.

Cela peut vous aider à éclairer une stratégie de référencement, à trouver des réponses à des questions ou à justifier des optimisations que vous cherchez à faire.

Tout n’est pas une question de budget de crawl

Le budget d’exploration est une allocation accordée par Googlebot pour le nombre de pages qu’il explorera lors de chaque visite individuelle sur le site. John Mueller de Google a confirmé que la majorité des sites n’ont pas à trop se soucier du budget de crawl.

Cependant, il est toujours utile de comprendre quelles pages Google explore et à quelle fréquence il les explore.

J’aime le voir comme s’assurer que le site est exploré de manière efficace et efficiente. S’assurer que les pages clés du site sont explorées et que les nouvelles pages et les pages qui changent souvent sont trouvées et explorées rapidement est important pour tous les sites Web.

Différents analyseurs SEO

Il existe plusieurs outils différents disponibles pour aider à l’analyse des fichiers journaux, notamment :

  • Splunk.
  • Logz.io.
  • Analyseur de fichiers journaux Screaming Frog.

Si vous utilisez un outil d’exploration, il est souvent possible de combiner les données de votre fichier journal avec une exploration de votre site pour étendre davantage votre ensemble de données et obtenir des informations encore plus riches avec les données combinées.

Statistiques du journal de la console de recherche

Google offre également des informations sur la façon dont ils explorent votre site dans le rapport de statistiques d’exploration de la console de recherche Google.

Je n’entrerai pas trop dans les détails dans cet article, car vous pouvez en savoir plus ici.

Essentiellement, le rapport vous permet de voir les demandes d’exploration de Googlebot au cours des 90 derniers jours.

Vous pourrez voir une répartition des codes d’état et des demandes de type de fichier, ainsi que le type de Googlebot (Desktop, Mobile, Ad, Image, etc.) qui fait la demande et s’il s’agit de nouvelles pages trouvées (découverte) ou précédemment pages explorées (actualisation).

Rapport de statistiques d'exploration GSC.

GSC partage également quelques exemples de pages explorées, ainsi que la date et l’heure de la demande.

Cependant, il convient de garder à l’esprit qu’il s’agit d’un échantillon de pages et qu’il n’affichera donc pas l’image complète que vous verrez dans les fichiers journaux de votre site.

Exécution de l’analyse du fichier journal

Une fois que vous disposez des données de votre fichier journal, vous pouvez les utiliser pour effectuer une analyse.

Étant donné que les données du fichier journal contiennent des informations à chaque fois qu’un client accède à votre site Web, la première étape recommandée dans votre analyse consiste à filtrer les robots non liés aux moteurs de recherche afin que vous ne visualisiez que les données des robots des moteurs de recherche.

Si vous utilisez un outil pour analyser les fichiers journaux, il devrait y avoir une option pour choisir de quel agent utilisateur vous souhaitez extraire les informations.

Vous avez peut-être déjà des idées que vous recherchez ou des questions auxquelles vous pouvez trouver des réponses.

Cependant, si ce n’est pas le cas, voici quelques exemples de questions que vous pouvez utiliser pour commencer votre analyse du fichier journal :

  • Quelle part de mon site est réellement explorée par les moteurs de recherche ?
  • Quelles sections de mon site sont/ne sont pas explorées ?
  • À quelle profondeur mon site est-il exploré ?
  • À quelle fréquence certaines sections de mon site sont-elles explorées ?
  • À quelle fréquence les pages régulièrement mises à jour sont-elles explorées ?
  • Combien de temps les nouvelles pages sont-elles découvertes et explorées par les moteurs de recherche ?
  • Comment la modification de la structure/architecture du site a-t-elle eu un impact sur l’exploration des moteurs de recherche ?
  • À quelle vitesse mon site Web est-il exploré et les ressources téléchargées ?

En outre, voici quelques suggestions d’éléments à examiner à partir des données de votre fichier journal et à utiliser dans votre analyse.

Codes d’état

Vous pouvez utiliser des fichiers journaux pour comprendre comment le budget de crawl est réparti sur votre site.

Le regroupement des codes d’état des pages explorées affichera la quantité de ressources accordées aux 200 pages de code d’état importantes par rapport à une utilisation inutile sur des pages cassées ou de redirection.

Vous pouvez prendre les résultats des données du fichier journal et les faire pivoter afin de voir combien de demandes sont faites à différents codes d’état.

Vous pouvez créer des tableaux croisés dynamiques dans Excel, mais vous pouvez envisager d’utiliser Python pour créer les pivots si vous avez une grande quantité de données à examiner.

Répartition des codes d'état.

Les tableaux croisés dynamiques sont un bon moyen de visualiser des données agrégées pour différentes catégories et je les trouve particulièrement utiles pour analyser de grands ensembles de données de fichiers journaux.

Indexabilité

Vous pouvez également examiner comment les robots des moteurs de recherche explorent les pages indexables de votre site, par rapport aux pages non indexables.

La combinaison des données du fichier journal avec une exploration de votre site Web peut vous aider à comprendre s’il y a des pages qui peuvent gaspiller le budget d’exploration si elles ne sont pas nécessaires pour être ajoutées à l’index d’un moteur de recherche.

Répartition indexable.

Pages les plus explorées et les moins explorées

Les données du fichier journal peuvent également vous aider à comprendre quelles pages sont le plus explorées par les robots des moteurs de recherche.

Cela vous permet de vous assurer que vos pages clés sont trouvées et explorées, que de nouvelles pages sont découvertes efficacement et que les pages régulièrement mises à jour sont explorées assez souvent.

De même, vous pourrez voir s’il y a des pages qui ne sont pas explorées ou qui ne sont pas vues par les robots des moteurs de recherche aussi souvent que vous le souhaitez.

Profondeur de crawl et liens internes

En combinant les données de votre fichier journal avec les informations d’une exploration de votre site Web, vous pourrez également voir à quelle profondeur les robots des moteurs de recherche explorent l’architecture de votre site.

Si, par exemple, vous avez des pages de produits clés aux niveaux 4 et 5, mais que vos fichiers journaux indiquent que Googlebot n’explore pas souvent ces niveaux, vous souhaiterez peut-être effectuer des optimisations qui augmenteront la visibilité de ces pages.

Répartition des niveaux.

Une option pour cela est les liens internes, qui sont un autre point de données important que vous pouvez consulter à partir de votre fichier journal combiné et des informations d’analyse.

Généralement, plus une page contient de liens internes, plus elle est facile à découvrir. Ainsi, en combinant les données du fichier journal avec les statistiques de liens internes d’une exploration de site, vous pouvez comprendre à la fois la structure et la possibilité de découvrir les pages.

Vous pouvez également mapper les hits de bot avec des liens internes et conclure s’il existe une corrélation entre les deux.

Catégories de sites clés

La segmentation des données des fichiers journaux par structure de dossiers peut vous permettre d’identifier les catégories les plus fréquemment visitées par les robots des moteurs de recherche et de vous assurer que les sections les plus importantes du site sont vues assez souvent par les crawlers.

Selon l’industrie, différentes catégories de sites auront une importance différente. Par conséquent, il est important de comprendre site par site quels dossiers sont les plus importants et lesquels doivent être explorés le plus.

Segmentation des données des fichiers journaux par structure de dossiers.

Données du fichier journal au fil du temps

La collecte de données de fichiers journaux au fil du temps est utile pour examiner comment le comportement d’un moteur de recherche change au fil du temps.

Cela peut être particulièrement utile si vous migrez du contenu ou modifiez la structure d’un site et souhaitez comprendre l’impact de ce changement sur l’exploration de votre site par les moteurs de recherche.

Changement de Google dans l'exploration lorsque la structure des dossiers est modifiée.

L’exemple ci-dessus montre le changement d’exploration de Google lorsqu’une nouvelle structure de dossiers est ajoutée (ligne jaune) et qu’une autre est supprimée et redirigée (ligne verte).

Nous pouvons également voir combien de temps il a fallu à Google pour comprendre et mettre à jour sa stratégie d’exploration.

Ordinateur de bureau vs mobile

Comme mentionné, les données du fichier journal indiquent également l’agent utilisateur qui a été utilisé pour accéder à la page et peuvent donc vous informer si elles ont été consultées par un bot mobile ou de bureau.

Cela peut, à son tour, vous aider à comprendre combien de pages de votre site sont explorées par les mobiles par rapport aux ordinateurs de bureau et comment cela a changé au fil du temps.

Vous pouvez également constater qu’une certaine section de votre site est principalement explorée par un agent utilisateur de bureau et souhaiterez donc effectuer une analyse plus approfondie pour déterminer pourquoi Google préfère cela à l’exploration mobile d’abord.

Optimisations à faire à partir de l’analyse des fichiers journaux

Une fois que vous avez effectué une analyse des fichiers journaux et découvert des informations précieuses, vous devrez peut-être apporter des modifications à votre site.

Par exemple, si vous découvrez que Google explore un grand nombre de pages cassées ou de redirection sur votre site, cela peut mettre en évidence un problème avec ces pages étant trop accessibles pour les robots des moteurs de recherche.

Vous voudriez donc vous assurer que vous n’avez pas de liens internes vers ces pages cassées, ainsi que nettoyer tous les liens internes de redirection.

Vous pouvez également analyser les données des fichiers journaux afin de comprendre l’impact des modifications apportées sur l’exploration, ou pour collecter des données avant les modifications à venir que vous ou une autre équipe pourriez apporter.

Par exemple, si vous cherchez à modifier l’architecture d’un site Web, vous voudrez vous assurer que Google est toujours en mesure de découvrir et d’explorer les pages les plus importantes de votre site.

Voici d’autres exemples de modifications que vous pouvez envisager d’apporter après l’analyse du fichier journal :

  • Suppression des pages de code de statut non-200 des plans de site.
  • Correction de toutes les chaînes de redirection.
  • Empêcher l’exploration des pages non indexables si elles ne contiennent rien d’utile à trouver pour les moteurs de recherche.
  • Assurez-vous qu’aucune page importante ne contient accidentellement une balise noindex.
  • Ajoutez des balises canoniques pour souligner l’importance de pages particulières.
  • Passez en revue les pages qui ne sont pas explorées aussi souvent qu’elles le devraient et assurez-vous qu’elles sont plus faciles à trouver en augmentant le nombre de liens internes vers celles-ci.
  • Mettez à jour les liens internes vers la version canonique de la page.
  • Assurez-vous que les liens internes pointent toujours vers 200 codes d’état, pages indexables.
  • Déplacez les pages importantes plus haut dans l’architecture du site avec plus de liens internes à partir de pages plus accessibles.
  • Évaluez où le budget de crawl est dépensé et faites des recommandations pour des modifications potentielles de la structure du site si nécessaire.
  • Examinez la fréquence d’exploration des catégories de sites et assurez-vous qu’elles sont explorées régulièrement.

Dernières pensées

L’analyse régulière des fichiers journaux est utile pour les professionnels du référencement afin de mieux comprendre comment leur site Web est exploré par les moteurs de recherche tels que Google, ainsi que de découvrir des informations précieuses pour aider à prendre des décisions basées sur les données.

J’espère que cela vous a aidé à comprendre un peu plus les fichiers journaux et comment commencer votre voyage d’analyse de fichiers journaux avec quelques exemples de choses à revoir.

Davantage de ressources:

  • Comment les moteurs de recherche explorent et indexent : tout ce que vous devez savoir
  • Comment utiliser Python pour analyser et faire pivoter les fichiers journaux du serveur pour le référencement
  • Référencement technique avancé : un guide complet

Image en vedette : Alina Kvaratskhelia/Shutterstock

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici