Analyser les logs serveurs et le passage des bots

12.1Pourquoi analyser les logs ?

La Search Console te montre ce que Google a indexé. Les logs serveurs te montrent ce que Googlebot a fait en temps réel chaque page visitée, chaque erreur rencontrée, chaque requête ignorée.

• Crawl budget combien de pages Google visite par session
• Pages orphelines des pages que Google ne trouve jamais
• Erreurs silencieuses 404, 500, redirections en boucle
• Fréquence de crawl quelles pages sont visitées souvent (ou jamais)
• Pages inutiles crawlées Google perd du temps sur des filtres, paginations…

12.2Lire un log serveur

Un log serveur, c'est une ligne de texte par requête. Voici comment le décrypter :

# Exemple de log Apache/Nginx
66.249.66.1 - - [10/Feb/2026:14:32:01 +0100] "GET /seo/carte-du-monde HTTP/2" 200 15234 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

# Décryptage :
# 66.249.66.1        → IP de Googlebot (plage 66.249.x.x)
# [10/Feb/2026...]   → Date et heure de la visite
# "GET /seo/..."     → Page visitée
# 200                → Code HTTP (200 = OK, 404 = pas trouvé, 301 = redirigé)
# 15234              → Taille de la réponse en octets
# "Googlebot/2.1"    → L'agent qui a fait la requête

• IP 66.249.x.x c'est la plage IP de Googlebot
• User-Agent confirme que c'est bien Googlebot (et pas un faux)
• Code 200 la page a été servie correctement
• Code 404 page introuvable (à corriger !)
• Code 301/302 redirection (à vérifier qu'elle pointe au bon endroit)

12.3Outils d'analyse de logs

Tu peux analyser les logs manuellement (grep, awk) ou utiliser des outils dédiés :

# Filtrer les requêtes de Googlebot dans les logs
grep "Googlebot" /var/log/nginx/access.log

# Compter les pages les plus crawlées
grep "Googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

# Trouver les erreurs 404 vues par Googlebot
grep "Googlebot" access.log | grep " 404 "

# Voir le crawl budget quotidien
grep "Googlebot" access.log | grep "10/Feb/2026" | wc -l

• Screaming Frog Log Analyzer interface graphique pour analyser les logs
  Visualise les chemins de crawl, les erreurs, le budget.
• GoAccess analyseur de logs en terminal, temps réel
  Gratuit, open source, parfait pour les devs.
• Kibana / ELK Stack pour les gros volumes
  Dashboards visuels avancés, recherche dans des millions de lignes.

12.4Optimiser le crawl budget

Le crawl budget, c'est le nombre de pages que Googlebot accepte de visiter en une session. Sur un petit site (quelques centaines de pages), ce n'est pas un problème. Mais à grande échelle, il faut l'optimiser.

• Bloquer les pages inutiles filtres, tris, paginations sans valeur → robots.txt
• Corriger les erreurs les 404 et 500 gaspillent le budget
• Éviter les chaînes de redirections A → B → C → D… simplifie en A → D
• Sitemap à jour aide Google à prioriser les bonnes pages
• Maillage interne solide les pages importantes reçoivent plus de liens internes
• Vitesse du serveur un site rapide = plus de pages crawlées par session

12.5Monitoring en continu

Le SEO technique n'est pas un one-shot. C'est un monitoring continu, comme un système d'alerte dans ton jeu :

// Exemple  script de monitoring SEO automatique
// Vérifie chaque jour les métriques clés

const SEO_CHECKS = {
    // Vérifier que les pages critiques sont indexées
    indexation: async () => {
     const pages = ['/seo/carte-du-monde', '/css/flexbox', '/javascript/variables'];
     for (const page of pages) {
       const res = await fetch(`https://monsite.fr${page}`);
       if (res.status !== 200) {
         alert(`Page ${page} retourne un ${res.status}`);
       }
     }
    },
    
    // Vérifier que les balises critiques sont présentes
    balises: async (html) => {
     const hasTitle = html.includes('<title>');
     const hasMeta = html.includes('meta name="description"');
     const hasH1 = html.includes('<h1');
     const hasSchema = html.includes('application/ld+json');
     
     return { hasTitle, hasMeta, hasH1, hasSchema };
    },
    
    // Surveiller la taille du bundle
    performance: async () => {
     // Alerte si le bundle JS dépasse 200 Ko
     const stats = await getBundleStats();
     if (stats.totalJS > 200_000) {
       alert('Bundle JS trop lourd  ' + stats.totalJS);
     }
    },
};

• Alertes automatiques sois notifié quand quelque chose casse
• Audits réguliers Lighthouse CI dans ta pipeline de déploiement
• Suivi des positions tes mots-clés montent ou descendent ?
• Revue mensuelle Search Console + Analytics = ton bilan de guilde