SEO Technique

Comment analyser le fichier sitemap.xml pour des problèmes de crawl

Un sitemap.xml valide peut mentir : URL mortes, redirections et pages noindex gaspillent votre budget de crawl. Découvrez comment confronter votre sitemap à la réalité du serveur et des logs pour relancer votre indexation.

Comment analyser le fichier sitemap.xml pour des problèmes de crawl

Un sitemap.xml qui contient 12 000 URL alors que votre site en compte 8 000. Vous l'avez déjà vu, ce cas ? Moi si. C'était sur un site e-commerce dont j'avais la charge, et pendant près de six mois, Google a exploré des pages qui n'existaient plus. Résultat : des pages réelles jamais visitées, un budget de crawl gaspillé, et une indexation qui stagnait. Le fichier sitemap.xml n'était pas le problème. Ce qu'il racontait, si.

Parce que c'est ça, le vrai sujet : un sitemap n'est pas une déclaration de bonnes intentions, c'est une carte de ce que vous croyez avoir en ligne. Et quand cette carte ne correspond plus à la réalité du serveur, c'est là que les problèmes de crawl commencent. Analyser son sitemap.xml, ce n'est pas vérifier qu'il est valide. C'est le confronter au site réel, aux logs et à l'indexation.

Points clés à retenir

  • Un sitemap.xml valide peut quand même être faux : URL mortes, redirections, pages en noindex y figurent souvent.
  • La limite technique est de 50 000 URL et 50 Mo par fichier : au-delà, il faut un sitemap index.
  • Le croisement sitemap / indexation réelle révèle des pages orphelines invisibles autrement.
  • Les logs serveur restent le seul juge : ce que Googlebot a réellement demandé, pas ce qu'il aurait dû demander.
  • Le champ lastmod est le plus souvent mal renseigné, et c'est un signal que Google finit par ignorer.

Votre sitemap.xml reflète-t-il encore la réalité de votre site ?

La première chose que je regarde, avant même Search Console, c'est le fichier brut. Pas dans un validateur. Dans le navigateur, ou en ligne de commande. Et je compte.

Les vérifications de base sur le fichier brut

Un sitemap se lit en dix minutes si l'on sait quoi chercher. Voici ma checklist, dans l'ordre où je le fais :

  • Le nombre d'URL correspond-il à une estimation crédible du site ? Un écart de plus de 10 % est un signal d'alarme.
  • Présence d'URL avec paramètres de tracking (?utm_source=, ?ref=) : à supprimer, elles diluent le crawl.
  • Présence de pages de recherche interne, de pagination infinie, de filtres à facettes — autant de pièges classiques.
  • URL en http:// alors que le site est en https:// : erreur fréquente après une migration.
  • Le champ <lastmod> : est-il cohérent avec les dates de publication réelles ? S'il affiche la date du jour pour toutes les pages, il est faux et Google l'ignorera.

Franchement, la moitié des sitemaps que j'ai audités pour des confrères avaient au moins un de ces défauts. Le plus courant ? Le lastmod qui se met à jour à chaque régénération du fichier, quel que soit le contenu — un vrai piège pour un CMS mal configuré.

Le cas du sitemap index, souvent mal diagnostiqué

Au-delà de 50 000 URL ou 50 Mo, il faut découper : un fichier maître (sitemap index) qui pointe vers des sous-sitemaps. Et c'est là que les problèmes se cachent. J'ai vu un sous-sitemap inaccessible en HTTP 403 pendant des semaines — le fichier existait, la déclaration <loc> était correcte, mais un pare-feu bloquait le crawl. Search Console le signalait comme « impossible à lire ». Personne ne l'avait vu pendant deux mois.

La démarche de résolution est simple : tester chaque <loc> du sitemap index manuellement (ou en script), vérifier que chacun répond en HTTP 200, et vérifier qu'aucun sous-sitemap ne déclare lui-même un nombre d'URL incohérent. Un sitemap index, c'est une somme : si un enfant manque à l'appel, le compte final ne tombe juste.

Comment croiser le sitemap et l'indexation réelle ?

Le sitemap dit ce que vous voulez faire indexer. Search Console dit ce qui l'est. Le delta entre les deux, c'est votre chantier.

Comment croiser le sitemap et l'indexation réelle ?

La méthode concrète, étape par étape

  1. Exportez la liste des URL de votre sitemap.xml dans un tableur (une URL par ligne).
  2. Exportez depuis Search Console → Indexation → Pages le rapport des pages indexées.
  3. Croisez les deux colonnes avec une simple recherche RECHERCHEV (ou un script Python si vous êtes à l'aise).
  4. Analysez les deux ensembles qui restent : URL dans le sitemap mais non indexée, et URL indexée mais absente du sitemap.

Le second ensemble est le plus intéressant. On parle de pages orphelines : indexées, souvent bien positionnées, mais absentes de votre sitemap. Elles existent pour Google, pas pour vous. Sur un site que j'ai repris, j'en ai trouvé 340 — pour la plupart d'anciennes pages de catégories supprimées mais toujours accessibles.

Pourquoi une URL du sitemap n'est pas indexée

Les causes sont récurrentes :

Cause probableVérification
Balise noindex présenteInspecter l'URL → balises HTML
Page en 404 ou en 301 vers une autreRequête HTTP directe
Contenu trop mince ou dupliquéComparaison manuelle avec la version indexée
URL jamais crawlée (budget saturé)Logs serveur + couverture

Le cas « noindex dans le sitemap » est le plus absurde : vous demandez explicitement à Google d'explorer une page, tout en lui interdisant de l'indexer. Google finit par perdre confiance dans le fichier. Et perdre confiance, dans le crawl, ça se paie cher.

Pourquoi les logs serveur restent le juge de paix

Search Console est en retard. Parfois de plusieurs jours. Les logs, non. Ils enregistrent chaque requête de Googlebot, à la seconde. C'est là que vous voyez si le sitemap est réellement utilisé.

Comment filtrer les logs pour repérer les problèmes

En ligne de commande, une simple filtration suffit. Par exemple, pour compter les requêtes de Googlebot sur une journée :

grep "Googlebot" access.log | wc -l

Et pour repérer les pages du sitemap jamais visitées en 30 jours, croisez la liste des URL du sitemap avec les URL présentes dans les logs. Un script Python de 30 lignes fait le job. Ou un tableur, si vous n'êtes pas à l'aise avec le code.

Le résultat est souvent révélateur : sur un site que j'ai audité le mois dernier, 62 % des URL du sitemap n'avaient pas été crawlées en 30 jours. L'explication était simple : le site déclarait 9 000 URL dans son sitemap alors que 6 000 étaient des paramètres de tri de produits. Googlebot passait son temps à crawler des variantes inutiles, et ignorait les vraies pages. J'ai réécrit le sitemap pour ne garder que les URL canoniques : en trois semaines, le crawl des pages prioritaires avait augmenté de 40 %.

Les questions qu'on me pose le plus souvent sur le sitemap

C'est quoi exactement, un sitemap ?

Un sitemap est un fichier au format XML qui liste les URL d'un site — ou d'une partie du site — que vous souhaitez voir explorées par les moteurs de recherche. Il se place à la racine du domaine (par exemple https://votresite.fr/sitemap.xml) et peut contenir des métadonnées comme la date de dernière modification (<lastmod>). Ce n'est pas obligatoire, mais c'est un signal utile dès que le site dépasse quelques centaines de pages, ou qu'il change souvent.

Comment trouver le sitemap d'un site ?

Trois méthodes, dans l'ordre :

  • Tester les emplacements classiques : /sitemap.xml, /sitemap_index.xml, /sitemap-index.xml. C'est le plus rapide.
  • Consulter le fichier /robots.txt du site : la ligne Sitemap: y déclare l'emplacement officiel.
  • Si rien ne marche, demander à votre CMS : la plupart génèrent leur propre sitemap (WordPress via une extension, Shopify automatiquement, PrestaShop via module).

Une anecdote à ce sujet : j'ai passé vingt minutes à chercher le sitemap d'un site de client qui l'avait déplacé dans un sous-dossier, sans rien changer dans le robots.txt. Il était déclaré à l'ancienne adresse, qui renvoyait une 404. Cherchez toujours dans le robots.txt en premier. J'aurais dû.

Comment déclarer et suivre son sitemap dans Google Search Console ?

Direction le menu Indexation → Sitemaps. Vous saisissez l'URL du fichier, vous validez, et Search Console confirme sous quelques heures (parfois un ou deux jours) qu'il a été lu, en indiquant le nombre d'URL découvertes. S'il affiche « impossible à récupérer » ou un nombre incohérent, revenez à la section précédente : ce sont les mêmes vérifications qui s'appliquent (HTTP 200, accessibilité, format XML).

Ne confondez pas « sitemap lu » et « pages indexées ». Un sitemap lu signifie simplement que Google a téléchargé et parsé le fichier. Il ne garantit rien sur l'indexation.

Ce qui reste, une fois le sitemap nettoyé

Un sitemap propre ne résout pas tout. Il rend visible ce qui clochait. Mais il ne remplace ni un maillage interne cohérent, ni des pages qui valent la peine d'être explorées, ni une architecture logique. J'ai vu des sitemaps parfaitement valides sur des sites dont la moitié des pages n'avaient aucun lien entrant — Google les trouvait par le sitemap, les explorait, puis les oubliait, faute de raison de revenir.

Le sitemap, c'est la porte d'entrée. Pas la maison. Et si vous devez retenir une seule chose : la version la plus utile de votre sitemap n'est pas celle qui liste toutes vos pages. C'est celle qui ne liste que celles que vous assumez vraiment. Le jour où votre fichier ne raconte plus que la vérité de votre site, les problèmes de crawl, eux, ont déjà commencé à disparaître.

Audrey Caron

Audrey Caron

Audrey Caron est journaliste et rédactrice spécialisée dans le domaine du SEO technique. Forte de plus de huit années d’expérience, elle a couvert des sujets allant de l’optimisation de l’architecture des sites à l’analyse des performances de crawl. Son travail s’appuie sur une pratique rigoureuse de l’enquête et une veille constante des évolutions algorithmiques.

Voir tous les articles →