Wanneer een zoekmachine een website bezoekt, gedraagt hij zich als een bezoeker in een gebouw zonder plattegrond. Hij opent deuren, volgt gangen en mist soms hele kamers. De sitemap is die plattegrond: een bestand dat de adressen van uw site opsomt, zodat Google, Bing en andere zoekmachines precies weten wat ze moeten verkennen.
Sitemap XML en robots.txt: twee complementaire bestanden, niet uitwisselbaar
Het bestand robots.txt geeft aan welke delen de robots niet moeten verkennen. De sitemap doet het tegenovergestelde: hij geeft aan wat u wilt dat ontdekt wordt. De twee verwarren is als het mengen van een lijst van verboden met een uitnodigingskaart.
Concreet, de sitemap dwingt de indexering van een pagina niet af. Google verduidelijkt dit in zijn officiële documentatie: dit bestand vergemakkelijkt de ontdekking van URL’s, maar de beslissing om te indexeren blijft die van de zoekmachine. Als een pagina wordt geblokkeerd door robots.txt of een foutmelding geeft, verandert de aanwezigheid in de sitemap daar niets aan.
Om ervoor te zorgen dat het bestand in overweging wordt genomen, zijn er nog twee methoden die werken: het declareren in Google Search Console of het toevoegen van het pad in robots.txt. Het oude mechanisme van “ping” (automatische notificatie via een specifieke URL) is door Google sinds 2023 verlaten.
Een concreet voorbeeld van een goed gestructureerde sitemap is te vinden op de sitemap pagina van L’Igor Web, die de URL’s van de site groeperen in een door zoekmachines leesbaar formaat.
Lastmod-tag in een sitemap: wat Google echt gebruikt
Heeft u de lastmod tag al opgemerkt in een sitemap-bestand? Het geeft de datum van de laatste wijziging van een pagina aan. Op papier helpt het zoekmachines om hun verkenning te prioriteren door eerst de recent bijgewerkte inhoud te bezoeken.
In de praktijk, Google benut deze datum alleen als deze regelmatig juist is. Als u uw sitemap elke nacht regenerert en alle datums naar “vandaag” veranderen zonder echte inhoudelijke wijziging, negeert de zoekmachine uiteindelijk de informatie. De datum moet overeenkomen met een significante verandering: herschreven tekst, toegevoegde gestructureerde gegevens, gewijzigde interne links.
Het bijwerken van alleen de vermelding van auteursrecht onderaan de pagina of het veranderen van een woord in de footer vormt geen significante wijziging. De CMS’en die automatisch de sitemap regenereren met geactualiseerde datums bij elke build creëren precies dit probleem.
- Een betrouwbare lastmod-datum helpt Google om uw prioritaire pagina’s sneller te verkennen
- Een vervalste of geautomatiseerde datum zonder verband met de inhoud wordt uiteindelijk genegeerd
- De tags
priorityenchangefreq, ooit populair, worden niet meer door Google gebruikt voor zijn verkenningsbeslissingen
Sitemap en IndexNow op Bing: twee mechanismen die niet tegenover elkaar moeten worden gesteld
Google trekt de meeste aandacht, maar Bing behandelt sitemaps op één punt anders. Het IndexNow-protocol, ondersteund door Bing (en andere deelnemende zoekmachines), maakt het mogelijk om in real-time aan te geven dat een pagina net is aangemaakt, gewijzigd of verwijderd.
De sitemap blijft een periodieke inventaris. IndexNow functioneert als een onmiddellijke notificatie. Beide vullen elkaar aan in plaats van elkaar te vervangen: de sitemap biedt het overzicht, IndexNow versnelt de verwerking van incidentele wijzigingen.
Bing Webmaster Tools biedt ook een dekkingsrapport dat aan de sitemap is gekoppeld. Dit rapport vergelijkt de ingediende URL’s met de daadwerkelijk verkende en geïndexeerde URL’s. Als u 200 URL’s indient en er slechts 120 als geïndexeerd verschijnen, helpt het rapport om een probleem met ontdekking (de robot vindt de pagina niet) van een probleem met indexering (de robot vindt de pagina maar kiest ervoor deze niet te indexeren) te onderscheiden.
Een XML-sitemap maken op WordPress of handmatig
Op WordPress genereert het CMS standaard een sitemap sinds versie 5.5. Deze native sitemap dekt pagina’s, berichten, categorieën en tags. Voor een eenvoudige site is dit voldoende.
Gespecialiseerde extensies (Yoast SEO, Rank Math, XML Sitemaps) voegen opties toe: bepaalde soorten inhoud uitsluiten, de sitemap segmenteren per categorie, of een sitemap-index beheren voor grote sites.
Een sitemap-index groepeert meerdere sitemap-bestanden onder één. Elk individueel bestand heeft een limiet voor grootte en aantal URL’s. De sitemap-index maakt het mogelijk om deze beperking te overschrijden door de URL’s per sectie te organiseren (berichten, producten, pagina’s).
Voor een statische site of een maatwerkontwikkeling blijft handmatige creatie mogelijk. Het bestand is standaard XML met een eenvoudige structuur:
- Een root-tag
urlsetdie alles omkadert - Een
urlblok per adres, met minimaal deloctag met de volledige URL - Optioneel, de
lastmodtag met een datum in ISO 8601-formaat - Het bestand moet in UTF-8 zijn gecodeerd en publiek toegankelijk zijn, meestal in de root van de site
Een sitemap diagnosticeren die niet werkt in Search Console
Google Search Console toont de status van uw sitemap na indiening. Twee informatiepunten zijn belangrijk: het aantal gedetecteerde URL’s en het aantal geïndexeerde URL’s. Een groot verschil tussen beide wijst op een probleem dat onderzocht moet worden.
Veelvoorkomende fouten zijn vaak banaal. URL’s met een omleiding of een foutmelding 404 in de sitemap vervuilen het bestand en verminderen de bruikbaarheid ervan. Een sitemap zou alleen pagina’s moeten bevatten die een code 200 (toegankelijke pagina) retourneren en die u daadwerkelijk wilt laten indexeren.
Pagina’s die met een wachtwoord zijn beveiligd, pagina’s met interne zoekresultaten, pagina’s met facetfilters op een e-commerce site: dit alles heeft geen plaats in een sitemap. Elke URL die in het bestand staat, stuurt een signaal naar de zoekmachine: “deze pagina verdient het om verkend te worden”. Als u pagina’s zonder waarde toevoegt, verspilt u het verkenningsbudget dat de robot aan uw site toekent.
Het dekkingsrapport in Search Console wordt dan een echt technisch diagnostisch hulpmiddel, veel meer dan een simpele ontvangstbevestiging. Regelmatig de ingediende en geïndexeerde URL’s vergelijken onthult de zwakke punten van uw architectuur voordat ze uw zichtbaarheid in de zoekresultaten beïnvloeden.
