Sitemaps in Search Console

Een sitemap helpt je om snel je pagina’s in de index van zoekmachines te krijgen. Als je ook nog je sitemap aanmeldt bij Google Search Console, dan krijg je allerlei nuttige informatie. Welke informatie dat is en hoe je deze gebruikt, lees je hier. 

Waarom je een sitemap nodig hebt

Een sitemap is een overzicht van alle belangrijke pagina’s waarmee jij gevonden wil worden door zoekmachines. Google gebruikt je sitemap dan ook om je pagina’s te crawlen.

Heb je geen sitemap? Dan gebruikt de zoekmachine je interne linkstructuur om pagina’s te ontdekken en te indexeren. Dat werkt zo: Google crawlt een pagina, vindt links en gaat die vervolgens crawlen, vindt nog meer links, etc… Net zolang tot er geen nieuwe links meer gevonden worden of tot het crawlbudget op is. Je weet dan niet zeker of alle pagina’s die jij belangrijk vindt, ook echt bezocht en dus geïndexeerd worden. En zeker als je website groot en complex is, zoals bij een webshop, bestaat het risico dat niet alle pagina’s uiteindelijk in de index terecht komen.

Een sitemap is echter geen excuus voor een slechte interne linkstructuur! Als Google ziet dat er geen interne links naar een pagina gaan, zal deze pagina lager gewaardeerd worden in de zoekresultaten.

Hoe maak je een sitemap?

Een sitemap is dynamisch. Je wil dat nieuwe url’s automatisch aan de sitemap worden toegevoegd en dat de url van verwijderde pagina’s automatisch uit de sitemap worden gehaald. Heb je een WordPress website? Gebruik dan een plugin als Yoast SEO of Rank Math. Populaire CMS-en, zoals Magento en Lightspeed, hebben daar eigen oplossingen voor. Heb je een op maat gemaakt CMS? Laat dan je webbouwer een sitemap maken.

Ondersteunde sitemapindelingen

Google heeft een aantal richtlijnen voor sitemaps. Hierin staat onder andere welke bestandsindelingen geschikt zijn.

• De meest gebruikte bestandsindeling is XML
• Zelf een tekstbestand met alle url’s maken kan ook, maar dat wordt al gauw te complex en bewerkelijk

Je vindt de sitemap dan ook meestal door “/sitemap.xml” in de browser achter de domeinnaam te zetten.

Sitemaps opknippen

Volgens de richtlijnen van Google mag een sitemap maximaal 50.000 url’s bevatten. Heb je meer url’s? Maak dan meerdere sitemaps. Met een sitemap index verwijs je dan naar verschillende onderliggende sitemaps. De eerder genoemde plugins regelen dit al automatisch voor je.

Een bijkomend voordeel van verschillende sitemaps: je krijgt informatie over de indexdekking van iedere set pagina’s. Heb je veel afbeeldingen die je wil laten indexeren? Dan kun je een aparte sitemap voor afbeeldingen maken.

Variabelen in de XML sitemap

Met variabelen in je XML sitemap geef je crawlers extra informatie over de verschillende url’s in je website. Daarmee nodig je Googlebot uit om vaker, of juist niet, je url te bezoeken.

• Last modified – Vertelt zoekmachines wanneer een pagina is aangepast. Zo krijgen crawlers een signaal dat het interessant is om een url opnieuw te bezoeken.
• Changefrequency – Vertelt zoekmachines hoe vaak een pagina wordt aangepast. En zegt dus iets over hoe vaak ze moeten terugkomen. Een nieuwsarchief staat bijvoorbeeld op ‘never’, een overzichtspagina op ‘weekly’.
• Priority – Een cijfer tussen 0 en 1 dat aangeeft hoe belangrijk de ene pagina is ten opzichte van de andere pagina’s. Zo zal de homepage belangrijker zijn dan een blogpagina en is een archief het minst belangrijk.

Overigens zegt Google zelf in de eerder genoemde richtlijnen dat ze alleen ‘last modified’ gebruiken.

Dien je sitemap in bij Google Search Console

Je kunt Googlebot via robots.txt wijzen op je sitemap, maar het is handig om dat ook via Google Search Console te doen. Het is echt zo geregeld (binnen een minuut) en heeft veel voordelen.

• Het geeft je informatie over wanneer de crawler voor het laatst de sitemap heeft bezocht
• Het geeft je een overzicht met foutmeldingen, als er iets mis gaat.
• Je kunt eventuele problemen met je interne linkstructuur achterhalen
• Je krijgt informatie over de hoeveelheid URLs die wel en niet in de Google index zijn opgenomen (Indexdekking).

Heb je nog geen Google Search Console? Lees dan eerst onze Google Search Console uitleg

Wanneer heeft de crawler je sitemap bezocht?

In de kolom ‘Laatst gelezen’ zie je wanneer je sitemap voor het laatst is bezocht door Google. Is dat al even geleden? En heb je in de tussentijd belangrijke pagina’s aangepast? Dan kun je Google een seintje geven, het zogenaamde ‘pingen’. Dat is heel eenvoudig, je plaatst in je browser dit stukje tekst voor de url van je sitemap: “http://www.google.com/ping?sitemap=”
Dit is trouwens ook een handig alternatief als indexering aanvragen (tijdelijk) niet werkt (onder URL-inspectie), of als je veel pagina’s tegelijkertijd aanpast. Dan hoef je namelijk niet 1 voor 1 per pagina opnieuw indexering aan te vragen.

Fouten opsporen

Er zijn twee manieren om foutmeldingen in sitemaps op te sporen:

• Je klikt op de sitemap en dan op ‘Indexdekking bekijken’
• Je kunt ook via het menu ‘Dekking’ filteren op de sitemap(s)

Onder ‘Details’ zie je welke fouten er eventueel zijn.

Foutmeldingen oplossen

Foutmeldingen gaan vooral over bepaalde URL’s in je sitemap. Hieronder sommen we de 5 foutmeldingen op die wij het vaakst tegenkomen, met bijbehorende oplossingen:

1. Probleem met crawlen voor ingediende URL

Dit is meteen de meest vervelende foutmelding, want je weet dat er ‘iets’ aan de hand is, maar niet precies ‘wat’ er aan de hand is. Op de een of andere manier kan Google deze pagina niet crawlen. Dit vereist wat extra onderzoek om te achterhalen wat de oorzaak is.

• Klik eerst op de foutmelding
• Vervolgens klik je door op een URL met de betreffende foutmelding. Nu zie je al wat meer informatie.
• Doe een ‘Live test’ om te checken of de pagina gevonden kan worden.
• Vervolgens ga je de geteste pagina bekijken en zie je bij ‘Meer informatie’  waar eventueel problemen zijn bij het laden van de pagina.

Vaak bevat je pagina een van onderstaande tegenstrijdigheden. Er kan ook toevallig op het moment dat de pagina gecrawld werd, een DNS error of server error zijn geweest. Controleer dan later nog eens of het probleem met de pagina is opgelost.

2. Ingediende URL geblokkeerd door robots.txt

Via de sitemap zeg je dat een url belangrijk is. Als je vervolgens dezefde url blokkeert via robots.txt, dan geef je tegenstrijdige signalen af aan Google. Dat kan natuurlijk per ongeluk gebeuren. Check dit met de robots.txt-tester. Zo ontdek je welke regel in het robots.txt-bestand deze pagina blokkeert en kun je het bestand corrigeren. Het omgekeerde komt ook voor. Er staat een pagina in je sitemap die je er niet in wil hebben. Vaak kun je dan via je CMS die pagina uitsluiten van de sitemap. Of vraag je webbouwer om hulp.

3. Ingediende URL gemarkeerd als noindex

Ook dit is een tegenstrijdig signaal. Je stuurt Googlebot naar een pagina en vervolgens zeg je, bedankt, maar deze hoeft niet in de index. Zonde, want zo verspil je crawlbudget dat ook naar belangrijke pagina’s kan gaan. Hier geldt: is de pagina wel belangrijk, haal dan de no-index eraf. Is de pagina toch niet belangrijk? Verwijder hem dan uit de sitemap.

4. Ingediende URL niet gevonden (404)

Uiteraard wil je alleen url’s in je sitemap die ook echt bestaan. Hier kunnen verschillende zaken aan de hand zijn:

• Een verwijderde pagina wordt niet automatisch uit de sitemap verwijderd. Trek je webbouwer aan de jas.
• Google loopt niet helemaal synchroon met je sitemap. Controleer wanneer je sitemap voor het laatst is gelezen en ‘ping’ Google dat deze is gewijzigd (zie hierboven)
• De url in de sitemap is fout en bestaat niet. Dit komt zelden voor aangezien sitemaps meestal gekoppeld zijn aan een CMS en alleen echte urls bevatten.

5. Ingediende URL is een soft 404

Bij een soft 404 geeft de pagina geeft wel een statuscode 200 OK, maar voor Google lijkt het erop dat deze pagina niet bestaat. Dit zijn vaak lege, overbodige pagina’s die automatisch door het CMS zijn aangemaakt. Een klassiek voorbeeld is de tag-pagina. De oplossing hangt af van het doel van de pagina. Is het echt een loze url? Verwijder hem dan uit de sitemap. Is het wel een belangrijke url? Zorg dan voor voldoende relevante content op de pagina.

Check je interne linkstructuur

Indexeert Google slechts 90 pagina’s, terwijl er toch echt 300 in je sitemap staan? Dan heb je een probleem.

• Check of je interne linkstructuur op orde is. Met een tool als Screaming Frog of Deepcrawl ga je na of er sprake is van ‘Orphan pages’ (pagina’s die geen enkel link van een andere pagina krijgen).
• Controleer ook of alle pagina’s die in de sitemap staan, ook echt waardevol zijn als landingspagina voor je bezoekers.

Meer weten over Search Console?

Heb je de smaak te pakken? Je kunt nog veel meer met Search Console, zoals met het rapport mobiele bruikbaarheid en het crawl stats rapport.

Wil je hulp bij zoekmachine optimalisatie? Lees alles over het inschakelen van een SEO specialist.