De crawlbaarheid van een website verbeteren, hoe doe je dat? Eén van mijn klanten zag aanleiding om daarmee aan de slag te gaan na een sitemigratie waarbij heel veel legacy content was meegenomen, maar in een nieuwe URL-structuur gegoten. Ik verwijderde honderden interne redirects en voegde interne links toe om content voor mensen en zoekmachines beter toegankelijk te maken. Maar de belangrijkste actie was het toevoegen van HTML sitemaps. Het resultaat: een verbetering van tientallen procenten van het gemiddelde aantal gecrawlde pagina’s per dag.
Welke pagina’s neem je op in een HTML-sitemap?
Ik begon met een vrij eenvoudige gedachte: neem de belangrijkste indexeerbare pagina’s op. Tijdens het uitwerken bleek dat technische selectie eerst moet komen. Alleen HTML-pagina’s met status 200, zonder noindex, zonder redirect en zonder afwijkende canonical horen erin.
Moet daarna iedere indexeerbare pagina mee?
Nee. Bij grotere sites wordt zo’n sitemap snel te groot en onoverzichtelijk. Daarom gebruikte ik GA4-data als extra filter: pagina’s met minimaal één view kwamen in aanmerking. Dat maakt de sitemap compacter en relevanter.
Hoe orden je zo’n lijst?
Niet alfabetisch. Ik groepeerde pagina’s op de eerste subdirectory en sorteerde die onderdelen op het gezamenlijke aantal views. De onderdelen die bezoekers het meest gebruiken, komen zo bovenaan te staan.
Waarom niet gewoon de hoofdnavigatie kopiëren?
Omdat een HTML-sitemap een ander doel heeft. De hoofdnavigatie moet compact blijven. De sitemap mag juist dieper gaan en pagina’s ontsluiten die niet permanent in het menu staan.
Wat viel tijdens dit proces op?
Vooral dat een sitemap de structuur van een website genadeloos zichtbaar maakt. Onduidelijke URL-hiërarchie, losse pagina’s en vreemde moedernodes vallen direct op. Daardoor werd de sitemap niet alleen een SEO-middel, maar ook een instrument om de informatiearchitectuur te beoordelen.
Mijn belangrijkste conclusie over HTML Sitemaps
Een goede HTML-sitemap is meer dan een lijst met links. Hij ondersteunt een logisch ontworpen sitestructuur, versterkt de interne linking en maakt belangrijke pagina’s beter bereikbaar voor zowel bezoekers als zoekmachines. Daarmee draagt hij direct bij aan de crawlbaarheid van de website.
