Begin met de bedoelde pagina’s en herbruikbaar bewijs
Maak een lijst van de openbare pagina’s die je wilt dat zoekers vinden: belangrijke producten, artikelen, categorieën en verplaatste URL’s. Noteer voor elk de voorkeurs-URL, verwachte response, indexeerbaarheid, template, eigenaar en prioriteit. Houd legitieme uitsluitingen apart.
Leg een niet-ingelogde response, headers, redirectpad, paginasource, gerenderde weergave, interne-linkstatus en sitemapstatus vast voor representatieve URL’s. Neem elke template en elk URL-patroon steekproefsgewijs op. Bewijs is gedateerd: een CDN-instelling, deployment, toestemmingslaag of personalisatie kan het later veranderen.
Een geslaagde homepage bewijst niet dat lijsten, productvarianten of gelokaliseerde routes werken.
Houd gedateerde headers en gerenderd bewijs bij zodat fixes en latere regressies vergeleken kunnen worden.
Maak indexeerbaarheid een bewuste beslissing
Indexeerbaarheid betekent dat een pagina in een zoekindex kan worden opgenomen; het is niet hetzelfde als crawlen of ranken. Controleer meta robots-directieven in HTML en de X-Robots-Tag response-header. De noindex-directive vertelt zoekmachines een pagina niet te tonen; X-Robots-Tag geldt ook voor niet-HTML bestanden zoals PDF’s.
Bekijk robots.txt afzonderlijk. Een crawler moet een pagina bereiken om de noindex-directive te vinden, dus het blokkeren van die URL kan voorkomen dat de directive wordt gezien. Controleer de gedeployede, publieke response omdat CMS-instellingen en omgevingsflags regels kunnen toevoegen. Noindex is geen toegangsbescherming: beveilig gevoelige inhoud met authenticatie en een passende security-review.
Markeer noindex, login-responses, verwijzingen naar staging en geblokkeerde essentiële assets op pagina’s die bedoeld zijn voor indexering.
Een HTTP-responseheader kan een directive bevatten, zelfs waar geen HTML-head bestaat.
Maak één voorkeurs-URL consistent
Canonicalisatie identificeert de voorkeurs-URL tussen duplicaten of sterk gelijkende versies, zoals HTTP en HTTPS, hosts, trackingparameters, filters of printpagina’s. Vergelijk het rel=canonical-element, interne links, sitemap-URL en redirectbestemming. Voor een indexeerbare pagina zouden ze normaal gesproken dezelfde absolute voorkeurs-URL moeten aanwijzen.
Gebruik een permanente server-side redirect wanneer je een duplicaat buiten gebruik stelt. Google beschrijft permanente redirects en rel=canonical als sterke signalen, terwijl opname in de sitemap zwakker is; afgestemde signalen versterken de voorkeur. Gebruik robots.txt niet om te canonicaliseren of om een pagina concurrerende canonicals te laten geven. Een self-referencing canonical helpt de voorkeursversie te verklaren, maar de keuze van zoekmachines blijft buiten jouw controle.
Documenteer varianten, het gewenste doel, de vereiste beheersing en een eigenaar.
Test oude-naar-nieuwe mappings vóór een migratie en houd een omkeerbare redirect-wijziging klaar.
Controleer statuscodes en redirectgedrag
Statuscodes vertellen browsers en crawlers wat er is gebeurd. Belangrijke livepagina’s moeten een betekenisvolle 2xx-response met de bedoelde content teruggeven. Een pagina zonder relevante vervanger moet een echte 404 of 410 teruggeven; verplaatste content moet bij de dichtstbijzijnde relevante vervanger terechtkomen. Een 200-pagina die alleen een fout toont kan als een soft 404 worden behandeld.
Registreer elke redirect-hop. Google volgt over het algemeen tot 10 hops voor algemeen webcrawling, maar ketens voegen latentie en kwetsbaarheid toe. Google zegt dat 5xx- en 429-responses het crawlen tijdelijk kunnen vertragen en dat aanhoudende serverfouten uiteindelijk geïndexeerde URL’s kunnen verwijderen. Onderzoek terugkerende fouten met de technische eigenaar over applicatie-, CDN-, origin-, cache-, dependency- en deploymentlagen.
Sla de originele URL, hops, codes, uiteindelijke URL en verwachte status op.
Verwijder overlappende CMS-, CDN-, host-, locale- of slash-regels in plaats van een extra hop toe te voegen.
Valideer JavaScript-rendering en routes
Inspecteer zowel de initiële HTML als een gerenderde weergave voor belangrijke templates. Bevestig dat de hoofdcontent, koppen, links, canonical, robots-directieven en state bestaan na rendering. Google beschrijft aparte crawl-, render- en indexfases en zegt dat content die niet zichtbaar is in de gerenderde HTML niet geïndexeerd kan worden.
Gebruik anchor-elementen met href-waarden voor navigatie. Alleen-fragment-routes die onderscheidende content laden zijn niet betrouwbaar voor ontdekking. Vraag rechtstreeks niet-bestaande producten, artikelen en gefilterde URL’s aan. Client-side applicaties hebben een echte foutstatus nodig; Google documenteert routing naar een server 404 of het toevoegen van noindex om soft 404s te vermijden. Server rendering of prerendering kan helpen, maar verifieer de gedeployede response.
Controleer response HTML, gerenderde HTML en de menselijke browserweergave op belangrijke verschillen.
Geef de voorkeur aan source HTML; als JavaScript het instelt, zorg dat er één niet-conflicterende canonical is.
Houd sitemaps en interne links schoon
Een sitemap is een ontdekkingskaart, geen indexeringscommando. Neem succesvolle, bedoelde, voorkeurs-canonical-URLs op; sluit redirects, fouten, noindex-pagina’s, parameterduplicaten en beschermde URL’s uit. Google raadt volledig gekwalificeerde absolute URL’s aan en beschouwt sitemap-opname als een canonical-hint, geen garantie.
Valideer de sitemap en vergelijk die met de lijst van bedoeld-te-indexeren URL’s en de navigatie. Google documenteert UTF-8-encoding en een limiet van 50 MB ongecomprimeerd of 50.000 URL’s per sitemap. Voor grotere sites, splits in nuttige groepen en gebruik een index. Werk lastmod alleen bij voor significante, verifieerbare paginawijzigingen.
Onderzoek betekenisvolle verschillen tussen bedoelde URL’s, sitemapvermeldingen en interne links.
Controleer de gegenereerde sitemap en een steekproef van vermelde URL’s na routing- of CMS-wijzigingen.
Meet prestaties en institutionaliseer de audit
Gebruik velddata waar beschikbaar en gecontroleerde labtests om Core Web Vitals te onderzoeken: Largest Contentful Paint voor laden, Interaction to Next Paint voor responsiviteit, en Cumulative Layout Shift voor visuele stabiliteit. Segmenteer op paginatype en apparaat omdat gemiddelden een kapotte sjabloon kunnen verbergen.
Traceer trage of instabiele levering via afbeeldingen, CSS en JavaScript, third-party tags, fonts, embeds en caching. Doe één gemeten wijziging en controleer daarna rendering en gebruikersstromen opnieuw. Velddata weerspiegelen echte gebruikers; labdata helpen bij reproductie. Geen van beide voorspelt elke toekomstige crawler of bezoeker. Herhaal een gerichte regressiecontrole na risicovolle releases en een uitgebreidere audit na migraties of platformwijzigingen.
Herstel fouten op revenue-kritische of veelgebruikte templates voordat je kleine scoreverbeteringen elders nastreeft.
Controleer response, canonical, gerenderde content, sitemapstatus en relevante prestatie-evidentie opnieuw voordat je sluit.