Wanneer je een website beheert die uit tientallen pagina’s bestaat, is de eerste uitdaging niet het creëren van inhoud, maar precies te weten wat er al bestaat. Een pagina die twee jaar geleden is gepubliceerd, een oud contactformulier dat verouderd is, een vergeten landingspagina die nog steeds een trackingpixel laadt zonder toestemmingsbanner: deze blinde vlekken vormen concrete problemen, van SEO tot CNIL-naleving.
Een volledige lijst van de beschikbare pagina’s op een website opstellen is een operationele vereiste, geen theoretische oefening.
Trackers en CNIL-naleving: de echte reden om elke pagina te inventariseren
Men denkt vaak dat een pagina-inventarisatie alleen voor SEO-doeleinden dient. In de praktijk ligt de meest dringende reden elders. De CNIL herinnert eraan dat de toestemmingsplicht niet alleen betrekking heeft op cookies, maar ook op pixels, lokale opslag, fingerprinting en advertentie-identificaties. Elke actieve URL op een site kan verschillende scripts laden.
Een productpagina die in 2022 is gemaakt, bevat misschien een publiekstool die is geconfigureerd vóór de update van je CMP (toestemmingsbeheerplatform). Als niemand dit sinds die tijd heeft gecontroleerd, kan deze pagina trackers plaatsen zonder geldige toestemming. De conforme banner die op de homepage wordt weergegeven, dekt niet automatisch alle URL’s van het domein.
Concreet moet een audit pagina voor pagina de technologieën controleren die vóór en na de toestemming worden geladen, en niet alleen de ontdekte URL’s inventariseren. De CNIL beveelt met name tijdstempels van elke versie van de banner en een configuratiehistorie die door de CMP wordt bewaard aan. Met andere woorden, een nuttige pagina-lijst bevat een verkenningsdatum en een conformiteitsstatus.
Bij het doorlopen van de lijst van pagina’s van Bla Bla Bla, zie je goed hoe een gestructureerde sitemap dit soort verificatie vergemakkelijkt: elke URL is identificeerbaar, en je kunt snel de secties vinden die specifieke controle vereisen.
Sitemap XML en interne crawl: twee complementaire benaderingen om de pagina’s van een site te lijsten
Het bestand sitemap.xml is het voor de hand liggende startpunt. Je vindt het door /sitemap.xml toe te voegen aan de root van het domein. Het lijst de URL’s op die de sitebeheerder zichtbaar wil maken voor zoekmachines. Het probleem is dat het alleen bevat wat men bereid is om erin te zetten.
De weespagina’s (pagina’s die geen interne links ontvangen) verschijnen noch in de sitemap, noch in de navigatie. Een interne crawl met een speciaal hulpmiddel doorloopt de site zoals een zoekmachinebot zou doen, door elke link te volgen. Dit is de enige methode om vergeten URL’s te ontdekken.
Wat de sitemap niet toont
- De noindex-pagina’s die toegankelijk blijven via hun directe URL, maar die de sitemap bij conventie uitsluit
- De oude omgeleide URL’s (301/302) waarvan de bestemming is veranderd of die naar een verwijderde pagina wijzen
- De dynamisch gegenereerde pagina’s door filters of URL-parameters, vaak afwezig in de sitemap maar geïndexeerd door Google
Het combineren van sitemap en crawl dekt vrijwel alle actieve URL’s. Het wordt aanbevolen om minstens één keer per kwartaal een volledige crawl uit te voeren op een gemiddelde site en de resultaten te vergelijken met de opgegeven sitemap.
Site: operator op Google en Search Console om de indexering te controleren
Eenmaal de interne lijst is opgesteld, confronteer je deze met wat Google daadwerkelijk kent. De opdracht site:mondomaine.nl in de zoekbalk toont de geïndexeerde pagina’s. Deze methode heeft zijn beperkingen: Google retourneert niet altijd alle geïndexeerde URL’s, vooral niet op grote sites.
De Search Console biedt een betrouwbaardere indexeringsrapportage. Hierin onderscheiden we de geïndexeerde pagina’s, de pagina’s die opzettelijk zijn uitgesloten (noindex, canoniek naar elders) en de pagina’s die door Google om technische redenen zijn geweigerd. Het verschil tussen de ingediende URL’s en de geïndexeerde URL’s onthult de problemen: duplicaatinhoud, serverfouten, te lange laadtijden.
URL-parameters en spookpagina’s
URL-parameters (sorteren, filters, sessie-identificaties) genereren soms honderden varianten van dezelfde pagina. Google kan ze afzonderlijk indexeren, wat de autoriteit van het domein verwaterd. In Search Console stelt de sectie “URL-parameters” je in staat om aan te geven welke Google moet negeren.
De reacties hierover variëren: sommige sites merken een snelle verbetering van het crawlbudget na het opschonen van de parameters, andere zien geen merkbare verandering. De impact hangt af van het volume van de betrokken pagina’s en de frequentie van de crawl van de site.
Pagina’s indelen op basis van de afhankelijkheid van toestemmingsplichtige tools
Niet alle pagina’s van een site vormen hetzelfde risico op het gebied van naleving. Een statische institutionele pagina zonder analytisch hulpmiddel vormt geen probleem. Een conversiepagina die een remarketingpixel, een heatmap-tool en een tagmanager laadt, is het tegenovergestelde.
Een operationele classificatie bestaat uit het sorteren van de URL’s in drie categorieën:
- Pagina’s zonder tracker die onder de toestemming vallen (wettelijke vermeldingen, statische pagina’s, bepaalde blogpagina’s)
- Pagina’s met publiekstools die onder voorwaarden zijn vrijgesteld (publieksmeting strikt anoniem, volgens de richtlijnen van de CNIL)
- Pagina’s die trackers of derde tools laden die expliciete toestemming vereisen voordat ze worden geplaatst
Deze sortering identificeert onmiddellijk de prioritaire pagina’s voor een nalevingsaudit. We beginnen met de derde categorie, waar het risico op sancties het hoogst is.
Het bewijs van naleving beperkt zich niet tot een zichtbare banner. Het houdt in dat het weigeren net zo eenvoudig moet zijn als het accepteren, en dat het intrekken van de toestemming op elk moment mogelijk blijft. Elke pagina van de lijst moet op deze drie criteria controleerbaar zijn.
Het opstellen van een complete inventaris van een site is geen eenmalige taak. Pagina’s evolueren, scripts veranderen, CMP’s worden bijgewerkt. Een actuele sitemap, een regelmatige crawl en een nalevingsmonitoring per URL vormen de basis van een goed beheerde site, zowel voor SEO als voor het naleven van wettelijke verplichtingen.
