Het in kaart brengen van het web beperkt zich niet langer tot het crawlen van pagina’s en het opsommen van hyperlinks. Sinds enkele jaren heeft de massa aan inhoud die op gesloten platforms, communityforums of sociale netwerken wordt gepubliceerd, de klassieke benaderingen gedeeltelijk verouderd gemaakt. Tools proberen deze verloren zichtbaarheid opnieuw samen te stellen, en Cyber Huge is een van de partijen die een andere invalshoek biedt om het probleem aan te pakken.
Semantische nabijheid versus linkmapping: een paradigmawisseling
De eerste kaarten van het web waren gebaseerd op de analyse van hyperlinks. Een site verwees naar een andere, en deze relatie vormde het skelet van de mapping. Het model werkte zolang de meerderheid van de inhoud toegankelijk bleef via indexeerbare HTML-pagina’s.
Ook interessant : Ontdek de oorsprong en betekenis van het Carrefour-logo: onthulde geschiedenis en symbolen
Recente onderzoeken gepresenteerd op conferenties zoals WebConf 2023-2024 verkennen een andere weg: het in kaart brengen van het web op basis van semantische nabijheid van inhoud in plaats van op links tussen pagina’s. In plaats van een grafiek van verbindingen te tekenen, worden thematische gebieden geprojecteerd die zijn opgebouwd uit embeddings en kennisgrafieken. Het resultaat lijkt meer op een topografische kaart dan op een netwerk van wegen.
Deze verschuiving heeft directe gevolgen voor de mappingtools. Degenen die zich nog uitsluitend baseren op het crawlen van links, missen hele delen van het web, met name de inhoud die wordt gehost op platforms zonder traditionele hyperlinkstructuur. Door de sitemap en de structuur van verschillende domeinen te verkennen, de Cyber Huge-platform adopteert een ontdekkingslogica die verder gaat dan het eenvoudige volgen van uitgaande links.
Lees ook : Ontdek het salarisportage: een revolutie voor zelfstandigen
Webmapping en gesloten platforms: het probleem van onzichtbare ecosystemen
Twitter/X, Reddit, Discord, GitHub, de app stores: deze ruimtes concentreren een groeiend deel van de discussies, ervaringen en zwakke signalen. De klassieke webmappings negeren ze bijna volledig, omdat hun inhoud niet is gestructureerd als conventionele webpagina’s.
Tussen 2022 en 2024 hebben verschillende onderzoeksinstituten (Oxford Internet Institute, médialab Sciences Po) studies gepubliceerd over “social network mapping” en “platform governance”. Hun conclusie is duidelijk: de mapping beperken tot pagina’s die door zoekmachines zijn geïndexeerd, betekent het negeren van hele conversatie-ecosystemen.
Voor een mappingtool brengt het integreren van deze stromen technische en juridische vragen met zich mee. De API’s van deze platforms veranderen regelmatig, sommige worden betaald of restrictief. De beschikbare gegevens stellen niet altijd in staat om conclusies te trekken over de werkelijke dekking die een mappingtool op deze gesloten ruimtes heeft.
Wat dit verandert voor de analyse van domeinen
Een webdomein leeft niet in isolatie. De vermeldingen op Reddit, de bijbehorende GitHub-repositories, de Discord-discussies vormen een perifere ecosysteem. De ervaringen op het terrein verschillen hierover: sommige analisten beschouwen deze signalen als ruis, anderen zien ze als betrouwbaardere vitaliteitsindicatoren dan het aantal backlinks.
De nuttige webmapping van vandaag zou op zijn minst deze off-site extensies moeten identificeren, zelfs zonder ze diepgaand te analyseren. Dit is een criterium om in gedachten te houden bij het kiezen van een tool.
Europese regelgeving en mapping: DSA, DMA en transparantieverplichtingen
De inwerkingtreding van de Digital Services Act (DSA) en de Digital Markets Act (DMA) heeft transparantieverplichtingen geïntroduceerd die direct van invloed zijn op de mapping van online diensten. De zeer grote platforms moeten bepaalde elementen over hun aanbevelingsalgoritmen en moderatiepraktijken openbaar maken.
Voor webmappingtools creëert deze regelgevende druk twee gelijktijdige effecten:
- Meer gestructureerde gegevens worden toegankelijk over de werking van grote platforms, wat de mappings potentieel verrijkt
- De beperkingen op het verzamelen van persoonlijke gegevens en op scraping beperken tegelijkertijd de methoden voor het verwerven van bepaalde signalen
- De transparantierapporten die door de aangewezen platforms worden gepubliceerd, bieden een nieuwe bron van bruikbare informatie om een domein in een breder ecosysteem te situeren
De articulatie tussen deze twee dynamieken (meer transparantie aan de ene kant, meer beperkingen aan de andere) is nog niet gestabiliseerd. De mappingtools die de gegevens die door de DSA openbaar zijn gemaakt kunnen benutten zonder de nieuwe verzamelregels te schenden, zullen een concreet voordeel hebben.
Criteria voor het evalueren van een webmappingtool in 2024-2025
De markt voor webmappingtools heeft geen centrale aggregator. Het vergelijken van oplossingen vereist het stellen van specifieke criteria, aangepast aan het beoogde gebruik.
- Dekken buiten de klassieke crawl: analyseert de tool alleen de geïndexeerde HTML-pagina’s, of integreert het gegevens uit sitemaps, externe API’s en sociale stromen?
- Semantische granulariteit: zijn de resultaten georganiseerd op basis van inhoudsthema’s, of alleen op technische hiërarchie?
- Frequentie van updates: een statische mapping verliest zijn waarde binnen enkele weken op een web dat dagelijks evolueert
- Regelgevingsconformiteit: respecteert de tool het kader dat door de DSA en de AVG is gesteld in zijn verzamelmethoden?
Geen enkele tool voldoet perfect aan alle criteria. Echter, de capaciteit om semantische analyse en structurele verkenning te combineren vormt een indicator van technische volwassenheid die de recente oplossingen onderscheidt van de crawlers van de eerste generatie.
Sitemap als toegangspunt voor mapping
Het XML-sitemapbestand blijft een onderschat toegangspunt. Het biedt de structuur die door de eigenaar van de site is verklaard, met de prioriteiten en de frequenties van updates van elke pagina. Het kruisen van deze verklaring met de daadwerkelijk gecrawlde gegevens onthult vaak significante afwijkingen: weespagina’s, verlaten secties, niet-gemelde dubbele inhoud.
Het is een pragmatische benadering die het mogelijk maakt om een eerste betrouwbare mapping te produceren zonder massale crawlbronnen in te schakelen. Het heeft ook het voordeel dat het geen enkele regelgevingskwestie oproept, aangezien de sitemap een bestand is dat opzettelijk openbaar toegankelijk is.
De overstap van linkmapping naar inhoudsgerichte mapping herdefinieert de tools, methoden en grenzen van wat we van het web kunnen weergeven. De Europese regelgeving voegt een laag van complexiteit toe die vijf jaar geleden niet bestond. De oplossingen die zich weten te onderscheiden, zullen degenen zijn die deze twee dimensies hebben geïntegreerd zonder de gebruiksvriendelijkheid op te offeren.