Datavalidatie
Van data tot gefundeerde beslisinformatie. De kracht van datavalidatie.
Datavalidatie
‘Datavalidatie: het in kaart brengen van de datakwaliteit met als doel grip te krijgen op de data, toepassing en bijbehorende inzichten’
Witteveen+Bos is een betrouwbare partner in de watersector. Wij leveren ingenieurs- en adviesdiensten, onder andere op gebied van datavalidatie. Daarmee krijgen onze opdrachtgevers grip op hun data, toepassingen en bijbehorende inzichten.
Datavalidatie is essentieel voor beheerders, om grip te houden om de kwaliteit van binnenkomende meetgegevens. Vanuit Witteveen+Bos wordt de datavalidatietoolbox Dataprofeet breed toegepast in onder andere de watersector, voor monitoring van tijdreeksen binnen waterzuiveringen, oppervlaktewater of grondwater. Dankzij de Dataprofeet-toolbox kunnen waterbeheerders anticiperen op de kwaliteit en betrouwbaarheid van de data. De toolbox valideert data op basis van verschillende parameters, waardoor gefundeerde beslisinformatie verkregen wordt.
Validatiedienstverlening
De toolbox kan on-premise draaien, wordt als cloud-service aangeboden of kan als adviesproject worden uitgevoerd, met op vaste frequentie door ons opgestelde datavalidatierapportages met aanbevelingen voor het optimaliseren van het meetsysteem. Met diverse statistische toetsen is een model ontwikkeld om op basis van historische data en streaming data, gegevens te verrijken met kwaliteitslabels. De validaties zijn flexibel en kunnen worden geconfigureerd op basis van de specifieke behoeften van iedere meetlocatie of meetnet.
Toepassing
Door tijdreeksdata vanuit de bron te verrijken met validatielabels, zijn beheerders in staat om grip te houden op het gehele dataverwerkingsproces. Met datavalidatie kunnen zij:
- Op basis van verrijkte data met kwaliteitslabels verschillende versies van de dataset selecteren voor het trainen en testen van Machine Learning of AI-modellen. Dit biedt flexibiliteit.
- Inzicht verkrijgen in de kwaliteit van de data, op basis van kwaliteitslabels. Hierdoor hebben beheerders altijd een uniform inzicht in afwijkingen van verwachte waarden. Iedere validatietoets heeft een omschrijving met een verwachte oorzaak, wat helpt in het oplossen van afwijkingen. Aanvullend bieden kwaliteitslabels inzicht in databeschikbaarheid en trends over tijd.
- Beheer voeren, bijvoorbeeld op het gebied van sensorchecks. Op basis van de kwaliteitslabels is te beoordelen of een sensor nog naar behoren werkt of dat deze onderhoud nodig heeft.
- Keuzes maken in procesvoering: automatische regeling op basis van hoogwaardige data verrijkt met kwaliteitslabels.
Inzicht
Als datavalidatie structureel toegepast wordt op brondata, biedt datavalidatie-dienstverlening (zoals de Dataprofeet) een meerwaarde voor waterbeheerders. Routinematig geautomatiseerd uitgevoerde toetsen zorgen voor duidelijkheid door kwaliteitslabels. Dit zorgt voor transparantie en overzicht in de datakwaliteit. Deze wijze van implementatie biedt reproduceerbaarheid van resultaten en garandeert kennisborging en consistentie in databeheer. Op basis van het resultaat van de datavalidatie (een met kwaliteitslabels verrijkte dataset) is het mogelijk om validatiegestuurd in plaats van brongestuurd te werken data.
De Dataprofeet zorgt dat waterbeheerders altijd kunnen vertrouwen op hoogwaardige en betrouwbare informatie die ze nodig hebben voor hun beslissingen.
Meer weten?