DATAKWALITEIT

Een dataset is pas bruikbaar wanneer ook zichtbaar is wat níét zeker of volledig is.

Wij behandelen bronkeuze, recorddefinitie, ontbrekende waarden, duplicaten, matches en uitzonderingen als onderdeel van de dataset. Zo wordt kwaliteit controleerbaar in plaats van een losse claim.

Bespreek kwaliteitsvereisten

Bronherkomst

Waar relevant bewaren we bron-URL, bronnaam, bron-ID of meetmoment zodat resultaten terug te voeren zijn op de gebruikte bronset.

Recorddefinitie

Vooraf wordt bepaald wat telt als product, bedrijf, locatie of ander record en wanneer varianten apart moeten blijven.

Ontbrekende waarden

Niet gevonden is niet hetzelfde als nul, nee of niet-bestaand. Ontbrekende informatie blijft als zodanig herkenbaar.

Duplicaten

Exacte duplicaten, waarschijnlijke dubbelen en unieke records worden volgens vooraf afgesproken regels behandeld.

Matches

Exacte koppelingen en waarschijnlijke matches worden niet als hetzelfde beschouwd wanneer de beschikbare identifiers onvoldoende zekerheid geven.

Bronwijzigingen

Bij periodieke runs worden onverwachte structuurwijzigingen en sterk afwijkende volumes gesignaleerd voordat ze stil in de dataset doorwerken.

Uitzonderingen

Records die niet veilig automatisch kunnen worden geïnterpreteerd worden apart gehouden in plaats van geforceerd in het doelmodel geplaatst.

Reproduceerbaarheid

Wanneer dezelfde meting later wordt herhaald, gebruiken we waar mogelijk dezelfde populatie-, veld- en normalisatieregels.

KWALITEITSGATES

Een productierun doorloopt controles vóórdat de output als einddataset wordt behandeld.

Welke drempels gelden, hangt af van de opdracht. Een prijsfeed vraagt bijvoorbeeld andere controles dan een eenmalige leveranciersinventarisatie.

ControleVraagActie

VolumeIs het aantal records logisch ten opzichte van scope of vorige run?Afwijking beoordelen

VullingZijn verplichte velden voldoende gevuld?Uitval apart houden

UniciteitZijn records dubbel of botsen sleutels?Deduplicatie/matchregel

WaardenZijn numerieke of categorische waarden plausibel?Uitbijter signaleren

BronIs de bron bereikbaar en volgens verwachting uitgelezen?Run markeren of blokkeren

VERANTWOORD VERZAMELEN

Technisch bereikbaar betekent niet automatisch geschikt voor verwerking.

Voor start beoordelen we toegang, gebruikscontext, persoonsgegevens, bronbelasting en het doel waarvoor de dataset wordt gemaakt. We omzeilen geen beveiliging, verboden toegang of technische beschermingsmaatregelen.

ToegangAlleen bronnen en accounts waarvoor gebruik binnen de opdracht is toegestaan.

DataminimalisatieAlleen velden verzamelen die voor de zakelijke vraag relevant zijn.

BronbelastingPlanning, rate limiting, caching en retries afstemmen op een verantwoorde uitvoering.

BeveiligingWachtwoorden, tokens en vertrouwelijke datasets niet via openbare formulieren uitwisselen.

BewaringTestdata en tussenbestanden niet langer bewaren dan nodig of afgesproken.

GebruikDe opdrachtgever blijft verantwoordelijk voor het rechtmatige gebruik van de opgeleverde dataset binnen de eigen context.

GEEN SCHIJNZEKERHEID

100% gevulde velden zijn geen kwaliteitsdoel als de bron de waarde niet betrouwbaar geeft.

We doen geen algemene volledigheidsclaim over externe bronnen. De kwaliteit wordt beoordeeld tegen de afgesproken bronset, populatie, velden en meetmomenten. Onbekende informatie wordt niet verzonnen om een bestand completer te laten lijken.

Bekijk de werkwijze