Vraag & gebruik
Welke beslissing, vergelijking of selectie moet de dataset ondersteunen? Wie gaat ermee werken en in welk systeem?
Uitkomst: doel, gebruik, populatie en gewenste output.WERKWIJZE
Een goede dataset begint met definities die later controleerbaar blijven.
We beginnen niet met zoveel mogelijk data verzamelen. Eerst bepalen we welke populatie, velden en bronnen nodig zijn om de zakelijke vraag betrouwbaar te ondersteunen.
Start met uw vraagBrononderzoek
We inventariseren mogelijke bronnen en beoordelen toegang, structuur, dekking, actualiteit en technische haalbaarheid.
Uitkomst: bronset, beperkingen en eventuele alternatieven.Dataschema & regels
Entiteiten, velden, datatypes, filters, sleutels, normalisatie, bronherkomst en uitzonderingen worden expliciet vastgelegd.
Uitkomst: controleerbare datasetspecificatie.Proefdataset
Een beperkte populatie wordt verwerkt om interpretatie, dekking, mapping en uitzonderingen te toetsen voordat de volledige productie start.
Uitkomst: gevalideerde veldmapping en werkregels.Productierun
De afgesproken bronset wordt verwerkt. Logging en technische foutafhandeling houden zichtbaar welke bronnen of records niet volgens verwachting konden worden verwerkt.
Uitkomst: volledige dataset en technische runinformatie.QA & acceptatie
Aantallen, verplichte velden, duplicaten, matches, uitbijters en onverwachte bronafwijkingen worden tegen de opdrachtregels gecontroleerd.
Uitkomst: gecontroleerde dataset plus eventuele uitval- of uitzonderingsset.Oplevering & vervolg
De dataset wordt geleverd in het afgesproken formaat. Bij terugkerend gebruik kan dezelfde definitie worden gebruikt voor een vervolgmeting of periodieke feed.
Uitkomst: bruikbare output en reproduceerbare vervolgrun.VOORAF DUIDELIJK
Wat minimaal in de datasetspecificatie thuishoort.
Niet iedere opdracht heeft dezelfde technische uitvoering, maar deze definities voorkomen interpretatieverschillen tijdens productie en oplevering.
Populatie & selectieWelke records horen wel en niet bij de opdracht?
Bron & toegangWelke bronnen worden gebruikt en welke beperkingen gelden?
Velden & datatypesWelke informatie wordt verzameld en in welke vorm?
Match- en normalisatieregelsHoe worden records gekoppeld, categorieën vertaald en varianten behandeld?
Ontbrekende waardenWat gebeurt er wanneer een bron geen betrouwbare waarde geeft?
AcceptatiecontroleWelke aantallen, fouten of afwijkingen moeten vóór oplevering worden beoordeeld?
OpleveringWelk formaat, welke frequentie en welke aanvullende rapportage zijn nodig?
MOGELIJKE OPLEVERING
De dataset kan meer bevatten dan alleen het eindbestand.
Hoofddataset
De geaccepteerde records in het afgesproken CSV-, XLSX-, JSON- of andere formaat.
Uitzonderingen
Records die ontbreken, niet veilig matchen of extra beoordeling nodig hebben.
Broninformatie
Waar relevant bron-ID, bron-URL, meetmoment of runreferentie.
Wijzigingsbestand
Bij periodieke runs alleen nieuwe, gewijzigde of verdwenen records.