Data rensning: Definition, betydning, teknikker og bedste praksis

Data rensning (data cleaning/scrubbing) er den systematiske proces af at detektere, rette eller fjerne unøjagtige, ufuldstændige, duplikerede eller irrelevante poster fra et datasæt for at sikre data kvalitet til analyser, operationer og beslutningstagning.

Almindelige data kvalitetsproblemer

• Duplikerede poster: Samme enhed indtastet flere gange.
• Manglende værdier: Nuller i obligatoriske felter.
• Inkonsistente formater: Dato (MM/DD/ÅÅÅÅ vs. DD-MM-ÅÅÅÅ), store/små bogstaver, enheder.
• Ugyldige værdier: Udenfor rækkevidde, fejlede valideringsregler (f.eks. alder >120).
• Upræcise data: Skrivefejl, forældet information, målefejl.
• Irrelevante data: Felter ikke nødvendige til analyse.
• Referentiel integritetskrænkelser: Forældreløse fremmednøgler.

Rensningsteknikker

• Deduplikering: Eksakt/fuzzy matching (Levenshtein, Jaro-Winkler), overlevelsesregler.
• Standardisering: Parsning, formatering (adresser, navne, telefonnumre), enhedskonvertering.
• Validering: Regelbaseret (regex, rækkevidde, krydsfelt), referencedata opslag (postnumre, ISO-koder).
• Imputering: Gennemsnit/median, regression, KNN, ML-baseret for manglende værdier.
• Berigelse: Tilføjelse af tredjepartsdata (demografi, firmografi, geokodning).
• Outlier detektering: Statistisk (IQR, z-score), ML (isolation forest).

Værktøjer og tilgange

• Programmatisk: Python (pandas, Great Expectations), SQL, R (dplyr, janitor).
• ETL/ELT platforme: dbt, Airflow, Talend, Informatica, Dataiku.
• Specialiserede værktøjer: Trifacta, OpenRefine, WinPure, Data Ladder.
• Manuel gennemgang: Til lav volumen, høj værdi, eller tvetydige tilfælde.

Bedste praksis

1. Profiler data først (statistik, fordelinger, kvalitetsmålinger).
2. Definer kvalitetsregler og grænseværdier med interessenter.
3. Automatiser reproducerbare pipelines (versionskontrolleret).
4. Log alle transformationer for revisoriskhed.
5. Mål kvalitet før/efter (fuldstændighed, nøjagtighed, konsistens, tidlighed, gyldighed, unikhed).
6. Etabler løbende overvågning (data observabilitet).
7. Dokumentér lineage og forretningsregler.

Forretningsmæssig impact

• Forbedret modelnøjagtighed, rapporteringspålidelighed.
• Reducerede driftsomkostninger (postfejl, overholdelsesbøder).
• Forbedret kundetillid (korrekte kommunikationer, personalisering).
• Regulativ overholdelse (GDPR, CCPA, BCBS 239).

Data rensning er ikke en engangshopgave – det er en kontinuert disciplin indlejret i datalivscyklussen.