KI-gestützte Datenbereinigung kontrolliert einsetzen

Kernfrage für Unternehmen

KI kann Datenbereinigung wirtschaftlich interessanter machen, weil sie mehrdeutige Schreibweisen, Beschreibungen und Kontextinformationen beurteilen kann. Sie sollte aber nicht ungeprüft über Identitäten oder gültige Kennzahlen entscheiden. Ein belastbarer Prozess kombiniert fachliche Zielregeln, deterministische Verfahren, KI für begrenzte Grenzfälle und einen nachvollziehbaren Rückweg (Zwingmann 2025; Narayan et al. 2022).

Die Führungsfrage lautet daher: Welche Bereinigungsentscheidungen lassen sich eindeutig automatisieren, welche darf KI vorbereiten und welche muss der Fachbereich freigeben?

Abbildung: KI übernimmt in der Datenbereinigung nur klar begrenzte Grenzfälle; Regeln, Freigabe und Prüfspur bleiben erhalten. Quelle: eigene Darstellung nach Zwingmann 2025 und Narayan et al. 2022.

Zuerst festlegen, was „gleich“ bedeutet

Vor dem Matching braucht das Unternehmen eine fachliche Identitätsregel. „Siemens AG“, eine Landesgesellschaft, eine Marke und ein Standort können je nach Analyse als dieselbe Gruppe oder als getrennte Einheiten gelten. KI kann widersprüchliche Definitionen sichtbar machen, aber nicht entscheiden, ob die Geschäftsführung Besucher:innen, Ticketvorgänge, Vertragskund:innen oder Rechnungsempfänger:innen zählen will (Zwingmann 2025).

Dokumentieren Sie deshalb für jedes Bereinigungsziel mindestens Objekt, gewünschte Granularität, führende Referenzquelle, erlaubte Zusammenführungen, verbotene Zusammenführungen und fachlich verantwortliche Rolle (Zwingmann 2025).

Ein kontrollierter Bereinigungspfad

Ein praxistauglicher Ablauf reduziert zuerst die sichere und billige Arbeit und setzt KI erst bei den verbleibenden Mehrdeutigkeiten ein (Zwingmann 2025; Narayan et al. 2022):

Stufe	Aufgabe	Geeignetes Verfahren	Kontrollpunkt
1. Eingangsprofil	fehlende Werte, Formate, Verteilungen und bekannte Fehler erfassen	Datenprofiling und feste Prüfregeln	Baseline und Fehlerklassen dokumentieren
2. Standardisierung	Großschreibung, Leerzeichen, Rechtsformen, Datums- und Telefonnummernformate vereinheitlichen	deterministische Transformation	Rohwert unverändert aufbewahren
3. Referenzabgleich	Datensätze über verlässliche IDs, Domains oder Stammdaten zuordnen	exakter Join und externe Referenz	Herkunft und Aktualität der Referenz prüfen
4. Kandidatenbildung	mögliche Dubletten in kleinen Vergleichsgruppen sammeln	Ähnlichkeitsmaße und Blocking	keine automatische Zusammenführung allein wegen Ähnlichkeit
5. Grenzfallprüfung	Kandidaten mit Name, Land, Branche oder weiteren Merkmalen beurteilen	KI-gestützte Klassifikation	Begründung, Konfidenz und verwendeten Kontext speichern
6. Freigabe	riskante oder unsichere Fälle entscheiden	Fachprüfung	Vier-Augen-Prinzip bei hohem Schadenspotenzial
7. Rückschreibung	bestätigte Zuordnung in Zielsystem übernehmen	versionierter Workflow	Änderung protokollieren und rückgängig machen können

Der Ansatz ist bewusst hybrid. Im von Zwingmann beschriebenen, anonymisierten Fall verkleinerten Referenzabgleich und klassische Ähnlichkeitssuche zuerst den Problemraum; ein Sprachmodell beurteilte danach nur vorausgewählte Paare. Die berichteten 50.000 Datensätze, 6,5 Stunden und 10.000 US-Dollar Ersparnis sind eine nicht unabhängig geprüfte Projekterfahrung und kein allgemeiner Leistungswert (Zwingmann 2025).

Rohdaten, Entscheidung und Ergebnis trennen

Bewahren Sie den ursprünglichen Wert, den standardisierten Wert, die vorgeschlagene Zuordnung, die angewandte Regel oder Modellversion, den Entscheidungsstatus und die freigebende Rolle getrennt auf. Nur so kann das Team Fehler untersuchen, Entscheidungen revidieren und eine neue Bereinigungslogik gegen denselben Ausgangsbestand testen (Zwingmann 2025; NIST 2024).

Ein Golden Record darf nicht die Herkunft verdecken. Das Zielsystem kann einen freigegebenen Stammdatensatz verwenden, während die Prüfspur weiterhin zeigt, welche Quellwerte, Regeln und menschlichen Entscheidungen zu ihm geführt haben (NIST 2024).

Qualität nach Fehlerschaden steuern

Eine hohe Gesamtquote kann zwei gegensätzliche Fehler verdecken: False Merge verbindet verschiedene Personen oder Unternehmen; False Split lässt dieselbe Einheit mehrfach bestehen. Welche Fehlerart schwerer wiegt, hängt vom Prozess ab. Eine falsche Zusammenführung kann Rechnungen, Einwilligungen oder Kreditentscheidungen betreffen, während ein False Split eher Reporting und Kundenbild verzerrt (Zwingmann 2025; NIST 2024).

Messen Sie deshalb nicht nur den Anteil automatisch bearbeiteter Datensätze, sondern mindestens diese Größen (NIST 2024; Zwingmann 2025):

• Präzision bestätigter Zusammenführungen in einer fachlich geprüften Stichprobe
• False-Merge- und False-Split-Rate getrennt
• Anteil eindeutiger, unklarer und manuell entschiedener Fälle
• Korrektur- und Rückabwicklungsaufwand
• Laufzeit und Kosten je tausend Datensätze
• Wirkung auf die eigentliche Geschäftskennzahl, etwa weniger Dubletten oder belastbarere Kundenanalysen

Datenschutz und Verantwortlichkeit

Personenbezogene Rohwerte dürfen nicht allein deshalb an einen externen KI-Dienst übertragen werden, weil die Bereinigung technisch möglich ist. Unternehmen müssen unter anderem Zweckbindung, Datenminimierung, Richtigkeit, Speicherbegrenzung, Rechtsgrundlage und Schutz besonderer Kategorien personenbezogener Daten prüfen. Pseudonymisierung, kontrollierte Verarbeitungsumgebungen oder lokale Komponenten können den Schadensradius senken, ersetzen aber keine rechtliche Prüfung (EU 2016).

Der Fachbereich verantwortet die Identitäts- und Qualitätsregeln; Daten- oder IT-Teams implementieren Prüfungen und Schnittstellen; Datenschutz und Informationssicherheit beurteilen Verarbeitungswege; die Prozesseigentümer:innen entscheiden über Freigabegrenzen und Rückabwicklung (Zwingmann 2025; NIST 2024).

Einstiegspunkte für die Umsetzung

Starten Sie mit einem eng begrenzten Datenbestand und einer Entscheidung, deren heutiger Aufwand und Fehlerfolgen bekannt sind (Zwingmann 2025; NIST 2024):

1. fachliche Gleichheitsregel und führende Referenzquelle festlegen
2. unbearbeitete Testmenge mit echten Grenzfällen sichern
3. deterministische Bereinigung und Kandidatenbildung zuerst umsetzen
4. KI nur für den verbleibenden, klar definierten Entscheidungsraum testen
5. False Merges und False Splits getrennt auswerten
6. Freigabe-, Eskalations- und Rückabwicklungsweg vereinbaren
7. erst nach bestandenem Test produktiv rückschreiben

Mehr dazu: Datenqualität und Drift bei KI, KI in Excel und Tabellenkalkulationen sinnvoll einsetzen, KI-Machbarkeit vor der Integration testen und KPIs und Monitoring für KI-Projekte.