So standardisierst du Daten: Textnormalisierungs-Techniken
Bevor du CSVs importierst oder Nutzereingaben mit einer Datenbank vergleichst, normalisiere:
- Führendes und nachgestelltes Whitespace trimmen
- Interne Whitespace-Folgen auf einzelne Leerzeichen reduzieren
- Für case-insensitive Vergleiche alles in Kleinbuchstaben überführen
- Unicode mit NFC oder NFKC normalisieren
- Nach der Normalisierung identische Zeilen deduplizieren
