Data Warehouse Forum

Bei uns kommen die Artikeldaten von drei verschiedenen Lieferanten und jeder schreibt die Bezeichnungen anders, mal abgekürzt, mal mit Tippfehlern und komischen Größenangaben. Ich weiß gar nicht, wo ich anfangen soll zu bereinigen. Macht ihr das von Hand oder gibt es dafür einen einfachen Trick für Anfänger wie mich?

Ursache ist meist das Fehlen eines zentralen Artikelstamms, jeder Lieferant nutzt eigene Konventionen für Abkürzungen, Größen und Schreibweisen. Von Hand bereinigen skaliert bei drei Lieferanten nicht und führt zu neuen Fehlern. Lege zuerst eine klare Standardbezeichnung fest, etwa Marke plus Artikeltyp plus Größe plus Farbe plus Einheit. Baue dann eine Mappingtabelle mit Lieferantenartikelnummer, Originalbezeichnung und bereinigter Stammdatenbezeichnung. Mit SQL kannst du erste Schritte automatisieren, beispielsweise UPPER und TRIM für Großschreibung und Leerzeichen, REPLACE für bekannte Abkürzungen und eine Ersetzungstabelle für Tippfehler. Prüfe danach systematisch mit Gruppierungen nach bereinigter Bezeichnung und zähle Varianten pro Artikelnummer, außerdem stichprobenartige Kontrolle gegen Lieferschein und Bild. Neue Lieferantendaten laufen dann immer über dieses Mapping.

Danke dir, die Idee mit der Mappingtabelle nehme ich direkt mit, das spart bei drei Lieferanten echt Zeit. Bei uns im Handel hat es zusätzlich geholfen, die gängigsten Abkürzungen einmal als Spickzettel für alle hinzulegen.