In diesem Beitrag vergleiche ich, wie die drei gängigen ETL-Tools Tableau Prep, Alteryx und Power Query dieselbe Aufgabenstellung bewältigen.
Die Grundlage bildet ein Datensatz zum britischen Gender Pay Gap aus der PreppinData Challenge 2022 Week 12.
Die Aufgabe
Ziel ist es, mehrere Jahresdateien zusammenzuführen und Firmennamen zu vereinheitlichen. Unternehmen ändern im Laufe der Zeit ihre Namen. Deshalb muss pro Firma der jeweils aktuellste Name identifiziert und auf alle historischen Datensätze übertragen werden.
Zusätzlich soll die Lohnlücke als einfacher englischer Satz ausgegeben werden, zum Beispiel:
"In this organisation, women's median hourly pay is 28.1% lower than men's."
Eine technische Herausforderung, die je nach Tool unterschiedlich gelöst wird, ist die Umwandlung von Zahlen in Text. Dabei müssen Floating Point Ungenauigkeiten, zum Beispiel 28,199 statt 28,2, durch gezielte Rundung oder Formatierung korrigiert werden.
Umsetzung in Tableau Prep
Dies ist ein möglicher Workflow in Tableau Prep. Farben, Icons und Beschriftungen machen die einzelnen Schritte gut nachvollziehbar.
Zunächst wurden die fünf Dateien über eine Wildcard Union zusammengeführt. Das Berichtsjahr "Year" wurde direkt aus den Dateipfaden extrahiert.
Die Vereinheitlichung der Firmennamen erfolgte in zwei Schritten:
- Join 1: Über eine Aggregation wurde pro Firma das jeweils neueste Jahr ermittelt, um den aktuellen Namen zu isolieren.
- Join 2: Dieser Name wurde anschließend wieder an alle Datensätze der jeweiligen Firma angehängt.
Für die Ausgabe des Pay Gap wurde ein berechnetes Feld genutzt, das den Wert in einen vollständigen Satz überführt. Um Rundungsfehler zu vermeiden, wurde der Wert zunächst gerundet und anschließend formatiert.
Am Ende erzeugt der Flow eine bereinigte CSV-Datei.
Umsetzung in Alteryx
Dies ist meine Lösung in Alteryx. Auch hier basiert alles auf einem visuellen Workflow, der jedoch durch eine deutlich höhere Anzahl an spezialisierten Tools und Icons geprägt ist. Annotationen und weitere Tools zur Dokumentation helfen bei der Strukturierung.
Die Vereinheitlichung der Firmennamen erfolgte in zwei Schritten:
- Sortierung: Die Daten wurden nach Jahr sortiert, sodass das aktuellste Jahr pro Firma oben steht und der aktuelle Name identifiziert werden kann.
- Sample: Mit dem Sample Tool wurde anschließend pro Firma genau diese erste Zeile ausgewählt.
Dieser Name wurde danach per Join wieder an alle Datensätze der jeweiligen Firma angehängt.
Für die Ausgabe des Pay Gap wurde ToString(..., 1) verwendet, wodurch der Wert bereits bei der Umwandlung in Text korrekt gerundet wird. Floating Point Ungenauigkeiten werden so ohne zusätzliche Schritte vermieden. Eine IF-Abfrage steuert zusätzlich die Formulierung „lower“ oder „higher“.
Am Ende erzeugt der Workflow eine bereinigte CSV-Datei.
Umsetzung in Power Query
Power Query arbeitet tabellarisch und dokumentiert alle Schritte chronologisch in einer Liste, die sich anpassen und umbenennen lässt.
Die Vereinheitlichung der Firmennamen erfolgt in zwei Schritten:
- Identifizierung: In einer Referenzabfrage werden die Daten sortiert, um pro Organisation den aktuellsten Namen zu bestimmen.
- Merge: Dieser Stand wird anschließend über einen Join in den Hauptdatensatz zurückgeführt.
Für die Ausgabe des Pay Gap wird eine benutzerdefinierte Spalte mit einer IF-Abfrage genutzt, die den Wert in einen vollständigen Satz überführt. Nach der Umstellung auf den passenden Dezimaldatentyp bleibt die numerische Genauigkeit erhalten, sodass keine zusätzlichen Korrekturschritte notwendig sind.
Am Ende werden die bereinigten Daten in das Datenmodell geladen oder als Datei ausgegeben.
Fazit
Der Vergleich zeigt, dass alle drei ETL-Tools die Anforderungen zuverlässig lösen, dabei aber unterschiedliche Schwerpunkte setzen.
Alteryx und Tableau Prep arbeiten stark visuell. Alteryx bietet durch spezialisierte Tools wie das Sample Tool oft kompaktere Lösungen. Tableau Prep überzeugt durch eine klare, gut lesbare Darstellung von Datenflüssen und Transformationen.
Power Query integriert sich nahtlos in das Microsoft-Ökosystem und zeigt seine Stärke in der strukturierten Verarbeitung von Daten. Besonders die Arbeit mit Referenzabfragen ermöglicht es, Logik sauber zu trennen und effizient wiederzuverwenden.
Die Wahl des Tools hängt daher weniger von den grundsätzlichen Möglichkeiten ab, sondern stärker vom Kontext. Wer visuell und explorativ arbeiten möchte, ist mit Alteryx oder Tableau Prep gut aufgestellt. Wer bereits im Power BI Umfeld arbeitet, findet in Power Query eine ebenso leistungsfähige und oft sehr effiziente Lösung.