[et_pb_section fb_built=“1″ _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][et_pb_row _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][et_pb_column type=“4_4″ _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][et_pb_text _builder_version=“4.16″ _module_preset=“default“ text_font_size=“17px“ global_colors_info=“{}“ theme_builder_area=“post_content“]<\/p>\n
Eine zentrale Herausforderung f\u00fcr jedes gr\u00f6\u00dfere Unternehmen ist die Zusammenf\u00fchrung und Verkn\u00fcpfung von Stamm- oder Bewegungsdaten. Daten k\u00f6nnen geordnet in einem DWH wie dem SAP BW oder ungeordnet in einem Data Lake liegen. Sie k\u00f6nnen auch als Streaming Daten einflie\u00dfen oder aus anderen externen Quellen stammen. Das f\u00fchrt zu unterschiedlichen und komplexen Daten-Orchestrierungsszenarien.<\/p>\n
Daher hat biX Consulting f\u00fcr ein gro\u00dfes Pharmaunternehmen in einem Proof of Concept Projekt SAP Data Intelligence auf seine F\u00e4higkeiten in diesem Bereich getestet. Es wurde dabei untersucht, ob das Tool f\u00fcr die Anbindung von unterschiedlichen Quellen und Zielen geeignet ist, sowie Daten zu lesen und zu schreiben und dabei on the fly zu transformieren. F\u00fcr den PoC wurden Szenarien entworfen, welche neben der Einrichtung von SAP DI und Error Handling verschiedene F\u00e4lle mit Schwerpunkt auf Transformation und Orchestrierung behandelten.<\/p>\n
SAP Data Intelligence ist ein System f\u00fcr die Koordinierung und Verarbeitung von Daten. Die Daten k\u00f6nnen strukturiert, unstrukturiert oder auch Streaming Daten sein. Wichtige Bestandteile sind Profilierung, Data-Catalog und Governance, sowie Machine Learning. Ausgef\u00fchrt wird SAP DI containerbasiert, der Zugriff geschieht \u00fcber eine Webapplikation. Das erlaubt einerseits eine Skalierung und Parallelisierung von Arbeitsprozessen, andererseits containerweise die gew\u00fcnschte Arbeitsumgebung in Hinsicht auf Ressourcen und verwendete Software zu erstellen. Arbeitsprozesse werden in Pipelines bzw. Graphen zusammengestellt, die aus einzelnen Operatoren bestehen. Operatoren k\u00f6nnen Eing\u00e4nge und Ausg\u00e4nge besitzen, die durch ihre Verbindungen Graphen bilden. Eine gro\u00dfe Zahl vorgefertigter Operatoren, die spezielle Funktionen wie das Lesen aus dem SAP BW erf\u00fcllen, ist bereits integriert. Erg\u00e4nzt werden diese Operatoren durch die M\u00f6glichkeit Custom-Operatoren zu erstellen. In diesen kann z.B. eigener JavaScript oder Python Code implementiert werden.<\/p>\n
F\u00fcr den PoC wurde SAP DI als eigene onPremise Installation eingerichtet, die SAP DI Diagnostics und SAP Vora beinh\u00e4lt. Den Testszenarien entsprechend wurden Tenants, User und Verbindungen angelegt. Die erstellten Verbindungen zu verschiedenen Systemen konnten so in den folgenden Szenarien direkt verwendet werden. Die Testszenarien, die Transformation und Orchestrierung untersuchten sollen, werden hier kurz vorgestellt werden.<\/p>\n
Open API in Vora Table<\/strong><\/p>\n [\/et_pb_text][et_pb_image src=“https:\/\/www.bix-consulting.com\/wp-content\/uploads\/2020\/11\/Billd1b.jpg“ _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][\/et_pb_image][et_pb_text _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“]<\/p>\n <\/p>\n Im ersten Transformationsszenario wurden Daten von einer Website geladen und in einem VORA File abgelegt. F\u00fcr die Verbindung zur Website wird der Open API Client genutzt. Die Query, die an diesen gesendet wird, sowie die anschlie\u00dfende Transformation werden mit einem Python Operator erstellt, der jeweils eigenes Coding beinhaltet. Die Transformation macht die Daten Vora-kompatibel. Wiretap-Operatoren, die zwischen die Operatoren geschaltet werden erlauben Debugging und die Zwischenergebnisse zu pr\u00fcfen. F\u00fcr die Produktivsetzung werden diese entfernt. Der Graph Terminator beendet den Graphen nach einmaligem Durchlauf.<\/p>\n ABAP Tabelle COEP via SLT mit Split in Kafka und HANA Tabelle<\/strong><\/p>\n [\/et_pb_text][et_pb_image src=“https:\/\/www.bix-consulting.com\/wp-content\/uploads\/2020\/11\/bild2b.jpg“ _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][\/et_pb_image][et_pb_text _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“]<\/p>\n <\/p>\n In diesem Szenario wurde die Verbindung zu einem SAP ECC System getestet, dessen Daten in die HANA geschrieben und mittels Kafka gestreamt werden sollen. Die Daten aus dem ECC Table wurden mittels SLT Connector gestreamt, der diese als JSON String an einen Python Operator \u00fcbergibt. Dieser hat hier zwei Aufgaben. Er leitet die Daten an den HANA Client Operator und teilt die Daten in Pakete, die vom Kafka Producer verarbeitet werden k\u00f6nnen. Der Graph wird nicht per Operator beendet, sondern wartet auf weitere Daten. Das muss bei der Konfiguration der SLT Verbindung ber\u00fccksichtigt werden, da die mehrfache Nutzung der gleichen Konfiguration zum Deadlock f\u00fchren kann.<\/p>\n ECC Dataquelle gejoint mit hierarchischen Textdaten aus SQL-Server<\/strong><\/p>\n [\/et_pb_text][et_pb_image src=“https:\/\/www.bix-consulting.com\/wp-content\/uploads\/2020\/11\/bild3b.jpg“ _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][\/et_pb_image][et_pb_text _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“]<\/p>\n <\/p>\n Im dritten Szenario wurden Bewegungsdaten aus einem ECC mit Stammdaten aus einem MS SQL-Server angereichert. Die Herausforderung f\u00fcr dieses Szenario ist es passende Eintr\u00e4ge zu finden, ohne den gesamten Datensatz laden zu m\u00fcssen. F\u00fcr den Join wurden die Daten aus dem ECC ebenfalls in einer Datenbanktabelle gespeichert. Da die Information \u00fcber die Verbindung zwischen Stamm- und Bewegungsdaten in einer weiteren ECC-Datenquelle lag wurde ein zweiter Graph erstellt. Der erste Graph zieht die Daten aus dem ECC, der zweite Graph erstellt den Join zwischen den beiden Tabellen aus dem ECC und den sechs Tabellen aus dem SQL-Server.<\/p>\n [\/et_pb_text][et_pb_image src=“https:\/\/www.bix-consulting.com\/wp-content\/uploads\/2020\/11\/bild4b.jpg“ _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][\/et_pb_image][et_pb_text _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“]<\/p>\n <\/strong><\/p>\n SAP BW Extraktion in zwei verschiedene HANA Datenbanken<\/strong><\/p>\n [\/et_pb_text][et_pb_image src=“https:\/\/www.bix-consulting.com\/wp-content\/uploads\/2020\/11\/bild5b.jpg“ _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][\/et_pb_image][et_pb_text _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“]<\/p>\n <\/p>\n Die Extraktion von Daten aus dem SAP BW und das Schreiben in zwei unterschiedliche HANA Datenbanken wurde in diesem Szenario untersucht. Die Extraktion erfolgt mittels eines vorgefertigten Operators, der Daten in die Vora schreibt. Dessen Ergebnis kann von einem Python-Operator ausgelesen werden, der die Daten transformiert und an zwei separate HANA Clients \u00fcbergibt. Der letzte Python Operator wartet auf die Erfolgsmeldungen beider HANA Clients bevor er durch eine Nachricht an den Terminator-Operator den Graphen beendet.<\/p>\n Kafka Nachrichten lesen, transformieren und in S3 Dateien schreiben<\/strong><\/p>\n [\/et_pb_text][et_pb_image src=“https:\/\/www.bix-consulting.com\/wp-content\/uploads\/2020\/11\/bild6b.jpg“ _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][\/et_pb_image][et_pb_text _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“]<\/p>\n <\/p>\n Hier wurde das Lesen von Datenpaketen aus Kafka und die Speicherung als S3 Datei getestet. Die ankommenden Pakete werden mittels Python-Operator in das csv-Format transformiert. Das erlaubt angebundene Spark oder Vora Systeme performant anzuschlie\u00dfen. Zu Testzwecken wurden Informationen aus dem Header wie Zeitstempel und Reihenfolge der Datenpakete mit herausgelesen. Der Header der ausgegebenen Datei kann ebenfalls angepasst werden um Informationen wie bspw. Spaltennamen mitzugeben.<\/p>\n Fazit<\/strong><\/p>\n Auch wenn einige Aspekte noch nicht v\u00f6llig ausgereift sind zum Zeitpunkt der Projektdurchf\u00fchrung, kann SAP DI f\u00fcr die Daten-Orchestrierung im Unternehmen empfohlen werden. Flexibilit\u00e4t spielt hierbei eine zentrale Rolle. Flexibilit\u00e4t entsteht durch eine gro\u00dfe Zahl vorgefertigter Operatoren, die viele verschiedene Anwendungsszenarien bereits abdecken, als auch durch die M\u00f6glichkeit eigene Operatoren mit Customcode zu erstellen. Flexibilit\u00e4t entsteht auch durch die Basierung des Systems auf Containern, welche Skalierung und Parallelisierung erlauben.<\/p>\n Insbesondere die gute Integration mit bestehenden SAP-L\u00f6sungen hebt das Tool deutlich von anderen Anbietern ab, ohne die Integration von 3rd Party L\u00f6sungen zu vernachl\u00e4ssigen. Dies gepaart mit einer konsequenten Cloud-Nutzung und -Integration zeigt, dass das Tool ein Schritt in die richtige Richtung ist.<\/p>\n [\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=“4.16″ _module_preset=“default“ locked=“off“ global_colors_info=“{}“ theme_builder_area=“post_content“][et_pb_column type=“4_4″ _builder_version=“4.16″ _module_preset=“default“ global_colors_info=“{}“ theme_builder_area=“post_content“][et_pb_text _builder_version=“4.16″ _module_preset=“default“ text_font=“Roboto|300|||||||“ text_font_size=“30px“ locked=“off“ global_colors_info=“{}“ theme_builder_area=“post_content“]<\/p>\n Ansprechpartner<\/span><\/p>\n [\/et_pb_text][et_pb_image src=“https:\/\/www.bix-consulting.com\/wp-content\/uploads\/2020\/08\/Oliver-Ossenbrink-e1598705178874.png“ align=“center“ _builder_version=“4.16″ _module_preset=“default“ transform_translate=“-4px|22px“ locked=“off“ global_colors_info=“{}“ theme_builder_area=“post_content“][\/et_pb_image][et_pb_text _builder_version=“4.16″ _module_preset=“default“ text_font=“Roboto|300|||||||“ text_font_size=“16px“ transform_translate=“-3px|30px“ locked=“off“ global_colors_info=“{}“ theme_builder_area=“post_content“]<\/p>\n