SAP DATA Intelligence: GEO-Enrichment per API

In diesem Blog wird die Verwendung des OpenAPI Clients in einem SAP Data Intelligence Datenfluss erklärt. Es sollen mit Hilfe von GoogleMaps Informationen zu einem bestimmten Ort (Point of Interest), z.B. Geokoordinaten, Öffnungszeiten, Websiten eingeholt werden. Es wird somit gezeigt, wie mit Hilfe von API’s Daten um zusätzliche Informationen angereichert werden können.

Dieser Blog richtet sich nach folgender Struktur aus:

  1. Szenario in der SAP Data Intelligence
  2. Voraussetzungen
  3. Aufbau
  4. Ausführung
  5. Ausblick
Szenario in der SAP Data Intelligence

SAP Data Intelligence (ehemals Data Hub) wird als Datamanagement- und Pipelinelösung angeboten. Datenflüsse zur Orchestrierung und Überwachung von Daten lassen sich flexibel anlegen und bieten durch verschiedene Verbindungsmöglichkeiten Einblicke in die gesamte IT-Landschaft. Außerdem können diese Datenflüsse bereinigt, gefiltert, angereichert, operationalisiert und optimiert werden, sodass eine solide Datenbasis bleibt, welche von ML-Szenarien genutzt werden kann.

Im Bereich Pipelines gibt es viele verschiedene Operatoren, die die oben erwähnten Funktionen ausführen können. Ein großer Teil der Operatoren ist selbsterklärend und gut händelbar. Jedoch gibt es weitere Operatoren, die nicht so selbsterklärend sind. Ein solcher Fall ist der Standardoperator „OpenAPI Client“. Diesen wollen wir mit dem Anwendungsfall GeoEnrichment genauer beschreiben.

 

 

Für diesen Blog soll mit dem OpenAPI Client die Google Places API (Application Programming Interface) genutzt werden. Diese kann zu einer Place Id (Google interne eindeutige ID) detaillierte Informationen liefern.[1]

Vorraussetzungen

Um eine Google API aufzurufen, benötigt man als erstes einen sogennanten API Key, mit dem man sich für jeden Aufruf identifiziert und über den Google Account ab einer bestimmten Anzahl Aufrufe abrechnet.[2],[3]

Außerdem muss eine Place ID vorhanden sein. Diese repräsentiert als ID einen bestimmten Ort. Diese kann mit der Google Geocoding API aus Namen und Adressen gelesen werden oder es wird ein Beispiel aus der Dokumentation genommen. In unserem Fall nehmen wir eine Place ID aus der offiziellen Dokumentation.

Aufbau des Graphen

Der Aufbau des Graphen ist wie folgt:

  • Python (Alternativ: JavaScript) Operator, um die Eingabeparameter für den OpenAPI Client Operator aufzubereiten
  • Optionaler Wiretap erlaubt die Eingabeparameter für den OpenAPI Client Operator zu reviewen
  • OpenAPI Client Operator ist das eigentliche Herzstück mit dem API-Aufruf
  • Optionaler Wiretap um das Ergebnis, des API-Aufrufs zu überprüfen
Aufruf des OpenAPI Client Operator

Als Erstes wird der OpenAPI Client Operator konfiguriert. Wir wählen als Connection Type „manual“ aus, um diese direkt pflegen zu können. Im produktiven Betrieb sollten die Verbindungsparameter im Connection Manager hinterlegt werden.[4] Im Konfigurationsbereich des OpenAPI Client müssen wir Host, Schemes, Base Path, Method und Produces befüllen.

Die Befüllung dieser Felder lässt sich mit der oben schon verlinkten Dokumentation der Google Place API nachvollziehen. Die untere Abbildung spiegelt ein Ausschnitt der Dokumentation wider, dem die Bereiche der URL mit ihrer entsprechenden Bedeutung entnommen werden können.

Abbildung 1: Eigene Darstellung in Anlehnung an Google Places Documentation

Das „Pflichtfeld“ API Key Value wird in dem OpenAPI Client Operator in diesem Beispiel nicht direkt gefüllt. Dies wird im Python Operator gefüllt, damit sich die Eingabe auch als Parameter beim Start des Graphen planen lässt. Der API Key Name kann frei gewählt werden und es muss „header“ als API Key Type gewählt werden.

Python Operator

Dies führt nun zum Python Operator. Dieser muss nicht extra konfiguriert oder mit einem Dockerfile verknüpft, sondern lediglich im Coding angepasst werden.

Der OpenAPI Client Operator verarbeitet eine Input Message. Diese wird im Code des Python Operators mit Hilfe des Dictionary „header“ erstellt. Das Dictionary enthält den API-Key und die Place ID die den OpenAPI Client übergeben werden.

Die Bezeichnungen…

header[“openapi.query_params.key“] oder
header[“openapi.query_params.place_id“]

folgen einer bestimmten Logik, die man der Dokumentation zum OpenAPI Client Operator entnehmen kann.[5]

Durch zusätzliche Headerattribute können weitere Informationen zur späteren Verarbeitung weitergegeben werden. Beispielsweise haben wir User und Rollen übergeben. Die zusätzlichen Attribute haben keinen Einfluss auf das Ergebnis des OpenAPI Client Operator und werden somit nur weitergegeben, aber nicht prozessiert.

Nach Umsetzung der Konfiguration und Implementierung kann der Graph ausgeführt werden.

Ausführung

Wenn der Graph ausgeführt wurde, kann man sich mit Hilfe der Wiretaps die verschiedenen Verarbeitungsschritte ansehen. Der Python Operator übergibt dem OpenAPI Client Operator eine Message, die aus einem Dictionary in Python erstellt wurde (siehe unten). Diese Message ist der Input für den OpenAPI Client Operator. In dem Wiretap ist veranschaulicht, welche Informationen wie übergeben werden und was bei möglichen Problemen helfen kann.

Ergebnis:
[2022-01-29 13:24:15,480]

{“Role“:“Consultant“, “User“:“Nordhues”, ”openapi.query_params.key”:”my_api_key”, ”openapi.query_params.place_id”:”ChIJgUbEo8cfqokR5lP9_wh_DaM”}

 

Der OpenAPI Client verarbeitet diese Ergebnisse und gibt diese im letzten Wiretap aus. Die untere Abbildung zeigt nur einen kleinen Ausschnitt der gelieferten Daten.

Aussicht

Dieses Beispiel soll exemplarisch für weitere API’s genutzt werden. Die Struktur, nach denen API’s aufgerufen werden, unterscheidet sich oftmals nicht. Dementsprechend kann dieses Beispiel auch für weitere API’s, beispielweise What3Words, verwendet werden.[6] Festzuhalten bleibt es, dass API-Richtlinien genaustens zu studieren sind, welche Vorgaben es bzgl. Speichern und Weiterverarbeitung der API-Ergebnisse gibt.

Fehlerbehandlung

Die weitere Verarbeitung des Ausgabestrings ist aufwendiger, wenn wir ein Szenario haben, indem viele API-Aufrufe gemacht werden müssen. Jeder OpenAPI Client Operator verarbeitet immer nur einzelne Aufrufe, dementsprechend müssen weitere Operatoren in dem Graph hinzugefügt werden. Zusätzlich müssen Errorhandling-Funktionen umgesetzt werden, falls die OpenAPI Client Operator kein Ergebnis findet.

Paketverarbeitung

In einem Szenario, in dem ein einfacher Graph mehrere Datensätze verarbeiten soll, muss gewartet werden, bis alle Datensätze verarbeitet sind, bevor weitere Schritte unternommen werden. Der Python Operator stößt für jeden einzelnen Satz einen API-Aufruf an (durch den OpenAPI Client Operator). Der Schritt nach dem OpenAPI Client Operator wird dadurch für jede Zeile einzeln gestartet. Jetzt ist Kreativität gefragt, um sicherzustellen, dass alle Datensätze verarbeitet und wieder gesammelt wurden, bevor weitere Schritte folgen.

Beispiele und Szenarien

Bei der Verwendung von GeoEnrichment API‘s, hat man am Ende ein Datenset, welches mit Geo-Daten und weiteren Informationen zu einem bestimmten Ort angereichert wurde. Daraus ergeben sich viele verschiedene Anwendungsbeispiele. Zum Beispiel die Nutzung der Karten-Funktionalität in der SAC oder Distanzberechnungen zwischen verschiedenen Stores.

In der unteren Abbildung wurden zum Beispiel für die drei Orte Längen- und Breitengrade sowie der Typ des Ortes ausgelesen. Dadurch wird ermöglicht, Datensätze granularer aufzubauen und zu filtern, sodass beispielsweise Umsätze nach Typen reportet werden können.

Falls Sie Fragen zur Konzeption oder Umsetzung rund um das Thema SAP DI haben, sprechen Sie uns gerne an.

Weitere Informationen:

Fußnoten

1: https://developers.google.com/maps/documentation/places/web-service/details?hl=de (zum Abschnitt)

2: Preise lassen sich erst nach Anmeldung auf der Google Cloud Plattform finden. Sie variieren je nach API und abgefragten Informationen. (zum Abschnitt)

3: https://developers.google.com/maps (zum Abschnitt)

4: https://help.sap.com/viewer/b13b5722c8ff4bf9bb097251310031d0/3.0.2/en-US/974be4fbb13a48eda16f7b061508eb59.html (zum Abschnitt)

5: https://help.sap.com/viewer/97fce0b6d93e490fadec7e7021e9016e/Cloud/en-US/8a70738566e6466eb8d0f7d68be80247.html (zum Abschnitt)

6: https://developer.what3words.com/public-api (zum Abschnitt)

Ansprechpartner

Julius Nordhues

Consultant

Data Products Setup

I’ll start with Data Products setup. If you’re new to the concept, this recent video is a great starting point, but here’s a short summary. A data product is a well-described, easily discoverable, and consumable collection of data sets.

Creating a Data Product in Datasphere

Note that in this article I create Data Products in the Data Sharing Cockpit in Datasphere. This functionality is expected to move into the Data Product Studio, but that had not taken place at the time writing.

Before creating a Data Product in Datasphere, I need to set up a Data Provider profile, collecting descriptive metadata like contact and address details, industry, regional coverage, and importantly define Data Product Visibility. Enabling Formations allows me to share the Data Product with systems across your BDC Formation – Databricks, in this case.

With the Data Provider set up, I can go ahead and create a Data Product. As with the Data Provider, I’ll need to add metadata about the product and define its artifacts – the datasets it contains. Only datasets from a space of SAP HANA Data Lake Files type can be selected. Since this Data Product is visible across the Formation, it is available free of charge.

For this demo, the artifact is a local table containing ten years of Ice Cream sales data. Since this is a File type space, importing a CSV file directly to create a local table isn’t an option (see documentation).

I used a Replication Flow to perform an initial load from a BW aDSO table into a local table.

Once Data Product is created and listed, it becomes available in the Catalog & Marketplace, from where it can be shared with Databricks by selecting the appropriate connection details.

Jump into Databricks

To use the shared object In Databricks, I need to mount it to the Catalog – either by creating a new Catalog or using an existing one.

Databricks appends a version number to the end of the schema – ‘:v1’ – to maintain versioning in case of any future changes to the Data Product.

Once the share is mounted, the schema is created automatically, and the Sales actual data table becomes available within it. From there, I can access the shared table directly in a Notebook.

Creating a Data Product in Databricks

To create a Data Product in Databricks, I first need to create a Share – which I can either do via the Delta Sharing settings in the Catalog:

Or directly out of the table which is going to become a part of the Share:

Since a single Share can contain multiple tables, I have the option to either add the table to an existing Share, or create a new one:

To publish the Share as a Data Product, I run a Python script where I define the target table for the forecast and describe the Share in CSN notation, setting the Primary Keys. Primary Keys are required for installing Data Products in Datasphere.

Jump back into Datasphere

Once the Databricks Data Product is available in Datasphere, I install it into a Space configured as a HANA Database space – since my intention is to build a view on top of the table and use it for planning in SAC.

There are two installation options: as a Remote table for live data access, or as a Replication Flow, in which case the data is physically copied into the object store in Datasphere.

Since I want live access, I install it as a Remote Table:

and build a Graphical view of type Fact on top:

Forecast calculation

With my Data Products set up and Sales actual data are available in Databricks, I create a Notebook to calculate the Sales Forecast.

The approach combines Sales and Weather data to train a Linear Regression model. I import the Weather data *https://zenodo.org/records/4770937 from an external server directly into Databricks, select the relevant features from the weather dataset, and combine them with the Sales actual data:

* Klein Tank, A.M.G. and Coauthors, 2002. Daily dataset of 20th-century surface
air temperature and precipitation series for the European Climate Assessment.
Int. J. of Climatol., 22, 1441-1453.
Data and metadata available at http://www.ecad.eu

Using the “sklearn” library, I build and train a Linear regression model:

Once trained, the model predicts the Sales forecast for Rome in June 2026 based on the weather forecast, and I save the results to my Catalog table:

Seamless planning data model

Seamless planning concept is built around physically storing planning data and public dimensions directly in Datasphere, keeping them alongside the actual data.

Since the QRC4 2025 SAC release, it has also been possible to use live versions and bring reference data into planning models without replication.

In this scenario, I build a seamless planning model on top of the Graphical view I created over the Remote table. This lets me use the forecast generated in Databricks as a reference for the final SAC Forecast version.

 

The model setup follows these steps:

Create a new model:

Start with data:

Select Datasphere as the data storage:

From there, I define the model structure and can review the data in the preview.

For a deeper dive into Seamless Planning, I recommend this biX blog.

Process Flow automation

Multi-action triggers Datasphere task chain

The final step is automating the entire forecast generation by using SAC Multi-actions and a Task-Chain in Datasphere – so that my user can trigger the calculation with a single button click from an SAC Story.

The model setup follows these steps:

Create a new model:

Triggering Task Chains from Multi-actions is a recent release. This blog post walks through how to set it up.

For details on how to trigger a Databricks Notebook from Datasphere, I recommend referring to this blog.

With everything in place, I create a Story, add my Seamless planning Model, and attach the Multi-action:

Running the Multi-action triggers the Task Chain, which in turn triggers the Databricks Notebook.

I can monitor the execution details in Datasphere:

and in Databricks:

Once the calculation completes, the updated forecast appears in the Story:

The end-to-end calculation took 2 minutes 45 seconds in total. The Task Chain in Datasphere is triggered almost instantly by the Multi-action, the Databricks Notebook execution itself took 1 minute 29 seconds, with the remaining time spent on Serverless Cluster startup.   

 

From here, I can copy the calculated forecast into a new private version:

adjust the numbers as needed, and publish it as a new public version to Datasphere:

Conclusion

With SAP Business Data Cloud, it is possible to build a forecasting workflow that feels seamless to the end user — even though it spans multiple systems under the hood.

Companies using BW as the main Data Warehouse and Databricks for ML calculations or Data Science tasks can benefit from using the platform, as the data no longer needs to be physically copied out of BW.

What this scenario demonstrates is that once wrapped as a Data Product, BW sales data can be shared with Databricks via the Delta Share protocol. Databricks, in turn, can then create its own Data Products on top of the calculation results and share them back with Datasphere as a Remote Table.

A Seamless Planning model in SAC sits on top of that Remote Table, giving planners live access to the generated forecast. A single Multi-action in an SAC Story ties it all together, triggering a Datasphere Task Chain that kicks off the Databricks Notebook — completing the full cycle in under three minutes.

As SAP Business Data Cloud continues to mature, scenarios like this one are becoming achievable – leaving the complexity in the architecture and not in the workflow.

Ansprech­partner

Ilya Kirzner
Consultant
biX Consulting
Datenschutz-Übersicht

Diese Website verwendet Cookies, damit wir dir die bestmögliche Benutzererfahrung bieten können. Cookie-Informationen werden in deinem Browser gespeichert und führen Funktionen aus, wie das Wiedererkennen von dir, wenn du auf unsere Website zurückkehrst, und hilft unserem Team zu verstehen, welche Abschnitte der Website für dich am interessantesten und nützlichsten sind.