DQC Logo
|

Verbindung zu Databricks

Um ein Databricks Lakehouse mit der DQC Platform zu verbinden, werden einige zentrale Konfigurationsdaten benötigt. Diese Anleitung erklärt alle notwendigen Felder, die Erstellung eines Zugriffstokens und die Einrichtung der Berechtigungen.

Required connection details

Feld

Beispiel

Beschreibung

Name

My production data

Beliebiger interner Name für die Verbindung

Host

000-000000-0000.cloud.databricks.com
000000000000000.azuredatabricks.net

Host aus der URL nach Anmeldung in Databricks:
https://<host>/explore/data/...

Token (dev)

dapi********************-2

Zugriffstoken – siehe Anleitung unten

Service Principal (prod)

Client ID: ************************
Client Secret: **************

In Azure Databricks: User icon > Settings > Identity and Access > Service Principals

Cluster ID

0000-000000-0A0AA0A0

In Databricks, ID eines Clusters – in der URL bei geöffnetem Cluster ersichtlich

Catalog

production_data

Katalog, der das gewünschte Schema und die Tabellen enthält

Schema

inventory

Ziel-Schema zur Anbindung

Diese Werte werden im Konfigurationsformular der DQC Platform eingetragen

Databricks-Zugriffstoken erstellen

Für die Verbindung wird ein Zugriffstoken benötigt. Es wird empfohlen, einen Service Principal zu verwenden.

Option 1: Service Principal (empfohlen)

  1. Service Principal erstellen

  2. Token-Nutzung erlauben

    • In Databricks dem Principal die Berechtigung zum Verwenden von Tokens geben (siehe Token Permissions)

  3. Zugriffstoken erzeugen

    • Token mit "lifetime_seconds": null erstellen

    • Token sicher aufbewahren Instructions

Option 2: Persönliches Token (für Entwicklung)

  1. In Databricks zu User Settings > Developer Tools gehen

  2. Ein persönliches Zugriffstoken erzeugen

  3. Token sicher speichern

Instructions

Zugriff auf das Zielschema gewähren

Damit die DQC Platform Daten lesen kann, muss dem entsprechenden Nutzer oder Service Principal die Rolle Data Reader im gewünschten Schema zugewiesen werden.

Außerdem müssen für Databricks SQL Warehouse-Verbindungen temporäre In-Memory-Tabellen erstellt werden über:

GRANT CREATE VOLUME ON SCHEMA <schema> TO <service_principal>;

oder:

GRANT CREATE VOLUME ON CATALOG <catalog> TO <service_principal>; 

Berechtigungen im Unity Catalog auf Schema-Ebene vergeben

Statische IP-Adresse der DQC Platform freigeben

Stelle sicher, dass folgende IP-Adresse in der Netzwerkkonfiguration freigegeben ist:

3.123.94.228

undefined Hinweise

Verbindung zu Databricks | DQC