Verbindung zu Databricks (nativ)

Um einen Databricks-Workspace mit der DQC Platform zu verbinden, geben Sie Workspace-Host, einen HTTP-Pfad zu einem SQL Warehouse oder Cluster, den Unity-Catalog-Namen sowie Anmeldedaten an. DQC nutzt das native Databricks-SQL-Protokoll — bei einem SQL Warehouse ist kein Spark-Cluster-Start nötig.

Wenn Sie zuvor den älteren Databricks (Spark)-Connector verwendet haben, ist dies der moderne Ersatz. Der alte Connector wird abgelöst — siehe Migrationshinweis am Ende dieser Seite.

Databricks-Connector hinzufügen

So starten Sie:

1. Wechseln Sie zur Seite Konnektoren > Datenquellen

2. Klicken Sie auf die Kachel Databricks

3. Tragen Sie die unten beschriebenen Verbindungsparameter ein und wählen Sie eine Authentifizierungsmethode

Benötigte Verbindungsinformationen

Authentifizierungsmethode wählen

Variante A — Personal Access Token

Erzeugen Sie in Databricks unter User Settings → Developer → Access tokens einen neuen Token. Empfohlen für schnelle Einrichtung und Einzel-Workspaces.

Variante B — OAuth Service Principal

Empfohlen für den produktiven Einsatz. Erforderlich sind:

• Client ID — die Application-ID des Service Principals

• Client Secret — das für den Service Principal generierte OAuth-Secret

Gewähren Sie dem Service Principal in Unity Catalog die Rechte USE CATALOG, USE SCHEMA und SELECT auf den Ziel-Catalog bzw. das Ziel-Schema.

Unity-Catalog-Berechtigungen

Gewähren Sie dem technischen Benutzer oder Service Principal die folgenden Rechte auf dem Ziel-Catalog und -Schema:

GRANT USE CATALOG ON CATALOG <catalog> TO `<service_principal>`;
GRANT USE SCHEMA ON SCHEMA <catalog>.<schema> TO `<service_principal>`;
GRANT SELECT ON SCHEMA <catalog>.<schema> TO `<service_principal>`;
GRANT CREATE VOLUME ON SCHEMA <catalog>.<schema> TO `<service_principal>`;

Warum CREATE VOLUME?

Der native Connector folgt der Unity-Catalog-Best-Practice für den Umgang mit temporären Daten: Statt Zwischenergebnisse an Unity Catalog vorbei abzulegen, speichert er sie in einem governed Volume direkt im konfigurierten Catalog/Schema zwischen. Das Volume dient ausschließlich als temporärer Staging-Bereich während der Abfrageausführung. In der Regel enthält es nur technische Metadaten und kurzlebige Hilfsdateien, die Databricks Compute benötigt. Die Dateien werden nach Gebrauch wieder entfernt, es entstehen keine dauerhaften Kopien Ihrer Daten.

Diese Berechtigung bewirkt nicht:

• Zugriff auf Daten, die Sie nicht explizit freigegeben haben

• dauerhafte Änderungen an Ihren Daten

• eine Umgehung bestehender Unity-Catalog-Zugriffskontrollen

SQL Warehouse vs. Compute Cluster

• SQL Warehouse — empfohlen. Geringere Latenz, kein Spark-Start. HTTP-Pfad hat das Format /sql/1.0/warehouses/<id>.

• Compute Cluster — nur, wenn ein vorhandener interaktiver Cluster genutzt werden muss. HTTP-Pfad hat das Format /sql/protocolv1/o/<workspace_id>/<cluster_id>.

Was wird importiert

• Alle Tabellen und Views im konfigurierten Catalog/Schema, die der Benutzer (oder Service Principal) lesen darf

• Delta-, Parquet- und externe Tabellen werden gleichermaßen unterstützt

• Catalog und Schema sind an den Connector gebunden — für einen anderen Catalog oder ein anderes Schema legen Sie einen neuen Connector an

Migration vom alten Databricks-(Spark-)Connector

Der alte Databricks (Spark)-Connector — der PySpark verwendet hat und eine Cluster ID zwingend benötigte — ist veraltet und wird in einem zukünftigen Release entfernt. Legen Sie Ihre Verbindung möglichst mit diesem Connector und dem Compute-Typ SQL Warehouse neu an. Die Migration ist unkompliziert: Host, Zugangsdaten (Token oder Service Principal), Catalog und Schema bleiben gleich; lediglich der HTTP Path kommt hinzu. Denken Sie auch an die oben beschriebene CREATE-VOLUME-Berechtigung.

Verbinden und Berechtigungen vergeben

Nach dem Speichern prüft DQC die Anmeldedaten, lädt die verfügbaren Tabellen und lässt Sie auswählen, welche davon bereitgestellt werden sollen. Wer den Connector innerhalb von DQC verwenden darf, steuern Sie über Datenquellen-Berechtigungen.