Schnellere Abfragen und neue Funktionen mit dem Open-Source Databricks JDBC-Treiber

Moderne Workflows hängen von einer schnellen, zuverlässigen Datenanbindung ab. Egal, ob Sie Dashboards aktualisieren, Daten in Tabellenkalkulationen analysieren oder Anwendungen betreiben, die Verbindungsschicht wirkt sich direkt auf Leistung und Benutzererfahrung aus.

Im Rahmen unserer fortlaufenden Bemühungen zur Verbesserung der Konnektivität zu Databricks freuen wir uns, Ihnen Verbesserungen am Databricks Open-Source JDBC-Treiber mitteilen zu können. Die Versionen 3.x und höher bieten im Vergleich zum älteren 2.x-Treiber erhebliche Verbesserungen für Partner und Kunden:

• Bessere Leistung: Liefert bis zu 30 % schnellere Abrufe großer Ergebnisse im Vergleich zum älteren JDBC-Treiber.
• Verbesserte Architektur: Ermöglicht neue Funktionen wie Arrow-Unterstützung für JDK 16+, asynchrone Anweisungsausführung und Streaming-basierte Volumenaufnahme.
• Neue SQL-Funktionen: Hinzugefügte Unterstützung für UC-Metrikansichten, gespeicherte Prozeduren, Multi-Statement-Transaktionen und Abfrage-Tags.
• Verbesserte Beobachtbarkeit: Integrierte Client-Telemetrie erfasst Abfragelatenz, Verbindungsereignisse und Fehler, was eine schnellere Ursachenanalyse ermöglicht.
• Zukunftssichere Konnektivität: Open-Source und vollständig im Besitz von Databricks, was schnellere Fehlerbehebungen, Code-Transparenz, externe Codebeiträge und eine engere Plattformintegration ermöglicht.

Als Databricks letztes Jahr seinen OSS JDBC-Treiber veröffentlichte, war die Migration für uns nahtlos. Wir konnten die Abwärtskompatibilität aufrechterhalten und erhielten gleichzeitig schnelleren Zugriff auf neue Funktionen, Möglichkeiten und Fehlerbehebungen. Das hat uns geholfen, die Markteinführungszeit zu verkürzen und Kunden schneller Unterstützung für neue Databricks-Innovationen, einschließlich UC Business Semantics, anzubieten. —Jamie Davidson, President & Co-founder, Omni

Bessere Leistung, wo es am wichtigsten ist

Für viele BI- und Anwendungs-Workloads ist der Abruf großer Datensätze der größte Leistungsengpass. Der OSS JDBC-Treiber verbessert die Leistung für diese Szenarien erheblich.

Beim Zurückgeben großer Abfrageergebnisse liefert der neue Treiber eine bis zu 30 % schnellere Leistung im Vergleich zum älteren JDBC-Treiber.

Diese Verbesserungen sind besonders wirkungsvoll für Organisationen, die operative Analysen oder umfangreiche Bericht-Workloads auf Databricks ausführen.

Verbesserte Architektur

Der neue Databricks JDBC-Treiber hat Verbesserungen in der zugrunde liegenden Architektur erfahren.

• Arrow-Kompatibilität für JDK 16+: Unterstützt die vollständige Arrow-basierte Datenübertragung auf modernen JVMs ohne Workarounds, sodass Kunden und Partner Arrow aktiviert lassen und von seinen Leistungsvorteilen profitieren können.
• Asynchrone Ausführungsschnittstelle: Erweitert JDBC um eine vollwertige asynchrone API, sodass Anwendungen Abfragen übermitteln und weiterarbeiten können, während die Ergebnisse berechnet werden, was reaktionsschnellere Architekturen und eine bessere Ressourcenauslastung ermöglicht.
• Streaming-basierte Volumenaufnahme: Streamt Massendaten direkt in Databricks Volumes ohne lokales Staging, wodurch E/A-Engpässe auf der Festplatte beseitigt und große Aufnahmeworkflows über Apps, Pipelines und ETL-Tools hinweg schneller und einfacher werden.
• Statement Execution API: Integriert sich in die Statement Execution API von Databricks, um die direkte, programmatische Abfrageausführung mit verbesserter Kontrolle über den Ausführungslebenszyklus zu ermöglichen, wodurch die Erstellung reaktionsschneller Anwendungen und die Automatisierung von Workflows erleichtert werden.

Erweiterte SQL-Funktionen für moderne Anwendungen

Der neue Databricks JDBC-Treiber führt auch neue Funktionen ein, die reichhaltigere, datenbankähnliche Workflows und anspruchsvollere Integrationen ermöglichen.

Zu den neuen Funktionen gehören Unterstützung für:

• Gespeicherte Prozeduren, die die Kapselung von Geschäftslogik und die Vereinfachung der Anwendungsentwicklung erleichtern
• Multi-Statement-Transaktionen, die komplexere Workflows mit Transaktionsgarantien ermöglichen
• Unity Catalog-Metrikansichten, die es Kunden ermöglichen, nahtlos mit ihrer semantischen Schicht in Drittanbieter-Tools zu interagieren
• Query Tags, die es Benutzern ermöglichen, Abfragen zur Verbesserung der Beobachtbarkeit, Kostenattribution und Workload-Verwaltung zu kennzeichnen und zu verfolgen
• Geografischer Datentyp, der die native Speicherung und Analyse standortbezogener Daten für reichhaltigere räumliche Einblicke und Anwendungsfälle ermöglicht
• Komplexe Datentypen, die die native Handhabung von Maps, Arrays und Structs mit vertrauten Java-ähnlichen Semantiken für flexiblere Datenmodellierung und -verarbeitung ermöglichen

Diese Funktionen helfen Teams, bessere Anwendungen zu erstellen, die die neuesten Innovationen in Databricks voll ausschöpfen.

Bessere Beobachtbarkeit

Der neue Databricks OSS JDBC-Treiber wird mit integrierter Client-Telemetrie geliefert, die nahezu Echtzeit-Abfragelatenz, Metriken und Fehler erfasst, ohne die Abfrageleistung zu beeinträchtigen. Für Kunden und Partner bedeutet dies eine schnellere Bearbeitung von Supportfällen, präzisere Fehlerbehebungen und einen Treiber, der im Laufe der Zeit messbar besser wird, da reale Nutzungsmuster jede Veröffentlichung beeinflussen.

Eine zukunftssicherere Konnektivitätsschicht

Einer der größten langfristigen Vorteile dieser Veröffentlichung ist, dass Databricks den Quellcode des JDBC-Treibers besitzt und pflegt. Im Vergleich zum älteren JDBC-Treiber bedeutet dies:

• Schnellere Fehlerbehebungen
• Schnellere Bereitstellung neuer Funktionen
• Engere Abstimmung mit den Plattformfunktionen
• Open-Source-Code-Transparenz und Community-Beiträge

Dies führt zu einer Konnektivitätsschicht, die sich im gleichen Tempo wie die Databricks-Plattform selbst entwickelt.

Erste Schritte

Der Open-Source Databricks JDBC-Treiber markiert einen wichtigen Fortschritt für die Konnektivität zu Databricks. Mit einer verbesserten Architektur, schnellerer Leistung, erweiterten SQL-Funktionen und tieferer Plattformintegration können Sie zuverlässigere Daten-Erlebnisse auf Databricks aufbauen.

Um die vollständige Liste der letzten Updates anzuzeigen, lesen Sie die neuesten Versionshinweise, greifen Sie über Maven auf den Treiber zu oder probieren Sie den neuen Treiber noch heute in Ihrer Umgebung aus.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag