Photon

Photon bietet eine zusätzliche 2-fache Beschleunigung gegenüber dem TPC-DS-1TB-Benchmark im Vergleich zu den neuesten Databricks Runtime (DBR)-Versionen und Kunden haben je nach ihren Workloads durchschnittlich 3- bis 8-fache Beschleunigungen beobachtet. Photon wird außerdem dafür genannt, dass es bis zu 12x schnellere Geschwindigkeiten und ein bis zu 12x besseres Preis-/Leistungsverhältnis im Vergleich zu anderen Cloud Data Warehouses ermöglicht. Diese Vorteile sind auf die vektorisierte, C++-basierte Ausführungs-Engine von Photon zurückzuführen, die moderne Hardware nutzt.

Nein – Photon ist eine ANSI-konforme Engine, die so konzipiert ist, dass sie mit modernen Apache Spark DataFrame und SQL-APIs kompatibel ist, sodass vorhandener SQL-, Python-, R-, Scala- und Java-Code unverändert ausgeführt wird. Alles, was Sie tun müssen, um von Photon zu profitieren, ist die Aktivierung. Es koordiniert Arbeit und Ressourcen nahtlos und beschleunigt Teile Ihrer Abfragen transparent – ganz ohne Anpassung oder manuelle Eingriffe. Dieses Design vermeidet auch die Anbieterbindung, da die Workloads standardmäßig in Spark arbeiten.

Photon wurde für Datenteams entwickelt, die einen Standard für eine Engine und einen Satz von APIs für alle ETL-, Analytics- und Data Science-Workloads einführen möchten, unabhängig davon, ob sie im Batch- oder Streaming-Modus ausgeführt werden. Da keine Codeänderungen erforderlich sind, eignet es sich für Teams, die bereits Apache Spark oder Databricks Runtime verwenden und eine schnellere Leistung wünschen, ohne auf neue Tools umstellen zu müssen. Es ist auch relevant für Teams, die umfangreiche Produktionsaufträge auf SQL- und Spark-DataFrames durchführen und niedrigere Latenzen und Kosten benötigen.

Photon beschleunigt eine Reihe von Workloads, einschließlich großer Produktionsjobs in SQL- und Spark-DataFrames, schnellerer Zeitreihenanalysen für IoT-Anwendungen und der Abfrage von Datensätzen im Petabyte-Bereich für Datenschutz- und Compliance-Anforderungen wie Identifizierung und Löschen von Datensätzen ohne Duplizierung (wird zusammen mit Delta Lake verwendet). Es beschleunigt außerdem das Laden von Daten in Delta Lake- und Parquet-Tabellen durch vektorisierte I/O, wodurch die Gesamtlaufzeit und die Kosten für Data-Engineering-Jobs gesenkt werden.

Auf der Seite ist kein separater Preis für Photon aufgeführt; stattdessen werden die Kostenauswirkungen der Aktivierung hervorgehoben, indem Einsparungen von bis zu 80 % bei den Total Cost of Ownership (TCO) und ein bis zu 12x besseres Preis-/Leistungsverhältnis im Vergleich zu anderen Cloud Data Warehouses angegeben werden. Diese Einsparungen resultieren aus der schnelleren Abfrageausführung von Photon, die die Rechenzeit reduziert, die für die Ausführung derselben Workloads erforderlich ist. Da Photon innerhalb der Databricks Runtime arbeitet, die Sie bereits verwenden, können Sie die genauen Kostenauswirkungen für Ihre Workloads am besten bewerten, indem Sie es direkt mit Ihren eigenen Aufträgen testen.

Der Einstieg in Photon ist so einfach wie das Einschalten, da es keine Codeänderungen erfordert und mit Ihrem vorhandenen Apache Spark SQL- und DataFrame-Code arbeitet. Von dort aus koordiniert Photon automatisch Arbeit und Ressourcen, um geeignete Teile Ihrer Abfragen ohne manuelle Anpassung zu beschleunigen. Sie können mit der Erkundung von Photon beginnen, indem Sie sich kostenlos über Try Databricks anmelden.