Photon
Il motore di nuova generazione per il lakehouse
Photon è il motore di nuova generazione sulla Databricks Lakehouse Platform che offre prestazioni di query estremamente rapide a costi contenuti, per acquisizione di dati, ETL, streaming, data science e query interattive, direttamente sul data lake aziendale. Photon è compatibile con le API di Apache Spark™, quindi è una soluzione "chiavi in mano", che non necessita di modifiche al codice o altri vincoli.
Più economico e più veloce
Progettato fin dall'inizio per offrire prestazioni più veloci a costi inferiori, Photon offre risparmi di TCO fino all'80%, accelerando nel contempo i carichi di lavoro di gestione e analisi dei dati, fino a 12 volte.
Pensato per tutti i casi d'uso
Photon è il primo motore che consente ai team di dati di standardizzarsi su un unico set di API per tutti i carichi di lavoro (ETL, analisi e data science), in batch or streaming.
Nessuna modifica al codice
Photon è un motore conforme ad ANSI progettato per essere compatibile con le moderne API di Apache Spark e per funzionare con il tuo codice esistente (SQL, Python, R, Scala e Java), senza bisogno di riscrivere nulla.
Perché Photon?
Le prestazioni delle query su Databricks sono migliorate progressivamente negli anni, grazie ad Apache Spark e a migliaia di ottimizzazioni fornite come parte integrante dei Databricks Runtimes (DBR). Photon, un nuovo motore nativo vettorizzato interamente scritto in C++, offre un ulteriore raddoppio della velocità secondo il benchmark TPC-DS 1TB; inoltre, i clienti hanno osservato velocità da 3 a 8 volte superiori in media, a seconda del carico di lavoro, rispetto alle versioni DBR più recenti.
Casi d'uso
Lavori di produzione
Accelera i lavori di produzione su larga scala su SQL e Spark DataFrames
Applicazioni IoT
Analisi di serie temporali più veloce con Photon rispetto a Spark e al tradizionale Databricks Runtime
Riservatezza e conformità dei dati
Interroga set di dati nell'ordine dei petabyte per individuare e cancellare record senza duplicare i dati con Delta Lake, lavori di produzione e Photon
Caricamento di dati in Delta Lake e Parquet
L'I/O vettorizzato di Photon velocizza i carichi di dati per tabelle di Delta Lake e Parquet, riducendo il runtime complessivo e il costo dei lavori di data engineering
Come funziona?
Scritto da zero in C++, Photon sfrutta l'hardware moderno per query più veloci, con un rapporto prezzo/prestazioni fino a 12 volte migliori rispetto ad altri data warehouse in cloud, tutto in modo nativo sul data lake aziendale.
Photon è progettato per essere compatibile con Apache Spark DataFrame e API SQL, per garantire che i carichi di lavoro vengano eseguiti fluidamente senza modifiche al codice. Per cogliere i vantaggi di Photon basta solo iniziare a utilizzarlo. Photon coordinerà lavoro e risorse in modo pienamente integrato e accelererà in maniera trasparente porzioni delle query SQL e Spark. Non servono aggiustamenti né interventi dell'utente.
Photon è nato con un'attenzione particolare a SQL per fornire ai clienti prestazioni di data warehouse avanzato sui rispettivi data lake, ma in seguito abbiamo ampliato l'offerta di sorgenti di acquisizione, formati, API e metodi supportati da Photon. I clienti hanno così beneficiato di una drastica riduzione dei costi di infrastruttura e di una maggiore velocità su Photon per tutti i loro carichi di lavoro Spark (ad es. Spark SQL e DataFrame).
