Photon
Le moteur de nouvelle génération pour le lakehouse
Photon est un moteur de nouvelle génération sur la plateforme lakehouse Databricks. En termes d'importation, d'ETL, de streaming, de data science et de requêtes interactives, il délivre des performances de requête exceptionnelles à un tarif compétitif, directement dans votre data lake. Photon est compatible avec les API Apache Spark™, donc il suffit de l'activer pour commencer à l'utiliser. Aucun code requis, aucune dépendance vis-à-vis d'un fournisseur.
Moins cher, plus rapide
Entièrement conçu pour offrir des performances maximales à un coût réduit, Photon permet de réaliser des économies de TCO atteignant 80 %, tout en accélérant jusqu'à 12 fois les charges de travail de données et d'analytique.
Conçu pour tous les cas d'usage
Photon est le premier moteur qui permet aux équipes en charge des données de normaliser un ensemble d'API pour toutes les charges de travail – ETL, analytique et data science – en batch et en streaming.
Aucune modification du code
Photon est un moteur compatible ANSI, conçu pour fonctionner avec les API Apache Spark modernes. Il s'intègre sans difficulté à votre code SQL, Python, R, Scala ou Java, sans aucune réécriture.
Pourquoi choisir Photon ?
Les performances des requêtes dans Databricks ont régulièrement augmenté au fil des ans, grâce à Apache Spark et aux milliers d'optimisations packagées dans les runtimes Databricks (DBR). Nouveau moteur vectorisé natif, entièrement écrit en C++, Photon multiplie par deux la vitesse d'exécution selon le benchmark TPC-DS 1 To. Sur la base de leurs charges de travail, des clients ont même observé une accélération moyenne de 3 à 8 fois par rapport aux versions précédentes de DBR.
Cas d’utilisation
TÂCHES DE PRODUCTION
Accélérez les tâches de production à grande échelle sur les DataFrames Spark et SQL
Applications IoT
Avec Photon, analysez les séries chronologiques plus vite qu'avec Spark et le runtime Databricks traditionnel
Confidentialité des données et conformité
Interrogez des ensembles de données de plusieurs pétaoctets pour identifier et supprimer des enregistrements sans dupliquer les données avec le Delta Lake, les tâches de production et Photon
Chargement des données dans Delta Lake et Parquet
Les E/S vectorisées de Photon accélèrent le chargement des données des tables Delta Lake et Parquet. Résultat : une réduction du temps d'exécution global comme du coût des tâches de data engineering.
Comment ça marche ?
Entièrement développé en C++, Photon exploite les performances du matériel moderne pour exécuter les requêtes plus rapidement. Il affiche ainsi un rapport performance/prix jusqu'à 12 fois supérieur à celui des autres data warehouses cloud, directement au sein de votre lac de données.
Photon est conçu pour être compatible avec les API DataFrame Apache Spark et SQL, tout en offrant une exécution transparente des charges de travail, sans aucune modification du code. Pour profiter de la puissance de Photon, il vous suffit de l'activer. Photon coordonne les tâches et les ressources en toute fluidité pour accélérer des portions de vos requêtes SQL et Spark. Sans aucun ajustement ni aucune intervention de l'utilisateur.
Au départ, nous avons essentiellement axé Photon sur SQL pour offrir à nos clients des performances d'entreposage des données exceptionnelles sur leur data lakes. Mais depuis, nous avons considérablement élargi le champ des sources d'importation, des formats, des API et des méthodes pris en charge par Photon. Les clients ont ainsi pu profiter d'économies considérables sur les coûts d'infrastructure, ainsi que d'une accélération du traitement de toutes leurs charges de travail Spark (Spark SQL et DataFrame notamment) avec Photon.
