Basato su tecnologie open source

Gli ingegneri di Databricks sono i creatori di alcune delle tecnologie open-source più utilizzate al mondo illustrate in questa pagina. Apache Spark è descritto come un motore unico per eseguire carichi di lavoro di ingegneria dei dati, data science e ML. Gli ingegneri di Databricks hanno anche dato vita a progetti come Delta Lake e MLflow. Poiché Databricks ha creato questi progetti, la piattaforma rimane strettamente allineata alle versioni open source disponibili su spark.apache.org, delta.io e mlflow.org.

Databricks viene eseguito sullo stesso motore Apache Spark open source anziché su un motore di query diverso o proprietario. Per i team che valutano l'utilizzo di Spark open source autogestito o l'esecuzione su Databricks, la pagina collega direttamente a Confronto tra Spark e Databricks. Databricks aggiunge inoltre progetti open source complementari che ha creato, come Delta Lake per l'archiviazione lakehouse e Unity Catalog per la governance, che vanno oltre ciò che Apache Spark fornisce da solo.

Delta Lake e Apache Iceberg consentono di creare un'architettura lakehouse su sistemi di archiviazione come AWS S3, ADLS, GCS e HDFS. Unity Catalog è descritto come l'unico catalogo universale del settore per dati e intelligenza artificiale, mentre Delta Sharing è descritto come il primo protocollo aperto del settore per la condivisione sicura dei dati, che semplifica la condivisione dei dati con altre organizzazioni. Ulteriori informazioni su questi progetti sono disponibili su delta.io, apache.iceberg.org, unitycatalog.io e sul sito di Delta Sharing.

Databricks supporta MLflow, che gestisce il ciclo di vita ML, con sperimentazione, riproducibilità, distribuzione e un registro centrale dei modelli, insieme a popolari librerie ML come TensorFlow, PyTorch, Keras, scikit-learn e XGBoost. TensorFlow è supportato come libreria per il deep learning e il calcolo generale su cluster, mentre Keras gira su TensorFlow come API di deep learning disponibile in Databricks Runtime per ML. Le integrazioni PyTorch sono state create grazie alla collaborazione tra Databricks e Facebook, il creatore di PyTorch, e XGBoost è supportato come libreria distribuita di gradient boosting con binding in Python, R e C++.

Questo set di progetti è destinato a data engineer, data scientist, professionisti di ML e team di infrastruttura che desiderano utilizzare dati open source e strumenti di AI noti all'interno di un'unica piattaforma anziché assemblarli e gestirli separatamente. È inoltre utile per gli sviluppatori che gestiscono l'infrastruttura come codice, poiché il provider Databricks Terraform consente ai clienti di gestire tutti i loro spazi di lavoro Databricks e il resto dell'infrastruttura cloud utilizzando HashiCorp Terraform. I membri della community possono anche entrare in contatto con altri utenti di questi progetti partecipando a un meetup.

È possibile provare Databricks gratuitamente direttamente da questa pagina oppure esplorare i singoli progetti open source sui rispettivi siti, tra cui spark.apache.org, delta.io, mlflow.org e unitycatalog.io. La pagina contiene anche un link a un incontro per entrare in contatto con altri utenti di questi progetti aperti di dati e AI. Per un'introduzione tecnica più approfondita, Databricks fornisce presentazioni tecniche su come iniziare a utilizzare Delta Lake e gestire il ciclo di vita del machine learning con MLflow.