Creado sobre código abierto

Los ingenieros de Databricks son los creadores originales de varias de las tecnologías de datos de código abierto más populares del mundo que se muestran en esta página. Apache Spark se describe como un motor unificado para ejecutar ingeniería de datos, ciencia de datos y cargas de trabajo de aprendizaje automático, y los ingenieros de Databricks también originaron proyectos como Delta Lake y MLflow. Dado que Databricks creó estos proyectos, la plataforma permanece estrechamente alineada con las versiones de código abierto disponibles en spark.apache.org, delta.io y mlflow.org.

Databricks se ejecuta en el mismo motor de código abierto Apache Spark en lugar de en un motor de consulta diferente o propietario. Para los equipos que evalúan la opción de usar Spark de código abierto autogestionado frente a ejecutarlo en Databricks, la página enlaza directamente con Comparación entre Spark y Databricks. Databricks también incorpora capas de proyectos complementarios de código abierto que ha creado, como Delta Lake para almacenamiento lakehouse y Unity Catalog para gobernanza, que van más allá de lo que ofrece Apache Spark por sí solo.

Delta Lake y Apache Iceberg te permiten crear una arquitectura lakehouse sobre sistemas de almacenamiento como AWS S3, ADLS, GCS y HDFS. Unity Catalog se describe como el único catálogo universal de la industria para datos e IA, y Delta Sharing se describe como el primer protocolo abierto de la industria para compartir datos de forma segura, lo que facilita el intercambio de datos con otras organizaciones. Puedes obtener más información sobre estos proyectos en delta.io, apache.iceberg.org, unitycatalog.io y el sitio Delta Sharing.

Databricks admite MLflow, que gestiona el ciclo de vida del aprendizaje automático, incluida la experimentación, la reproducibilidad, la implementación y un registro central de modelos, junto con bibliotecas de aprendizaje automático populares como TensorFlow, PyTorch, Keras, scikit-learn y XGBoost. TensorFlow es compatible como biblioteca para aprendizaje profundo y computación general en clústeres, y Keras se ejecuta sobre TensorFlow como API de aprendizaje profundo disponible en Databricks Runtime para ML. Las integraciones de PyTorch se crearon mediante la colaboración entre Databricks y Facebook, el creador de PyTorch, y XGBoost es compatible como una biblioteca distribuida de refuerzo de degradado con enlaces en Python, R y C++.

Este conjunto de proyectos está destinado a ingenieros de datos, científicos de datos, profesionales de aprendizaje automático y equipos de infraestructura que desean utilizar herramientas de inteligencia artificial y datos de código abierto conocidas dentro de una única plataforma en lugar de ensamblarlas y mantenerlas por separado. También sirve a los desarrolladores que administran la infraestructura como código, ya que el proveedor Databricks Terraform permite a los clientes administrar todos sus espacios de trabajo Databricks junto con el resto de su infraestructura en la nube mediante HashiCorp Terraform. Los miembros de la comunidad también pueden conectarse con otros usuarios de estos proyectos participando en una reunión.

Puedes probar Databricks de forma gratuita directamente desde esta página o explorar los proyectos de código abierto individuales en sus propios sitios, incluidos spark.apache.org, delta.io, mlflow.org y unitycatalog.io. La página también enlaza con un encuentro para conectarse con otros usuarios de estos proyectos de datos abiertos e IA. Para una introducción técnica más profunda, Databricks ofrece charlas técnicas vinculadas sobre cómo empezar a utilizar Delta Lake y administrar el ciclo de vida del aprendizaje automático con MLflow.