Baseado em código aberto

Os engenheiros da Databricks são os criadores originais de várias das tecnologias de dados de código aberto mais populares do mundo, mostradas nesta página. O Apache Spark é descrito como um mecanismo unificado para executar workloads de data engineering, data science e ML, e os engenheiros da Databricks também originaram projetos como Delta Lake e MLflow. Como a Databricks desenvolveu esses projetos, a plataforma permanece alinhada com as versões de código aberto disponíveis em spark.apache.org, delta.io e mlflow.org.

A Databricks é executada no mesmo mecanismo de código aberto Apache Spark, em vez de um mecanismo de consulta diferente ou proprietário. Para equipes que avaliam o uso autogerenciado do Spark de código aberto ou sua execução na Databricks, a página contém um link direto para Comparação de Spark e Databricks. Além disso, a Databricks adiciona camadas de projetos de código aberto complementares que ela criou, como Delta Lake para armazenamento em lakehouse e Unity Catalog para governança, que vão além do que o Apache Spark oferece por conta própria.

O Delta Lake e o Apache Iceberg permitem que você crie uma arquitetura de lakehouse em sistemas de armazenamento, como AWS S3, ADLS, GCS e HDFS. O Unity Catalog é descrito como o único catálogo universal do setor para dados e IA, e o Delta Sharing é descrito como o primeiro protocolo aberto do setor para compartilhamento seguro de dados, simplificando o compartilhamento de dados com outras organizações. Você pode saber mais sobre esses projetos em delta.io, apache.iceberg.org, unitycatalog.io e no site Delta Sharing.

A Databricks oferece suporte ao MLflow, que gerencia o ciclo de vida do ML, incluindo experimentação, reprodutibilidade, deployment e um registro de modelo central, além de bibliotecas de ML populares, como TensorFlow, PyTorch, Keras, scikit-learn e XGBoost. O TensorFlow é suportado como uma biblioteca para aprendizado profundo e computação geral em clusters, e o Keras é executado sobre o TensorFlow como uma API de aprendizado profundo disponível no Databricks Runtime para ML. As integrações do PyTorch foram construídas por meio da colaboração entre a Databricks e o Facebook, criador do PyTorch, e o XGBoost é suportado como uma biblioteca de aumento de gradientes distribuída com vinculações em Python, R e C++.

Este conjunto de projetos é destinado a engenheiros de dados, cientistas de dados, profissionais de ML e equipes de infraestrutura que desejam usar ferramentas de IA e dados de código aberto conhecidas em uma única plataforma, em vez de montá-las e mantê-las separadamente. Ele também atende desenvolvedores que gerenciam infraestrutura como código, pois o provedor do Databricks Terraform permite que os clientes gerenciem todos os seus workspaces Databricks e o restante de sua infraestrutura de nuvem usando o HashiCorp Terraform. Os membros da comunidade também podem se conectar com outros usuários desses projetos participando de um meetup.

Você pode experimentar a Databricks gratuitamente diretamente nesta página ou explorar os projetos individuais de código aberto em seus próprios sites, incluindo spark.apache.org, delta.io, mlflow.org e unitycatalog.io. A página também contém um link para um encontro para se conectar com outros usuários desses projetos de dados abertos e IA. Para uma introdução técnica mais profunda, a Databricks oferece palestras técnicas vinculadas sobre como começar a usar o Delta Lake e gerenciar o ciclo de vida de machine learning com o MLflow.