오픈 소스를 기반으로 구축

Databricks 엔지니어들은 이 페이지에 표시된 세계에서 가장 인기 있는 오픈 소스 데이터 기술 몇 가지를 개발한 주역들입니다. Apache Spark는 데이터 엔지니어링, 데이터 사이언스 및 ML 워크로드를 실행하기 위한 통합 엔진으로 설명되며, Databricks 엔지니어들은 Delta Lake 및 MLflow와 같은 프로젝트를 시작했습니다. Databricks가 이러한 프로젝트를 구축했기 때문에 플랫폼은 spark.apache.org, delta.io 및 mlflow.org에서 사용할 수 있는 오픈 소스 릴리스와 긴밀하게 연계를 유지합니다.

Databricks는 기타 또는 독점 쿼리 엔진이 아닌 동일한 오픈 소스 Apache Spark 엔진에서 실행됩니다. 자체 관리형 오픈 소스 Spark를 Databricks에서 실행하는 것과 비교를 고려하는 팀의 경우 이 페이지는 Spark 및 Databricks 비교 페이지로 직접 연동됩니다. Databricks는 또한 레이크하우스 스토리지를 위한 Delta Lake와 거버넌스를 위한 Unity Catalog와 같이 직접 생성한 보완 오픈 소스 프로젝트를 추가하며, 이는 Apache Spark가 자체적으로 제공하는 것 이상으로 기능을 확장합니다.

Delta Lake와 Apache Iceberg를 모두 사용하면 AWS S3, ADLS, GCS 및 HDFS와 같은 스토리지 시스템을 기반으로 레이크하우스 아키텍처를 구축할 수 있습니다. Unity Catalog는 데이터와 AI를 위한 업계 유일의 범용 카탈로그로 설명되며, Delta Sharing은 다른 조직과 데이터를 쉽게 공유할 수 있도록 해주는 안전한 데이터 공유를 위한 업계 최초의 개방형 프로토콜로 설명됩니다. 이러한 프로젝트에 관해 더 자세히 알아보려면 delta.io, apache.iceberg.org, unitycatalog.io 및 Delta Sharing 사이트를 참조하십시오.

Databricks는 TensorFlow, PyTorch, Keras, scikit-learn 및 XGBoost와 같은 인기 있는 ML 라이브러리와 함께 실험, 재현 가능성, 배포 및 중앙 모델 레지스트리를 포함한 ML 수명 주기를 관리하는 MLflow를 지원합니다. TensorFlow는 클러스터의 딥 러닝 및 일반 연산을 위한 라이브러리로 지원되며 Keras는 ML용 Databricks 런타임에서 사용할 수 있는 딥 러닝 API로 TensorFlow 기반에서 실행됩니다. PyTorch 통합은 Databricks와 PyTorch의 제작업체인 Facebook 간의 협업을 통해 구축되었으며, XGBoost는 Python, R 및 C++의 바인딩을 포함한 분산형 그래디언트 부스팅 라이브러리로 지원됩니다.

이러한 프로젝트들은 잘 알려진 오픈 소스 데이터와 AI 도구를 개별적으로 조립하고 유지 관리하는 대신 단일 플랫폼 내에서 사용하고자 하는 데이터 엔지니어, 데이터 과학자, ML 실무자 및 인프라 팀을 대상으로 합니다. 또한 고객들은 Databricks Terraform 프로바이더를 통해 HashiCorp Terraform을 사용하여 나머지 클라우드 인프라와 함께 전체 Databricks 워크스페이스를 관리할 수 있기 때문에 인프라를 코드로 관리하는 개발자에게도 도움이 됩니다. 커뮤니티 회원은 모임에 참여하여 이러한 프로젝트의 다른 사용자와 연결할 수도 있습니다.

이 페이지에서 Databricks를 직접 무료로 사용해 보거나 spark.apache.org, delta.io, mlflow.org 및 unitycatalog.io를 포함한 자체 사이트에서 개별 오픈 소스 프로젝트를 탐색할 수 있습니다. 또한 이 페이지는 이러한 개방형 데이터 및 AI 프로젝트의 다른 사용자와 교류할 수 있는 모임으로 연결되는 링크도 제공합니다. 보다 심층적인 기술을 소개하기 위해 Databricks는 Delta Lake 시작하기 및 MLflow를 사용한 머신 러닝 수명 주기 관리에 관한 관련 기술 토크를 제공합니다.