Azure Databricks로 AI 시대를 위한 데이터 웨어하우스를 재정의하다

전통적인 데이터 웨어하우스는 예측 가능하고 구조화된 워크로드를 위해 구축되었습니다. 오늘날의 세상은 다릅니다. 기업은 스트리밍 및 비정형 데이터를 처리하며 쉽게 확장할 수 있는 고급 분석을 기대합니다.

AI는 훨씬 더 많은 복잡성을 더합니다. 이는 항상 사용 가능한 신뢰할 수 있고 잘 관리되는 데이터에 따라 달라집니다. 기존 시스템은 복잡성과 높은 비용을 통해서만 이러한 요구 사항을 충족하는 경우가 많습니다.

Azure Databricks가 이를 바꿉니다. warehouse의 안정성과 lakehouse의 개방성을 결합하여 분석, 거버넌스 및 AI를 위한 단일 플랫폼을 만들고, 이 모든 것이 Microsoft 도구와 긴밀하게 통합됩니다.

Power BI, Microsoft Purview, Azure Data Factory 및 Power Platform 과의 통합을 통해 팀은 모든 데이터 워크플로에서 거버넌스와 성능을 유지하면서 익숙한 도구를 사용할 수 있습니다.

데이터가 증가함에 따라 성능만으로는 충분하지 않습니다. 웨어하우스는 중요한 인사이트를 제공하기 위해 신뢰를 얻어야 합니다. 그 신뢰는 거버넌스에서 시작됩니다.

기반으로서의 거버넌스

거버넌스는 AI에 최적화된 웨어하우스의 초석입니다. 이것이 없으면 데이터는 사일로화되어 신뢰할 수 없게 됩니다.

Unity Catalog 는 모든 데이터 자산에 걸쳐 권한, 메타데이터, 리니지를 중앙에서 관리합니다. 모든 사용자는 동일한 액세스 규칙을 따르며, 팀은 데이터의 출처와 변경 방식을 추적할 수 있습니다. 이를 통해 모든 query가 정확하고 승인된 정보를 사용한다는 신뢰를 구축합니다.

Azure Databricks는 Delta Lake 및 Apache Iceberg™와 같은 개방형 포맷 을 지원하여 Microsoft 에코시스템 전반에서 데이터 이동성을 보장합니다. Lakehouse Federation 을 사용하면 팀이 중복이나 이동 없이 데이터를 현재 위치에서 query할 수 있습니다.

이러한 개방성과 제어의 균형을 통해 조직은 보안, 규정 준수, 감사 가능성을 유지하면서 분석을 통합할 수 있습니다.

기본 내장 성능

속도도 중요하지만, 지속적인 성능이 더 중요합니다. Azure Databricks는 Photon 엔진, Auto Liquid 클러스터링, 예측 최적화와 같은 기능을 통해 이 두 가지를 모두 제공합니다. 이러한 도구는 데이터 Layout과 query를 자동으로 조정하여 수동 변경 없이도 워크로드를 25% 이상 개선하는 경우가 많습니다.

Serverless compute는 이를 한 단계 더 발전시킵니다. 웨어하우스는 자동으로 확장되며 사용한 만큼만 요금이 부과됩니다. 예를 들어, KPMG 는 Databricks SQL Serverless를 사용하여 클러스터를 관리하지 않고도 Azure에서 동시성이 높은 분석을 처리합니다. 애널리스트들은 인프라가 아닌 인사이트에 집중합니다. 그리고 모든 성능 계층은 Unity Catalog의 거버넌스에서 실행되므로 query가 확장되어도 데이터는 안전하게 유지되고 추적 가능합니다.

데이터가 시기적절할 때만 고성능이 의미가 있습니다. 바로 이 지점에서 Lakeflow가 필요합니다.

Lakeflow를 통한 신뢰할 수 있는 파이프라인

데이터 파이프라인은 성능과 신뢰를 이끌어냅니다. Lakeflow는 팀에 스트리밍 및 배치 워크로드 모두에 대해 이를 구축하고 관리할 수 있는 통합된 방법을 제공합니다.

Lakeflow Designer 는 파이프라인 설계를 위한 시각적 인터페이스를 제공합니다. Lakeflow Spark Declarative Pipelines 는 익숙한 SQL 구문을 사용하여 확장 가능한 변환을 정의합니다. Lakeflow Jobs 는 오케스트레이션을 처리하여 작업이 안정적으로 순서에 맞게 실행되도록 보장합니다.

Zerobus 는 5초 미만의 지연 시간으로 최대 100MB/s의 이벤트 스트리밍을 지원하며, Structured Streaming 실시간 Mode 는 이를 밀리초 단위로 단축합니다.

모든 파이프라인이 Unity Catalog에 연결되므로 소스에서 대시보드에 이르기까지 거버넌스와 리니지가 일관성 있게 유지됩니다. 이를 통해 데이터 이동이 더 빠르고, 간단하며, 감사 가능해집니다.

비즈니스 컨텍스트를 이해하는 인텔리전스

Azure Databricks의 AI는 모델 훈련을 넘어섭니다. 인텔리전스는 플랫폼이 프로덕션 환경에서 작동하는 방식에 내장되어 있습니다.

예측 최적화 는 query로부터 학습하여 워크로드를 더 빠르게 만듭니다. 자동 확장 및 워크로드 관리가 리소스를 자동으로 조정합니다. 스토리지 Layout은 비용과 속도의 균형을 맞추기 위해 자체적으로 최적화됩니다.

data scientists의 경우, Agent Bricks, Azure OpenAI의 프론티어 모델과 SQL AI 함수를 사용하면 복잡한 인프라 없이도 인사이트에 액세스할 수 있습니다. Unity Catalog는 모든 결과물이 일관되고 추적 가능하도록 보장합니다.

비즈니스 사용자의 경우 AI/BI 대시보드의 Genie 가 자연어 질문을 거버넌스가 적용된 정확한 답변으로 변환합니다. 팀은 안전하게 데이터를 탐색하고 더 빠르게 의사 결정을 내릴 수 있습니다.

Microsoft 에코시스템을 위해 구축

Azure Databricks는 Azure에 네이티브로 제공됩니다. Microsoft 도구 전반에 걸쳐 긴밀하게 통합되어 원활한 데이터 및 분석 환경을 제공합니다.

• 메트릭과 시맨틱을 보존하면서 Databricks에서 Power BI로 직접 데이터 모델을 게시할 수 있습니다.
• Purview, Azure Data Factory, 데이터 레이크 Storage, Power Platform에 즉시 연결할 수 있습니다.
• 모든 연결된 서비스로 Unity Catalog 거버넌스를 확장할 수 있습니다.

이러한 통합을 통해 조직은 기존 Microsoft 도구를 사용하면서 데이터 기반을 현대화할 수 있습니다.

AI 시대를 위한 Warehouse

웨어하우스는 더 이상 단순한 과거 보고 시스템이 아닙니다. 지능형 실시간 분석의 중추입니다.

Azure Databricks는 웨어하우스의 성능, 레이크하우스의 유연성, AI 플랫폼의 인텔리전스를 결합합니다. Unity Catalog, Photon, Lakeflow, Agent Bricks를 통해 대규모 데이터를 관리, 최적화, 분석하기 위한 하나의 통합된 환경을 제공합니다.

팀은 Lakebridge 및 마이그레이션 가이드를 사용하여 쉽게 마이그레이션할 수 있습니다. Databricks SQL은 ANSI SQL과 저장 프로시저를 지원하므로 Teradata나 Oracle과 같은 시스템에서의 마이그레이션이 간단합니다.

웨어하우징의 미래는 통합되고, 거버넌스를 갖추었으며, 지능적입니다. 그리고 Azure Databricks는 바로 오늘 그 미래를 제공합니다.

Azure Databricks 무료로 시작하기 →

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)