Zerobus Ingest 공개 미리 보기를 시작합니다.

Lakeflow Connect 의 일부인Zerobus Ingest 는 이벤트 데이터를 lakehouse로 직접 푸시하는 간소화된 방법을 제공하여 단일 싱크 메시지 버스 레이어를 완전히 제거합니다. Zerobus Ingest는 인프라를 줄이고 운영을 간소화하며 대규모로 거의 실시간에 가까운 수집을 제공함으로써 그 어느 때보다 쉽게 이벤트 데이터의 가치를 활용할 수 있도록 합니다.

기존에는 조직에서 Kafka와 같은 메시지 버스를 전송 계층으로 사용합니다. Kafka는 내구성과 짧은 지연 시간을 제공하지만 2홉 아키텍처를 도입합니다. 즉, 데이터가 먼저 Kafka에 기록된 다음 Spark Declarative 파이프라인(SDP)을 사용하여 lakehouse로 가져옵니다. 이는 인프라를 추가하고 데이터를 복제하며 전문적인 도구와 전문 지식을 요구하므로 디버깅이 더 어려워질 수 있습니다. 그 결과 특히 유일한 대상이 lakehouse인 경우 비용이 증가하고 전송 속도가 느려지며 운영 오버헤드가 더 많이 발생합니다.

단 몇 줄의 코드로 Zerobus Ingest를 사용하여 stream을 만들고 데이터를 lakehouse로 직접 푸시할 수 있습니다.

대규모 성능, 간소화된 아キテク처

이벤트 데이터는 중요한 실시간 분석 및 AI 애플리케이션을 지원합니다. 클릭스트림과 원격 측정부터 IoT 센서 데이터에 이르기까지, 조직은 빠르고 안정적인 파이프라인을 사용하여 몇 시간이 아닌 몇 초 만에 의사 결정을 내립니다. Zerobus Ingest는 대규모 성능을 위해 설계되었으며, 5초의 짧은 지연 시간, 연결당 최대 100MB/초의 throughput, 동일한 테이블에 쓰는 수천 개의 동시 클라이언트를 지원합니다.

Zerobus는 데이터 홉, 중복 사본, 외부 메시지 버스를 제거하여 이벤트 데이터 수집을 위한 인프라를 단순화하고 운영 오버헤드를 줄입니다. Databricks Data Intelligence Platform과 완벽하게 통합된 Zerobus는 Delta 테이블에 기본적으로 기록하고, 보안 및 거버넌스를 위해 Unity Catalog와 통합하며, 분석 및 AI 도구와 원활하게 연결됩니다.

Zerobus Ingest 인터페이스 및 SDK:
Databricks는 수집을 간소화하기 위해 확장된 인터페이스 세트를 지원하며, Zerobus Ingest를 사용하여 맞춤형 high-throughput 애플리케이션을 빌드할 수 있는 SDK를 제공합니다. 또한 Open Telemetry와 같은 표준화된 인터페이스를 지원하여 구성 변경만으로 기존 애플리케이션에서 데이터를 전달할 수 있습니다.

Zerobus Ingest SDK 및 APIs는 맞춤형 디바이스 통합을 지원하여 최소한의 인프라로 관리형 Delta 테이블과 직접 통신할 수 있도록 합니다. 

다음과 같은 인터페이스를 출시합니다.

• SDK
  • Python용 SDK (PuPr)
  • Java용 SDK (PuPr)
  • Rust용 SDK (PuPr)
• APIs
  • gRPC APIs  (PuPr) *
  • REST API (PrPr) *
  • OpenTelemetry APIs(PrPr) * 

자세한 내용은 Databricks 담당자에게 문의하세요.

이 새로운 인터페이스는 특화된 인프라 없이 소스에서 싱크까지 계속 증가하는 throughput 요구사항을 지원합니다. 자세한 내용은 기술 문서 를 참조하세요. 
 

Zerobus Ingest를 사용하면 데이터 생산자가 메시지 버스를 우회하고 Lakehouse의 관리형 Delta 테이블에 직접 이벤트를 푸시할 수 있습니다. 

산업 전반의 이벤트 데이터 사용 사례

Zerobus Ingest는 원격 측정, 클릭스트림, IoT 사용 사례 전반에 걸쳐 제조, 전기 통신, 전자상거래 및 소매, IT 및 사이버 보안과 같은 산업을 지원하며, 다양한 대용량 이벤트 데이터를 거의 실시간으로 대규모 처리하도록 설계되었습니다. Zerobus Ingest는 물리적 시스템과 디지털 환경을 lakehouse에 직접 연결하여 거버넌스가 적용된 고성능 분석을 거의 실시간으로 지원합니다. 

제조 및 IoT

공장은 효율성을 개선하고 예상치 못한 다운타임을 줄이는 데 도움이 되는 실시간 및 과거 성능 분석을 위해 지속적인 머신 및 센서 데이터 Stream을 생성합니다. 엄격한 네트워킹 및 통합 제약 하에서 이러한 작업을 수행하는 경우가 많습니다. Zerobus Ingest와 직접 쓰기 SDK를 통해 팀은 맞춤형 포워딩 에이전트를 빌드하여 데이터를 lakehouse로 직접 stream할 수 있습니다. Unity Catalog와 결합하면 에지부터 분석까지 엔드투엔드 거버넌스를 갖춘 안전한 저지연 수집이 가능합니다.

Joby Aviation은 정밀 부품을 제조하고 비행 원격 측정 데이터를 분석하여 처음부터 새로 제작된 전기 항공기로 항공 여행을 재창조하고 있습니다. Joby는 Zerobus Ingest를 사용하여 분당 기가바이트의 원격 측정 데이터를 자체 레이크하우스로 직접 스트리밍합니다. 항공기 개발, 비행 후 운영 최적화, 머신 수준까지의 제조 최적화를 지원하는 거의 실시간 인사이트를 제공합니다. Joby Aviation 사례 연구 읽어보기. 

“Zerobus Ingest를 사용하여 제조 현장에서 lakehouse로 분당 기가바이트의 원격 측정 데이터를 푸시하고 있습니다… Zerobus는 빠를 뿐만 아니라 우리와 함께 확장됩니다. 더 많은 사이트, 더 많은 디바이스 또는 더 많은 데이터를 지원하기 위해 아무것도 재설계할 필요가 없었습니다.” —도미닉 뮐러(Dominik Müller), Joby Aviation 공장 시스템 책임자

Zerobus Ingest와 함께 커스텀 Joby 전달 에이전트를 사용하는 간소화된 수집 솔루션.

전기 통신 및 IoT

전 세계에 분산된 장치를 보유한 전기 통신 기업의 경우 분석, 네트워크 성능 모니터링, 고객 경험 최적화를 위해 초당 수백만 개의 장치 신호를 실시간으로 처리하는 것이 매우 중요합니다.

Databricks는 글로벌 IoT 연결 제공업체인 Soracom과 파트너십을 맺고 Zerobus Ingest를 전 세계 셀룰러, 위성 및 LPWAN 서비스로 확장하고 있습니다. 이 솔루션들을 함께 사용하면 고객이 어떤 기기에서든 lakehouse로 데이터를 안전하고 안정적으로 이동하도록 지원합니다. 

“이제 고객은 셀룰러, 위성, LPWAN 서비스를 사용하여 전 세계 기기에서 Databricks Data Intelligence Platform으로 고충실도 데이터를 전송하고, 인사이트 확보 시간을 단축하여 획기적인 결과를 얻을 수 있습니다.” — 켄타 야스카와, Soracom, Inc. CTO 겸 공동 창립자

커머스, 리테일 및 클릭스트림

소매 및 전자상거래 분야에서는 웹사이트, 앱, 연결된 디바이스에서 생성되는 행동 및 클릭스트림 데이터를 분석하는 것이 거의 실시간에 가까운 개인화, A/B 테스트, 전환 최적화를 추진하는 데 핵심입니다. Zerobus Ingest는 데이터를 Delta 테이블에 직접 작성하여 메시지 버스 종속성과 오버헤드 인프라를 제거하고, 분석에 바로 사용할 수 있는 단일 데이터 소스를 제공함으로써 이 사용 사례를 지원합니다.

IT 및 사이버 보안

보안팀의 경우 탐지, 모델 피드백, 분석, 대응 간의 지연 시간을 줄이려면 원격 측정 및 이벤트 데이터에 거의 실시간으로 빠르게 액세스하는 것이 중요합니다. Zerobus Ingest는 logs 및 메트릭의 지속적이고 지연 시간이 짧은 수집을 통해 위협 식별 및 적응형 모델 재훈련을 가속화합니다. 또한 기존 ETL 또는 배치 수집의 지연 없이 행동 이벤트를 lakehouse로 직접 스트리밍하여 거의 실시간으로 사기 또는 이상 탐지를 할 수 있습니다. 

Zerobus Ingest 시작

Public Preview의 일환으로, 다양한 산업 분야의 고객들이 Zerobus를 사용하여 Databricks 데이터 인텔리전스 플랫폼으로 어떤 새로운 가능성을 열어갈지 기대됩니다. 쉽게 시작하실 수 있도록 Zerobus Ingest의 기능을 직접 경험해 볼 수 있는 여러 데모, 솔루션 액셀러레이터, 샘플 데이터가 포함된 단계별 튜토리얼도 공개했습니다.  

지금 바로 workspace에서 Zerobus Ingest를 활성화하려면 Databricks 계정 담당자에게 문의하세요.

• 솔루션 액셀러레이터: 디지털 트윈
  네이티브 Databricks 기능(Zerobus Ingest, Lakeflow Declarative 파이프라인, Lakebase)을 사용하여 자체 디지털 트윈 솔루션을 배포하고 타사 솔루션 통합의 비용과 복잡성을 줄이세요. 블로그 읽기 | Github 리포지토리
• 튜토리얼: Databricks Apps를 Lambda로 사용하여 Zerobus로 Delta에 쓰기
  Databricks Direct Write App 사용 방법에 대한 단계별 튜토리얼입니다. 이 앱은 Zerobus Ingest를 사용하여 Delta Lake 테이블에 구조화된 데이터를 고성능으로 수집하도록 설계된 프로덕션 지원 모듈식 FastAPI 애플리케이션입니다. 주요 이점으로는 빠른 스트리밍 데이터 전송과 효율적이고 안전한 데이터 로딩이 있습니다. 블로그 읽기 | Github 리포지토리
• 튜토리얼: Zerobus Ingest로 데이터 수집 간소화: RabbitMQ에서 레이크하우스로
  Zerobus Ingest를 사용하면 전달 에이전트를 만들어 RabbitMQ 메시지를 쉽게 구독하고, 이 데이터를 Databricks로 원활하게 푸시하며, 분석을 위해 Delta Lake 테이블로 변환할 수 있습니다. 블로그 읽기 | Github 리포지토리
• Container Service: Zerobus-Station
  Zerobus Ingest 테이블에 대한 RESTful 인터페이스를 제공하는 확장 가능한 컨테이너 서비스입니다. 
  블로그 읽기 | Github 리포지토리

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)