Zerobus Ingest 정식 출시

조직이 실시간 운영 인텔리전스를 확장함에 따라 기존 스트리밍 아키텍처는 비용이 많이 드는 병목 현상이 되었습니다. Kafka와 같은 메시지 버스를 관리하고 스키마 레지스트리 및 커넥터 프레임워크를 처리하는 것은 고급 엔지니어링 리소스를 전략적 비즈니스 이니셔티브에서 전환시키는 상당한 '복잡성 세금'을 발생시킵니다. 한편, 중복 스토리지는 클라우드 비용을 증가시키고 다중 홉 아키텍처는 중요한 인사이트 확보를 지연시킵니다. 마지막으로, 전송 중인 데이터는 종종 중앙 집중식 거버넌스 프레임워크 외부에 존재하며, 규정 준수 위험과 리니지 사각지대를 만듭니다. 

Zerobus Ingest를 소개합니다: 레이크하우스로 거의 실시간 스트리밍

오늘 Lakeflow Connect 의 일부인 Zerobus Ingest 의 정식 출시를 발표하게 되어 기쁩니다. Zerobus Ingest는 데이터를 거버넌스가 적용된 Delta 테이블로 직접 스트리밍하는 완전 관리형 serverless 서비스로, 중간 레이어를 제거하여 단순화된 고성능 아키텍처를 제공합니다. 

Zerobus Ingest는 데이터가 생산자에서 레이크하우스로 직접 흐르도록 하여 비용을 대폭 절감하고 툴 확산을 방지합니다. 또한 대규모 환경에서도 높은 성능을 제공하여 수천 개의 동시 연결을 지원하고, 5초 이내에 테이블에 초당 10GB가 넘는 집계 처리량을 달성합니다. 

단일 싱크의 이점: 대규모 비용 절감을 위한 아키텍처 간소화

Kafka와 같은 기존의 메시지 버스는 데이터를 수십 개의 독립적인 컨슈머로 라우팅하는 범용 허브, 즉 다중 싱크 아키텍처로 설계되었습니다. 하지만 유일한 대상이 레이크하우스인 경우 이러한 유연성으로 인해 막대한 비용이 발생할 수 있습니다. Zerobus Ingest는 데이터를 lakehouse로 직접 푸시하는 단일 작업에 최적화된 단일 싱크 아키텍처를 통해 근본적으로 다른 접근 방식을 사용합니다. 

이러한 아키텍처 선택은 복잡성을 제거하고 비용을 대폭 절감합니다.

• 데이터 볼륨 증가에 맞춰 브로커 없이 확장
• 최적의 성능을 위해 튜닝할 파티션이 없습니다
• 모니터링 및 디버그할 소비자 그룹이 없습니다
• 계획하고 실행할 클러스터 업그레이드 없음
• 팀에 Kafka와 같은 전문 지식이 필요하지 않습니다  

Zerobus Ingest를 사용하면 단일 관리형 Databricks 엔드포인트가 제공됩니다. Unity Catalog에 테이블을 만들고 API 또는 SDK로 데이터 쓰기를 시작하기만 하면 됩니다. 이게 전부입니다. 다른 설정은 필요 없습니다. 서버리스 아키텍처는 구성 변경 없이 초당 기가바이트의 수집을 지원하도록 자동으로 확장됩니다. 

Zerobus Ingest를 사용하면 데이터 생산자가 메시지 버스를 우회하여 Lakehouse의 관리형 Delta 테이블에 이벤트를 직접 푸시할 수 있습니다. 

Zerobus Ingest는 기존의 스트리밍 아키텍처를 5개의 관리형 시스템에서 2개의 구성 요소로 간소화하여 여러 장애 지점을 제거하고 운영 오버헤드를 줄이며 전문 지식의 필요성을 없앱니다.

• 기존 아키텍처: 소스 시스템 → 메시지 버스(스키마 레지스트리가 있는 Kafka 클러스터) → 커넥터 → 레이크하우스
• Zerobus Ingest 아키텍처: 소스 시스템 → Zerobus Ingest → Lakehouse

중간 메시지 버스를 제거함으로써 버스 자체의 compute 및 스토리지, 그리고 이를 관리하는 데 필요한 전담 엔지니어링 시간이라는 두 가지 주요 비용 발생 요인을 없앨 수 있습니다. Zerobus Ingest는 자체 관리형 Kafka 클러스터를 실행하고 유지 관리하는 것과 비교하여 기가바이트당 훨씬 저렴한 비용으로 수집을 제공합니다.

Zerobus Ingest는 자체 관리형 Kafka 클러스터를 실행하고 유지 관리하는 것에 비해 기가바이트당 훨씬 저렴한 비용으로 수집을 제공합니다.

이 Databricks 커뮤니티 심층 분석 블로그 또는 설명서에서 Zerobus의 작동 방식에 대해 자세히 알아보세요.

지원되는 인터페이스 및 네이티브 통합

개발자는 gRPC 및 REST API를 통해 통합하거나 언어별 SDK를 사용할 수 있습니다. Zerobus Ingest는 산업별 통합을 위한 광범위한 푸시 기반 인터페이스를 제공하며, 수집을 간소화하는 유연한 단일 툴입니다.

• gRPC API: 가장 낮은 지연 시간과 가장 높은 처리량이 요구되는 고성능 애플리케이션에 권장됩니다.
• REST API(베타): 웹훅, 서버리스 함수 및 gRPC 지원이 제한될 수 있는 언어에 이상적입니다.
• SDKs: Python, Java, Rust, Go, TypeScript용 프로덕션 지원 라이브러리는 gRPC를 활용하여 인증 및 배치 로직을 간소화합니다.
• Open Telemetry(베타): 구성 변경만으로 운영 logs, 메트릭, 추적을 Lakehouse로 가져와 장기적인 기록 분석을 수행할 수 있습니다. Open Telemetry 에코시스템에 대한 자세한 내용은 여기에서 알아보세요.

REST와 gRPC의 차이점에 대해 자세히 알아보세요.

또한 모든 쓰기는 Unity Catalog의 관리를 받으므로 데이터가 생성되는 순간부터 자동 리니지 추적과 세분화된 액세스 제어가 가능하며, 이를 통해 스트리밍 데이터가 lakehouse의 나머지 부분과 통합된 거버넌스를 갖도록 보장합니다. 

고객의 혁신 주도: 대규모 환경에서 기하급수적으로 빨라진 인사이트 

Toyota Motor Corporation을 위한 실시간 제조 모니터링

Toyota는 기존 IoT 아키텍처의 지연 시간과 복잡성 없이 수천 개의 공장 장치에서 전송되는 원격 측정 데이터를 즉시 처리할 수 있는 통합 솔루션을 모색했습니다. 

"Zerobus Ingest를 사용하면 공장 과열 상태를 몇 시간이 아닌 몇 분 만에 감지할 수 있어 탄소 중립 전략과 운영 효율성을 직접적으로 지원합니다. 하지만 이는 단순히 온도 원격 측정 데이터를 추적하는 것만이 아닙니다. 추가 데이터 수집 옵션으로 Zerobus Ingest를 사용함으로써 거의 실시간으로 다양한 공장 데이터를 수집하고 즉각적인 대응 조치를 trigger하여 운영을 혁신할 수 있었습니다.” —이즈미 켄토, Toyota Motor Corporation 디지털 변환 추진 부문 본부장

여러 클라우드 서비스를 연결하는 대신 Toyota는 Soracom의 글로벌 IoT 연결과 통합된 Zerobus Ingest를 사용하여 실시간 운영의 높은 유지 관리 비용을 절감하고, 제조 운영을 혁신하며, 지속 가능성 목표를 지원합니다.

IoT 데이터 파이프라인 아키텍처: Zerobus Ingest와 Soracom Beam을 활용한 엣지에서 분석 플랫폼까지

이즈미는 또한 운영 효율성을 가속화할 수 있다고 설명했습니다. “Databricks 기반의 통합 데이터 및 AI 플랫폼인 'vista'와 결합하면, 우리는 단순히 데이터를 더 빨리 수집하는 것이 아니라 데이터 운영을 최적화하고 있습니다.”

Joby Aviation: 비행 성능 분석을 며칠에서 몇 분으로 단축

Zerobus Ingest의 얼리 어답터인 Joby Aviation은 매분 기가바이트의 항공기 원격 측정 데이터를 lakehouse로 직접 스트리밍하여 엔지니어링 팀이 거의 실시간으로 비행 성능을 분석할 수 있도록 지원합니다. Joby Aviation 사례 연구 읽기.

"Zerobus Ingest는 원격 측정 분석 지연 시간을 며칠에서 몇 분으로 단축했습니다." 이를 통해 저희 엔지니어링 팀은 비행 성능을 거의 실시간으로 분석하고 운송을 혁신하려는 미션을 가속화할 수 있습니다." —도미니크 뮐러, Joby Aviation 공장 시스템 책임자

업계 사용 사례 지원

기존 인프라는 실시간 운영을 저해합니다. Zerobus Ingest는 중간 메시지 버스의 복잡성을 제거하여 산업 전반에 걸쳐 5초 미만의 직접적인 가치 실현 경로를 제공합니다.

산업 전반의 모든 소스에서 데이터를 lakehouse로 직접 푸시하여 디지털 전환을 가속화하세요.

제조: 공장 현장 효율성 극대화. Zerobus Ingest SDK를 사용하여 대규모 센서 볼륨을 Lakehouse로 스트리밍하는 맞춤형 전달 에이전트를 빌드하세요. 이를 통해 과도한 네트워크 인프라 오버헤드를 제거하여 기계 성능을 최적화합니다.

전기 통신 및 IoT: 대규모 글로벌 네트워크 모니터링. 엣지에 배포된 Zerobus Ingest는 네트워크의 원격 측정 데이터를 Lakehouse로 전송하여 네트워크 부하를 거의 실시간으로 추적합니다. Soracom과의 파트너십으로 셀룰러, 위성, LPWAN 네트워크를 통한 안전하고 신뢰할 수 있는 글로벌 IoT 데이터 수집 통합을 확장합니다.

IT 및 사이버 보안: ETL 지연 없이 위협 식별. logs와 행동 이벤트를 Lakehouse로 직접 스트리밍하여 복잡한 파이프라인을 우회하세요. 이를 통해 몇 초 내에 위협을 탐지하고, 적응형 모델을 재학습하며, 더 빠르게 인시던트에 대응할 수 있습니다.

상거래 및 클릭스트림: 거의 실시간으로 경험을 개인화하세요. 최소한의 인프라 오버헤드로 앱과 기기에서 대용량 클릭스트림 데이터를 수집하세요. 이를 통해 데이터의 즉각적인 가용성을 확보하여 개인화 엔진, A/B 테스트 및 전환 최적화를 지원할 수 있습니다.

가용성

Zerobus Ingest는 이제 AWS, Microsoft Azure에서 정식으로 사용 가능 하며 Google Cloud Platform 지원도 곧 제공될 예정입니다. 가격 은 Lakeflow Jobs Serverless SKU에 따라 볼륨 기반으로 책정됩니다.

GA 출시의 일환으로 6개월 프로모션 가격이 제공됩니다. Lakeflow Connect 가격 책정 페이지에서 자세히 알아보세요. 

Zerobus Ingest 시작하기

스트리밍 인프라의 복잡성을 제거할 준비가 되셨나요? 단 몇 줄의 코드로 Unity Catalog가 관리하는 테이블에 데이터를 직접 스트리밍하여, 데이터가 도착하는 즉시 인사이트를 제공하는 데 사용할 수 있도록 할 수 있습니다.

지금 바로 시작하려면 다음 Zerobus Ingest 리소스를 확인해 보세요.

• 지금 Zerobus Ingest를 사용해 보세요: 설명서 및 빠른 시작 가이드를 확인하세요.
• 제품 둘러보기: Zerobus Ingest를탐색 하며 데이터 수집 시작 방법을 알아보세요.
• 엔드투엔드 애플리케이션 구축: 실시간 항해 시뮬레이터는 Python SDK 및 REST API를 Databricks Apps 및 Databricks 자산 Bundles와 함께 사용하여 범선 함대를 추적합니다. 블로그 읽기
• 디지털 트윈 솔루션 구축: Databricks Apps 및 Lakebase를 통해 운영 효율성을 극대화하고 실시간 인사이트와 예측 유지보수를 가속화하는 방법을 알아보세요. 블로그 읽기

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)