Databricks용 Spark
Apache Spark™의 최초 제작자가 제공하고, Spark 워크로드를 실행하는 최고의 플랫폼
단순성, 동급 최고의 탁월한 운영 능력 그리고 우수한 가성비를 제공하는 Databricks 레이크하우스 플랫폼은 Apache Spark™ 워크로드를 실행하기에 최적의 환경입니다.
동급 최고의 탁월한 운영 능력
Databricks는 수천 명의 고객이 매일 수백만 개의 VM에서 Spark 애플리케이션을 실행하도록 지원합니다. 또한 최신 개발자 도구와 지침을 지원하므로 Spark 애플리케이션을 안심하고 간편하게 개발하고 배포할 수 있습니다.
- Spark 애플리케이션을 개별적으로 실행하거나 Databricks Workflows에서 간편하게 배포
- 완전 관리형 컴퓨팅 리소스용 선언적 데이터 파이프라인을 위한 다른 작업 유형과 함께 Spark 노트북 실행
- 워크플로 모니터링을 사용하여 몇 번의 클릭만으로 시간 경과에 따른 Spark 애플리케이션의 성능을 쉽게 추적하고 문제 진단
Spark 워크로드에 대해 최고의 가성비 제공
Databricks 레이크하우스 플랫폼에서 Spark 워크로드를 실행하면 Spark의 기존 프로그래밍 인터페이스를 기반으로 실행되는 Spark 및 SQL 워크로드를 위한 신속한 C++, 벡터화된 실행 엔진인 Photon을 활용할 수 있습니다. Photon은 AWS Graviton과 같은 최신 하드웨어 아키텍처를 활용하면서 저렴한 비용으로 전례 없는 쿼리 성능을 제공합니다.
초고속 성능 외에도 Databricks용 Spark는 동적 자동 확장과 같은 기능을 통해 전체 TCO를 낮추므로 사용한 만큼만 비용을 지불하면 됩니다. Databricks는 GPU 및 스팟 인스턴스도 제공합니다.
Databricks 레이크하우스 플랫폼을 통한 엔드 투 엔드 분석 및 통합 거버넌스
다른 플랫폼에서는 여러 도구를 통합하고 다양한 거버넌스 모델을 관리해야 하지만 Databricks는 데이터 웨어하우스, 데이터 레이크, 데이터 스트리밍을 레이크하우스 플랫폼 하나에 통합하여 모든 데이터 엔지니어링, 분석, AI 사용 사례를 포괄적으로 처리합니다. 모든 데이터 유형을 효율적으로 처리하는 신뢰할 수 있는 개방형 데이터 기반을 통해 구축되었으며, 배치 및 스트리밍을 통합하고 모든 데이터 및 클라우드 플랫폼에 하나의 공통적인 보안 및 거버넌스 모델을 적용합니다.
지속적인 혁신
2022 SIGMOD Systems Award에서는 Spark를 관계형, 스트리밍 및 머신 러닝 워크로드를 포괄하는 혁신적이고 널리 사용되는 오픈 소스 통합 데이터 처리 시스템으로 인정했습니다.
그리고 혁신은 계속되고 있습니다. Databricks는 최근 Spark Connect 및 Project Lightspeed를 소개했습니다.
Spark Connect는 안정성을 높이기 위해 클라이언트와 서버를 분리하고 어디서나 Spark 애플리케이션을 지원합니다.
차세대 Spark Structured Streaming인 Project Lightspeed는 이벤트 처리를 위해 예측 가능한 짧은 대기 시간과 향상된 기능을 추가로 제공합니다.
