Photon은 Databrick 레이크하우스 플랫폼의 차세대 엔진으로, 데이터 레이크에서 직접 저렴한 비용으로 데이터 수집, ETL, 스트리밍, 데이터 사이언스, 대화형 쿼리 등을 매우 빠르게 처리합니다. Photon은 Apache Spark™ API와 호환되므로 코드 변경이나 벤더 종속 없이 켜기만 하면 시작됩니다.
더 저렴하고 빠르게
처음부터 저렴한 비용으로 매우 빠른 처리 성능을 제공하도록 설계된 Photon은 최대 80%의 TCO 절감 효과를 제공하는 동시에 데이터 및 분석 워크로드를 가속화하여 속도를 최대 12배 향상 시킵니다.
모든 사용 사례에 맞게 구축
Photon은 데이터 팀이 배치 및 스트리밍 모드에서 모든 워크로드(ETL, 분석 및 데이터 사이언스)를 하나의 API 집합으로 표준화할 수 있게 해주는 최초의 엔진입니다.
코드 변경 불필요
Photon은 최신 Apache Spark API와 호환되도록 설계된 ANSI 호환 엔진이며, 기존 코드(SQL, Python, R, Scala 및 Java)로도 작동하므로 다시 코딩할 필요가 없습니다.
Photon을 선택해야 하는 이유
Databricks의 쿼리 성능은 Apache Spark와 Databricks Runtime(DBR)의 일부로 패키징된 수천 개의 최적화를 통해 몇 년 동안 꾸준히 증가했습니다. C++로만 작성된 새로운 네이티브 벡터 엔진인 Photon은 TPC-DS 1TB 벤치마크당 속도가 2배 이상 빨라지며, 고객은 최신 DBR 버전이 비해 워크로드를 기준으로 평균 3~8배의 속도 향상을 경험했습니다.
사용 사례
프로덕션 작업
SQL 및 Spark DataFrames에서 대규모 프로덕션 작업 가속화
IoT 애플리케이션
Photon 사용 시 Spark 및 기존 Databricks Runtime에 비해 더 빠른 시계열 분석 지원
Delta 개인정보 보호 및 규정 준수
Delta Lake, 프로덕션 작업 및 Photon을 사용해 페타바이트 규모의 데이터 세트를 쿼리하여 데이터를 복제하지 않고도 레코드를 식별 및 삭제
Delta Lake 및 Parquet에 데이터 로드
Photon의 벡터화된 I/O로 Delta Lake 및 Parquet 테이블의 데이터 로드 속도를 높여 데이터 엔지니어링 작업의 전체 런타임과 비용 절감
어떻게 작동하나요?
처음부터 C++로 작성된 Photon은 쿼리 실행 속도를 높이기 위해 최신 하드웨어를 활용하여 다른 클라우드 데이터 웨어하우스에 비해 최대 12배 향상된 가성비를 제공하며, 모두 기본적으로 데이터 레이크를 기반으로 합니다.
Photon은 Apache Spark DataFrame 및 SQL API와 호환되도록 설계되어 코드 변경 없이도 워크로드가 원활하게 실행되도록 합니다. Photon의 이점을 누리기 위해서는 시스템을 켜기만 하면 됩니다. Phonton은 작업과 리소스를 원활하게 조정하고 SQL 및 Spark 쿼리의 일부를 투명한 방식으로 가속화합니다. 조정이나 사용자 개입이 필요하지 않습니다.
초기에 Photon은 고객에게 데이터 레이크에 대한 세계 최고 수준의 데이터 웨어하우징 성능을 제공하기 위해 SQL에 주력했지만, 이후 Photon이 지원하는 수집 소스, 형식, API 및 방법의 범위를 크게 늘렸습니다. 그 결과, 고객은 Spark SQL 및 DataFrame과 같은 모든 최신 Spark 워크로드에서 Photon의 인프라 비용을 획기적으로 절감하고 속도를 높일 수 있었습니다.
