2025년의 Databricks Lakehouse SQL

기존 데이터 웨어하우스는 느리고 비용이 많이 들며 독점적인 시스템에 종속되어 있습니다. 지속적인 튜닝이 필요하기 때문에 속도와 확장성이 중요한 분석팀의 업무에 부담을 주며, 재무, 운영, 제품 팀의 의사 결정 속도를 늦춥니다. Databricks SQL(DBSQL)은 이러한 한계를 해결합니다. 평균 5배 더 빠르고, 서버리스로 실행되며, 개방형 표준을 따릅니다. 이 기본 성능 인텔리전스는 프리미엄 등급에서만 이용할 수 있는 기능이 아닙니다. 

Fortune 500대 기업의 60% 이상이 Databricks Data Intelligence Platform에서 분석 및 BI를 위해 DBSQL을 사용합니다. 

2025년 DBSQL은 성능, AI, 비용 관리, 오픈 SQL 기능을 개선하는 기능을 지속적으로 제공했습니다. 이 요약에서는 올해 데이터 팀에 가장 큰 영향을 미친 업데이트를 중점적으로 다룹니다.

자동으로 향상되는 성능

튜닝 없이 더 빠른 쿼리

2022년부터 DBSQL Serverless는 평균 5배의 성능 향상을 제공했습니다. 이전에는 10초가 걸리던 대시보드가 이제 인덱스 관리나 수동 튜닝 없이도 약 2초 만에 로드됩니다. 

2025년, 성능이 다시 한번 개선되었습니다.

• 최대 25% 더 빠른 쿼리 속도 기존 5배 향상에 더해
• 자동으로 제공되며 별도의 구성이 필요 없습니다.
• 인덱스나 parameter를 관리할 필요가 없습니다.

Databricks는 Data Intelligence Platform을 기반으로 구축되었기 때문에 이 인텔리전스는 프리미엄 등급이나 최고가 오퍼링에 묶여 있지 않고 모든 고객에게 default로 제공됩니다.

쿼리 프로필로 가시성 향상

팀이 성능 패턴을 이해하도록 업데이트된 Query Profile 보기 에 이제 다음이 포함됩니다.

• 읽기 및 쓰기 메트릭의 시각적 요약
• 쿼리에서 비용이 많이 드는 부분을 식별하기 위한 'Top operators' 패널
• 실행 그래프를 통한 더 명확한 탐색
• 특정 메트릭에 집중하기 위한 필터

이를 통해 팀은 추측에 의존하지 않고 느린 대시보드와 복잡한 모델을 더 빠르게 진단할 수 있습니다.

SQL 워크플로에 직접 내장된 AI

이제 AI는 일상적인 분석의 일부가 되었습니다. 2025년에 DBSQL은 네이티브 AI 함수 를 도입하여 애널리스트들이 SQL에서 직접 대규모 언어 모델을 사용할 수 있게 되었습니다. 몇 가지 새로운 기능은 다음과 같습니다.

• 요약, 분류, 추출 및 감정 분석을 위한ai_query
• ai_parse_document는 현재 베타 버전으로, PDF 및 기타 비정형 문서를 테이블로 변환합니다

이러한 함수는 Meta Llama 및 OpenAI GPT OSS와 같은 Databricks 호스팅 모델 또는 사용자가 제공하는 맞춤형 모델에서 실행됩니다. 확장성에 최적화되어 있으며 대체 접근 방식보다 최대 3배 더 빠릅니다.

이제 팀은 보고 query 내에서 직접 지원 티켓을 요약하고, 계약서에서 필드를 추출하거나, 고객 피드백을 분석할 수 있습니다. 애널리스트는 SQL을 계속 사용합니다. 워크플로들이 더 빨라집니다. 더 이상 도구를 전환하거나 Python으로 코딩할 필요가 없습니다.

Predictive Optimization을 통한 자동화된 성능 관리

데이터가 증가하고 워크로드가 변경됨에 따라 시간이 지나면서 성능이 저하되는 경우가 많습니다. Predictive Optimization은 이 문제를 직접 해결합니다.

2025년에 자동 통계 관리 가 정식 출시되었습니다. 이를 통해 `ANALYZE` 명령을 실행하거나 최적화 작업을 수동으로 관리할 필요가 없어졌습니다.

이제 Predictive Optimization이 자동으로 다음을 수행합니다. 

• 데이터 로드 후 최적화 통계 수집
• 데이터 건너뛰기 인덱스 선택
• 시간이 지남에 따라 실행 계획을 지속적으로 개선합니다.

이를 통해 운영 오버헤드를 줄이고 많은 웨어하우스가 겪는 점진적인 성능 저하를 방지할 수 있습니다.

마이그레이션을 간소화하는 오픈 SQL 기능

많은 고객에게 저장 프로시저, 트랜잭션, 독점적인 SQL 구문은 레거시 웨어하우스를 떠나는 데 가장 어려운 부분입니다. 하지만 많은 기업이 TCO 및 혁신을 이유로 Oracle, Teradata, SQL Server와 같은 레거시 시스템에서 마이그레이션하기를 원합니다. DBSQL은 마이그레이션 노력을 줄이고 이식성을 높이기 위해 개방형 ANSI 호환 SQL 기능에 대한 투자를 계속했습니다.

새로운 기능은 다음과 같습니다.

• 저장 프로시저 (공개 미리보기) - Unity Catalog 거버넌스 적용
• SQL Scripting (일반 제공) SQL의 루프 및 조건문 지원
• 계층적 쿼리를 위한 재귀적 CTE (정식 출시)
• 콜레이션 (공개 미리 보기) - 언어를 인식하는 정렬 및 비교
• 중간 테이블을 관리하거나 잔여 데이터를 추적해야 하는 부담을 덜어주는 임시 테이블 (1월 모든 고객 대상 공개 미리 보기)

이러한 기능은 오픈 SQL 표준을 따르며 Apache Spark에서 사용할 수 있습니다. 이를 통해 마이그레이션이 더 쉬워지고 독점적인 구성 요소에 대한 의존성을 줄일 수 있습니다.

DBSQL은 지오메트리 및 지리 유형이 포함된 Spatial SQL 도 추가했습니다. ST_Distance 및 ST_Contains와 같은 80개 이상의 함수는 SQL에서 직접 대규모 지리 공간 분석을 지원합니다.

대규모 워크로드의 비용 관리

SQL 도입이 증가함에 따라 팀은 warehouse, 대시보드, 도구 전반에서 증가하는 비용을 설명하는 데 어려움을 겪습니다. DBSQL은 팀이 warehouse, 대시보드 및 사용자 수준에서 비용을 모니터링하고 제어하는 데 도움이 되는 새로운 도구를 도입했습니다.

주요 업데이트 내용은 다음과 같습니다:

• Account Usage Dashboard - 증가하는 비용 식별
• 태그 및 예산 으로 팀별 지출 추적
• 시스템 테이블 상세한 query 수준 분석
• 세분화된 비용 모니터링 대시보드 와 구체화된 뷰 (비공개 미리보기): 알림 및 비용 driver 추적

이러한 기능을 사용하면 어떤 query, 대시보드 또는 도구가 소비를 유도하는지 더 쉽게 파악할 수 있습니다.

Warehouse 모니터링 및 액세스 제어

더 많은 팀이 DBSQL에 의존하게 되면서 관리자는 사용자에게 과도한 권한을 부여하지 않고 동시성과 warehouse 상태를 모니터링해야 합니다. DBSQL은 또한 다음과 같은 새로운 거버넌스 및 관찰 가능성 기능을 추가했습니다.

• 완료된 쿼리 수 (GA)는 특정 시간 창 내에 완료되는 쿼리 수를 표시하여 동시성 패턴을 식별하는 데 도움을 줍니다
• 관리자가 실행 권한 없이 모니터링에 대한 읽기 전용 액세스를 부여할 수 있는 CAN VIEW 권한

이러한 업데이트를 통해 대규모로 안전하고 신뢰할 수 있는 분석을 더 쉽게 실행할 수 있습니다.

결과

DBSQL은 2025년에도 계속해서 개선되었습니다. 이제 더 빠른 서버리스 성능, 기본 내장 AI, 더 쉬운 마이그레이션을 위한 개방형 SQL 표준, 비용 및 워크로드 동작에 대한 더 명확한 가시성을 제공합니다. DBSQL은 Databricks lakehouse 아키텍처에서 실행되므로 분석, 데이터 엔지니어링, AI 모두 단일 거버넌스 기반에서 작동합니다. 성능이 자동으로 향상되어 팀이 시스템을 튜닝하거나 핸드오프를 관리하는 데 드는 시간이 줄어듭니다.

DBSQL은 AI 기반 분석의 현실에 맞게 설계된 개방적이고 지능적이며 비용 효율적인 warehouse로서의 입지를 유지하고 있으며, 2025년에는 다시 한번 더 발전했습니다.

다음은 무엇인가요?

Databricks SQL은 고객이 기존 시스템에서 겪는 복잡성을 제거하는 AI 네이티브, 운영 준비가 완료된 warehouse로서 시장을 계속 선도하고 있습니다. 곧 출시될 기능은 다음과 같습니다.

• 다중 문 트랜잭션은 여러 테이블에 걸쳐 팀에 원자 업데이트를 제공하고 많은 고객이 직접 구축한 취약한 사용자 정의 롤백 로직을 제거합니다. 다중 문 트랜잭션은 Databricks로 마이그레이션하는 데에도 유용합니다.
• Alerts V2, 복잡한 알림 시스템을 수천 개의 예약된 검사와 엔터프라이즈급 운영 패턴을 위해 설계된 더 간단하고 확장 가능한 모델로 대체하여 일상적인 운영의 신뢰성을 확장합니다.
• 애널리스트들이 워크플로를 벗어나지 않고도 LLM을 적용하고 문서를 처리할 수 있는 더 많은 AI 기능으로 warehouse 로직과 인텔리전스 간의 간극을 좁힐 수 있습니다.

이러한 기능들은 함께 핵심 트랜잭션 로직, 운영 모니터링, AI 지원 분석을 한 곳에서 처리하는 통합된 지능형 warehouse로 DBSQL을 발전시킵니다.

혁신에 대한 자세한 내용

Databricks SQL의 풍성한 혁신을 즐겨보세요. 언제든지 이 지난 3개월간의 새로운 기능 게시물에서 확인하실 수 있습니다. 아래는 지난 분기 동안 블로그에 게시한 출시 내용 전체 목록입니다.

• 2025년 12월: Databricks Lakehouse 데이터 모델링에 대한 오해와 모범 사례
• 2025년 9월: Spatial SQL Databricks 소개: 고성능 지리 공간 분석을 위한 80개 이상의 함수
• 2025년 8월: Databricks의 SQL 저장 프로시저 소개
• 2025년 8월: 새로운 SQL 편집기 소개 (GA 추가 사항)
• 2025년 7월: AI/BI 새로운 소식, 2025년 7월 요약
• 2025년 7월: Databricks에 재귀적 공통 테이블 표현식 도입
• 2025년 6월: Lakebride 소개: Databricks SQL로의 무료 오픈 데이터 마이그레이션
• 6월 2025: 3년 만에 고객 워크로드를 5배까지 가속화한 Databricks SQL
• 2025년 5월: Oracle에서 Databricks로의 마이그레이션: 원활한 전환을 위한 팁
• 2025년 5월: SQL Server에서 Databricks로 마이그레이션하기: 원활한 전환을 위한 팁
• 2025년 5월: Teradata에서 Databricks로의 마이그레이션: 원활한 전환을 위한 팁
• 2025년 5월: Netezza에서 Databricks로 마이그레이션하기: 원활한 전환을 위한 팁
• 2025년 5월: 검증된 전략과 도구로 데이터 웨어하우스 마이그레이션을 간소화하는 Databricks의 방법
• 2025년 5월: Warehouse에서 Lakehouse로: Databricks로의 마이그레이션 접근 방식
• 2025년 5월: Databricks의 SQL 스크립팅 지원 소개, 1부
• 2025년 5월: Databricks의 SQL 스크립팅 소개, 파트 2
• 2025년 5월: Databricks로 마이그레이션하는 DBA를 위한 상위 10가지 팁
• 2025년 5월: Databricks query 프로필 업데이트 발표
• 2025년 5월: SCD 테이블을 위한 ETL 구현
• 2025년 5월: 차원 테이블을 지원하는 ETL 패턴 구현하기
• 2025년 3월: Power BI 자동 게시 기능 발표
• 2025년 3월: Databricks SQL에서 차원 데이터 모델 구현하기, 1부
• 2025년 4월: AI/BI 대시보드의 새로운 기능 - 2025년 4월 요약
• 2025년 2월: Databricks SQL의 새로운 기능

start하기

데이터 웨어하우스를 혁신할 준비가 되셨나요? 최고의 데이터 웨어하우스는 lakehouse입니다! Databricks SQL에 대해 자세히 알아보려면 제품 둘러보기를 확인하세요. 또한 databricks.com/sql 을 방문하여 Databricks SQL을 살펴보고 전 세계 조직이 데이터 플랫폼을 어떻게 혁신하고 있는지 확인해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)