주요 컨텐츠로 이동
플랫폼

데이터를 이전하지 않고 투자 인사이트 발굴하기: Lakehouse Federation

보안이나 규정 준수를 타협하지 않고 민감한 온프레미스 포트폴리오 데이터를 타사 금융 인텔리전스와 결합하는 방법

작성자: Meghana Padmanabhan, Isaac Gritz , Max Nienu

  • 복사하지 말고 연합하세요: Databricks Lakehouse Federation은 표준 SQL을 사용하여 Databricks에서 직접 온프레미스 데이터베이스를 쿼리합니다. 데이터는 절대 이동하지 않습니다.
  • 구축하지 말고 구독하세요: Databricks Marketplace의 FactSet 금융 데이터가 기본 카탈로그로 표시됩니다. 수집 파이프라인이 필요 없습니다.
  • 하나의 쿼리로 전체를 파악하세요: 두 카탈로그를 아우르는 단일 SQL 조인으로 대시보드와 Genie 자연어 쿼리를 구동하며, 지속되는 중간 객체가 전혀 없어 풍부한 포트폴리오 및 투자 정보를 제공합니다.

Lakehouse Federation: 어디서나 쿼리하고, 데이터는 이동하지 마세요

오늘날의 기업 환경에서 데이터가 한곳에만 머무는 경우는 드뭅니다. 금융 기관, 자산 관리자, 개인 투자자는 공통된 과제에 직면해 있습니다. 포트폴리오 보유 자산, 거래 포지션, 고객 정보를 포함한 가장 민감한 데이터는 종종 기업 방화벽 뒤의 온프레미스 데이터베이스, 클라우드, 또는 양쪽 환경 모두에 분산되어 있습니다. 분석에 필요한 시장 데이터, 애널리스트 추정치, 재무 기본 데이터와 같은 서드파티 데이터가 점점 더 클라우드에 존재한다는 사실은 이러한 과제를 더욱 가중시킵니다.

기존의 방식은 민감한 데이터를 클라우드로 복사하거나, 유지 관리가 까다로운 ETL 파이프라인을 구축하거나, 혹은 두 환경의 통합을 아예 포기하는 불편한 선택을 강요합니다.

온프레미스 소스를 페더레이션하고, 클라우드의 서드파티 데이터를 구독한 다음, 파이프라인이나 구체화된 뷰(materialized view), 중간에 지속되는 객체 없이 이 두 카탈로그에서 대시보드와 자연어 채팅으로 바로 연결할 수 있다면 어떨까요?

이것이 바로 가장 단순한 형태의 Databricks Lakehouse Federation입니다.

해결책: 어디서나 쿼리하고, 데이터는 이동하지 않으며, 아무것도 구축할 필요가 없습니다

Databricks Lakehouse Federation을 사용하면 SQL Server, PostgreSQL, MySQL, Snowflake 등 외부 데이터베이스에 대한 페더레이티드 연결을 생성하고, 표준 SQL을 사용하여 Databricks에서 직접 쿼리할 수 있습니다. 데이터는 원래 있던 자리에 그대로 유지됩니다. 복사할 필요도, 동기화할 필요도, 규정 준수와 관련된 골치 아픈 문제도 없습니다.

여기에 마켓플레이스 데이터 공유 기능을 더하면 Unity Catalog 내에 페더레이티드 카탈로그와 공유 카탈로그라는 두 개의 카탈로그가 나란히 위치하게 되며, 평범한 SQL 쿼리 하나로 마치 두 개의 일반적인 테이블인 것처럼 이들을 조인할 수 있습니다.

외부 데이터베이스

실제 사례: 고객 포트폴리오 분석

구체적인 예를 통해 살펴보겠습니다. 여러분이 다음과 같은 자산 관리 회사라고 상상해 보세요.

  • 퍼스트파티 데이터: 포트폴리오 보유 자산(보유 중인 주식 및 주 수)으로, 온프레미스 SQL Server 데이터베이스에 저장되어 있습니다.
  • 서드파티 데이터: 수익 기본 데이터 및 애널리스트 추정치를 포함하여 Databricks Marketplace에서 제공하는 FactSet 재무 데이터입니다.

목표: 보유 자산 데이터를 클라우드에 노출하지 않으면서 예상 수익을 보여주고, 고위험 포지션을 식별하며, 조치 사항을 추천하는 투자 대시보드를 구축하는 것입니다.

1단계: 포트폴리오 데이터 및 FactSet 데이터에 대한 액세스 설정

1단계 a: 페더레이티드 연결 설정

Databricks UI를 통해 페더레이션을 간단하게 설정할 수 있습니다. Catalog → External Data → Connections로 이동하여 온프레미스 데이터베이스에 대한 새 연결을 만듭니다.

FactSet 데이터

연결은 자격 증명을 안전하게 저장합니다.

1단계 b: 외래 카탈로그(Foreign Catalog) 생성

연결이 설정되면 온프레미스 데이터베이스에 매핑되는 외래 카탈로그를 만듭니다. 이를 통해 외부 테이블이 네이티브 Unity Catalog 객체로 표시됩니다.

외래 카탈로그

이 단계가 끝나면 온프레미스 데이터가 카탈로그로 표시되지만, 데이터는 SQL Server를 절대 떠나지 않습니다. 모든 쿼리는 실시간으로 소스를 대상으로 실행됩니다.

SQL Server

1단계 c: 마켓플레이스에서 FactSet 데이터 구독

Databricks Marketplace는 FactSet의 포괄적인 금융 데이터에 즉시 액세스할 수 있도록 지원합니다. FactSet을 검색하고 사용 가능한 데이터셋을 검토한 후 액세스를 요청하세요. 공급자가 요청을 승인하면 관련 데이터셋을 구독할 수 있습니다.

FactSet 데이터 마켓플레이스

구독 후에는 데이터가 워크스페이스에서 공유 카탈로그로 제공되며, 다음과 같이 스키마별로 구성됩니다.

  • fe_v4 - FactSet Estimates: 애널리스트 컨센서스 EPS 전망, 수익 예측 및 추정치 건수
  • ff_v3 - FactSet Fundamentals: 매출, 순이익, 이익 마진, 부채 수준을 포함한 연간 재무 제표
  • sym_v1 - Symbology: 포트폴리오 심볼을 FactSet의 내부 식별자에 연결하는 티커 대 엔티티 매핑

카탈로그 워크스페이스

이러한 테이블은 Unity Catalog의 페더레이티드 포트폴리오 카탈로그와 함께 표시됩니다. 데이터 수집이나 복사 없이도 탐색하고, 데이터를 미리 보고, 스키마를 확인할 수 있습니다.

2단계: 결합된 데이터 탐색

2단계 a: SQL로 결합된 데이터 탐색

Unity Catalog를 통해 두 데이터 모두에 액세스할 수 있으므로, 자산 관리자는 SQL 편집기를 열고 한쪽에는 페더레이티드 보유 자산, 다른쪽에는 FactSet 마켓플레이스 테이블이 모두 포함된 하나의 쿼리를 작성할 수 있습니다. SQL 작성자의 눈에는 이들이 동일 웨어하우스 내의 두 일반 테이블처럼 보입니다.

Unity Catalog

작성해야 할 파이프라인도, 예약해야 할 구체화된 뷰도, 유지 관리해야 할 골드 레이어(gold layer)도 없습니다. 쿼리가 실행될 때마다 온프레미스 소스를 실시간으로 다시 페더레이션하고 마켓플레이스 공유와 다시 조인합니다.

3단계: 데이터 사용

3단계 a: 투자 대시보드 생성

대시보드는 각 위젯의 데이터셋에 직접 인라인으로 포함된 동일한 결합 쿼리를 기반으로 작동합니다. 뷰가 생성되지 않으며 테이블도 지속되지 않습니다. 모든 위젯은 새로 고침 시마다 소스를 다시 페더레이션합니다.

다음과 같은 질문에 즉시 답변을 제공합니다.

  • 포트폴리오 상태: 총 보유 자산, 현재 연간 수익, 예상 연간 수익, 고위험 건수
  • 위험 분포: 전체 자산 중 고위험 / 중위험 / 저위험의 비중은 어떻게 되는가?
  • 투자 추천: 추가 매수해야 할 주식과 매도해야 할 주식은 각각 몇 개인가?
  • 상위 성과 종목: 가장 많은 수익을 창출하고 있는 보유 자산은 무엇이며, 현재 수익은 예상 수익과 어떻게 비교되는가?
  • 전체 보유 자산 테이블: 주식별 수익, 성장률(%), 마진율(%), D/E, 위험도 및 조치 권장 사항.

투자 대시보드

3단계 b: Genie를 사용한 자연어 쿼리 활성화

마지막 단계는 동일한 페더레이티드 보유 자산 및 FactSet 마켓플레이스 테이블에 직접 연결된 Genie 에이전트입니다. Genie는 지침에서 조인 체인과 데이터 품질 필터를 수신합니다. 자연어를 대시보드가 실행하는 것과 동일한 쿼리로 변환합니다.

그 결과 민주화된 데이터 액세스가 가능해집니다. 포트폴리오 매니저, 재무 어드바이저, 개인 투자자 모두 SQL을 작성하지 않고도, 그리고 누군가 데이터를 구체화할 필요 없이 답변을 얻을 수 있습니다.

Genie 에이전트

전체 그림

Databricks Lakehouse Federation은 하이브리드 데이터 분석의 경제학을 근본적으로 바꿉니다. 데이터를 클라우드로 이동하는 비용이 많이 들고 위험하며 시간이 오래 걸리는 과정이나, 그 위에 파이프라인을 구축하고 유지 관리하는 번거로운 과정 대신, 데이터가 있는 곳으로 연산(compute)을 가져와 단 하나의 쿼리로 모든 다운스트림 작업을 처리할 수 있습니다.

이 예시에서는 다음과 같은 기능을 갖춘 완전한 투자 분석 솔루션을 구축했습니다.

  • 온프레미스 보유 자산 데이터를 실시간으로 쿼리
  • 마켓플레이스의 FactSet 금융 인텔리전스로 데이터 보강
  • 지속되는 중간 객체 없이 단일 SQL 쿼리로 두 데이터 결합
  • 대화형 대시보드에서 모든 항목 시각화
  • Genie를 통한 자연어 쿼리 지원

포트폴리오 데이터의 단 한 행조차 클라우드로 복사하지 않고 말입니다.

데이터 분석의 미래는 모든 데이터를 한곳으로 모으는 것도 아니고, 데이터를 재구성하기 위해 복잡한 파이프라인을 구축하는 것도 아닙니다. 데이터가 있는 곳 어디에서나 쿼리하는 것입니다. 이 블로그에서는 투자 포트폴리오를 예로 들었지만, 민감한 자사 데이터를 연합하고, 클라우드 기반의 타사 데이터를 구독하며, 데이터를 이동하거나 복사하지 않고 분석하는 이러한 패턴은 광범위하게 적용됩니다. 헬스케어 기업은 HIPAA 보호를 받는 환자 기록을 약물 상호작용 데이터베이스와 결합하여 치료법을 추천받을 수 있습니다. 제조 기업은 온프레미스 IoT 텔레메트리를 클라우드 기반 공급망 데이터와 연합할 수 있습니다. 소매업체는 매장 내 POS 시스템을 타사 인구통계 데이터셋과 결합할 수 있습니다.공통된 핵심은 민감한 자사 데이터는 안전하게 보호하면서 타사 데이터와 함께 풍부한 분석을 활용할 수 있다는 점입니다.

시작할 준비가 되셨나요? 다음 링크를 살펴보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

관련 태그:

솔루션, 튜토리얼, 금융 서비스, 인사이트 , 고객

최신 게시물을 이메일로 받아보세요

블로그를 구독하고 최신 게시물을 이메일로 받아보세요.