보안이나 규정 준수를 타협하지 않고 민감한 온프레미스 포트폴리오 데이터를 타사 금융 인텔리전스와 결합하는 방법
작성자: Meghana Padmanabhan, Isaac Gritz , Max Nienu
오늘날의 기업 환경에서 데이터가 한곳에만 머무는 경우는 드뭅니다. 금융 기관, 자산 관리자, 개인 투자자는 공통된 과제에 직면해 있습니다. 포트폴리오 보유 자산, 거래 포지션, 고객 정보를 포함한 가장 민감한 데이터는 종종 기업 방화벽 뒤의 온프레미스 데이터베이스, 클라우드, 또는 양쪽 환경 모두에 분산되어 있습니다. 분석에 필요한 시장 데이터, 애널리스트 추정치, 재무 기본 데이터와 같은 서드파티 데이터가 점점 더 클라우드에 존재한다는 사실은 이러한 과제를 더욱 가중시킵니다.
기존의 방식은 민감한 데이터를 클라우드로 복사하거나, 유지 관리가 까다로운 ETL 파이프라인을 구축하거나, 혹은 두 환경의 통합을 아예 포기하는 불편한 선택을 강요합니다.
온프레미스 소스를 페더레이션하고, 클라우드의 서드파티 데이터를 구독한 다음, 파이프라인이나 구체화된 뷰(materialized view), 중간에 지속되는 객체 없이 이 두 카탈로그에서 대시보드와 자연어 채팅으로 바로 연결할 수 있다면 어떨까요?
이것이 바로 가장 단순한 형태의 Databricks Lakehouse Federation입니다.
Databricks Lakehouse Federation을 사용하면 SQL Server, PostgreSQL, MySQL, Snowflake 등 외부 데이터베이스에 대한 페더레이티드 연결을 생성하고, 표준 SQL을 사용하여 Databricks에서 직접 쿼리할 수 있습니다. 데이터는 원래 있던 자리에 그대로 유지됩니다. 복사할 필요도, 동기화할 필요도, 규정 준수와 관련된 골치 아픈 문제도 없습니다.
여기에 마켓플레이스 데이터 공유 기능을 더하면 Unity Catalog 내에 페더레이티드 카탈로그와 공유 카탈로그라는 두 개의 카탈로그가 나란히 위치하게 되며, 평범한 SQL 쿼리 하나로 마치 두 개의 일반적인 테이블인 것처럼 이들을 조인할 수 있습니다.

구체적인 예를 통해 살펴보겠습니다. 여러분이 다음과 같은 자산 관리 회사라고 상상해 보세요.
목표: 보유 자산 데이터를 클라우드에 노출하지 않으면서 예상 수익을 보여주고, 고위험 포지션을 식별하며, 조치 사항을 추천하는 투자 대시보드를 구축하는 것입니다.
Databricks UI를 통해 페더레이션을 간단하게 설정할 수 있습니다. Catalog → External Data → Connections로 이동하여 온프레미스 데이터베이스에 대한 새 연결을 만듭니다.

연결은 자격 증명을 안전하게 저장합니다.
연결이 설정되면 온프레미스 데이터베이스에 매핑되는 외래 카탈로그를 만듭니다. 이를 통해 외부 테이블이 네이티브 Unity Catalog 객체로 표시됩니다.

이 단계가 끝나면 온프레미스 데이터가 카탈로그로 표시되지만, 데이터는 SQL Server를 절대 떠나지 않습니다. 모든 쿼리는 실시간으로 소스를 대상으로 실행됩니다.

Databricks Marketplace는 FactSet의 포괄적인 금융 데이터에 즉시 액세스할 수 있도록 지원합니다. FactSet을 검색하고 사용 가능한 데이터셋을 검토한 후 액세스를 요청하세요. 공급자가 요청을 승인하면 관련 데이터셋을 구독할 수 있습니다.

구독 후에는 데이터가 워크스페이스에서 공유 카탈로그로 제공되며, 다음과 같이 스키마별로 구성됩니다.

이러한 테이블은 Unity Catalog의 페더레이티드 포트폴리오 카탈로그와 함께 표시됩니다. 데이터 수집이나 복사 없이도 탐색하고, 데이터를 미리 보고, 스키마를 확인할 수 있습니다.
Unity Catalog를 통해 두 데이터 모두에 액세스할 수 있으므로, 자산 관리자는 SQL 편집기를 열고 한쪽에는 페더레이티드 보유 자산, 다른 쪽에는 FactSet 마켓플레이스 테이블이 모두 포함된 하나의 쿼리를 작성할 수 있습니다. SQL 작성자의 눈에는 이들이 동일 웨어하우스 내의 두 일반 테이블처럼 보입니다.

작성해야 할 파이프라인도, 예약해야 할 구체화된 뷰도, 유지 관리해야 할 골드 레이어(gold layer)도 없습니다. 쿼리가 실행될 때마다 온프레미스 소스를 실시간으로 다시 페더레이션하고 마켓플레이스 공유와 다시 조인합니다.
대시보드는 각 위젯의 데이터셋에 직접 인라인으로 포함된 동일한 결합 쿼리를 기반으로 작동합니다. 뷰가 생성되지 않으며 테이블도 지속되지 않습니다. 모든 위젯은 새로 고침 시마다 소스를 다시 페더레이션합니다.
다음과 같은 질문에 즉시 답변을 제공합니다.

마지막 단계는 동일한 페더레이티드 보유 자산 및 FactSet 마켓플레이스 테이블에 직접 연결된 Genie 에이전트입니다. Genie는 지침에서 조인 체인과 데이터 품질 필터를 수신합니다. 자연어를 대시보드가 실행하는 것과 동일한 쿼리로 변환합니다.
그 결과 민주화된 데이터 액세스가 가능해집니다. 포트폴리오 매니저, 재무 어드바이저, 개인 투자자 모두 SQL을 작성하지 않고도, 그리고 누군가 데이터를 구체화할 필요 없이 답변을 얻을 수 있습니다.

Databricks Lakehouse Federation은 하이브리드 데이터 분석의 경제학을 근본적으로 바꿉니다. 데이터를 클라우드로 이동하는 비용이 많이 들고 위험하며 시간이 오래 걸리는 과정이나, 그 위에 파이프라인을 구축하고 유지 관리하는 번거로운 과정 대신, 데이터가 있는 곳으로 연산(compute)을 가져와 단 하나의 쿼리로 모든 다운스트림 작업을 처리할 수 있습니다.
이 예시에서는 다음과 같은 기능을 갖춘 완전한 투자 분석 솔루션을 구축했습니다.