Zillow의 미션은 더 많은 사람들에게 집을 현실로 만들어 주는 것이며, 매월 2억 5천만 명 이상의 사용자에게 구매, 판매, 임대, 금융 전반에 걸친 원활한 경험을 연결합니다. 하지만 수년간의 강력한 성장, 인수합병, 엄격한 규정 준수 요구사항으로 인해 데이터가 여러 도구에 고립되어 내부 협업에 마찰을 빚기도 했습니다. Unity Catalog를 탑재한 Databricks 플랫폼으로 표준화함으로써, Zillow는 다양한 도구를 단일 거버넌스 에코시스템으로 대체하고 Genie를 통해 셀프 서비스 인사이트를 확보하며 에이전트형 AI를 위한 기반을 마련했습니다. Lakebase는 이 기반을 더욱 확장하여 AI 팀에 대화형 경험을 위한 지속성 메모리 레이어를 제공했습니다. 이 플랫폼은 현재 1,500명 이상의 월간 활성 내부 사용자에게 서비스를 제공하는 동시에, 통합 후 인프라 및 운영 비용을 65% 절감했습니다.
도전 과제: 고립된 데이터와 분리된 시스템으로 인한 성장 지체
원활한 주택 쇼핑 경험을 제공하겠다는 Zillow의 비전은 제품, 팀, 비즈니스 라인 간에 데이터가 원활하게 이동하는 데 달려 있었습니다. 하지만 실제로는 고립된 시스템, 규정 준수 요구사항, 그리고 때로는 서로 충돌하는 도구들로 인해 이를 실현하기가 점점 더 어려워졌습니다.
연결된 고객 여정이 초래한 데이터 복잡성
주택 구매자는 단일화된 여정을 기대합니다. 이들은 처음부터 다시 시작할 필요 없이 매물을 둘러보고, 부동산 중개인과의 투어를 예약하고, 금융 지원을 받기를 원합니다. Zillow의 제품 포트폴리오와 인수합병은 이를 가능하게 만들었지만, 동시에 데이터 환경을 복잡하게 만들었습니다. 임대, 주택 쇼핑, 투어, 모기지, 인수된 기업들은 각각 자체 스택, 규정 준수 요구사항, 액세스 제어를 가지고 있었습니다. 회사 전체적으로 팀들은 여러 도구를 독립적으로 운영하고 있었습니다.
일상적인 업무를 지연시키는 고립된 시스템
새로 인수한 기업의 단일 데이터 통합에만 수개월이 소요될 수 있었습니다. 한편, 운영 데이터베이스와 분석 시스템 간의 전통적인 분리로 인해 일상적인 질문조차 팀과 도구 간의 느린 인수인계 과정으로 변질되었습니다. 또한 각 사일로가 자체 액세스 제어를 독립적으로 강제했기 때문에, 교차 도메인 데이터에 대한 간단한 요청조차 팀 간의 수동 조율이 필요했으며, 이 과정은 수주일이 걸리기도 했습니다.
AI 이니셔티브의 등장으로 드러난 기존 아키텍처의 한계
이러한 마찰은 Zillow가 구매자와 임차인이 집을 탐색하고, 후속 질문을 하고, 투어 예약이나 중개인 연결과 같은 조치를 취할 수 있도록 돕는 대화형 경험인 AI Mode를 구축하기 시작하면서 걸림돌이 되었습니다. AI Mode에는 대화를 위한 저지연 지속성 메모리와 동일한 거버넌스가 적용된 데이터를 사용하여 이러한 상호작용을 평가하고 개선할 수 있는 기능이 필요했습니다.
별도의 데이터베이스와 새로운 파이프라인을 연결하는 것은 기술적으로 가능했지만, 상당한 복잡성을 초래했을 것입니다. "통합 플랫폼으로 이전하지 않았다면 우리는 완전히 다른 상황에 처했을 것"이라며, Zillow의 데이터 플랫폼 부문 엔지니어링 디렉터인 Jaycen Grant는 "에이전트형 AI로의 전환이 본격화되었을 때 단일 시스템이 아닌 5~6개의 개별 시스템에 연결해야 했을 것"이라고 말했습니다.
해결책: 거버넌스를 핵심으로 하는 통합 플랫폼, Lakebase로 에이전트형 AI 확장
Zillow는 Databricks로 표준화하여 팀이 액세스를 제어하고 시스템을 연결하며 더 빠르게 움직일 수 있는 더 간단한 방법을 제공함으로써 이러한 과제를 해결했습니다.
최종 점검 단계가 아닌 기반이 된 거버넌스
Zillow는 거버넌스를 최종 점검 단계가 아닌 시작점으로 삼았으며, 개별 비즈니스 라인 내에 데이터를 가두어 두었던 액세스 제어를 Unity Catalog로 대체했습니다. 데이터 플랫폼 팀은 일관된 태깅, 역할 기반 및 속성 기반 액세스 제어, 구조화된 랩(lab), 스테이지(stage), 프로덕션(production) 작업 공간을 구현하여 팀이 신속하게 움직이는 동시에 SOX 변경 관리 요구사항과 같은 규정 준수 및 보안 태세를 전반적으로 강화할 수 있도록 지원했습니다.
한때 전용 시스템에 격리되어 있던 모기지 데이터는 이제 Unity Catalog를 통해 적용되는 행 및 열 수준 마스킹을 통해 작업 공간 간에 안전하게 사용할 수 있습니다. "강력한 보안과 통제력을 희생하지 않으면서 사일로를 제거하여 데이터 접근성과 유연성을 향상시켰다"며 Jaycen은 "이제 사람들은 더 이상 데이터를 이동할 필요가 없다"고 언급했습니다.
고립된 도구를 대체하고 셀프 서비스의 문을 연 단일 플랫폼
통합 플랫폼으로의 단일화는 회사 전반의 팀에 고립된 도구 체인 대신 공유 환경을 제공했습니다. 이제 데이터 엔지니어, 제품 엔지니어, 프로젝트 매니저, 분석가, 임원 모두가 서로 다른 팀에서 관리하는 별도의 시스템에 의존하는 대신 동일한 플랫폼 내에서 작업합니다. 과거에는 교차 도메인 데이터 요청을 처리하기 위해 플랫폼 팀이 시스템 간의 가교를 구축해야 했지만, 이제 팀들은 플랫폼 팀의 개입 없이도 데이터 세트를 검색하고 거버넌스 프로세스를 통해 액세스를 요청하여 작업을 시작할 수 있습니다. 티켓 기반 워크플로에서 셀프 서비스로의 이러한 전환은 데이터 플랫폼 팀이 시간을 보내는 방식을 근본적으로 바꾸어 놓았습니다. 인프라 유지 관리 및 요청 라우팅에 집중하기보다 셀프 서비스를 신뢰할 수 있게 만드는 도구와 가드레일을 구축하는 데 더 많은 노력을 기울이고 있습니다.
Genie를 통해 거버넌스가 적용된 데이터를 더 빠르게 활성화하도록 지원
Zillow는 Genie를 통해 거버넌스가 적용된 데이터의 가치를 더욱 확장했습니다. Zillow의 엔지니어링 SVP가 내부 AI 도구 사용 현황을 파악하고자 했을 때, Jaycen은 Genie Code를 사용하여 관련 테이블을 식별하고, 쿼리를 생성하고, 노트북을 빌드하고, 대시보드와 Genie 스페이스를 1시간 이내에 게시했습니다.
“과거에는 그와 같은 임원용 대시보드를 만드는 데 수일 또는 수주일이 걸렸을 것입니다. 적절한 데이터를 찾아내고, 취합하고, 정제한 후에 공유해야 했기 때문입니다. 하지만 Genie 덕분에 동일한 Slack 스레드에서 1시간 이내에 답변할 수 있었습니다.”라고 Jaycen은 말했습니다.
AI를 위해 운영 데이터와 분석 데이터를 결합한 Lakebase
기본적인 거버넌스가 마련되면서 Lakebase는 Zillow의 에이전트형 AI 스택의 중요한 구성 요소가 되었습니다. Lakebase는 Databricks에 통합되고 에이전트를 위해 구축된 완전 관리형 PostgreSQL 데이터베이스입니다. Zillow의 경우, 이전 이니셔티브를 지연시켰던 운영 시스템과 분석 시스템 간의 격차를 해소하는 데 도움이 되었습니다. Jaycen은 다음과 같이 설명합니다. “우리는 Lakebase를 단순한 데이터베이스 이상으로 보고 있습니다. 이는 트랜잭션 시스템과 AI 기반 애플리케이션을 결합하는 새로운 아키텍처 레이어입니다. Postgres 기반이기 때문에 팀에서 빠르게 도입할 수 있지만, 진짜 가치는 기존 데이터베이스를 넘어서는 가능성을 열어준다는 점에 있습니다.”
AI 팀은 Lakebase를 AI Mode의 에이전트 메모리 레이어로 배포하여 대화 기록 및 컨텍스트를 위한 고동시성, 저지연 저장소를 제공했습니다. Lakebase는 레이크하우스와 통합되어 있기 때문에 에이전트가 관련 기록을 검색한 다음, 데이터를 별도의 시스템으로 이동하지 않고도 동일한 데이터에 대해 평가, 추적 및 분석을 실행할 수 있습니다.
Lakebase는 Unity Catalog의 규정 준수 프레임워크를 상속하므로, 팀은 추가적인 보안 검토에 수개월을 허비하지 않고도 적절한 거버넌스 제어 하에 금융 및 신용 정보를 포함한 규제 대상 데이터 세트에 액세스할 수 있었습니다. “Lakebase가 없었다면 해당 데이터 세트를 사용하기 전에 보안 및 규정 준수 검토를 거치느라 수개월을 보냈을 것입니다. 하지만 Lakebase 덕분에 즉시 사용할 수 있었습니다.”라고 Jaycen은 설명했습니다.
결과: 대규모 데이터를 위한 거버넌스 기반 마련
단일 거버넌스 플랫폼으로 통합함으로써 데이터 엔지니어링, 애플리케이션 개발, 프로젝트 관리, 분석 및 경영진 팀 전반으로 액세스를 확장하는 동시에, 데이터 플랫폼 팀이 더 가치 높은 업무에 집중할 수 있도록 지원했습니다. 운영 오버헤드는 65% 이상 감소했으며, 플랫폼의 월간 활성 사용자는 1,500명 이상으로 성장했습니다. 사용자가 450% 성장했음에도 불구하고, 티켓 기반 워크플로가 셀프 서비스로 대체되면서 활성 사용자당 플랫폼 지원 티켓 수는 44% 감소했습니다. Genie는 이러한 셀프 서비스로의 전환을 더욱 가속화하여 임원용 대 시보드 구축과 같은 작업을 며칠 또는 몇 주에서 1시간 미만으로 단축했습니다.
Lakebase는 Zillow에 프로덕션 수준의 규정 준수형 에이전틱 AI로 나아가는 실질적인 경로를 제공했습니다. 이제 단일 Postgres 기반 메모리 저장소가 실시간 고객 경험과 오프라인 평가를 모두 지원하는 동시에, 이전에는 수개월의 검토가 필요했을 민감한 데이터 세트에 AI Mode가 액세스할 수 있도록 지원합니다. 향후 에이전틱 애플리케이션은 처음부터 새로 시작할 필요 없이 동일한 거버넌스 패턴을 따를 수 있습니다. 이러한 기반은 이미 2026년 3월에 공개 출시된 Zillow AI Mode에서 확인할 수 있으며, 이는 사용자가 주택 구매 여정을 더 원활하게 진행할 수 있도록 안내하는 대화형 경험으로 설계되었습니다.
주요 결과는 다음과 같습니다.
운영 오버헤드 65% 이상 감소
실시간 경험과 오프라인 평가를 모두 지원하는 단일 메모리 저장소
거버넌스 프레임워크를 통해 민감한 데이터 세트에 안전하게 액세스 가능
활성 사용자당 플랫폼 사용자 지원 티켓 수 44% 감소
Zillow는 Genie를 재무, HR, 영업 분야로 확장하고, AI Mode를 넘어 추가적인 에이전틱 경험에 Lakebase를 적용할 계획입니다. 인프라 유지 관리에 소요되는 시간이 줄어들면서, 데이터 플랫폼 팀은 규정 준수, 비용 거버넌스, 데이터 품질을 사용자가 이미 사용하는 도구에 직접 내장하는 데 집중할 수 있게 되었습니다. Jaycen은 “Databricks가 기본 인프라를 관리해 주므로 우리 팀은 가장 중요한 업무에 집중할 수 있습니다”라고 말했습니다. “마치 더 빠르게 움직일 수 있도록 돕는 추가 개발 팀이 있는 것 같으며, 새로운 기능 덕분에 확장할 수 있는 기회가 계속해서 열리고 있습니다.”