Fizz, Databricks SQL로 이커머스 분석 가속화

Databricks SQL은 우리가 하고 싶은 거의 모든 것에 대한 가능성을 열어줍니다. 완전한 데이터 인텔리전스를 갖춘 올인원 플랫폼입니다. 대부분 자동으로 작동하므로 걱정할 필요 없이 구축만 하면 됩니다.— Tamas Bacskai, 데이터 총괄, Fizz.hu

Fizz.hu는 OTP Group이 지원하는 빠르게 성장하는 이커머스 마켓플레이스입니다. OTP의 “비욘드 뱅킹” 전략의 일환으로 2년 전에 출시된 Fizz는 전자제품, 가정용품 등 150만 개 이상의 활성 상품을 제공하는 500개 이상의 판매자를 보유하고 있습니다.

처음부터 데이터는 우선순위였습니다. 하지만 회사는 Microsoft SQL Server와 Power BI를 기반으로 일일 배치 로드를 실행하는 간단한 기초에서 시작했습니다. 상품 카탈로그가 확장되고 새로운 사용 사례가 등장함에 따라 해당 설정은 한계를 드러내기 시작했습니다.

Fizz는 기존 데이터 웨어하우스 이상의 것이 필요했습니다. 운영 복잡성을 추가하지 않고도 SQL, Python 및 향후 AI 이니셔티브를 지원할 수 있는 올인원 플랫폼이 필요했습니다. 팀은 Databricks SQL에서 이를 발견하고 비즈니스와 함께 확장할 수 있도록 구축된 레이크하우스 아키텍처로 마이그레이션하기로 결정했습니다.

3개월 만에 완료된 실용적인 마이그레이션

Tamas Bacskai가 데이터 총괄로 합류했을 때 그의 임무는 명확했습니다. 데이터 중심 팀을 구축하고 확장 가능한 미래 경로를 정의하는 것이었습니다. 기존 SQL Server 환경은 기본 웨어하우스 역할을 했지만 Python 워크로드는 별도의 가상 머신에서 실행되었고 거버넌스는 제한적이었으며 확장은 인프라 지출 증가를 의미했습니다.

팀은 세 가지 옵션을 평가했습니다. 웨어하우징에만 계속 집중하거나, 고급 워크로드를 다른 개발 팀으로 분할하거나, SQL과 Python을 통합할 수 있는 레이크하우스 아키텍처를 채택하는 것입니다. Bacskai는 레이크하우스 모델이 머신러닝 및 AI로의 향후 확장을 포함하여 “모든 요구 사항을 충족했다”고 말했습니다.

완벽한 재설계를 목표로 하는 대신 Fizz는 MVP 우선 접근 방식을 취했습니다. 외부 파트너의 지원을 받아 약 50개의 테이블과 여러 저장 프로시저를 마이그레이션하고 Databricks SQL에서 핵심 뷰를 다시 만들었습니다. 목표는 간단했습니다. 보고서를 계속 실행하되 새 엔진을 가리키도록 하는 것이었습니다.

“비정상적이었습니다.”라고 Bacskai는 말했습니다. “모든 것을 다시 작성하는 완벽한 마이그레이션을 원하지 않았습니다. 가능한 한 빨리 이동하고 나중에 개선하고 현대화하고 싶었습니다. 데이터가 Databricks에 있으면 훨씬 쉽습니다.”

3개월 만에 레거시 SQL Server는 완전히 종료되었습니다. Power BI 보고서는 Databricks에서 지원되어 계속 원활하게 실행되었습니다. Bacskai는 “불가능한 것은 아니었고, 야심찬 일이었지만 예측 가능하고 달성 가능했습니다.”라고 말했습니다.

더 빠른 보고 및 더 나은 서비스 수준

즉각적인 영향은 성능에 있었습니다. 이전에는 일일 ETL 주기가 3~4시간이 걸릴 수 있었고 보고서는 오전 7시 또는 8시까지 안정적으로 사용할 수 없었습니다. 이는 일찍 하루를 시작하는 비즈니스 사용자들에게 마찰을 일으켰습니다.

Databricks SQL을 사용하여 Fizz는 야간 전체 처리 시간을 약 90분으로 단축했습니다. 보고서는 주말과 공휴일에도 오전 4시 30분까지 일관되게 준비됩니다. Power BI 새로 고침 주기는 약 50% 단축되었으며 기가바이트 규모의 내보내기가 이제 몇 분 안에 완료됩니다.

이러한 이득은 과도하게 프로비저닝된 인프라의 결과가 아니었습니다. Fizz는 상대적으로 적당한 워크로드(브론즈 및 실버 계층 전체에서 총 약 10TB)를 실행하지만, 새로운 SQL 엔진과 자동 최적화 기능은 지속적인 튜닝 없이도 측정 가능한 개선을 제공했습니다.

Bacskai는 “더 많은 돈이나 더 큰 클러스터를 투입한 것이 아닙니다.”라고 명확히 했습니다. “SQL 실행 엔진이 단순히 더 빠릅니다. 자동 최적화되고 모든 것이 준비되어 있습니다.”

마찬가지로 중요한 것은 Databricks가 Python을 실행하기 위한 별도의 환경의 필요성을 제거했다는 것입니다. 이제 모든 작업이 플랫폼 내에서 기본적으로 실행되어 운영을 단순화하고 향후 머신러닝 이니셔티브를 위한 더 깨끗한 기반을 마련했습니다.

AI 및 셀프 서비스로 기능 확장

처음부터 Fizz는 AI 야망을 제한하지 않는 플랫폼을 원했습니다. 마이그레이션 중에도 팀은 머신러닝, 생성형 AI 및 더 고급 데이터 거버넌스에 대한 수요 증가를 예상했습니다.

오늘날 Databricks는 단일 환경에서 SQL, Python 및 머신러닝 워크로드를 지원할 수 있습니다. 팀은 GDPR 및 EU AI법 준비를 강화하기 위해 마스킹 정책 및 거버넌스 제어를 탐색하고 있습니다. AI 기반 SQL 함수는 상품 이름을 정리하고 표준화하여 복잡한 정규 표현식에 대한 의존도를 줄이고 데이터 준비를 가속화하는 데 도움이 될 것입니다.

셀프 서비스 분석 또한 Databricks Genie를 통해 확장되고 있습니다. 비즈니스 사용자는 SQL을 작성하지 않고도 헝가리어로 자연어 질문을 할 수 있습니다. 현재 약 20명의 활성 사용자가 Genie를 사용하고 있으며, 이전에는 애드혹 요청에 응답하는 데 소비되었던 분석가 시간을 약 20% 절약하여 팀이 더 가치 있는 작업에 집중할 수 있도록 합니다.

Bacskai는 “Genie 설정은 아직 완료되지 않았지만, 질문을 하기 위해 SQL을 배울 필요가 없다는 것을 의미합니다. 그냥 데이터와 대화하면 됩니다.”라고 언급했습니다.

성장하는 이커머스 회사에게 그 가치는 속도 이상으로 확장됩니다. Databricks는 더 큰 팀을 관리할 필요 없이 마케팅 데이터 통합부터 모델 서빙 엔드포인트까지 새로운 사용 사례에 맞춰 확장되는 통합되고 AI 준비된 기반을 제공합니다.

Bacskai는 “Databricks SQL은 예상보다 훨씬 좋았습니다. 우리가 사랑하는 것입니다. 우리가 원하는 모든 것을 할 수 있으므로 원하는 것을 구축하고 만들 수 있습니다.”라고 말했습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)