ReaderLink에서 기업 데이터 분석 혁신: SQL에서 AI 기반 인사이트로

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

오늘날의 빠르게 변화하는 비즈니스 환경에서 데이터에 빠르게 접근하고 분석하는 능력은 경쟁 우위를 유지하는 데 중요합니다. 북아메리카 최대의 책 배포업체인 ReaderLink는 매년 3억 권 이상의 책을 배포하며, 미국 전역의 10만 개 상점에서 큰 배송 마감선을 통해 강력한 데이터 환경을 운영합니다. ReaderLink는 레거시 데이터 보고 및 검색 시스템의 한계에 직면하면서도, 매일 수천 권의 책 구매, 다수의 소매업체 관계, 복잡한 수요 예측을 포함하는 복잡한 공급 체인 전반에 걸쳐 작업을 최적화해야 하는 중요한 분기점에 있었습니다. 이 도전은 업계 전반의 긴장감을 대표했습니다: 대규모 기업 데이터를 관리하면서 현대 분석을 어떻게 활용할 것인가.

이 블로그 글은 ReaderLink가 전통적인 SQL 기반 보고서에서 AI 기반 분석 플랫폼으로 변환하는 과정을 탐구합니다. 이 변화는 그들의 모든 운영 방식을 혁신시켰습니다. 그 영향력은 놀랍습니다: 책 구매에 대한 예측 정확도가 크게 향상되었고, 주문이 접수되기 전에 저조한 판매를 예측하고 방지하는 세련된 반환 최적화, 수천 개의 들어오는 단위를 실시간으로 추적하고, 이전에는 몇 주나 분기가 걸렸던 소매업체 추세를 빠르게 파악합니다. ReaderLink는 조직 전체의 비즈니스 사용자가 자연어 쿼리를 통해 데이터를 탐색할 수 있게 함으로써 즉각적인 분석적 도전을 해결할 뿐만 아니라 현대 소매의 속도로 데이터 기반의 결정을 내릴 수 있는 능력을 근본적으로 변화시켰습니다.

보다 넓은 솔루션 고려사항:

우리는 기업 전반에 걸쳐 Azure 서비스를 활용하고 있지만, 플랫폼 선택 과정에서는 Databricks가 우리의 변혁 목표에 중요한 독특한 이점을 제공함을 발견했습니다. Microsoft Fabric과 Snowflake와 같은 플랫폼들이 매력적인 데이터 솔루션을 제공하고 있지만, Databricks는 성숙하고 종합적인 end-to-end 환경으로 독보적입니다. 맞춤 코드 개발, Unity Catalog를 통한 강력한 데이터 거버넌스, 복잡한 변환을 위한 유연한 컴퓨트 옵션을 무리 없이 통합하는 능력은 다른 플랫폼들이 아직 달성하려고 노력하는 완성도를 보여줍니다.

플랫폼이 머신러닝 모델, 사용자 정의 함수, 그리고 복잡한 노트북을 동일한 생태계 내에서 통합하는 능력은 특히 가치있게 입증되었습니다. 이 통합은 여러 도구를 관리하는 복잡성을 제거하고 기술적 부채와 운영 비용을 모두 줄입니다. 우리의 결정은 최근의 연구, 특히 Katam & Engineer의 2024년 보험 산업 사례 연구에 의해 더욱 검증되었습니다. 이 연구는 Databricks와 PySpark가 결합되어 우리의 도서 배포 환경과 유사한 대규모 데이터 처리 문제를 효과적으로 처리하는 방법을 보여주었습니다. 그들의 복잡한 데이터 처리, 피처 엔지니어링, 그리고 머신러닝 능력에 대한 연구 결과는 우리의 대규모 소매 분석 처리 요구 사항과 완벽하게 일치했습니다.

Databricks의 통합된 환경은 개발 과정을 간소화할 뿐만 아니라 고급 분석 요구에 대한 보다 비용 효율적인 솔루션을 제공합니다. Fabric과 Snowflake와 같은 다른 플랫폼들이 빠르게 제공물을 발전시키고 있지만, Databricks는 데이터 엔지니어링, 분석, AI 기능을 결합하는 데 있어서 확립된 성숙도를 가지고 있어서 우리의 변혁 여정에 대한 명확한 선택이었으며, 이는 오늘날과 내일의 ReaderLink에게 올바른 선택이었습니다.

환경의 도전 과제:

수년 동안 ReaderLink와 같은 대부분의 기업들은 SQL 보고서를 사용하여 데이터에서 통찰력을 추출하 relied습니다. 이러한 시스템들은 그들의 목적을 성공적으로 수행했지만, 중요한 단점들을 가지고 있었습니다:

• 표준이 아닌 SQL 언어로 작성된 수백 개의 보고서
• 쿼리 실행 시간이 종종 몇 시간까지 연장됩니다
• 데이터 접근에 대한 엄격한 제한 (예: 단일 상점 쿼리만 가능)
• 유연하지 않은 입력 매개변수, 분석적 자유도 감소
• 특수 SQL 지식에 대한 의존성

이러한 제약사항들은 분석 과정에서 병목 현상을 만들어내고, 데이터로부터 적시에 통찰력을 얻는 능력을 방해했습니다.

번개처럼 빠른 속도로 이루어진 레거시 변형: 12개월 미만의 시간 동안 10년 동안의 개발 대체

놀라운 도약으로, 우리는 한때 불가능하다고 생각되었던 것을 이루었습니다: 10년 된 레거시 데이터 서비스 플랫폼을 AI로 구동되는 데이터 검색 엔진과 연결된 혁신적인 Databricks/Azure ETL 메달리온 구조로 대체하고 1년 미만의 시간 동안 테스트하였습니다. 이 가속화된 변화는 우리의 이전 시스템의 기능을 단순히 맞추는 것이 아니라, 전통적인 소프트웨어 디자인 표준을 사용하여 10년 동안 개발하는 기능을 대폭 초과합니다. 결과는 세 가지 중요한 차원으로 정의되는 기업 분석에 대한 변혁적인 접근 방식입니다:

시간 & 접근성: 데이터 발견이 전문적인 기술 과정에서 조직 내 모든 사람이 접근할 수 있는 직관적인 경험으로 변화되었습니다. 이제는 복잡한 SQL 쿼리와 전문 지식이 필요했던 작업을 자연어 상호작용을 통해 몇 분 만에 수행할 수 있습니다. 모든 비즈니스 사용자는 단 한 줄의 코드도 작성하지 않고 데이터 관계를 탐색하고 인사이트를 생성할 수 있어, 기업 전체에서 데이터 분석을 진정으로 민주화합니다.

규모 & 성능: 기업 데이터의 크기는 더 이상 제한 요소가 아닙니다. 현대의 LLM 기반 분석은 놀라운 속도와 정확성으로 대규모 데이터 세트를 효율적으로 분석할 수 있습니다. 이전에 시스템 자원을 과도하게 사용하던 복잡한 쿼리가 이제는 원활하게 실행되어, 성능 병목 현상 없이 기업 전체의 데이터를 실시간으로 탐색할 수 있습니다.

완전히 내부에서 구축된 기업용 솔루션으로, 우리의 플랫폼은 클라우드 인프라를 활용하여 테라바이트 단위의 데이터를 효율적으로 처리합니다. 우리의 벤치마크 테스트는 AI 구성 요소가 이 비용의 20%만을 차지하는 대략 월 $3,000의 놀랍도록 경제적인 운영 비용을 보여줍니다. Databricks의 ETL 프로세스와 지속적인 플랫폼 개발에 대한 지속적인 개선 덕분에, 이러한 비용이 시간이 지남에 따라 더욱 유리해질 것으로 예상합니다. 이는 복잡한 AI 기반 분석 솔루션이 기술적으로 가능할 뿐만 아니라 대규모 기업 배포에도 재정적으로 실행 가능함을 보여줍니다.

정확성 & 제어: 가장 중요한 것은, 이러한 모델들이 데이터 엔지니어에 의해 귀사의 특정 데이터 환경과 비즈니스 규칙에 정확하게 훈련될 수 있다는 것입니다. 이는 모든 분석이 확립된 거버넌스 프레임워크 내에 유지되면서 일관되게 정확한 결과를 제공하도록 보장합니다. 일반적인 AI 솔루션과 달리, 이러한 맞춤형 훈련 모델은 귀하의 조직의 표준과 정의에서 벗어나지 않으며, AI의 힘과 전통적인 기업 시스템의 신뢰성을 결합합니다.

이 혁신적인 접근 방식은 데이터 분석을 가속화하는 것뿐만 아니라 ReaderLink가 데이터 자산에서 가치를 추출하는 방식을 근본적으로 변혁시킵니다, 복잡한 분석을 모두에게 접근 가능하게 하면서 기업 수준의 정확성과 통제를 유지합니다.

AI 기반 솔루션: Databricks와 Unity Catalog

새로운 AI 구동 생태계를 설계하는 과정에서, 우리는 효율성과 신뢰성을 우선시하는 전략적 접근 방식을 취했습니다. 우리는 맞춤형 AI 모델을 처음부터 구축하는데 상당한 자원을 투자하는 대신, Databricks의 ETL 파이프라인을 활용하여 POS, 반품, 다양한 속성 변수를 포함한 우리의 거래 데이터에 대한 견고한 기반을 만들었습니다. AI는 이론적으로 어떤 데이터든 처리할 수 있지만, 기업급 보안과 권한을 가지고 일관되게 우리의 비즈니스 맥락을 이해할 수 있도록 하는 것이 도전이었습니다. 이곳에서 Databricks Unity Catalog가 변혁적인 역할을 했습니다.

Unity Catalog는 엄격한 스키마 보안 제어를 유지하면서 우리의 데이터 아키텍처에 영구적으로 비즈니스 의미를 포함시킬 수 있게 해줍니다. 이 풍부한 메타데이터를 우리가 선택한 AI 시스템에 직접 연결함으로써, 우리는 AI 환영을 크게 줄이고, 우리의 비즈니스 도메인에 대한 문맥 이해를 통해 정확성을 향상시키는 프레임워크를 만들었습니다.

이 강력한 조합은 ReaderLink에 다음과 같은 영향을 미칩니다:

데이터 통합 & 거버넌스

• 클라우드 트랜잭션 데이터와 웨어하우스 데이터의 원활한 통합
• 통합된 권한 관리를 통한 중앙 집중식 거버넌스
• 컬럼 수준 보안 제어를 통한 고급 데이터 보호
• 기업 플랫폼 전반에 걸친 일관된 보안 정책

지능적 데이터 관리

• AI를 활용한 메타데이터 관리 및 자산 분류
• 데이터 자산에 대한 자동 문서화 및 컨텍스트 생성
• 기업 데이터의 스마트 태깅 및 분류
• 일관된 비즈니스 용어를 보장하는 의미적 계층

접근성 & 사용자 경험

• AI 기반 인터페이스를 통한 자연어 쿼리
• 향상된 데이터 발견 및 탐색 기능
• 유지되는 보안과 함께 유연한 접근 제어
• 개선된 교차 기능 데이터 접근성

우리에게는 놀라운 이점이 있습니다! Unity Catalog가 데이터를 비즈니스 인텔리전스로 변환하는 두 가지 강력한, 업계 표준 예시입니다:

비즈니스 용어 매핑

• 기술 용어를 비즈니스 언어로 자동 번역 (예: 'POS'를 'Point of Sale'로)
• 모든 사용자 상호작용에 걸친 일관된 용어 사용
• 기술 지식이 없는 비즈니스 사용자를 위한 직관적인 데이터 발견

동적 데이터 관계

• 트랜잭션 데이터와 이력 데이터 간의 실시간 조인
• 중복 테이블 생성 없이 데이터를 실시간으로 변환
• POS 거래와 속성 테이블 간의 원활한 연결
• 물리화 뷰를 유지하는 오버헤드 없이 일관된 쿼리 결과

이 접근 방식은 중복 데이터 저장의 필요성을 제거하면서 비즈니스 사용자가 익숙한 용어를 사용하여 데이터를 쉽게 발견하고 분석할 수 있도록 보장했습니다. 이 시스템은 이러한 관계를 동적으로 유지하면서 데이터의 신선도를 보장하고 저장 및 유지 관리 비용을 줄입니다.

새 시스템의 주요 이점

AI 기반 분석 플랫폼으로의 전환은 다수의 이점을 가져다 줍니다:

1. 자연어 쿼리: 사용자들은 이제 복잡한 SQL 대신 대화형 언어를 사용하여 데이터와 상호작용할 수 있습니다.
2. 순차 분석: 여러 관련 질문을 순차적으로 물어볼 수 있어, 더 깊고 미묘한 분석이 가능합니다.
3. 더 빠른 실행: 쿼리 시간이 크게 줄어들어 더 민첩한 의사결정이 가능합니다.
4. 민주화된 접근: 고급 분석 기능이 이제 SQL 전문가가 아닌 더 넓은 범위의 사용자에게 사용 가능합니다.

손끝에서 사용할 수 있는 고급 분석

이 변화에서 가장 흥미로운 측면은 AI 놀이터와의 통합으로, 사용자들이 복잡한 분석을 몇 분 안에 수행할 수 있게 해줍니다. 비즈니스 사용자들은 이제 자연어 상호작용을 통해 복잡한 분석 작업을 수행할 수 있습니다:

패턴 발견 및 추세 분석

• 여러 책 카테고리에서 계절적 구매 패턴 식별
• 마케팅 캠페인과 판매 성과 사이의 상관관계 탐지
• 다양한 제품 속성과 매장 위치에 대한 반환률 분석
• 다양한 소매 채널에서 출판사 성능 추세를 추적하십시오
• 실시간으로 경쟁 위치와 시장 점유율 변화를 모니터링합니다

예측 분석

• 유사한 제목의 과거 성능에 기반한 새로운 책 출시에 대한 수요 예측
• 재고 속도와 주문 패턴을 분석하여 재고 부족 가능성 예측
• 다른 소매 채널에서 가격 변동이 판매에 미치는 영향 모델링
• 과거 패턴과 책의 속성에 기반한 반품률 예측
• 타겟팅된 재고 최적화를 위한 지역 수요 변동을 예측하십시오

고급 데이터 탐색

• 다른 시간대와 지역 간의 성능 지표 비교
• 고객 구매 행동의 코호트 분석 생성
• 데이터셋 생성
• 판매 또는 반품 패턴에서 자동으로 이상치 조사
• 종합적인 시장 분석을 위한 다중 데이터 소스의 교차 참조

메타데이터 보안 & 거버넌스

• 민감한 고객 및 재무 데이터 자동 마스킹
• 조직 전체의 데이터 접근 패턴 추적 및 감사
• 열 수준에서 역할 기반 접근 제어 적용
• 준수를 위한 모든 쿼리 패턴 모니터링 및 로깅
• 규제 보고 요구 사항에 대한 데이터 유래 유지

이러한 분석은 이전에는 광범위한 SQL 지식과 개발 시간이 필요했지만, 이제 간단한 대화식 쿼리를 통해 수행할 수 있습니다. 시스템은 복잡한 데이터 관계와 계산을 배후에서 처리하며, 데이터 거버넌스와 정확성을 유지하면서 실시간으로 인사이트를 제공합니다.

변혁적인 결과

ReaderLink에서, 우리는 레거시 시스템에서 AI 구동 분석으로의 변혁이 책 산업에 어떻게 서비스를 제공하는지에 대해 혁명을 일으켰습니다. 수십 년 동안의 SQL 보고를 대체하는 기술적 도전으로 시작된 것이 강력한 비즈니스 변혁 엔진으로 발전하였습니다. 이 영향은 출판사부터 소매상, 최종 독자에 이르기까지 우리 전체 생태계에 울려 퍼집니다.

출판사들은 이제 시장 수요에 대한 전례 없는 가시성을 가지게 되어, 인쇄량을 최적화하고 낭비를 줄일 수 있습니다. 우리의 소매업체들은 AI 기반 인사이트가 그들에게 적절한 시간에 적절한 위치에 적절한 책을 재고로 채우는 데 도움을 주어, 재고 관리가 간소화되는 이점을 얻습니다. 결과는 구체적입니다: 반환 감소, 품절 감소, 그리고 원하는 책을 원하는 때에 찾을 수 있는 고객의 만족도 향상.

아마도 가장 중요한 것은, 한때는 특수한 SQL 개발에 수일이 걸렸던 것이 이제는 자연어 쿼리를 통해 몇 분 안에 이루어질 수 있다는 것입니다. 우리 조직의 비즈니스 사용자들은 데이터 관계를 탐색하고, 신흥 트렌드를 발견하고, 기술적 장벽 없이 데이터 기반의 결정을 내릴 수 있습니다. 이러한 데이터의 민주화는 시장 변화에 대응하고 새로운 기회를 잡는 능력을 가속화하였습니다.

앞으로 보면, 우리는 기존 시스템을 대체하는 것 이상을 구축했습니다 - 우리는 지속적인 혁신을 위한 기반을 만들었습니다. AI 기능이 발전하고 우리의 데이터에 대한 이해가 깊어짐에 따라, 우리는 기업 데이터에서 더 많은 가치를 창출할 수 있는 위치에 있습니다. 이 변혁은 단순히 기술적인 도약을 의미하는 것이 아니라, 우리가 비즈니스로서 운영하는 방식에 대한 근본적인 변화를 의미하며, 우리를 더욱 민첩하고 효율적이며 시장 요구에 대응할 수 있는 기업으로 만듭니다.