Databricks 데이터 인텔리전스 플랫폼을 통한 정부 혁신

참고: 이 블로그는 Databricks Data + AI Summit 영상을 바탕으로 작성되었습니다.

모든 정부 차원에서 데이터는 더 이상 운영의 부산물이 아니라, 시민 서비스를 개선하고 낭비를 줄이며 더 빠르고 정보에 기반한 의사 결정을 내리는 핵심 요소입니다. 연방 정부의 지침 또한 이러한 변화를 뒷받침하고 있습니다. IT 현대화 경영진 명령과 연방 데이터 전략은 함께 인프라를 현대화하고 데이터를 전략적 자산으로 격상함으로써 더 탄력적이고 미래 지향적인 정부를 위한 기반을 마련했습니다. 이를 바탕으로, 인공 지능에 관한 행정 명령과 낭비, 사기, 남용을 방지하기 위한 지침은 혁신을 주도하고 납세자의 세금을 보호하기 위한 고급 분석과 신뢰할 수 있는 데이터의 필요성을 강조합니다. 이러한 이니셔티브들은 종합적으로 데이터 기반이 더 이상 선택 사항이 아님을 분명히 보여줍니다. 하지만 많은 공공 부문 기관이 잘 알고 있듯이, 진정한 데이터 기반 조직으로 나아가는 길은 복잡합니다.

레거시 시스템, 사일로화된 데이터 환경, 일관성 없는 도구로 인해 기관은 시기적절하게 인사이트를 추출하거나 책임감 있게 AI를 구현하기가 거의 불가능에 가까울 정도로 어려웠습니다. 그 결과 사기를 줄이고 기관 간 데이터를 민주화하며 운영을 현대화하여 임무 성과를 높일 기회를 놓치게 됩니다.

Databricks는 정부 기관이 이러한 현실을 재고하도록 돕고 있습니다.

정부 데이터를 위한 새로운 기반

Databricks 비전의 핵심은 데이터와 인공지능을 하나의 원활한 환경으로 통합하는 단일 플랫폼입니다. Data Intelligence Platform으로 알려진 이 플랫폼은 lakehouse 아키텍처의 개방성과 확장성에 엔터프라이즈급 거버넌스, 실시간 분석, 강력한 machine learning 기능을 결합합니다. 그 결과 기관은 사일로를 허물고 자신 있게 팀 간 협업을 수행할 수 있는 간소화되고 안전한 기반을 갖추게 됩니다.

정부 데이터 시스템은 오랫동안 파편화되어 있었습니다. 트랜잭션 워크로드는 한곳에, 분석은 다른 곳에, 데이터 레이크는 완전히 또 다른 곳에 존재하는 식입니다. 개방형 표준에 기반하지 않는 레거시 시스템이 많아 Data Sharing 및 통합은 어렵고 비용이 많이 듭니다. 또한 각 계층이 서로 다른 데이터를 '진실'로 간주하는 경우가 많아 전체적인 노력을 통합하거나 신속하게 대응하기가 어렵습니다. 이러한 단편적인 접근 방식은 비용과 복잡성을 증가시킬 뿐만 아니라, 기관이 의존하는 인사이트의 정확성, 적시성, 신뢰성을 저해합니다.

Databricks는 데이터 엔지니어링, 분석, AI를 통합하는 클라우드 네이티브 플랫폼인 최신 lakehouse 아키텍처로 단편화를 대체합니다. Delta Lake 및 Iceberg와 같은 오픈 포맷을 지원함으로써 기관은 보안 클라우드 환경 내에서 데이터에 대한 완전한 제어권을 유지하고, 데이터를 더 쉽게 통합 및 공유하며, 각 임무에 가장 적합한 분석 도구를 사용할 수 있습니다. 결과: 더 적은 데이터 이동, 더 낮은 위험 및 공급업체 종속성 없음.

더 중요한 것은 이 간소화된 아키텍처를 통해 데이터가 단순히 수집되는 데 그치지 않고, 큐레이션 및 거버넌스를 거쳐 조직 전체의 애널리스트, 운영자, 의사 결정권자가 즉시 사용할 수 있도록 보장한다는 점입니다.

협업을 지원하는 거버넌스

공공 부문에서 보안과 거버넌스는 단순히 체크리스트의 한 항목이 아니라 임무 수행에 필수적인 요소입니다. 금융 데이터, 인사 기록, 민감한 운영 지표 등 어떤 데이터이든 기관은 접근 권한을 정밀하게 관리하고, 완전한 감사 추적성을 유지하며, 광범위한 규제 요건을 준수해야 합니다. Databricks는 lakehouse 아키텍처 바로 위에 위치한 기본 내장 거버넌스 레이어인 Unity Catalog로 이 문제를 해결합니다. 이는 데이터 액세스를 관리하고 민감한 정보를 분류하며 팀과 시스템 전반에 걸쳐 신뢰를 유지할 수 있는 중앙 집중식의 확장 가능한 방법을 제공합니다.

Unity Catalog를 사용하면 기관은 테이블뿐만 아니라 파일, 대시보드, AI 모델을 포함한 모든 데이터 자산에 대해 세분화된 역할 기반 액세스 제어를 구현할 수 있습니다. 예를 들어 주 보건부의 애널리스트는 집계된 공중 보건 동향에 대한 액세스 권한을 부여받을 수 있지만, 원시 환자 수준 데이터에 대한 액세스는 승인된 임상 연구원에게만 제한됩니다. 또한 엔드투엔드 데이터 리니지 및 감사 기능을 지원하므로 기관은 데이터의 출처, 변환 방식, 액세스한 사람을 정확하게 추적할 수 있습니다. 이는 제로 트러스트 또는 기관별 Data Sharing 계약 규정 준수에 매우 중요합니다.

안전하게 협업해야 하는 기관을 위해 Unity Catalog는 페더레이션 액세스를 지원하므로 팀이 데이터를 물리적으로 이동하거나 복제할 필요 없이 레거시 warehouse나 운영 데이터베이스 같은 외부 소스의 데이터를 query하고 분석할 수 있습니다. 그리고 민감한 데이터는 나중에 처리할 수 있는 문제가 아니므로 Unity Catalog는 데이터 수집 시 사회 보장 번호, 주소, 생년월일과 같은 개인 식별 정보(PII)를 자동으로 감지하고 태그를 지정하여 처음부터 적절한 보호 조치를 적용할 수 있습니다.

그 결과, 데이터에 대한 제어권을 잃지 않으면서도 AI 도입, 기관 간 협업, 오픈 데이터 이니셔티브와 같은 최신 사용 사례를 지원할 수 있을 만큼 유연하고 견고하며 안전한 거버넌스 모델이 탄생했습니다.

보안 Data Sharing을 통한 사일로 제거

낭비, 사기, 남용을 막기 위한 경영진 명령의 핵심 요구 사항인 기관 간 및 기관 내 협업은 사일로화된 시스템과 독점적인 포맷으로 인해 종종 방해를 받습니다. Databricks는 리전 및 클라우드 제공업체 간의 안전한 데이터 교환을 지원하는 개방형 프로토콜인 Delta Sharing을 통해 개방형 Data Sharing을 지원합니다. 이러한 유연성 덕분에 미분류 또는 미션 크리티컬 데이터 세트를 데이터 복제 없이 필요할 때 어디서든 액세스할 수 있습니다.

기본 내장 AI 도구로 인사이트 가속화

기관이 데이터를 통합하더라도, 특히 의사 결정이 시민 서비스, 규정 준수 또는 실시간 운영에 영향을 미치는 경우 시기적절한 인사이트를 제공하는 것은 여전히 중요합니다. Databricks는 정부 팀이 전문적인 코딩 기술 없이도 즉석에서 데이터를 탐색하고 인사이트를 생성할 수 있도록 지원하는 기본 AI 기반 비즈니스 인텔리전스 기능으로 이러한 격차를 직접적으로 해결합니다.

플랫폼에는 애널리스트와 이해관계자가 데이터와 상호 작용하는 방식을 가속화하도록 설계된 도구 세트인 Databricks AI/BI가 포함되어 있습니다. 사용자는 기술팀에 의존하여 query를 작성하거나 대시보드를 처음부터 구축하는 대신, 찾고 있는 내용을 간단히 설명하기만 하면 됩니다. 내부적으로 Databricks Assistant는 이러한 자연어 프롬프트를 SQL로 변환하여 필요한 데이터세트와 시각화를 생성합니다. 예를 들어, 인력 개발 애널리스트는 여러 시스템에서 수동으로 성과 지표를 취합하는 대신, '2분기 카운티별 임금 데이터를 보여줘'라고 입력하기만 하면 Unity Catalog에서 관리하는 신뢰할 수 있는 큐레이션된 데이터 소스를 기반으로 구축된 차트를 즉시 얻을 수 있습니다.

이 플랫폼은 대시보드 내에서 직접 예측 분석도 지원합니다. 기관은 기존 시각화에 예측 모델을 추가하여 서비스 수요, 사고 대응 시간 또는 예산 활용도와 같은 결과를 예측할 수 있습니다. 이를 통해 동일한 워크플로 내에서 현재 상황을 파악할 수 있을 뿐만 아니라 미래의 요구사항도 예측할 수 있습니다.

인사이트 도출부터 의사 결정까지의 주기를 더욱 간소화하기 위해 Databricks는 여러 특수 목적 AI 모델로 구성된 대화형 AI 에이전트인 AI/BI Genie를 포함합니다. AI/BI Genie가 특별한 이유는 Unity Catalog와 긴밀하게 통합되어 있다는 점입니다. 각 데이터세트와 관련된 메타데이터, 데이터 유형, 심지어 열 수준의 설명까지 이해합니다. 이를 통해 컨텍스트를 인식하는 응답으로 더 미묘한 질문에 답할 수 있습니다. AI/BI Genie는 시간이 지남에 따라 학습하기도 합니다. 사용자가 질문하고, 피드백을 제공하고, 오류를 수정하는 등 상호 작용함에 따라 AI/BI Genie는 응답을 지속적으로 개선하여, 모든 단계에 개발자나 데이터 스튜어드를 참여시킬 필요 없이 기관이 정확도를 높일 수 있도록 돕습니다.

더 맞춤화된 솔루션을 구축할 준비가 된 정부 팀을 위해 Mosaic AI는 해당 도메인에 맞게 조정된 에이전트 시스템을 개발하고 배포할 수 있는 모든 기능을 갖춘 환경을 제공합니다. 기관은 모델의 거버넌스, 감사 가능성 및 확장성을 보장하는 안전한 MLOps 프레임워크 내에서 오픈 소스 모델을 미세 조정하거나, 벡터 데이터베이스를 활용한 검색 증강 생성(RAG)으로 자체 데이터를 사용하거나, OpenAI와 같은 독점 LLM에 연결할 수 있습니다.

일상적인 분석 가속화부터 기관별 AI 에이전트 구동에 이르기까지 Databricks 플랫폼은 공공 부문의 제어, 규정 준수, 컨텍스트에 대한 최고 수준의 기준을 충족하면서 데이터 액세스를 민주화하도록 설계되었습니다.

미래를 위한 전략적 기반

Databricks는 데이터를 관리하는 더 나은 방법을 제공할 뿐만 아니라, 정부 기관이 서비스를 제공하고 사기를 탐지하며 규정 준수하고 협업하는 방식에 있어 전략적인 발전을 가능하게 합니다. 확장 가능한 데이터 파이프라인, 안전한 AI 워크플로 또는 도메인 간 오픈 Data Sharing을 통해 이 플랫폼은 정부가 진정한 데이터 기반 조직으로 거듭날 수 있도록 지원합니다.

정부 현대화는 결코 작은 일이 아니지만, 강력한 데이터 기반이 있다면 가능할 뿐만 아니라 혁신을 가져올 수 있습니다.

귀 기관을 진정한 데이터 기반 조직으로 혁신할 준비가 되셨나요?

Databricks Data Intelligence Platform이 어떻게 데이터를 통합하고, 거버넌스를 간소화하며, AI 기반 인사이트를 가속화하여 여러분의 미션과 여러분이 서비스를 제공하는 시민들을 위해 더 나은 성과를 이끌어낼 수 있는지 알아보세요. 지금 자세히 알아보기

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)