AI 에이전트와 인텔리전스 앱의 미래 구축: Databricks 시애틀 R&D 4주년을 기념하며

2021년 11월, Databricks는 시애틀 R&D 사이트 개설 과 Databricks Intelligence Platform을 구축하기 위한 엔지니어 채용 계획을 발표했습니다. 오늘날 벨뷰와 시애틀에는 수백 명의 엔지니어가 인프라 최적화부터 GenAI 사용 사례, 고객이 더 빠르게 인사이트를 얻도록 돕는 기능에 이르기까지 다양한 미션 크리티컬 이니셔티브를 수행하고 있습니다.

이러한 모든 노력은 차세대 교통수단을 현실로 만들고 의료 분야의 획기적인 발전을 가속하는 등, 고객이 세계에서 가장 어려운 문제를 해결할 수 있도록 지원하기 위해 데이터와 AI를 간소화하고 대중화하려는 Databricks의 목표와 일치합니다. Databricks는 세계 최고의 데이터 및 AI 인프라 플랫폼을 구축하고 운영하여 이를 실현합니다.

4주년을 맞아 저희 사무실에서 진행 중인 혁신적인 작업 사례를 공유하게 되어 기쁩니다!  

AI 기반 Data Science 및 분석

Databricks는 사용자가 데이터를 탐색하고 코드를 작성하며 데이터 파이프라인을 구축하는 방식을 간소화하여 AI 네이티브 Data Science 및 분석 경험을 지속적으로 발전시켜 왔습니다.

올해 이 팀은 다음과 같은 몇 가지 주요 기능을 출시했습니다.

• Lakeflow Designer: 로우코드 드래그 앤 드롭 인터페이스를 통해 셀프 서비스 비즈니스 분석을 지원하는 새로운 제품 경험입니다. Designer는 AI 네이티브 경험을 제공하기 위해 처음부터 새롭게 구축되었으며, 완전한 data intelligence platform을 활용하여 정확한 AI 생성 응답을 제공합니다. 시각적 워크플로의 모든 내용은 CI/CD, 버전 관리 및 데이터 팀 간의 협업을 위해 Git에 저장할 수 있는 기본 SQL 파일로 표현됩니다.
• Data Science Agent in Databricks Assistant: Databricks Assistant를 대화형 도우미에서 Data Science를 위한 실질적인 파트너로 바꿔주는 새로운 자율 워크플로 모드입니다. 사용자는 Agent에게 데이터 탐색, 코드 생성 및 실행, ML 모델 훈련 및 평가, 오류 해결을 요청할 수 있습니다.
• 새로운 SQL Editor 정식 버전 출시: 더 빠른 실행, 실시간 공동 작업, 분할 화면 편집, 개선된 결과 시각화, SQL 작성을 위한 Databricks Assistant와의 긴밀한 통합을 통해 SQL 애널리스트에게 통일된 최신 저작 환경을 제공합니다.

시애틀 엔지니어인 Michael Piatek, Tomas Isdal, Weston Hutchins, Zhong Chen의 지원으로 이루어졌습니다.

지능형 분석의 민주화

Databricks AI/BI는 완벽한 AI 기반 BI 환경을 제공합니다. 풍부한 대시보드 및 보고 기능과 자연어 질문을 인사이트로 변환하는 대화형 인터페이스인 Genie를 결합합니다.

최근 주요 기능:

• Genie + Genie Research Agent 정식 출시(GA): 파일 upload를 통한 새로운 애드혹 분석, 평가 및 벤치마크 지원, 고품질 응답을 위한 대폭적인 정확도 업그레이드가 포함됩니다. 또한 저희 팀은 다단계 추론 및 가설 조사를 사용하여 복잡한 비즈니스 질문에 대해 더 깊이 있는 데이터 인사이트와 답변을 제공하는 Genie Research Agent를 출시했습니다.
• 임베디드 분석: 많은 조직에서 가장 가치 있는 분석은 고객, 공급업체 또는 파트너와 공유해야 하는 분석입니다. 이제 Databricks 고객은 Databricks에 이미 있는 대시보드를 가져와 고객 또는 파트너용 애플리케이션에 직접 배치할 수 있습니다. 이 환경은 완전한 대화형이며 실시간으로 제공되며, 사용량 기반 가격 책정을 통해 고객은 예측 불가능한 요금 없이 수천 명의 뷰어로 분석을 확장할 수 있습니다.
• AI/BI 분야에서 저희 팀의 최신 혁신에 대한 자세한 내용은 여기에서 확인하실 수 있습니다. 

시애틀 엔지니어인 Kanit Wongsuphasawat, Justin Talbot, Miranda Luna, Amir Hormati, Yi Liu, Alnur Ali, Clark Wildenradt의 도움으로 구축되었습니다.

AI 시대의 데이터 웨어하우징 

Serverless Apache Spark 팀은, Databricks의 모든 Serverless Spark 기반 애플리케이션을 지원합니다. 

팀은 하루에 수백만 개의 VM을 실행할 수 있는 매우 안정적인 플랫폼을 구축하는 데 주력하고 있으며, 동시에 워크로드가 효율적으로 수행되도록 보장합니다. 주요 프로젝트는 다음과 같습니다. 

• Serverless Spark clusters에서 세션 binpacking을 개선하기 위한 과거 사용량 데이터 활용
• Spark와 긴밀하게 통합하여 사용자의 워크로드에 따라 Spark clusters를 수평 및 수직으로 확장함으로써 동급 최고의 가격 대비 성능을 제공합니다.
• 수요를 분석하고 그에 따라 compute를 사전 준비하여 짧은 지연 시간(O(초))의 프로비저닝을 지원
• Serverless와 Classic 간의 기능 차이를 제거하여 Serverless 사용 장애물 해소(예: 예산 정책, 비용 제어, 인스턴스 프로필 등)

엔지니어 Mitchell Webster, Lev Novik, Akshay Singla, Swapandeep Singh, Anwell Wang이 주도했습니다.

개방형 Data Sharing 및 공동 작업 

AI의 기본 요소는 데이터입니다. 그리고 점점 더 많은 기업이 데이터를 강화하고 확장하기 위해 외부로 눈을 돌려야 합니다. 

저희 벨뷰 팀은 Delta Sharing, Databricks Marketplace(시애틀 기반 엔지니어들이 처음부터 구축), Databricks Cleanrooms 등 Databricks의 핵심 Data Sharing 제품을 개발해 왔습니다. 

그 영향은 이미 현실 세계에서 나타나고 있습니다. Mastercard 가 Databricks Clean Rooms를 통해 어떻게 민감한 데이터에 대해 안전하게 대규모로 협업하는지에 대한 이야기를 들어보세요. 

최근의 발전으로 개방형 공동 작업이 더욱 강력해졌습니다.

• Delta Sharing 혁신: 완전한 Iceberg 상호 운용성, 조직 간 연결을 단순화하는 새로운 Delta Sharing 네트워크 게이트웨이, 속성 기반 액세스 제어(ABAC)를 사용한 공유에 대한 세분화된 거버넌스. 이러한 개선 사항을 통해 공급자는 거버넌스가 적용된 데이터를 다수의 수신자와 대규모로 더 쉽게 공유할 수 있습니다. 
• 모델 및 에이전트 공유 - 이제 공급자는 Databricks Marketplace에 MCP를 게시하여 AI 개발을 가속화하는 MCP 도구를 쉽게 검색하고 연결할 수 있습니다.
• Clean Rooms 기능 향상: 고급 개인정보 보호 승인 기능이 포함된 다자간 협업이 이제 정식 출시(GA)되었습니다. Clean Rooms는 또한 선도적인 ID 파트너와 통합되어 개인정보 보호 중심의 ID 확인(Identity Resolution)을 지원합니다. 이러한 새로운 기능 덕분에 개인정보 보호 협업을 위해 Clean Rooms가 더욱 강력해졌습니다.

시애틀 엔지니어인 Mengxi Chen, Moe Derakhshani, Qihua Wang, Tao Tao는 이러한 Data Sharing 및 공동 작업 기능을 구축하는 데 핵심적인 역할을 수행했습니다.

성능 및 효율성 최적화

세계에서 가장 성능이 뛰어나고 안정적인 인프라에서 실행되지 않는다면 Databricks는 동급 최고의 제품을 제공할 수 없습니다.  다음은 저희 시애틀 엔지니어들이 이룬 가장 큰 인프라 발전 사항 중 일부입니다.

• VM을 매우 빠르게 부팅할 수 있는 고도로 맞춤화된 경량 운영 체제
• Spark를 몇 초 안에 웜업(warm up)할 수 있는 특수 컨테이너 런타임
• LLM 가중치를 빠르게 가져올 수 있는 특수 컨테이너 스냅샷터
• 10Tbps 속도로 바이너리를 배포하는 확장성이 뛰어난 컨테이너 레지스트리

저희 작업에 대해 더 자세히 알아보기:

• Serverless compute를 위해 Databricks VM을 7배 더 빠르게 부팅하기
• Serverless에 최적화된 Artifact Registry에서 매일 수천만 개의 컨테이너 이미지 download

Anders Liu, Max Wolffe, Shuo Chen, Shuai Chang은 모든 Databricks 제품을 위한 컨테이너 인프라를 구축한 Node Platform 팀을 이끌었으며, 머신의 보안과 안정성을 유지하고 전체 플릿(fleet)의 효율성을 개선하는 데 기여했습니다.

The Money Team: 비즈니스와 기술의 교차점 

머니팀(The Money Team)은 Databricks의 재정적 심장이 계속 뛰게 하는 시스템을 담당합니다. 이 팀은 지원되는 비즈니스 모델을 발전시키고, 출시 속도를 높이며, 인수한 기업을 통합하고, 사기 및 남용으로부터 보호함으로써 Data + AI 제품을 지속 가능한 비즈니스로 전환하는 전 과정을 책임지고 있습니다. 

이 팀은 AWS, Azure, GCP, SAP 등 자사 및 타사 파트너의 수조 건에 달하는 사용량 이벤트를 처리할 수 있는 세계 유일의 크로스 클라우드 통합 과금 엔진(rating engine)을 구축했습니다. 이 모든 것이 85개 이상의 리전에서 운영되고 업계 경쟁사보다 한 차원 더 빠르게 작동하는 단일 플랫폼으로 통합됩니다. 이러한 성과는 R&D 팀과 긴밀히 협력하여 제품을 발전시키는 새로운 요구사항을 주도하고, Databricks의 혁신적인 Data + AI 제품을 기반으로 시스템을 개발했기에 가능했습니다.

또한, 머니팀(Money team)은 신용카드 없이 이용할 수 있는 업계 유일의 진정한 무료 체험을 제공함으로써 데이터와 AI를 민주화하려는 Databricks의 미션에 중심적인 역할을 해왔습니다. 이는 최신 기술을 배우고 싶지만 예산이 넉넉하지 않은 학생과 개발자에게 강력한 도구입니다. Databricks는 제품의 남용과 의도치 않은 사용을 방지하는 최첨단 사용 승인 제어(admission control) 시스템을 통해 이를 실현하고 있습니다. 

저희의 업무와 팀에 대해 더 자세히 알아보세요.

• 혁신에 더 많은 투자를 할 수 있도록 운영 부담을 줄인 방법
• 저희가 출시한 고객용 비용 관리 도구
• 저희 제품 관리 리드가 공유하는 Databricks를 신뢰하는 이유

Money Team은 시애틀 엔지니어인 Kazi Al-Rashid, Li Xiong, Mahesh Venkataramani와 제품 책임자인 Greg Kroleski의 리더십 하에 구축되었습니다.

저희는 성장하고 있습니다!

지난 4년 동안 벨뷰 및 시애틀 엔지니어링 팀이 이룬 발전에 매우 기쁩니다! AI/BI부터 Money 팀에 이르기까지, 이곳의 팀들은 플랫폼에서 가장 복잡한 시스템을 구축하고 가장 전략적인 제품 이니셔티브를 주도하고 있습니다. 대규모의 어려운 문제를 해결하는 데 관심이 있다면 벨뷰/시애틀 및 다른 R&D 지사에서 채용을 진행하고 있습니다. 채용 공고에 대해 자세히 알아보려면 채용 정보 페이지를 방문하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)