Forward Deployed Engineering: AI를 통한 비즈니스 성과 창출

지난 몇 년 동안 “데이터 파이프라인 마이그레이션 및 구축을 도와달라”던 고객의 요청이 점점 더 “비즈니스 문제를 해결해 달라”는 방향으로 변화해 왔습니다. 인프라에서 성과 중심으로의 이러한 전환은 고객이 서비스 파트너에게 기대하는 바를 재정의하고 있으며, Databricks의 서비스 제공 방식 또한 변화시켰습니다.

오늘 Databricks는 이러한 진화를 공식화하고자 Forward Deployed Engineering (FDE) 조직을 출범합니다. FDE는 완전히 새로운 개념이 아닙니다. 지난 수년간 Databricks에서 가장 도전적인 프로젝트들을 성공적으로 이끌어온 방식입니다. 이번 출범을 통해 기존 역량을 한층 더 강화하고, Professional Services 조직을 하나의 목표 아래 통합하여 'AI를 통한 고객 비즈니스 성과 가속화'라는 단일 미션을 수행하고자 합니다.

지난 12개월 동안 Databricks 팀은 1,900개 이상의 고객사와 협력하여 AI 기반 마이그레이션부터 Databricks R&D와의 파트너십을 통한 최초의 AI 애플리케이션 구축에 이르기까지 데이터 및 AI 목표를 달성하도록 지원했습니다. Fox의 경우, 엔지니어를 고객사 팀에 직접 투입하여 비즈니스 전반에서 프로덕션급 혁신을 가속화했습니다.

Fox Corporation을 위한 프로덕션 AI를 구축한다는 것은 라이브 이벤트가 진행되는 동안 열정적인 팬들을 위해 대규모 서비스를 제공하는 것을 의미합니다. Databricks FDE와의 파트너십은 단순한 플랫폼 도입을 넘어 실력 있는 엔지니어들과의 협업을 가능하게 했습니다. Databricks는 FOX 엔지니어링 팀과 긴밀히 협력하여 Lakebase, AI Search, Databricks Apps, Model Serving을 활용해 FOX Sports 및 FOX One 전반의 팬 경험을 재설계하도록 도왔습니다. 그 효과는 수치로 증명되었습니다. Sports AI를 이용하는 사용자는 앱 체류 시간이 약 2배 더 길어졌으며, 이는 AI 기반 경험이 대규모 팬 참여를 어떻게 심화시킬 수 있는지 보여줍니다. 이번 협업은 혁신의 속도를 높여 실시간으로 현실 세계에 영향력을 미치는 AI 기능을 시장에 빠르게 선보이는 계기가 되었습니다.— Melody Hildebrandt, FOX Chief Technology Officer

Databricks는 비즈니스의 변화를 실시간으로 지켜보며 함께 진화해 왔습니다. 2024년 7월에 OKR 중심의 딜리버리 모델에 대해 처음 소개한 데 이어, 애자일 서비스 딜리버리 접근 방식에서 얻은 교훈을 공유한 바 있습니다. 고객사에 직접 상주하며 혁신을 신속하게 제공하는 것은 Databricks FDE의 핵심이며, 이는 JPMC와 같은 고객과의 파트너십 방식을 형성하는 밑거름이 되었습니다.

우리에게 필요한 것은 더 많은 컨설턴트가 아니라, 아직 존재하지 않는 것을 만들어낼 수 있는 엔지니어였습니다. Databricks FDE 팀은 4개월 만에 5페타바이트 이상의 CCB Risk 데이터와 500개 이상의 노트북을 마이그레이션했고, 600명 이상의 내부 사용자를 플랫폼 상에서 교육했으며, 원래 계획했던 범위를 넘어 전반적인 마이그레이션을 가속화했습니다. 이들은 우리의 AI 전략을 위한 길을 닦아주었으며, 우리는 이 기반 위에서 계속해서 파트너십을 이어가고 있습니다.— Bala Vadhiyar, Chief Technology Officer (CTO) | Consumer & Community Banking at JPMC

많은 고객에게 현대화는 AI로 가는 우회로가 아니라 지름길입니다. 레이크하우스로 통합하고, 레거시 데이터 웨어하우스를 폐기하며, 데이터 파이프라인을 합리화하는 것이 후속 성과를 가능하게 하는 첫 걸음입니다. FDE는 플랫폼의 잠재력을 깨우는 마이그레이션부터 플랫폼이 구동하는 AI 애플리케이션에 이르기까지 전체 여정에 함께합니다.

Databricks FDE 경험이 특별한 이유와 오직 Databricks 팀과의 협업을 통해서만 얻을 수 있는 가치를 소개합니다.

FDE 모델이 작동하는 비결

FDE의 성공을 이끄는 네 가지 핵심 역량이 있습니다. 이 역량들이 결합되어 Databricks FDE만의 차별점을 만듭니다.

기술: 고객이 원하는 성과를 위해 구축된 강력한 데이터 및 AI 플랫폼

레이크하우스는 개방형 통합 기반을 제공하며, Databricks Apps, Genie, Lakebase는 이를 프로덕션 AI 애플리케이션, 자연어 데이터 액세스 및 운영 데이터로 확장합니다. 이 플랫폼은 설계 단계부터 멀티 모델 및 멀티 클라우드를 지원합니다. 이러한 견고한 기반이 있어야 데모만 잘 작동하는 프로토타입을 넘어 실제 비즈니스를 구동하는 시스템을 구축할 수 있습니다.

경험: 엔지니어링 주도의 딜리버리 모델

데이터 엔지니어링, 애플리케이션 개발, 프로덕션 시스템 배포 분야의 전문성을 갖춘 FDE는 플랫폼의 잠재력을 실제 비즈니스 솔루션으로 구현하는 데 필요한 우수한 엔지니어링 인재들입니다. Databricks의 협업 방식은 엔지니어링을 중심으로 고객의 비즈니스 목표에 초점을 맞춥니다.

확장성: 지역과 기술을 아우르는 글로벌 파트너 네트워크

FDE가 요구하는 폭넓은 전문성을 제공하기 위해서는 파트너와의 협력이 필수적입니다. 비즈니스 성과를 창출하려면 고객이 처한 환경, 즉 활용하는 기술, 속한 산업군, 지역적 위치에 맞춰 대응해야 합니다. Databricks는 수년간 파트너들과 긴밀히 협력하며 가장 복잡하고 흥미로운 프로젝트들을 완수해 왔습니다. 현재 전 세계 고객에게 폭넓은 전문성과 지역별 밀착 지원을 제공할 수 있는 수백 개의 파트너 네트워크를 보유하고 있습니다.

R&D 연계: 제품 및 엔지니어링 팀의 역량을 고객에게 직접 확장

FDE는 R&D 팀과 긴밀히 협력하며 신속한 반복 개선을 이끄는 피드백 루프를 생성합니다. 플랫폼이 아직 고객이 원하는 기능을 지원하지 않는 경우, FDE는 R&D 팀과 직접 협력하여 기능을 확장합니다. 현장에서 얻은 배움은 제품 개발에 직접 반영됩니다. 연구 팀과 공동으로 작성한 논문(예시)에 이러한 경험이 고스란히 담겨 있습니다. 플랫폼을 직접 개발한 제품 전문성이 고객의 가장 어려운 문제를 해결하는 현장에 함께합니다.

FDE가 약속하는 가치

FDE와의 협업은 설계부터 다릅니다. 다음과 같은 가치를 기대하실 수 있습니다.

• 측정 가능한 성과: 공유된 OKR을 통해 고객의 비즈니스 성과에 초점을 맞춘 협업을 진행합니다.
• 가치 창출 시간 단축: 불필요한 인수인계와 컨텍스트 손실을 줄여 프로토타입에서 프로덕션으로 빠르게 전환합니다. 진행 상황은 분기 단위가 아닌 주 단위로 측정되며, 협업 전반에 걸쳐 추적 가능한 실질적인 성과를 보여줍니다.
• 상주 엔지니어링: 엄격한 기준으로 선발된 우수한 엔지니어링 인재들이 고객사 팀과 함께 상주하며 협업합니다.
• 단순화된 상업적 구조: 성과에 부합하는 요금제를 점진적으로 도입하고, 적합한 경우 마일스톤 기준의 고정 수수료 옵션을 제공합니다.
• 확장성: 전문적인 기술을 제공하고 딜리버리 규모를 확장할 수 있는 글로벌 파트너 네트워크를 활용할 수 있습니다.

향후 계획

FDE의 실제 작동 모습을 확인하고 싶으시다면 6월 15일에 열리는 DAIS의 “Build with FDE Hub” 세션에 참여해 보세요. 자세한 문의는 Databricks 어카운트 팀에 연락해 주시기 바랍니다.

채용 중: 다양한 산업군의 최첨단 기술을 보유한 고객들과 함께 프로덕션 AI 시스템을 구축하고 싶다면 지금 지원하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)