AI 프로젝트에서 운영 역량으로

기업이 파일럿과 개념 증명을 넘어감에 따라 경영진의 대화에서 새로운 질문이 부상하고 있습니다. AI가 언제쯤 일련의 프로젝트가 아닌 비즈니스 운영의 일부가 되는가 하는 점입니다.

Databricks의 CIO인 Naveen Zutshi는 실험 단계에서 엔터프라이즈 규모의 AI로 전환하는 과정을 탐색하는 CIO 및 비즈니스 리더와 긴밀하게 협력합니다. 이번 Q&A에서 Naveen은 Palo Alto Networks, Gap Inc., Walmart와 같은 회사에서 레거시 환경을 확장 가능한 클라우드 우선 아키텍처로 전환한 복잡한 현대화 노력을 이끌었던 이전 리더십 역할을 바탕으로 이야기합니다.

대화에서 드러난 점은 명확합니다. 변곡점은 모델에 관한 것이 아닙니다. 이는 현대화, 거버넌스 및 운영 규율에 관한 것입니다.

AI가 실험 단계를 지나 손익(P&L)에 기여하고 있습니다.

Catherine: AI 실험이 운영 역량으로서의 AI로 전환되고 있다는 가장 명확한 신호는 무엇이라고 보십니까?

Naveen: 저는 업계가 AI로부터 실질적인 가치를 창출하기 위해 아직 할 일이 더 많다고 생각합니다. 하지만 지난 6개월에서 12개월 동안 놀라운 변화를 목격했습니다. 저는 여러 산업 분야의 CIO 및 비즈니스 리더들과 시간을 보내는데, 세 가지 패턴이 두드러집니다.

우선, AI가 일상 업무에 사용되는 구체적인 사례를 점점 더 많이 듣고 있습니다. 흥미롭게도, 클라우드 여정에서 뒤처졌다고 여겨졌던 규제 산업(예: 의료 및 금융 서비스)이 이제는 얼리 어답터가 되고 있습니다. 백오피스 자동화, 사기 탐지, 투자 수익 알파 생성, 임상의 기록 작성, 신약 개발, 심지어 위기 센터 지원 및 예방에도 AI가 사용되는 것을 볼 수 있습니다. 둘째, 비즈니스 리더들이 대화에 점점 더 많이 참여하고 있습니다. 과거에는 데이터 엔지니어와 데이터 과학자가 AI 관련 논의를 주도했습니다. 이제는 비즈니스 그룹이 데이터와 AI를 통해 자신들의 기능을 어떻게 변화시킬 수 있는지 논의하기 위해 참여하고 있습니다. 더 중요한 것은, 그들이 이미 어떻게 성공했는지에 대한 사례를 공유하고 있다는 점입니다. AI는 비즈니스 KPI에 나타날 때 비로소 진정으로 도입되었다고 할 수 있습니다.

셋째, 자금 조달 방식이 바뀌었습니다. 이전에는 AI가 혁신 예산이나 재량 자금에서 나왔습니다. 이제 AI는 사업부에서 직접 자금을 조달하거나 CIO 또는 CTO 조직을 통해 중앙에서 자금을 조달하는 P&L의 주요 항목입니다. 이러한 변화만으로도 운영에 대한 의지를 엿볼 수 있습니다. 머지않아 인건비와 클라우드 지출 다음으로 AI 도구 지출이 주요 항목이 될 것입니다. Databricks에서는 AI 지출을 전체 SaaS 지출과 분리하고 있습니다.

진정한 병목 현상: 인재가 아닌 레거시

Catherine: 업계 동료들과의 대화에서 AI 프로젝트를 프로덕션으로 전환할 때 공통적으로 겪는 어려움은 무엇인가요?

Naveen: 이번 주에 20명의 CIO와 함께했는데, 설문조사 결과에서 인재가 또다시 가장 큰 제약 조건으로 꼽혔습니다. 하지만 제 경험상 근본 원인은 레거시인 경우가 많습니다.

조직은 레거시 시스템, SaaS 확산, 온프레미스 확산, 아키텍처 복잡성 문제에 시달리고 있습니다. 시간이 지나면서 무대응이나 경쟁적인 우선순위 때문에 이를 제거하기 위한 결정적인 조치를 취하지 못했습니다. 하지만 레거시 시스템을 유지하는 것은 서서히 문제를 일으킵니다. 현대화는 속도를 높일 뿐만 아니라, 레거시 시스템은 인재를 유출시키기도 합니다. 최고의 엔지니어들의 주된 작업이 최신 시스템을 구축하는 것이 아니라 기존 시스템을 유지하는 것이라면 이들을 유치하고 유지하기가 더 어려워집니다.

컴퓨팅, 스토리지, 데이터 아키텍처, 애플리케이션 레이어 등 현대화를 선택할 때마다 더 빨리하지 않은 것을 후회했습니다. 현대화는 생산성을 높이고 사명감을 회복시키며 환경을 단순화합니다. 언제나 후회 없는 선택이었습니다.

스택을 전면 교체하지 않고도 최고의 AI 모델을 연결할 수 있는 현대적인 개방형 아키텍처는 다음과 같은 이점을 제공합니다.

• 데이터 이동의 복잡성을 줄이는 통합 거버넌스 레이어.
• 도구 확산을 줄여 단순성과 속도를 높입니다.
• 유지보수 대신 가치가 높은 작업에 최고의 인재를 집중시킬 수 있습니다.

그것이 종종 진정한 해결책이 되기도 합니다.

AI 확장 여부를 결정하는 플랫폼

Catherine: AI 확장 가능 여부를 결정하는 가장 중요한 플랫폼 관련 결정은 무엇인가요?

Naveen: 첫째, 데이터 계층입니다. 정형 및 비정형 데이터(기업 데이터의 거의 80%를 차지) 모두 해당됩니다. 공통 거버넌스 계층에서 두 가지를 모두 결합해야 합니다. 가장 중요한 것은 데이터를 모델로 가져오는 것이 아니라 모델을 데이터로 가져오는 것입니다. 여러 환경으로 데이터를 전송하면 복잡성과 제어 문제가 발생합니다. 통합 아키텍처는 관리를 단순화하고 보안을 개선합니다.

단일 모델 제공업체에 종속되는 것을 피하는 것도 매우 중요합니다. 프론티어 모델은 빠르게 발전하고 있습니다. AI 게이트웨이 또는 추상화 계층을 사용하면 여러 모델을 사용하고 당면한 작업에 가장 적합한 모델을 선택할 수 있습니다.

마지막으로, 관찰 가능성, 품질, 검증 및 테스트에 막대하게 투자하여 AI를 핵심 역량으로 다루어야 합니다. 개발이 가속화되고 있습니다. 테스트는 원칙이 중요한 부분입니다. 검증하고 개선하는 데 시간의 80%를, 구축하는 데는 20%만 할애할 수도 있습니다. 그리고 한 가지 더 덧붙이자면, 컨텍스트와 상태가 점점 더 중요해지고 있습니다. AI 시스템은 시간이 지남에 따라 개선될 수 있도록 메모리와 연속성이 필요합니다.

데이터와 AI가 더 이상 별개의 대화가 아닐 때

Catherine: 데이터 및 AI 이니셔티브에서 비즈니스 경영진을 배제하면 어떤 결과가 초래되나요?

Naveen: 많은 회사에서 AI 전략은 데이터 팀이 주도합니다. 하지만 이는 비즈니스 필수 과제이기도 합니다. 깨끗하고 품질 좋은 엔터프라이즈 데이터가 없다면 AI는 엔터프라이즈 환경에서 유용하지 않을 것입니다. 프론티어 랩은 웹의 데이터를 기반으로 모델을 훈련시킵니다. 기업은 자체 데이터로 모델을 추가 훈련해야 합니다. 동시에 엣지에서도 혁신이 일어날 수 있습니다. 적절한 인증 및 액세스 제어 기능을 갖춘 일관된 데이터 및 AI 스택이 있다면 팀은 아키텍처를 파편화하지 않고 안전하게 에이전트와 애플리케이션을 구축할 수 있습니다. 핵심은 분산된 혁신을 뒷받침하는 일관성과 거버넌스입니다.

에이전틱 AI가 준비된 분야와 그렇지 않은 분야

캐서린: 에이전트 소유권에 가장 적합한 워크플로는 무엇인가요?

나빈: AI 사용에 성숙한 소프트웨어 개발 워크플로를 넘어, 시장 출시 워크플로에서 큰 성공을 거두고 있습니다. 마케팅 및 사전 영업 팀은 에이전트를 사용하여 아웃바운드 도달 범위와 타겟팅을 개선하고 있으며, 종종 수동 프로세스를 능가하는 성과를 보입니다.

에이전트는 의사 결정을 지원하기 위해 대량의 정보를 처리할 때도 뛰어난 성능을 발휘합니다. 애널리스트로부터 임시 보고서를 받기 위해 몇 주를 기다리는 대신, 리더는 정형 데이터와 비정형 데이터 모두에 걸쳐 데이터에 직접 질문하고 신속하게 인사이트를 얻을 수 있습니다.

에이전트가 아직 준비되지 않은 분야는 100%의 일관성과 정확성을 요구하는 결정론적 워크플로입니다. AI는 보조할 수는 있지만 인간의 판단을 대체해서는 안 됩니다. 그럴듯하게 들리지만 깊이가 부족한 결과물, 이른바 'AI 슬롭(slop)'의 위험도 있습니다. 리더는 도입과 감독을 병행해야 합니다.

과대광고를 넘어 성공 정의하기

Catherine: 데이터와 AI를 확장할 때 성공을 어떻게 정의하시나요?

나빈: 저는 네 가지 차원을 기준으로 삼습니다.

1. 효율성
2. 효과성 및 수익 영향
3. 결과의 품질
4. 위험 감소

AI 시스템의 경우, 저는 제어 가능한 입력에도 집중합니다. 예를 들어, 영업 AI 시스템에서 데이터 입력의 몇 퍼센트가 이제 에이전트에 의해 자동화되었습니까? 해당 입력 메트릭은 생산성 향상과 상관관계가 있어야 합니다. 또는 에이전트 추천의 몇 퍼센트가 채택되며, 수동 접근 방식과 비교했을 때 그 효능은 어느 정도인가요? A/B 테스트를 할 수 있습니다. 주기 시간 단축과 비용 절감은 중요하지만, 더 광범위한 비즈니스 성과라는 맥락에서만 의미가 있습니다.

12개월의 시작, 중단, 계속

Catherine: 동료들에게 12개월간의 '시작, 중단, 지속(start, stop, continue)' 과제를 제시해야 한다면 무엇을 꼽으시겠어요?

Naveen: 저는 레거시라는 괴물을 그만 키우라고 말하고 싶습니다. AI 거버넌스와 보안을 뒷전으로 미루지 마세요. 그리고 SaaS 난립을 에이전트 난립으로 대체하지 마세요. 에이전트가 채택되지 않거나 가치를 제공하지 않는다면 솎아내세요.

그렇다면 기술 기반 또는 잡투비던(jobs-to-be-done) 접근 방식을 취하라고 말씀드리고 싶습니다. 전체 애플리케이션을 교체하기보다는 에이전트가 더 잘 수행할 수 있는 특정 작업을 파악하세요. 집중적인 성공을 통해 신뢰를 쌓으세요. 크롤, 워크, 런(crawl, walk, run) 여정을 계획하세요. 그리고 마지막으로, 특히 비정형 데이터에 대한 데이터 및 거버넌스에 계속 투자하라고 말씀드리고 싶습니다. 그리고 가장 중요한 것은 비즈니스 중심을 유지하는 것입니다. 사용자, 고객, 그리고 결과에서 시작하세요. 기술만으로는 가치를 창출할 수 없습니다.

경영진 변곡점

경영진의 변곡점은 운영 준비성, 최신 아키텍처, 통합 거버넌스, 원칙에 입각한 테스트, 측정 가능한 결과, 비즈니스 연계에 관한 것입니다.

AI는 실험 단계를 넘어 책임 단계로 이동할 때, 즉 KPI, 예산 항목, 아키텍처 관련 결정에 반영될 때 운영 역량이 됩니다. 이러한 변화를 조기에 인식하는 조직은 단순히 더 많은 AI를 배포하는 데 그치지 않을 것입니다. 그들은 그것에 대해 구조적으로 준비된 기업을 구축할 것입니다.

효과적인 운영 모델 구축에 대해 자세히 알아보려면 Databricks AI 성숙도 모델을 다운로드하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)