AI 거버넌스는 전략입니다: 성공적인 AI 이니셔티브는 코드가 아닌 통제에서 시작됩니다

AI는 조직 전반에 걸쳐 워크플로, 고객 상호작용, 기업 의사결정에 통합되고 있습니다. 이사회와 CEO에게 이러한 변화는 논의의 방향을 바꿉니다. 이제 핵심 질문은 '얼마나 빨리 AI를 도입할 수 있는가?'가 아니라 '대규모로 신뢰할 수 있을 만큼 충분히 잘 관리할 수 있는가?'입니다.

Databricks에서 엔터프라이즈 AI 전략 및 거버넌스를 책임지는 수석 기술 리더인 렉시 카산은 데이터, AI, 비즈니스 혁신의 교차점에서 깊은 실무 경험을 보유하고 있습니다. 그녀의 관점은 이론이 아닌 현실에 기반을 두고 있습니다. 대규모 조직 내부에 생성형 및 에이전트 시스템을 배포할 때 어조, 편향, 모니터링, 책임성은 추상적인 위험이 아니라 운영상의 요구 사항이 됩니다.

다음은 거버넌스가 고품질 엔터프라이즈 AI를 확장하는 데 필수 전제 조건인 이유에 대한 대화입니다.

AI 거버넌스는 신뢰할 수 있고 관련성 높은 결과물로 이어집니다

캐서린 브라운: 경영진이 “AI 거버넌스를 하고 있다”고 말할 때, AI를 프로덕션으로 확장하는 데 실제로 필요한 것에 대해 무엇을 오해하고 있을까요?

렉시 카산: 일반적으로 조직이 AI 거버넌스에 접근하는 것을 들어보면, “우리는 정책이 있고, 문서화된 프로세스가 많이 있으며, 승인할 사람들이 있습니다.”라는 노력이 됩니다. 누군가 확인란에 체크하고 단계를 모두 거쳤다면 모든 것이 괜찮다는 것입니다.”

현실적으로 거버넌스는 개발 단계와 대규모의 지속적인 성공 모두에서 AI 이니셔티브에 영향을 미칩니다. 강력한 거버넌스는 신뢰할 수 있는 프로덕션 AI로 이어지며, 설계된 대로 조직을 지속적으로 개선하고 지원합니다. 규모는 승인을 받는다고 해서 생기는 것이 아닙니다. 규모는 AI를 지속적으로 운영하는 데서 나옵니다. 그리고 이를 위해서는 데이터와 AI 팀 이상의 것이 필요합니다.

대규모 신뢰를 위한 AI 거버넌스에는 소통, 협업, 반복이라는 세 가지가 필요합니다. 정책 및 리스크 완화 관점과 비즈니스 의도 및 사용 관점 모두에서 기대치를 전달하세요. 우려 사항을 해결하고 신뢰할 수 있는 시스템을 구축하려면 주제 전문가, 기술 전문가, 위험 및 보안 전문가, 그리고 그 외 다른 사람들 간의 협업이 필요합니다. 그리고 시간이 지남에 따라 반복하여 AI 시스템의 관련성, 신뢰성, 가치를 유지해야 합니다.

AI 가치를 실현하는 거버넌스

Catherine: 어느 시점에서 AI 거버넌스가 규정 준수 문제를 넘어 비즈니스의 운영상 요구사항이 될까요?

렉시: 거버넌스는 지난 몇 년간 특히 AI 때문에 변화를 겪었습니다. 5년 또는 10년 전만 해도 거버넌스는 종종 위험 완화와 규정 준수로 여겨졌습니다. 거의 혁신의 정반대로 여겨지기도 했습니다. 이제 거버넌스는 가치 실현의 조력자라는 본연의 모습으로 더 잘 이해됩니다. 거버넌스가 없으면 데이터나 AI를 신뢰하기가 매우 어렵습니다. 그리고 신뢰가 없으면 아무도 사용하지 않습니다. 그리고 사용에서 가치가 나옵니다.

아무도 여러분의 AI를 신뢰하지 않는다면 리소스를 투자하고도 아무런 가치를 얻지 못한 것입니다. 

따라서 광범위하게 도입하고 대규모로 운영하려면 거버넌스는 이미 필수 요건입니다.

과도한 프로세스는 혁신을 저해합니다

Catherine: 조직이 운영 모델을 재설계하는 대신 기존 검토 프로세스에 AI를 단순히 추가하면 어떻게 될까요?

Lexy: 바로 이 지점에서 과도한 프로세스가 추가되는 경향이 있습니다.

조직들은 “AI를 위한 더 순조로운 경로를 파악하는 대신, 개인정보 보호 평가, 아키텍처 검토, 보안 검토 등 기존에 있던 프로세스를 그대로 가져와서 거기에 더 많은 것을 추가할 것입니다”라고 말합니다. 결국 한 달에 한 번 정도 만나는, 서로 단절된 위원회만 남게 됩니다. AI를 위해 거버넌스를 재설계하기보다는 느린 거버넌스 위에 AI를 덧씌우는 셈입니다.

무언가를 승인받는 데 6개월이 걸리고 AI 역량은 매월 발전한다면, 구조적으로 뒤쳐질 수밖에 없습니다. 거버넌스가 더 많은 오버헤드를 의미해서는 안 됩니다. 이는 매번 처음부터 시작하지 않도록 이미 위험을 완화하는 잘 닦인 길, 즉 아키텍처와 프레임워크를 찾는 것을 의미해야 합니다.

인사이트에서 실행으로의 전환으로 리스크 프로필 변경

Catherine: AI 시스템이 인사이트를 생성하는 것에서 나아가 에이전트와 애플리케이션을 통해 조치를 취하게 되면 거버넌스에 대한 논의는 어떻게 달라질까요?

렉시: AI를 프로세스에 도입하는 것을 생각할 때, 우리는 종종 통제에서 신뢰로 이어지는 연속선상을 떠올립니다. 한쪽 끝에는 완전히 인간이 통제하는 프로세스가 있습니다. 다른 한쪽 끝에는 완전히 자동화된 에이전트 시스템이 있습니다. AI가 인사이트 생성에서 행동 실행으로 전환되면 그 중요성이 달라집니다. 더 많은 통제권을 포기하는 만큼 시스템에 더 큰 신뢰를 둘 수 있어야 합니다. 

에이전트 행동에 필요한 수준의 신뢰를 달성하려면 AI 거버넌스에 대한 책임의 대부분을 비즈니스 현업 전문가에게 이전해야 합니다. 테스트, 피드백, 가드레일 개발, 평가에 대한 단계적 접근 방식을 갖추면 에이전트가 대부분의 경우 적절하게 행동할 것이라는 신뢰를 구축하는 데 도움이 됩니다. 이러한 책임은 프로덕션 환경에서도 계속되며, 여기서는 추가 피드백과 프롬프트 엔지니어링을 통해 시스템이 정상 궤도를 유지하도록 합니다. 

이는 콘텐츠 및 작업 측면을 다루지만 기술적인 부분은 어떻습니까? 바로 이 지점에서 시스템 fallback 메커니즘, 복원성, 견고성이 매우 중요해집니다. AI가 다운되면 어떻게 되나요? 모델을 재학습시키거나 체인을 리팩터링해야 하는 경우 어떻게 되나요? 거버넌스에는 이러한 시나리오에 대한 계획이 포함됩니다. 어디로 폴백되나요? 누구에게 폴백되나요? 어떤 모습인가요?

프로덕션 이전의 책임

Catherine: AI가 프로덕션 단계에 도달하기 전에 리더십 팀은 책임 소재, 에스컬레이션 경로, 사람의 감독에 대해 어떤 결정을 미리 내려야 하나요?

Lexy: 점점 더 많은 조직이 에이전트를 거의 직원처럼 생각하고 있습니다. 일부 회사들은 에이전트를 인력 관리 도구에 넣고, 관리자에게 배정하며, 관리자가 에이전트의 성과에 대해 책임지게 합니다. 인간 직원에게 하듯이 에이전트에게도 성과 관리 개념을 적용할 수 있습니다. 얼마나 잘 작동하고 있나요? 정해진 범위를 벗어나지 않고 있나요? 설계된 목적에 맞는 결과를 내고 있나요? 지침을 변경하거나 모델을 재학습시킬 수 있으므로 어떤 면에서는 에이전트를 수정하는 것이 더 쉽지만, 다른 점도 있습니다. 에이전트는 인간과 같은 동기를 가지고 있지 않습니다.

리더십 팀은 성과 측정 방식, 신뢰도 평가 방식, 그리고 프로덕션에서 특정 요소를 제외하거나 다시 복구하기 위한 조건을 결정해야 합니다. 신뢰는 잃기 쉽지만 다시 쌓기는 훨씬 더 어렵습니다. 이는 사람과 마찬가지로 AI에도 적용됩니다.

속도를 늦추지 않고 책임감 있게 확장하기

캐서린: 함께 일하시는 여러 조직을 보면, 신속하게 움직이면서도 책임감 있게 AI를 확장하는 팀을 구별하는 패턴은 무엇인가요?

Lexy: 첫 번째는 제가 앞서 이야기했던 포장된 길입니다. 매번 기술에 대해 논쟁할 필요가 없는 시점에 도달하게 됩니다. 추적성, 감사 가능성, 책임성이 내장된 거버넌스 아키텍처를 갖추게 됩니다. 가드레일이 이미 마련되어 있으므로 신속하게 움직일 수 있습니다.

두 번째는 현업 전문가를 프로세스에 직접 참여시키는 것입니다. 비즈니스팀과 기술팀이 요구사항을 해석하느라 끊임없이 소통할 필요가 없을 때 확장이 가장 빠르게 이루어집니다. 현업은 무엇이 좋은 결과인지, 무엇이 유효하고 유효하지 않은지와 같은 맥락을 제공합니다.

거버넌스는 더 이상 기술 전문가만의 문제가 아닙니다. 이제는 비즈니스와 기술이 공유된 프레임워크 아래에서 함께 협력하는 것입니다.

신뢰는 반드시 설계하고 측정해야 합니다.

Catherine: 경영진은 내부적으로 그리고 고객과의 관계에서 신뢰를 설계, 측정, 관리해야 할 대상으로 어떻게 생각해야 할까요?

Lexy: 신뢰는 직접 측정하기 어렵습니다. 그래서 우리는 대리 지표에 의존합니다. 데이터 품질, 시스템 성능, 도입 및 활용도를 측정합니다. 시스템이 정의된 경계를 벗어나지 않고 수용 가능한 결과를 도출하는지 평가합니다.

사람에 대한 성과 관리처럼 생각할 수 있습니다. 다른 사람들은 그것에 얼마나 의존하고 있나요? 얼마나 생산적인가요? 기대치를 얼마나 일관되게 충족하나요?

신뢰 자체는 정량화하기 어려울 수 있지만 성능, 일관성, 표준 준수는 측정할 수 있습니다. 시간이 지남에 따라 이러한 측정값은 신뢰를 구축하는 데 도움이 됩니다.

피드백 루프가 있어야 거버넌스가 정착됩니다

Catherine: CEO가 AI 거버넌스를 확실히 정착시키기 위해 앞으로 90일 안에 실행할 수 있는 구체적인 변화 한 가지를 추천해 달라고 한다면, 무엇을 말씀하시겠어요?

Lexy: 그것이 사용에 관한 것이든 혹은 무언가가 사용되지 않는 이유를 파악하는 것이든, 반드시 피드백을 받도록 하세요. 사람들이 AI와 상호작용할 때 결과의 품질에 대한 피드백을 제공하고 있나요? 그들이 결과를 평가하고 있나요? 그리고 아무도 그것과 직접 상호작용하지 않더라도 우리는 여전히 그 결과를 평가해야 합니다. 누가 그 검토 주기에 참여하나요?

피드백이 의미 있는 변화를 만들어낼 때 거버넌스가 정착됩니다. 자신의 의견이 시스템을 개선하고 자신의 업무 방식까지 향상시키는 것을 보게 되면 사람들은 적극적으로 참여하게 됩니다.

그리고 궁극적으로는 가치를 우선순위에 두어야 합니다. 구축할 가치가 있는 것을 구축하세요. 그런 다음 다음의 가치 있는 AI 이니셔티브에 더 쉽게 동의할 수 있도록 잘 닦인 경로를 구축하세요.

거버넌스는 규모 확장의 전제 조건입니다.

AI 거버넌스는 종종 통제 메커니즘으로 여겨집니다. 실제로는 운영 원칙입니다. AI 확장은 더 많은 검토 위원회나 문서를 추가하는 것이 아닙니다. 아키텍처에 가드레일을 내장하고 피드백 루프를 구축하며, 시간이 지나도 신뢰할 수 있는 시스템을 설계하는 것입니다.

리더십 팀의 시사점은 간단합니다. 거버넌스가 AI의 속도를 늦추는 것이 아니라 잘못 설계된 거버넌스가 속도를 늦춘다는 것입니다. 거버넌스가 플랫폼에 내장되고, 비즈니스 소유권과 연계되며, 측정 및 피드백을 통해 강화될 때, 이는 AI가 책임감 있고 지속 가능하게 확장될 수 있는 조건이 됩니다.

Databricks 보고서 Delivering a Secure Data and AI Strategy를 통해 선도 기업들이 거버넌스, 보안, 신뢰를 AI 운영 모델에 직접 내장하는 방법을 알아보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)