모든 것을 늦추지 않으면서 AI 거버넌스를 올바르게 구현하기

기업이 AI 실험에서 규모 확장으로 전환함에 따라 거버넌스는 이사회 수준의 관심사가 되었습니다. 이제 경영진의 과제는 거버넌스가 중요한지 여부가 아니라, 속도, 혁신, 신뢰를 동시에 가능하게 하는 방식으로 이를 어떻게 설계하느냐는 것입니다.

실제로 이러한 균형이 어떻게 작용하는지 알아보기 위해 Databricks의 제품 부문 수석 부사장인 David Meyer와 이야기를 나누었습니다. 다양한 산업과 지역의 고객과 긴밀하게 협력하면서 David는 조직이 어느 부분에서 실질적인 진전을 이루고 있고, 어디에서 어려움을 겪고 있으며, 오늘날의 거버넌스 결정이 내일의 가능성을 어떻게 형성하는지에 대해 명확한 시각을 갖게 되었습니다.

대화에서 가장 두드러졌던 점은 그의 실용주의였습니다. 데이비드는 AI 거버넌스를 새롭거나 추상적인 것으로 취급하기보다는 엔지니어링 원칙, 가시성, 책임성이라는 기본 원칙으로 지속적으로 돌아갔습니다.

더 빠르게 움직이기 위한 방법으로서의 AI 거버넌스

Catherine Brown: 다양한 산업의 고객과 많은 시간을 보내시죠. 리더들이 향후 1~2년을 계획하면서 거버넌스에 대해 생각하는 방식에 어떤 변화가 있나요?

David Meyer: 제가 보는 가장 분명한 패턴 중 하나는 거버넌스 과제가 조직적인 동시에 기술적이며 이 둘이 긴밀하게 연결되어 있다는 점입니다. 조직적인 측면에서 리더들은 혼란을 야기하지 않으면서 팀이 신속하게 움직이도록 하는 방법을 알아내려고 노력하고 있습니다.

어려움을 겪는 조직은 지나치게 위험을 회피하는 경향이 있습니다. 모든 결정을 중앙 집중화하고, 과도한 승인 프로세스를 추가하며, 의도치 않게 모든 것을 느리게 만듭니다. 아이러니하게도, 이는 더 안전한 결과가 아닌 더 나쁜 결과를 초래하는 경우가 많습니다.

흥미로운 점은 강력한 기술 거버넌스가 실제로 조직의 유연성을 확보할 수 있다는 것입니다. 리더가 어떤 데이터, 모델, 에이전트가 사용되고 있는지에 대한 실질적인 가시성을 확보하면 모든 결정을 수동으로 제어할 필요가 없습니다. 시스템 전반에서 무슨 일이 일어나고 있는지 이해하기 때문에 팀에 더 많은 자율성을 부여할 수 있습니다. 실제로 이는 팀이 모든 모델이나 사용 사례에 대해 허가를 요청할 필요가 없다는 것을 의미합니다. 액세스, 감사, 업데이트는 중앙에서 처리되며 거버넌스는 예외가 아닌 설계에 따라 이루어집니다.

Catherine Brown: 많은 조직이 너무 빨리 움직이는 것과 모든 것을 통제하는 것 사이에서 어려움을 겪는 것 같습니다. 이 문제를 제대로 해결하고 있는 회사는 어디라고 생각하시나요?

데이비드 마이어: 저는 보통 두 가지 극단적인 경우를 봅니다.

한쪽 극단에는 스스로를 'AI 우선'이라고 결정하고 모든 사람이 자유롭게 구축하도록 장려하는 기업들이 있습니다. 그 방식은 잠시 동안은 통합니다. 사람들은 빠르게 움직이고 열의가 넘칩니다. 그러다 눈 깜짝할 사이에 갑자기 수천 개의 에이전트가 생기고, 실제 인벤토리도 없고, 비용이 얼마나 드는지도 모르고, 프로덕션 환경에서 실제로 무엇이 실행되고 있는지 명확하게 파악하지 못하게 됩니다.

반면에 모든 것을 사전에 통제하려는 조직도 있습니다. 이들은 승인을 위한 단일 병목 지점을 만들어, 결과적으로 의미 있는 것은 거의 배포되지 않습니다. 그런 팀들은 보통 뒤처지고 있다는 압박감을 계속 느낍니다.

이를 잘 수행하는 기업들은 중간 지점에 안착하는 경향이 있습니다. 각 비즈니스 기능 내에서 AI에 대한 지식이 풍부하고 현지에서 실험을 주도할 수 있는 인력을 파악합니다. 이들은 조직 전체에서 의견을 교환하고, 효과적인 방법을 공유하며, 권장 도구의 범위를 좁힙니다. 수십 개의 도구를 2~3개로 줄이는 것만으로도 사람들이 예상하는 것보다 훨씬 더 큰 차이를 만듭니다.

에이전트는 보기만큼 새로운 것이 아닙니다

Catherine: 앞서 하신 말씀 중 한 가지가 정말 인상 깊었습니다. 많은 사람이 생각하는 것만큼 에이전트가 근본적으로 다르지는 않다고 하셨죠.

데이비드: 맞습니다. 에이전트는 새로운 것처럼 느껴지지만, 그 특성 중 상당수는 사실 매우 익숙합니다.

지속적으로 비용이 발생합니다. 보안 공격 표면을 확장합니다. 다른 시스템에 연결됩니다. 이것들은 모두 우리가 이전에 다루었던 것들입니다.

우리는 이미 데이터 자산과 API를 관리하는 방법을 알고 있으며, 여기에도 동일한 원칙이 적용됩니다. 에이전트가 어디에 있는지 모르면 끌 수 없습니다. 에이전트가 민감한 데이터를 다룬다면 누군가는 그에 대한 책임을 져야 합니다. 많은 조직이 에이전트 시스템에는 완전히 새로운 규칙집이 필요하다고 가정합니다. 실제로는 데이터 관리에서 검증된 수명 주기 및 거버넌스 관행을 차용한다면 거의 다 온 셈입니다.

Catherine: 경영진이 간단하게 시작할 수 있는 곳을 묻는다면 뭐라고 답하시겠습니까?

David: 저는 관측 가능성부터 시작하겠습니다.

의미 있는 AI는 거의 항상 독점 데이터에 의존합니다. 어떤 데이터가 사용되는지, 어떤 모델이 관련되어 있는지, 그리고 이러한 요소들이 어떻게 결합하여 에이전트를 형성하는지 알아야 합니다.

많은 기업이 여러 클라우드에 걸쳐 다수의 모델 제공업체를 사용하고 있습니다. 이러한 모델이 개별적으로 관리되면 비용, 품질 또는 성능을 파악하기가 매우 어려워집니다. 데이터와 모델이 함께 관리될 때 팀은 훨씬 더 효과적으로 테스트, 비교 및 개선할 수 있습니다.

생태계가 매우 빠르게 변화하고 있기 때문에 이러한 관찰 가능성은 훨씬 더 중요합니다. 리더는 상황이 바뀔 때마다 전체 스택을 재구축하지 않고도 새로운 모델과 접근 방식을 평가할 수 있어야 합니다.

Catherine: 조직은 어느 부분에서 빠른 진전을 보이고 있으며, 어디에서 어려움을 겪는 경향이 있나요?

David: 지식 기반 에이전트가 보통 가장 빠르게 구축할 수 있습니다. 문서 세트를 지정하기만 하면 사람들이 질문하고 답변을 얻을 수 있습니다. 정말 강력하죠. 문제는 이러한 시스템 중 다수가 시간이 지남에 따라 성능이 저하된다는 것입니다. 콘텐츠가 변경됩니다. 인덱스는 최신 상태가 아니게 됩니다. 품질이 저하됩니다. 대부분의 팀은 이에 대비하지 않습니다.

가치를 유지한다는 것은 초기 배포 단계를 넘어 생각하는 것을 의미합니다. 데이터를 지속적으로 새로 고치고, 출력을 평가하며, 시간이 지남에 따라 정확도를 개선하는 시스템이 필요합니다. 그렇지 않으면 많은 조직에서 처음 몇 달간은 활동이 활발하다가 이후 사용량과 영향력이 감소하는 것을 보게 됩니다.

에이전틱 AI를 엔지니어링 원칙처럼 다루기

Catherine: 실제로 리더들은 속도와 신뢰 및 통제 사이에서 어떻게 균형을 맞추고 있나요?

David: 이를 잘 수행하는 조직은 에이전트 AI를 엔지니어링 문제로 취급합니다. 소프트웨어에 사용하는 것과 동일한 원칙, 즉 지속적인 테스트, 모니터링, 배포를 적용합니다. 실패는 예상된 일입니다. 목표는 모든 문제를 예방하는 것이 아니라, 폭발 반경을 제한하고 문제를 신속하게 해결하는 것입니다. 팀이 그렇게 할 수 있게 되면 더 빠르고 자신감 있게 움직일 수 있습니다. 아무런 문제가 발생하지 않는다면, 아마도 너무 보수적인 것일 수 있습니다.

Catherine: 신뢰와 투명성에 대한 기대는 어떻게 진화하고 있나요?

데이비드: 신뢰는 시스템이 완벽할 것이라고 가정하는 데서 오는 것이 아닙니다. 무언가 잘못된 후에 무슨 일이 일어났는지 아는 데서 옵니다. 어떤 데이터가 사용되었는지, 어떤 모델이 관련되었는지, 누가 시스템과 상호작용했는지 등 추적 가능성이 필요합니다. 그런 수준의 감사 가능성이 있으면 더 많이 실험할 여유가 생깁니다.

이것이 대규모 분산 시스템이 항상 운영되어 온 방식입니다. 장애가 없는 상태가 아니라 복구에 최적화하는 것입니다. AI 시스템의 자율성이 커짐에 따라 이러한 사고방식은 더욱 중요해집니다.

AI 거버넌스 전략 구축

에이전트 AI를 과거와의 완전한 단절로 보기보다는, 기업이 이미 운영 방법을 알고 있는 분야의 확장으로 봐야 합니다. 다음에 무엇이 중요한지 고민하는 경영진에게는 다음 세 가지 주제가 중요하게 부각됩니다.

• 거버넌스를 속도를 제한하는 것이 아니라 가능하게 하는 데 사용하세요. 가장 강력한 조직은 팀이 가시성이나 책임성을 잃지 않으면서 더 빠르게 움직일 수 있도록 기본 제어를 마련합니다.
• 에이전트에 익숙한 엔지니어링 및 데이터 관행을 적용하세요. 인벤토리, 수명 주기 관리, 추적성은 데이터 및 APIs에서와 마찬가지로 에이전트에게도 중요합니다.
• AI를 일회성 출시가 아닌 프로덕션 시스템으로 취급하세요. 지속적인 가치는 지속적인 평가, 최신 데이터, 그리고 문제를 신속하게 감지하고 수정하는 능력에 달려 있습니다.

종합해 보면, 이러한 아이디어들은 명확한 시사점을 제시합니다. 지속 가능한 AI 가치는 최신 도구를 쫓거나 모든 것을 잠그는 데서 오는 것이 아니라, 조직이 자신감을 갖고 배우고, 적응하고, 확장할 수 있도록 하는 기반을 구축하는 데서 옵니다.

효과적인 운영 모델 구축에 대해 자세히 알아보려면 Databricks AI 성숙도 모델을 다운로드하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)