Databricks AI 거버넌스 프레임워크 소개

오늘, 우리는 Databricks AI 거버넌스 프레임워크 (DAGF v1.0)를 소개합니다. 이는 기업 전반에 걸친 AI 채택을 지배하는 구조적이고 실용적인 접근법입니다.

조직이 대규모로 AI를 수용함에 따라 공식적인 거버넌스의 필요성이 커집니다. 기업은 AI 개발을 사업 목표와 일치시키고, 법적 의무를 이행하며, 윤리적 위험을 고려해야 합니다. 이 프레임워크는 프로그램 개발, 배포, 그리고 지속적인 개선을 지원하도록 설계되었습니다.

DAGF는 Databricks AI 보안 프레임워크를 보완하여, 보안과 운영 무결성을 모두 포괄하는 거버넌스의 전체적인 시각을 제공합니다.

왜 AI 거버넌스를 기다릴 수 없는가

Economist Impact가 실시한 2024년 전세계 설문조사 에 따르면, 1,100명의 기술 경영진과 엔지니어 중 40%가 자신의 조직의 AI 거버넌스 프로그램이 AI 자산 및 사용 사례의 안전성과 준수를 보장하는 데 부족하다고 믿었습니다. 또한, 데이터 개인정보 보호와 보안 위반은 53%의 엔터프라이즈 아키텍트에게 가장 큰 우려거리였으며, 엔지니어들에게는 보안과 거버넌스가 데이터 엔지니어링의 가장 어려운 측면 이었습니다.

또한, Gartner에 따르면, AI 신뢰, 위험, 보안 관리는 2024년의 최고 전략적 트렌드 중 하나로, 비즈니스와 기술 결정에 영향을 미치며, 2026년에는 AI 투명성, 신뢰, 보안을 운영화하는 조직의 AI 모델은 채택률, 비즈니스 목표, 사용자 수용도에서 50%의 증가를 이룰 것입니다.

기업 수준의 AI 거버넌스 프로그램 부재가 AI 투자로부터의 가치 실현과 전체적인 AI 채택을 방해하는 주요 요인이 되고 있는 것은 명백하지만, 우리는 기업이 효과적인 AI 거버넌스 프로그램을 구축하기 위해 활용할 수 있는 단일하고 종합적인 지침 프레임워크가 없다는 것을 깨달았습니다.

다섯 가지 기본적인 기둥

이 프레임워크에서는 모든 기업이 자신들의 AI 여정을 효과적으로 지배하기 위해 이해하고 (적절하게 구현해야 하는) 43개의 핵심 고려사항 을 소개합니다.

이러한 핵심 고려사항들은 일반적인 기업 조직 구조와 인물을 반영하여 설계되고 순서대로 5개의 기본적인 기둥에 논리적으로 그룹화되었습니다.

1번 기둥: AI 조직

AI 조직 기둥은 AI 거버넌스를 조직의 더 넓은 거버넌스 전략에 포함시킵니다. 이는 명확하게 정의된 비즈니스 목표와 조직의 사람, 프로세스, 기술, 데이터를 감독하는 적절한 거버넌스 실천을 통해 효과적인 AI 프로그램을 위한 기반을 강조합니다. 이는 조직이 위험을 줄이면서 전략적 목표를 달성하기 위해 필요한 감독을 어떻게 수립할 수 있는지 설명합니다.

기둥 II: 법적 및 규제 준수

법률 및 규제 준수 기둥은 조직이 AI 이니셔티브를 적용 가능한 법률 및 규정과 일치시키는 데 도움을 줍니다. 이는 법적 위험을 관리하고, 특정 부문의 요구 사항을 해석하고, 변화하는 규제 환경에 대응하여 준수 전략을 적응시키는 방법을 안내합니다. 결과는 AI 프로그램이 견고한 법적 및 규제 프레임워크 내에서 개발되고 배포됩니다.

기둥 III: 윤리, 투명성 및 해석 가능성

윤리, 투명성, 해석 가능성 기둥은 조직이 신뢰할 수 있고 책임 있는 AI 시스템을 구축하는 데 지원합니다. 이는 공정성, 책임성, 인간 감독과 같은 윤리적 원칙을 준수하면서 설명 가능성과 이해관계자 참여를 촉진하는 것을 강조합니다. 이 기둥은 조직 내 팀에 책임과 구조를 확립하는 방법을 제공하며, AI 결정이 해석 가능하고, 진화하는 윤리 표준과 일치하며, 장기적인 신뢰와 사회적 수용을 촉진하는 데 도움이 됩니다.

기둥 IV: 데이터, AI 운영, 인프라

데이터, AI 운영(AIOps), 인프라 기둥은 조직이 AI를 완전히 배포하고 유지하는 데 필요한 기반을 정의합니다. 이는 확장 가능하고 신뢰할 수 있는 AI 인프라를 만들고, 머신러닝 수명 주기를 관리하고, 데이터 품질, 보안, 준수를 보장하는 가이드라인을 제공합니다. 이 기둥은 또한 AI 시스템이 신뢰할 수 있고, 효율적이며, 비즈니스 목표와 일치하도록 모델 훈련, 평가, 배포, 모니터링을 포함한 AI 운영에 대한 모범 사례를 강조합니다.

기둥 V: AI 보안

AI 보안 기둥은 Databricks AI 보안 프레임워크(DASF)를 소개하며, 이는 AI 생명주기 전반에 걸친 보안 위험을 이해하고 완화하는 종합적인 프레임워크입니다. 이것은 데이터 보호, 모델 관리, 안전한 모델 서비스, 그리고 AI 자산을 보호하기 위한 강력한 사이버 보안 조치 구현과 같은 중요한 영역을 다룹니다.

DAGF에 대한 추가 개요와 조직이 프레임워크를 활용하여 AI 프로그램 수명 주기 전반에 걸쳐 명확한 소유권과 일치성을 만드는 방법에 대한 예시를 보려면, 저자들이 2025 Data + AI Summit 에서 제작한 이 프레젠테이션 을 시청해 주세요.

왜 Databricks가 이 노력을 이끄는가

데이터 및 AI 분야의 산업 리더로서, 다양한 지역 및 시장 세그먼트에서 15,000명 이상의 고객을 보유하고 있는 Databricks는 책임있는 개발 원칙과 오픈 소스 혁신에 대한 약속을 계속 이행하고 있습니다. 우리는 다음을 통해 이러한 약속을 지켰습니다:

• 산업 및 정부와의 협력 은 안전하고 신뢰할 수 있는 AI 사용을 촉진하고 지원하기 위한 노력
• 대화형 워크샵 은 조직이 위험 의식적인 방식으로 AI 여정을 성공적으로 이끌어내는 방법에 대해 교육합니다.
• MLFlow 및 Unity Catalog와 같은 주요 거버넌스 혁신의 오픈 소싱, 이는 클라우드, 데이터 형식 및 데이터 플랫폼 전반에 걸친 데이터 및 AI 거버넌스에 대한 업계 유일한 통합 솔루션입니다.

이 프로그램들은 우리에게 AI 거버넌스에서 기업과 규제 기관이 오늘날 직면하는 실질적인 문제에 대한 독특한 시야를 제공했습니다. 모든 기업이 성공하고 데이터와 AI 여정을 가속화하는 데 도움을 주는 우리의 약속을 더욱 강화하기 위해, 우리는 이 시야를 활용하여 종합적이고, 구조적인 그리고 실행 가능한 AI 거버넌스 프레임워크를 구축하기로 결정했습니다.

오늘 Databricks AI 거버넌스 프레임워크를 다운로드하세요!

Databricks AI 거버넌스 프레임워크 백서는 이제 다운로드 가능합니다. 질문이나 피드백이 있으시면 [email protected] 으로 이메일을 보내주세요. 이 프레임워크의 미래 업데이트에 기여하거나 리뷰어 커뮤니티에 가입하려는 분들은 저희에게 연락해 주시기 바랍니다!

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)