AI 위험 관리: AI 시스템 보안을 위한 종합 가이드

비즈니스 리더들은 운영에 AI 기술을 활용하여 효율성을 높이고 혁신을 주도하고자 하지만, 고유한 위험 프로필과 AI 위험을 효과적으로 관리하는 데 필요한 단계를 이해하는 데 어려움을 겪는 경우가 많습니다. 여러 산업에 걸쳐 AI 시스템 이 빠르게 도입되면서 전례 없는 기회가 창출되었지만, 포괄적인 AI 위험 관리 전략이 필요한 복잡한 과제도 생겨났습니다.

기존 데이터 리소스와 마찬가지로 AI 시스템에도 사이버 보안, 개인정보 보호, 규정 준수 취약점이 있지만 편향, 차별, 신뢰 부족과 같은 윤리적 문제와 의도하지 않은 결과를 초래하기도 합니다. AI 기술을 구현하는 조직은 기존의 IT 보안 문제와 인공 지능 시스템과 관련된 고유한 위험을 모두 해결하는 강력한 위험 관리 접근 방식을 개발해야 합니다.

AI 위험 관리의 복잡성은 복잡한 AI 모델의 불투명성, 필요한 학습 데이터의 규모, AI 개발 속도, EU AI 법을 포함하여 진화하는 규정 준수 요건 환경 등 여러 요인에서 비롯됩니다. AI 위험은 초기 데이터 수집부터 AI 배포 및 지속적인 운영에 이르기까지 AI 수명 주기의 모든 단계에서 나타날 수 있습니다.

적절한 액세스 제어 없이는 AI 시스템이 악의적인 행위자에 의해 악용되어 데이터 유출 및 모델 조작으로 이어질 수 있습니다. 내부 사용자는 섀도우 AI를 수행하고 액세스 권한이 없는 기밀 데이터를 찾기 위해 생성형 AI 모델을 사용할 수 있습니다. 그리고 AI 모델과 해당 데이터에 대한 감사 가능성과 추적 가능성이 없으면 조직은 AI와 관련된 규정 미준수 위험에 직면하게 됩니다.

Cisco의 2024년 데이터 개인정보 보호 벤치마크 연구에 따르면, 조직의 91%가 고객 데이터를 AI에서 의도되고 합법적인 목적으로만 사용하고 있음을 고객에게 더 확실히 알릴 필요가 있다고 인식합니다. 하지만 그들은 종종 "그 이상"이 무엇을 의미하는지 몰라 막막해합니다.

수많은 잠재적 AI 애플리케이션이 직원, 고객, 파트너에게 영향을 미치므로 AI 위험 관리 책임은 IT 부서에만 국한되지 않습니다. AI 시스템의 구성 요소가 함께 작동하는 방식에 대한 이해와 사용 사례에 존재하는 잠재적 위험을 식별하고 완화하는 능력이 없다면, 조직은 최악의 시나리오에 기반한 접근 방식을 취하게 되어 모든 가능한 위협을 해결하려다 교착 상태에 빠질 수 있습니다. 비즈니스 우선순위에 부합하면서 AI 위험을 관리할 수 있는 간소화된 방법이 필요합니다. 이러한 균형을 맞추고 충돌 없이 혁신하기 위해서는 비즈니스, 데이터, AI, 거버넌스 및 보안팀 간의 공통 언어와 협업이 필요합니다.

AI 위험 관리 프레임워크 및 전략 이해

AI 보안 위협은 AI 이전의 결정론적 세계에 맞춰진 보안 표준의 관점으로는 볼 수 없다는 인식이 생기면서, 조직이 위험에 대처하고 데이터를 효과적으로 보호하도록 지원하기 위해 여러 AI 위험 관리 프레임워크가 등장했습니다.

미국 국립표준기술원(NIST)의 인공지능 위험 관리 프레임워크(AI RMF)와 같은 일반적인 AI 보안 프레임워크는 AI 시스템 보안 관련 위험을 효과적으로 개괄하고 위험 식별 및 평가를 위한 구조화된 접근 방식을 제공하지만, 각 AI 위험 유형에 필요한 통제 및 완화 조치를 적용하는 방법을 완전히 설명하지는 못합니다.

AI 위험 관리 전략이란 무엇인가요?

효과적인 AI 위험 관리 전략은 AI 수명 주기 전반에 걸쳐 포괄적인 위험 관리 관행을 구현하는 것을 포함합니다. 조직은 AI 개발, 배포, 운영 전반에 걸쳐 잠재적 위험을 해결하는 위험 관리 프레임워크가 필요합니다. 관리 프레임워크 AI RMF는 위험 완화 전략과 실용적인 위험 관리 접근법을 통해 위험을 관리하는 방법에 대한 지침을 제공합니다.

AI 리스크의 4가지 유형은 무엇인가요?

AI 위험은 네 가지 주요 유형으로 분류할 수 있습니다.

보안 위험: AI 보안 위협, 사이버 위협 및 AI 시스템을 공격에 노출시키는 보안 취약점을 포함합니다.

운영 리스크: 시스템 장애, 모델 드리프트 및 AI 모델의 성능 저하를 포함합니다.

규정 준수 및 윤리적 위험: 규제 준수, 윤리적 영향, 그리고 AI 시스템에서 비롯되는 불공정한 결과 해결

데이터 리스크:  데이터 품질, 데이터 무결성, 민감한 데이터 보호 및 편향된 학습 데이터를 포함합니다.

AI 위험 관리에 대한 이해를 돕기 위해 Databricks AI 보안 프레임워크 (DASF)는 비즈니스 우선 순위에 부합하면서 방어적 통제 권장 사항을 사용하기 위한 가이드라인과 함께 실행 가능한 로드맵을 제공합니다. DASF는 위험 관리 프레임워크의 AI 제어를 10개의 업계 표준 및 프레임워크에 매핑하고, 데이터 및 AI 개발팀이 AI 및 머신러닝 수명주기 전반에 걸쳐 보안팀과 협력하여 인식을 높이고 위험을 완화할 수 있도록 전체적인 접근 방식을 취합니다.

AI 규정 준수 및 보안 요구사항 이해하기

AI 배포는 또한 위험 관리에 중요한 규제적 차원을 더하며, 신중한 감독과 책임감 있는 AI 거버넌스의 필요성을 강조합니다. 산업 및 위치에 따라 조직은 EU AI 법을 비롯한 다양한 규정과 새로운 법률에서 발생하는 기타 새로운 위험에 대한 규정 준수를 보장해야 합니다.

EU AI 법은 위험 수준에 따라 AI 시스템을 분류하고 고위험 AI 애플리케이션에 대한 특정 요구 사항을 부과하는 획기적인 규제 프레임워크입니다. 유럽에 AI 시스템을 배포하는 조직은 이러한 요구 사항을 이해하고 적절한 위험 관리 프레임워크를 구현하여 규정을 준수해야 합니다. 유사한 규제가 전 세계적으로 등장하면서 AI 거버넌스를 위한 복잡한 환경이 조성되고 있습니다.

AI 시스템의 주요 규정 준수 문제에는 데이터 품질 및 신뢰성, AI 보안, 복원성, 책임성 및 투명성, 데이터 개인정보 보호, AI 모델의 공정성 및 편향이 포함됩니다. 조직은 전체 AI 수명 주기에 걸친 포괄적인 AI 위험 관리 관행을 통해 이러한 규정 준수 요구 사항을 해결해야 합니다.

AI 거버넌스 프레임워크는 책임감 있는 AI 개발과 AI 배포를 보장하는 정책, 절차, 통제를 포함해야 합니다. 여기에는 명확한 책임 구조를 확립하고, 위험 허용 수준을 정의하며, 위험 식별 프로세스를 구현하고, AI 시스템 성능에 대한 지속적인 모니터링을 유지하는 것이 포함됩니다. 효과적인 AI 위험 관리를 위해서는 혁신과 위험 관리의 균형을 맞추기 위해 데이터 사이언티스트, 엔지니어, 보안팀, 비즈니스 이해관계자 간의 협업이 필요합니다.

이는 HIPAA, FedRAMP, GDPR 또는 CCPA와 같은 요구 사항에 대한 규정 준수를 개선하는 데이터 거버넌스에서 시작됩니다. 데이터 거버넌스는 데이터 무결성, AI 보안, 데이터 개인 정보 보호, 감사 및 위험 관리뿐만 아니라 데이터 품질, 일관성, 규정 준수 및 내부 조직 정책을 보장하는 데 매우 중요합니다. 적절한 데이터 거버넌스는 편향된 훈련 데이터와 관련된 문제를 예방하고 입력 데이터가 품질 기준을 충족하도록 보장합니다.

규제 규정 준수를 위해 조직은 이중 용도 파운데이션 모델에 사용되는 다양한 소스의 데이터를 검색하고 카탈로그화할 수 있도록 가시성을 확보해야 합니다. 여기에는 과거 데이터 소스 추적, 데이터 수집 관행 모니터링, AI 시스템 개발 프로세스 전반에 걸친 민감한 데이터 및 민감한 개인정보 보호가 포함됩니다. NIST 내에 최근 설립된 미국 AI 안전 연구소(USAISI)는 AI 리스크 평가 메커니즘에 대한 가이드라인을 만들고, 강력한 모델 분류를 위한 임계값 설정, 콘텐츠 인증, AI 생성 콘텐츠 워터마킹, 알고리즘 차별 식별 및 완화, 투명성 보장, 개인정보 보호 AI 채택 지원과 같은 문제에 대해 규제 기관이 사용할 기술 지침을 개발할 것입니다.

AI 사용을 선도하는 조직은 규정 준수 변경 관리, 오탐 감소, 사기 및 AML 예방, 인적 오류 해결과 같은 일반적인 운영 문제 및 체계적인 문제의 위험을 해결하기 위해 AI 도구를 사용하고 있습니다. 이들은 AI 시스템 성능의 지속적인 모니터링을 통해 AI 시스템 모니터링을 자동화하여 고품질 훈련 데이터와 공정하고 편향되지 않은 머신 러닝 모델을 보장합니다.

AI가 위험 관리를 할 수 있을까요?

예, AI 기술은 조직 전반의 리스크 관리 역량을 크게 향상시킬 수 있습니다. AI 애플리케이션은 잠재적 리스크를 식별하고, 정기적인 리스크 평가를 수행하며, 변화하는 위협 환경에 적응하는 리스크 완화 전략을 개발하여 리스크 관리를 지원할 수 있습니다. 머신러닝 알고리즘은 인간이 놓칠 수 있는 패턴과 이상 징후를 탐지할 수 있어 지속적인 모니터링과 자동화된 리스크 평가 프로세스를 통해 AI 리스크 관리를 더욱 효과적으로 만듭니다.

AI 도구는 방대한 양의 과거 데이터를 처리하여 잠재적 위험이 현실화되기 전에 식별하는 데 탁월합니다. AI 시스템은 예측 분석 및 패턴 인식을 통해 보안 취약점을 표시하고, 사이버 위협을 감지하며, 보안팀에 새로운 위험을 실시간으로 알릴 수 있습니다. 이러한 사전 예방적 위험 관리 접근 방식을 통해 조직은 위험이 운영에 영향을 미치거나 민감한 정보를 침해하기 전에 위험을 완화할 수 있습니다.

하지만 리스크 관리를 AI에 의존하면 새로운 AI 관련 리스크가 발생하기도 하며, 이는 포괄적인 AI 리스크 관리 프레임워크를 통해 해결해야 합니다. 조직은 리스크 관리에 사용되는 AI 도구 자체가 안전하고 편향되지 않으며 적절한 거버넌스 프레임워크 내에서 작동하는지 확인해야 합니다. 이를 위해서는 기존의 리스크와 AI 시스템 자체와 관련된 고유한 리스크를 모두 포함하는 리스크 관리 관행이 필요합니다.

효과적인 AI 위험 관리 관행 구현

위험 관리 관행은 AI 시스템의 구성 요소와 일반적인 AI 위험뿐만 아니라 특정 사용 사례와 관련된 AI 관련 위험에 대한 이해를 필요로 합니다. 성공적인 AI 위험 관리란 AI 개발 및 배포의 모든 단계를 다루는 포괄적인 위험 관리 프로세스를 구현하는 데 달려 있습니다. DASF는 이 프로세스를 단순화하기 위해 7단계를 제안합니다.

1. AI 시스템 개발 및 배포 시 함께 작동해야 하는 구성 요소와 AI 시스템의 멘탈 모델을 갖추어야 합니다. AI 시스템의 아키텍처를 이해하면 여러 구성 요소에 걸친 잠재적 위험을 식별하는 데 도움이 됩니다.
2. AI 시스템을 구축하고 관리하는 데 관련된 사람과 프로세스를 이해하고 데이터 사이언티스트, 엔지니어, 보안팀을 포함한 각자의 역할을 정의합니다. 명확한 역할 정의는 위험 관리 노력에 대한 책임성을 확립하여 효과적인 AI 위험 관리를 지원합니다.
3. 책임감 있는 AI가 무엇을 수반하는지, 그리고 발생 가능한 모든 AI 리스크를 파악하고 효과적인 AI 리스크 관리를 위해 AI 구성 요소 전반에 걸쳐 AI 관련 리스크를 목록으로 정리합니다. 여기에는 AI 보안, 데이터 품질, 편향, 윤리적 영향과 관련된 잠재적 리스크를 문서화하는 작업이 포함됩니다.
4. AI 수명 주기 전반에 걸쳐 다양한 AI 배포 모델과 각각의 위험 영향을 이해해야 합니다. 배포 시나리오마다 다른 보안 위험이 발생하며 맞춤형 위험 완화 전략이 필요합니다.
5. AI 보안 위협, 사이버 위협, 보안 취약점으로 인한 잠재적 위험을 고려하여 AI 사용 사례에 대한 고유한 위협을 이해하고 해당 AI 위협과 관련된 위험을 매핑하세요.
6. AI 사용 사례에 적용되는 고유한 AI 위험을 이해하고 사용 사례 및 위험 허용 범위에 따라 AI와 관련된 위험을 필터링합니다. 조직은 위험 관리 요구 사항과 비즈니스 목표의 균형을 맞춰야 합니다.
7. 사용 사례 및 배포 모델에 따라 적용해야 하는 제어를 식별 및 구현하고, 실용적인 위험 관리 접근 방식을 통해 각 위험을 AI 구성 요소 및 제어에 매핑합니다. 여기에는 AI 애플리케이션에 특정한 위험 완화 전략 개발이 포함됩니다.

통제가 마련되면 AI 기반 도구는 조직이 기존 보안 조치보다 더 빠르게 위험을 감지하고 완화하는 데 도움을 줄 수 있습니다. 적대적 훈련을 통해 머신러닝 알고리즘 은 능동적인 위협 탐지를 위해 패턴과 이상 징후를 감지하고 포괄적인 위험 관리 프로세스의 일부로서 지속적인 모니터링, 자동화된 사고 대응, 행동 분석, 위협 예측을 제공할 수 있습니다.

AI의 30% 규칙이란 무엇인가요?

AI 위험 관리의 30% 규칙은 조직이 AI 위험 관리 노력의 약 30%를 배포 후 AI 시스템의 지속적인 모니터링 및 평가에 할애해야 한다는 원칙을 의미합니다. 이를 통해 AI 시스템의 성능이 의도한 결과와 일치하도록 보장하고 프로덕션 사용 중에 발생하는 잠재적 위험을 식별하는 데 도움이 됩니다.

효과적인 AI 위험 관리는 AI 개발 중 일회성 평가가 아닌 지속적인 위험 평가를 요구합니다. 30% 규칙은 AI 위험 관리 관행이 초기 AI 시스템 개발 및 AI 배포 단계를 넘어서야 함을 강조합니다. 조직은 정기적인 위험 평가 수행, AI 모델의 드리프트 모니터링, 새로운 위험 감지, AI 기술 및 위협 환경의 발전에 따른 위험 완화 전략 업데이트에 상당한 리소스를 할당해야 합니다.

AI 위험 관리에 대한 이러한 지속적인 접근 방식은 조직이 보안 위협, 시스템 오류, 의도하지 않은 결과를 주요 사고로 확대되기 전에 감지하는 데 도움이 됩니다. 지속적인 위험 관리 노력에 리소스를 투입함으로써 조직은 데이터 무결성을 유지하고 AI 보안을 보장하며, 사후 대응적이 아닌 사전 예방적으로 위험에 대처할 수 있습니다. 30% 규칙은 AI 시스템이 운영 수명 주기 동안 일관된 감독을 받도록 보장하여 책임감 있는 AI 관행을 지원합니다.

고품질 데이터 없이는 AI를 가질 수 없으며, 데이터 거버넌스 및 감독 없이는 고품질 데이터를 가질 수 없습니다. 효과적인 거버넌스 및 감독은 다음을 보장합니다.

• 데이터 및 AI 자산의 통합을 통한 손쉬운 검색 가능성 및 원활한 협업과 다양한 시스템의 데이터 수집 소스를 카탈로그화하는 기능을 제공합니다.
• 중앙 집중식 접근 방식으로 세분화된 액세스 제어, 감사 및 거버넌스 정책을 시행하여 민감한 데이터와 정보를 보호하고 데이터 자산을 안전하게 지킵니다.
• 고품질 학습 데이터와 공정하고 편향되지 않은 머신 러닝 모델, 그리고 오류를 사전에 식별하고 근본 원인 분석을 수행하며 데이터 무결성 제어를 통해 데이터 및 AI 파이프라인의 품질 표준을 유지하는 AI 기반 모니터링.

생성형 AI 위험 및 보안 위협 해결

전통적인 IT 보안과 달리 AI는 데이터, 모델, 인프라 및 거버넌스에 걸친 새로운 취약점을 야기합니다. DASF에서 우리는 AI 시스템의 12개 구성 요소에 걸쳐 62개의 뚜렷한 AI 위험을 식별했습니다. 개괄적으로 이러한 잠재적 위험에는 다음이 포함됩니다.

데이터 운영 위험(예: 불충분한 액세스 제어, 데이터 분류 누락, 낮은 데이터 품질, 데이터 액세스 로그 부족, 훈련 데이터 품질에 영향을 미치는 데이터 포이즈닝).

모델 운영 위험(예: 추적 및 재현이 불가능한 실험, 모델 드리프트, 도난당한 하이퍼파라미터, 악성 라이브러리 및 AI 모델에 영향을 미치는 평가 데이터 포이즈닝).

모델 배포 및 서빙 위험: AI 배포 중 발생하는 프롬프트 주입, 모델 역전, 서비스 거부(DOS), LLM 환각, 블랙박스 공격 등

운영 및 플랫폼 위험(예: 취약점 관리, 침투 테스트 및 버그 바운티 부재, 승인되지 않은 권한 있는 액세스, 부실한 소프트웨어 개발 수명 주기(SDLC), 규정 준수 문제).

이러한 AI 위험이 미치는 영향은 원치 않는 값비싼 결과를 초래할 수 있습니다.

• 외부 LLM으로 전송된 데이터가 유출되거나 요약되어 AI 보안 위협을 생성할 수 있으므로 보안 및 개인 정보 침해가 발생합니다.
• 사용자가 의도치 않게 민감한 데이터 및 민감한 개인 데이터를 외부 AI 시스템으로 전송하는 경우
• 데이터 손실, 데이터 기밀성 침해, 모델 도용 및 보안 위험
• EU AI 법 및 기타 규제 규정 준수 요구 사항과 같이 기존에 있거나 새롭게 진화하는 규정을 규정 준수하지 않음
• 다른 조직과 관련된 데이터를 전송하여 불공정한 결과를 초래하는 고객 대면 AI 시스템

생성형 AI 및 머신러닝 모델의 경우 잘못된 정보와 편향을 관리하는 것 또한 매우 중요합니다. AI 기반 모니터링은 사전에 오류를 식별하고 근본 원인 분석을 수행하며 데이터 및 AI 파이프라인의 품질 표준을 유지할 수 있습니다. AI 도구는 AI와 예측 분석을 결합하여 비즈니스 의사 결정을 위한 실시간 인사이트와 실행 가능한 권장 사항을 제공함으로써 리스크 예측에 도움을 줄 수 있으며, 이는 효과적인 AI 리스크 관리를 지원합니다.

AI 위험 관리 구현을 위한 리소스 및 도구

AI 위험 관리를 강화하기 위해 팀은 점점 더 AI가 주도하는 세상에서 진화하는 위협을 완화하면서 비즈니스 목표에 부합하는 안전하고 복원력 있는 AI 시스템을 구축할 수 있도록 기존 조직 정책과 함께 이러한 조치를 구현하고 적절한 감독을 보장해야 합니다. 이러한 위험 관리 전략은 책임감 있는 AI 개발과 AI 시스템의 안전한 배포를 위해 필수적입니다.

• 데이터에 대한 액세스를 인증하고 권한을 부여하여 무단 액세스 및 보안 위협으로부터 민감한 정보, 민감한 데이터 및 입력 데이터를 보호합니다.
• 모델 학습에 데이터를 입력하기 전에 데이터를 자동화하고 품질을 확인하여 데이터 품질을 보장하고, 편향된 학습 데이터를 방지하며, AI 개발 전반에 걸쳐 데이터 무결성을 유지하세요.
• 계보를 추적하면서 데이터를 거버넌스, 버전 관리 및 태그 지정하여 데이터 무결성을 유지하고 데이터 품질을 보장하며 규정 준수 요구사항을 지원하세요.
• 승인 워크플로를 시행하여 AI 모델이 의도하지 않은 데이터 소스에서 학습되는 것을 방지하고, AI 학습 프로세스와 관련된 위험을 줄이며, 책임감 있는 AI 개발을 보장하세요.
• AI 시스템 개발의 신뢰성, 설명 가능성, 책임성을 위해 모델 아티팩트, 데이터 세트, 버전, 이해관계자를 추적하여 AI 거버넌스와 위험 관리 관행을 지원합니다.
• (재)학습 후 테스트 손실 분석을 자동화하고 특정 테스트 입력에 대한 모델 동작을 평가하여 잠재적 위험을 식별하고, 이상 징후를 감지하며, AI 시스템의 성능이 기대치를 충족하는지 확인하세요.
• AI 보안을 위해 액세스를 로깅, 감사, 모니터링하면서 AI 모델과 엔드포인트를 암호화, 인증, 승인하여 사이버 위협과 보안 취약점으로부터 인공지능 시스템을 보호합니다.
• 내부 및 외부 시스템에서 LLM 및 기타 AI 모델을 분리하여 보안 취약점으로 인한 위험을 완화하고, 잠재적 위험을 억제하며, 시스템 오류가 연쇄적으로 발생하는 것을 방지하세요.
• AI 시스템 배포 시 프로덕션 AI 모델에 대한 권한, 버전, 태그, 소유권 및 승인을 시행하여 HITL과 함께 MLOps 를 구현하고, AI 수명 주기 전반에 걸쳐 책임감 있는 AI 관행을 보장합니다.
• 게이트웨이 뒤에서 AI 모델을 호스팅하여 안전 필터링 속도 제한, 개인 식별 정보(PII) 감지, 주제 조정 및 키워드 필터링을 수행하고 AI 보안 위협에 대처하며 민감한 개인 데이터를 보호합니다.
• 지속적인 모니터링, 정기적인 위험 평가 수행 및 포괄적인 위험 관리 프로세스 구현을 통해 AI 수명 주기의 모든 단계에서 데이터 및 AI 모델 액세스를 감사하고 모니터링합니다.

이러한 실질적인 위험 관리 제어를 구현하려면 데이터 사이언티스트, 엔지니어, 보안팀 및 거버넌스 담당자 간의 협업이 필요합니다. 조직은 다양한 유형의 AI 위험에 대한 책임, 에스컬레이션 절차 및 대응 프로토콜을 정의하는 명확한 위험 관리 프레임워크를 수립해야 합니다. 이러한 프레임워크는 조직의 전반적인 위험 허용 범위와 일치해야 하며 혁신과 위험 관리 목표를 모두 지원해야 합니다.

안전한 Data Sharing 및 협업을 통해 비즈니스 리더는 전략적 의사결정을 위해 정확하고 시의적절하며 관련성 있는 인사이트를 얻을 수 있습니다. Databricks Data Intelligence Platform 은 AI 보안과 데이터 개인정보 보호를 유지하면서 AI 애플리케이션을 통해 정형 및 비정형 데이터에서 신속하게 인사이트를 추출할 수 있도록 여러 소스의 데이터를 안전하게 통합하고 query하기 위한 단일 액세스 지점을 제공합니다.

강력한 AI 거버넌스를 구현함으로써 금융 기관은 과거 데이터에 대한 신뢰의 기반을 다져 AI 시스템이 크고 복잡한 AI 모델 데이터세트를 신속하고 정확하게 분석할 수 있도록 합니다. 신뢰할 수 있는 AI 시스템은 초기 데이터 수집부터 AI 개발, AI 배포 및 지속적인 운영에 이르기까지 조직 전체에 걸친 포괄적인 위험 관리 노력을 필요로 합니다.

인공지능의 혁신과 위험 균형 맞추기

책임감 있는 AI 거버넌스 를 위해서는 조직이 AI 개발 및 AI 배포 프로세스 전반에 걸쳐 포괄적인 지속적 모니터링, 개인정보 보호 통제, AI 거버넌스를 통해 데이터와 AI 모델에 대한 책임과 통제권을 가져야 합니다. 비즈니스 우선순위에 맞춰 혁신과 AI 보안의 균형을 맞추는 책임은 더 이상 CIO에게만 전적으로 할당될 수 없습니다. 책임감 있는 AI 관행을 통해 AI의 잠재력을 최대한 발휘하려면 비즈니스, 데이터, 보안팀, 개인정보 보호 및 거버넌스팀 간에 공통된 이해가 필요합니다.

인공지능 시스템은 투명성, 공정성, 책임성을 우선시하는 책임감 있는 AI 개발 원칙에 따라 개발되어야 합니다. AI 위험 관리 관행을 구현하는 조직은 정기적인 위험 평가 수행, 위험 완화 전략 구현, 그리고 위험을 효과적으로 관리하면서 비즈니스 가치를 제공하는 신뢰할 수 있는 AI 시스템 유지에 중점을 두어야 합니다.

Databricks는 NIST와 인공지능 안전 연구소 컨소시엄(Artificial Intelligence Safety Institute Consortium)에서 협력하여, 신뢰할 수 있는 AI 시스템 개발과 책임감 있는 사용을 촉진하기 위한 입증되고 확장 가능하며 상호 운용 가능한 측정 및 방법론을 식별할 수 있는 새로운 측정 과학을 확립하고 있습니다. 이 협업은 더 광범위한 AI 위험 관리 프레임워크와 관리 프레임워크 AI RMF 원칙을 지원합니다.

새롭게 등장하는 위험은 독립형 AI 모델과, Databricks 고객이 도메인 특화 에이전트(domain-specific Agents)를 사용하여 AI 애플리케이션을 구축하기 위해 점점 더 많이 활용하는 에이전틱 AI 시스템(agentic AI systems)의 개발 및 사용에 영향을 미칠 것입니다. 인간의 실수는 규제 대상 기업에 수십억 달러의 비용을 초래하며, 이러한 손실은 데이터 문제와 추적해야 할 방대한 양의 기록 데이터에서 비롯될 수 있습니다. AI는 인간이 포착하지 못할 수 있는 이상 징후, 추세, 패턴을 발견하고 일련의 규칙에 따라 경고를 생성함으로써 위험 관리 및 규정 준수 노력을 지원할 수 있습니다.

포괄적인 AI 위험 관리 프레임워크를 통해 AI 시스템을 안전하게 개발, 배포하고 AI 모델을 대규모로 유지하기 위한 필수 지침으로 Databricks AI Security Framework 를 사용하세요. 이 프레임워크는 조직이 AI 관련 위험을 해결하고 모든 AI 기술에 걸쳐 실용적인 위험 관리를 구현하는 동시에 AI 모델을 안전하게 유지하고 비즈니스 가치를 지속적으로 제공할 수 있도록 지원합니다. AI 위험 관리에 대한 이러한 포괄적인 접근 방식은 조직이 혁신과 보안 위협 완화 및 규제 준수 간의 균형을 맞추는 데 도움이 됩니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)