AI 보안 이해하기

기업들은 AI 사용을 서둘러야 한다는 압박감을 느끼고 있지만, 급속도로 발전하는 기술로 인해 데이터 보안 관행에 대한 우려와 책임도 커지고 있습니다. 데이터는 모든 조직에 가장 귀중한 자산 중 하나이며, AI 시스템의 보안을 보장하기 위해 보호되어야 합니다. 조직은 AI 자산을 보호하고 사용과 관련된 잠재적 위험을 완화하기 위해 강력한 보안 프로토콜, 암호화 방법, 액세스 제어 및 모니터링 메커니즘을 구현해야 합니다. 하지만 AI 보안 및 위험 관리는 훨씬 더 심층적입니다.  

AI 보안은 인공지능 시스템, 모델, 데이터를 무단 액세스, 조작 또는 악의적인 활동으로부터 보호하기 위해 구현되는 관행, 조치, 전략을 의미합니다. 편향, 할루시네이션, 투명성, 신뢰에 대한 우려와 끊임없이 변화하는 규제 환경으로 인해 AI 시스템을 효과적으로 테스트하고 모니터링하기가 어렵습니다.

어려워 보일 수 있지만 AI는 보호를 자동화하고 취약점을 해결하는 기능으로 보안 이니셔티브에 도움을 줄 수도 있습니다. AI는 다음을 포함하여 사이버 보안의 모든 단계를 해결하는 데 사용되고 있습니다. 

• 사기 탐지 및 기타 악의적인 활동을 위한 실시간 데이터 분석
• 완화 조치를 안내하기 위해 유해한 입력이 제공되었을 때 모델이 어떻게 작동하는지 알아보는 적대적 테스트
• 방대한 양의 데이터를 분석하여 잠재적 위험을 식별하는 위험 식별/평가
• 적응형 학습 및 실시간 데이터 처리를 통해 위험 점수를 매기고 분류하여 위험을 평가하고 우선순위를 지정합니다.
• 다양한 인구통계 그룹에 따른 결과 격차를 감지하기 위한 편향 테스트
• 신원 확인 및 위협 탐지를 위한 패턴 인식
• 수동 작업을 줄이고 인적 오류를 감소시켜 규정 준수 및 위험 관리를 지원하는 자동화된 추적
• 예측 모델링을 사용하여 사람이 놓칠 수 있는 패턴과 이상 징후를 분석하는 위험 예측
• 행동 분석을 사용한 위협 탐지 및 영향을 받은 장치를 격리하고 악의적인 활동을 차단하여 대응

일반적인 AI 보안 위험   

전통적인 IT 보안과 달리 AI는 데이터, 모델, 인프라 및 거버넌스에 걸친 새로운 취약점을 야기합니다. AI 시스템의 각 구성 요소에 대한 위험을 이해하는 것이 중요합니다.

• 데이터 운영 위험은 불충분한 액세스 제어, 데이터 분류 누락, 낮은 데이터 품질, 데이터 액세스 로그 부족, 데이터 포이즈닝과 같이 데이터를 잘못 취급하거나 데이터 관리 관행이 부실하여 발생합니다.
• 실험이 추적 및 재현되지 않는 위험, 모델 드리프트, 하이퍼파라미터 도용, 악성 라이브러리 및 평가 데이터 포이즈닝과 같은 모델 운영 위험.
• 모델 배포 및 프롬프트 주입, 모델 역전, 서비스 거부, 대규모 언어 모델 할루시네이션, 블랙박스 공격과 같은 서빙 위험.
• 운영 및 플랫폼 위험(예: 취약점 관리, 침투 테스트 및 버그 바운티 부족, 무단 권한 액세스, 부실한 소프트웨어 개발 수명 주기 및 규정 준수).

AI 애플리케이션에 특화된 취약점 이해   

모든 가능한 위협 시나리오를 분석하는 대신, 특정 AI 사용 사례와 관련된 취약점을 이해하고 식별하는 것도 중요합니다. 배포 모델마다 다른 제어가 필요합니다. 다양한 AI 배포 모델에 대한 설명과 AI 시스템의 구성 요소를 배포된 모델 및 잠재적 위험에 맞게 조정하는 방법을 알아보려면 Databricks AI Security Framework(DASF)를 다운로드하세요.

보안 위험이 조직에 미치는 영향   

AI 시스템은 복잡하며 사람의 감독이 거의 없이 작동할 수 있습니다. AI 보안 문제는 최근 몇 년간 성공한 데이터 보안 공격을 훨씬 뛰어넘는 방식으로 막대한 비용을 초래할 수 있습니다. 안전하지 않은 데이터 처리는 여전히 개인 데이터를 노출하고 개인 정보 보호 위험을 초래할 수 있지만, 감독, 테스트, 모니터링이 부족하면 다운스트림 오류 전파 및 사회적, 경제적 불평등에 관한 윤리적 딜레마와 같은 의도하지 않은 결과를 초래할 수 있습니다. 모델 학습 중에 도입된 편향은 차별과 불공정한 관행으로 이어질 수 있습니다.

AI 시스템이 구축되고 모니터링되는 방식에 대한 투명성이 부족하면 불신과 도입 저항으로 이어질 수 있습니다. AI는 경쟁 및 경제적 이익을 위해 허위 정보를 퍼뜨리고 조작하는 데 악용될 수 있습니다.

그리고 기술이 발전함에 따라 규제 미준수에 대한 책임으로 인해 조직은 새로운 규제에 보조를 맞추어야 합니다. 지금까지 세계에서 가장 포괄적인 AI 규제가 유럽 연합(EU) 의회에서 상당한 표차로 통과되었으며, 미국 연방 정부와 주 기관은 최근 AI 사용을 통제하기 위한 몇 가지 주목할 만한 조치를 취했습니다.

'안전하고 신뢰할 수 있는 AI 개발 및 사용에 관한 광범위한 행정 명령'은 차별, 소비자 안전 및 독점 금지로부터의 보호를 제공합니다. 행정 명령에 따른 주요 노력 중 하나는 미국 국립표준기술연구소(NIST)가 생성형 AI에 적용할 수 있도록 인공지능 위험 관리 프레임워크 를 확장하는 것입니다. 최근 NIST 내에 설립된 미국 AI 안전 연구소 는 Databricks를 포함한 참여 회원사의 연구와 전문 지식을 통해 이러한 노력을 지원할 것입니다.

AI를 위한 모범 사례

보안 AI 프레임워크는 기술 및 규제와 함께 발전할 것으로 기대되므로, 향후 AI 시스템을 보호하는 데 매우 유용할 것입니다. Databricks AI Security Framework(DASF)는 다음 사항에 대한 이해를 도움으로써 NIST 프레임워크를 한 단계 더 발전시킵니다.

• AI 시스템 수명 주기 전반에 걸친 이해관계자의 책임
• 다양한 배포 모델과 AI 사용 사례가 보안에 미치는 영향
• 12가지 주요 AI 시스템 구성 요소 및 관련 위험 완화 제어
• 사용 사례 및 모델과 관련된 위험 및 그 영향
• 모델 유형 및 사용 사례별로 우선순위가 지정된 제어 기능을 구현하는 방법

DASF는 AI 위험을 관리하기 위해 다음 7단계를 권장합니다.

• AI 시스템과 함께 작동해야 하는 구성 요소에 대한 멘탈 모델을 갖습니다.
• AI 시스템을 구축하고 관리하는 데 관련된 사람과 프로세스를 이해하고 그들의 역할을 정의합니다.
• 책임감 있는 AI의 의미와 모든 예상되는 AI 위험을 이해하고, AI 구성 요소 전반에 걸쳐 이러한 위험을 목록화하세요.
• 다양한 AI 배포 모델과 각 모델의 위험 영향 이해
• AI 사용 사례에 대한 고유한 위협을 이해하고 해당 AI 위협에 위험을 매핑
• AI 사용 사례에 적용되는 고유한 위험을 이해하고 사용 사례에 따라 해당 위험을 필터링합니다.
• 사용 사례 및 배포 모델에 따라 적용해야 하는 통제 수단을 식별 및 구현하고, 각 위험을 AI 구성 요소 및 통제 수단에 매핑하세요.

사이버 보안에서 AI 활용의 이점   

전반적인 SecOps에 AI 기술을 사용하면 증가하는 데이터 볼륨과 점점 더 복잡해지는 AI 솔루션을 수용하도록 보안 및 위험 관리 운영을 확장하는 데 도움이 될 수 있습니다. 또한 일상적인 수작업, 감사 및 규정 준수 관련 비용이 절감되어 비용 및 리소스 활용 측면에서 이점을 누릴 수 있습니다.

AI 기반 행동 분석 및 이상 탐지를 통해 위협 탐지 및 완화의 응답 시간과 정확도를 개선하여 운영 효율성을 향상시킵니다.

AI를 사용하여 보안 관리 프로세스를 자동화함으로써 공격 표면에 대한 가시성을 신속하게 확보할 수 있습니다. AI 모델은 지속적인 모니터링, IP 주소 추적 및 조사, 사전 완화를 위해 영향에 따라 취약점을 식별하고 우선순위를 지정하도록 훈련될 수 있습니다.

AI는 규정 준수 관리를 위한 인벤토리 분석, 태깅, 추적을 수행하고 패치 및 업그레이드를 자동화할 수 있습니다. 이를 통해 인적 오류를 줄이고 위험 평가 및 규정 준수 보고를 간소화할 수 있습니다.

자동화와 AI는 변화하는 위협 환경을 지속적으로 학습하면서 사이버 공격에 실시간으로 대응하고 오탐을 줄일 수도 있습니다.

AI 보안의 미래   

AI 보안의 새로운 트렌드는 사후 대응 조치에서 벗어나 사전 예방적 강화로의 전환을 약속합니다. 이러한 변경 사항은 다음과 같습니다.    

• Machine learning 알고리즘은 예측 분석에 사용되어 과거 데이터를 기반으로 패턴과 미래의 위협 및 취약점 가능성을 식별합니다.
• 행동 분석을 사용하여 의심스러운 이상 징후와 공격 패턴을 식별하는 AI 기반 위협 탐지.
• 방대한 양의 데이터를 신속하게 분석하여 인시던트 티켓을 생성하고, 대응팀을 할당하며, 완화 조치를 구현하는 AI 자동화 보안 오케스트레이션 및 대응(SOAR).
• 잠재적 위협 분석 속도를 높이기 위한 AI 기반 침투 테스트 또는 '윤리적 해킹'
• 지속적인 인증 및 권한 부여를 위한 제로 트러스트 프레임워크로의 AI 통합.
• AI 기반 논리를 사용하여 최상의 솔루션을 찾는 자가 치유 시스템을 위한 의사 결정.

보안 관리를 위해 생성형 AI를 사용하는 몇 가지 혁신도 있습니다. 예를 들어 AI 기반 공격에 맞서기 위한 '적대적 AI' 생성과 오탐을 줄이기 위한 GenAI 모델이 있습니다. 양자 컴퓨터의 임박한 위협에 대응하기 위해 양자내성암호 분야에서도 연구가 진행되고 있습니다.

미래의 보안 문제에 대비하려면 AI를 통한 보안 플랫폼의 지속적인 발전이 필요하며, 보안 운영 센터(SOC)의 전문가는 새로운 기술을 배우고 AI로 기술을 향상시켜야 합니다. AI 기반 위험 평가 기술과 결합된 블록체인은 불변의 위험 기록을 보장하고 투명하며 검증 가능한 감사 추적을 제공하는 데 도움이 될 것입니다.

결론: 안전하고 윤리적인 AI 구현 보장   

AI 사용이 빠르게 확산됨에 따라 조직들은 기술을 대중화하고 그 응용 분야에 대한 신뢰를 구축해야 할 필요성을 인식하고 있습니다. 이를 달성하려면 효과적인 가드레일, 이해관계자의 책임, 새로운 수준의 보안이 필요합니다. 기반을 마련하기 위한 중요한 협업 노력이 진행 중입니다. 사이버 보안 및 인프라 보안국(CISA)은 Databricks를 포함한 연방, 국제 및 민간 부문 파트너와 함께 공동 사이버 방어 협력체(JCDC) 인공지능(AI) 사이버 보안 협업 플레이북 을 개발했습니다.

AI 시스템의 보안을 발전시키려면 교육과 도구에 대한 투자가 필요합니다.  Databricks AI Security Framework(DASF) 는 AI 배포에 대한 엔드투엔드 위험 프로필을 생성하고, 조직 전체 팀을 위해 기술을 쉽게 설명하며, 모든 데이터 및 AI 플랫폼에 적용되는 제어에 대한 실행 가능한 권장 사항을 제공하는 데 도움이 될 수 있습니다.

AI를 책임감 있게 사용하려면 문화 및 행동 교육, 그리고 주인의식과 지속적인 학습을 강조하는 리더십이 필요합니다. 진화하는 AI 보안의 역할에 대한 이벤트, 웨비나, 블로그, 팟캐스트 등은 Databricks Security Events에서 확인할 수 있습니다. 그리고 강사 주도 및 자율 학습 교육 과정은 Databricks Learning 에서 확인하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)