주요 컨텐츠로 이동

인공지능(AI)이란 무엇인가요?

작성자: Databricks 직원

  • AI의 영향력은 그 다양성에서 비롯됩니다. 동일한 패턴 인식 기능이 이제 사기 탐지, 의료 영상부터 개인화 및 콘텐츠 생성에 이르기까지 모든 분야의 원동력이 되고 있습니다.
  • AI 기능은 AI의 신뢰성보다 빠르게 발전하고 있어, 프로덕션 환경에서 사용하려면 평가, 인간의 감독 및 거버넌스가 필수적입니다.
  • AI 도입의 다음 단계는 단순히 모델에 접근하는 것보다, 조직이 모델을 신뢰할 수 있는 데이터, 실제 워크플로우 및 측정 가능한 결과에 얼마나 효과적으로 연결하는지에 따라 결정될 것입니다.

인공지능(AI)은 학습, 추론, 문제 해결, 패턴 인식, 의사 결정 등 보통 인간의 지능이 필요한 작업을 머신이 수행할 수 있도록 하는 컴퓨터 과학의 한 분야입니다. 더 쉽게 말해, AI는 데이터로부터 학습하고 학습한 내용을 활용하여 각 작업에 대해 명시적으로 프로그래밍되지 않고도 예측, 의사 결정 또는 새로운 콘텐츠를 만들어내는 소프트웨어입니다.

오늘날의 AI는 스팸 필터와 추천 엔진부터 ChatGPT 같은 챗봇, 이미지 생성기에 이르기까지 모든 것을 구동합니다. 이는 가장 대표적인 머신러닝생성형 AI를 비롯한 다양한 기술을 기반으로 하며, 연구실을 벗어나 사람들이 매일 사용하는 제품에 적용되고 있습니다.

스탠퍼드 대학교의 컴퓨터 과학자 페이페이 리(Fei-Fei Li)는 스탠퍼드 신흥 기술 리뷰(Stanford Emerging Technology Review)에서 AI를 현대 역사상 가장 혁신적인 기술들과 같은 범주로 분류했습니다. “AI는 다른 과학 분야를 발전시키는 기반 기술이며, 전기 및 인터넷과 마찬가지로 사회가 작동하는 방식을 바꿀 잠재력을 가지고 있습니다.” 현재 헬스케어, 금융 서비스부터 리테일, 제조업에 이르기까지 모든 분야에서 도입이 확대되고 있으며 그 속도는 더욱 빨라지고 있습니다.

이 페이지에서는 AI의 작동 방식, 주요 AI 유형, 실제 사례, 주의해야 할 제한 사항 및 이 분야의 간략한 역사에 대해 설명합니다.

AI란 무엇인가요? 쉬운 설명

AI를 단계별 지침을 작성하는 대신 예시를 통해 컴퓨터를 가르치는 것이라고 생각해 보세요. 시스템에 수천 장의 고양이 사진을 보여주면, 누군가 고양이에게 수염과 뾰족한 귀가 있다고 알려주지 않아도 스스로 고양이를 인식하는 법을 배웁니다. 패턴을 파악할 수 있을 만큼 충분한 예시를 보았기 때문입니다. AI는 우리처럼 '생각'하는 것이 아닙니다. 데이터에서 패턴을 찾고, 그 패턴을 사용해 최선의 추측을 하는 것입니다. 이러한 차이점은 매우 중요합니다. AI는 좁은 영역에서 놀라울 정도로 훌륭한 결과를 낼 수 있지만, 인간적인 의미에서 무언가를 이해하는 것은 아닙니다.

모델이 고양이를 인식할 수 있게 해주는 것과 동일한 패턴 매칭 방식이 생체 검사에서 암 세포를 발견하거나 수백만 건의 정상 거래 중에서 부정 거래를 잡아내는 데에도 사용됩니다. 데이터에서 패턴을 찾는다는 기본 메커니즘은 적용 분야가 완전히 달라 보여도 동일합니다. 이는 이미 검색 엔진, 음성 비서, 내비게이션 앱, 스팸 필터, 스트리밍 서비스의 추천 기능 등 일상적인 도구의 일부가 되었습니다.

AI는 어떻게 작동하나요?

대부분의 현대 AI는 방대한 양의 데이터에서 패턴을 학습한 다음, 이러한 패턴을 새로운 상황에 적용하는 방식으로 작동합니다. 개발자가 규칙을 작성하는 대신(“이메일에 '공짜 돈'이라는 단어가 포함되어 있으면 스팸으로 표시”), 시스템에 수많은 예시를 보여주어 시스템이 스스로 규칙을 파악하도록 합니다.

기본적인 프로세스는 다음과 같습니다:

  1. 데이터 수집. 시스템에 관련 텍스트, 이미지, 숫자, 오디오 또는 비디오 등의 방대한 데이터를 입력합니다. 이 데이터의 공백은 모델의 공백이 됩니다.
  2. 모델 학습. 알고리즘이 데이터를 분석하고 올바른 출력을 안정적으로 생성할 때까지 내부 가중치와 파라미터를 조정합니다. 이 단계는 많은 GPU를 사용하여 수 시간, 수 일 또는 수 주 동안 실행될 수 있는 컴퓨팅 비용이 많이 드는 단계입니다.
  3. 테스트 및 개선. 학습에 사용되지 않은 별도의 테스트 세트에서 모델을 평가합니다. 프로덕션 단계에서 실수를 발견하는 것보다 이 단계에서 실수를 잡아내는 것이 비용이 훨씬 적게 듭니다.
  4. 예측 수행. 학습이 완료되면 모델은 한 번도 본 적 없는 데이터를 바탕으로 질문에 답하고, 입력을 분류하고, 콘텐츠를 생성하거나 작업을 트리거합니다. 이는 최종 사용자가 실제로 상호 작용하는 '추론' 단계입니다.
  5. 학습 및 개선. 많은 AI 시스템은 더 많은 데이터와 피드백(사람들이 출력에 어떻게 반응하는지에 대한 신호 포함)에 노출되면서 지속적으로 개선됩니다.

현대 AI 학습은 규모의 문제이기도 합니다. 프론티어 모델은 수조 개의 텍스트 토큰을 학습하고, 수만 개의 GPU에서 실행되며, 구축하는 데 수억 달러의 비용이 듭니다. 대부분의 조직은 모델을 처음부터 학습시키지 않습니다. 대신 자체 데이터를 사용하여 기존 파운데이션 모델을 미세 조정(fine-tune)합니다. 이 방식은 특정 작업이나 도메인에 맞춤화된 모델을 생성하면서도 훨씬 더 빠르고 비용이 적게 듭니다.

AI 시스템의 품질은 학습하는 데이터에 크게 좌우됩니다. 학습 데이터가 불완전하거나 편향되거나 품질이 낮으면 AI 출력 역시 마찬가지입니다. 머신러닝 모델인공신경망 개요에서 핵심 구성 요소에 대해 자세히 알아볼 수 있습니다.

AI의 4가지 유형은 무엇인가요?

연구원들은 일반적으로 역량을 기준으로 AI를 네 가지 범주로 분류합니다. 이는 미시간 주립 대학교의 연구원 아렌드 힌트(Arend Hintze)가 2016년에 AI의 발전 방향을 고민하는 방법으로 제안한 분류법입니다. 오늘날 실제 세상에는 처음 두 가지 범주만 존재하며, 나머지 두 가지는 연구 및 철학 분야에서 여전히 미해결 과제로 남아 있습니다.

이 분류법은 AI가 현재 실제로 할 수 있는 일과 이론이나 소설 속에서만 가능한 일 사이에 명확한 선을 그어주기 때문에 유용합니다.

유형역할현재 상태예시
반응형 기계 (Reactive machines)특정 입력에 대해 고정된 출력으로 반응합니다. 과거 사건에 대한 기억이 없고, 경험을 통해 학습하는 능력이 없으며, 즉각적인 입력 이외의 세상에 대한 모델이 없습니다.가장 초기 AI 아키텍처 중 하나로, 오늘날에도 특정 목적의 좁은 작업에 여전히 사용됩니다.1997년 체스 세계 챔피언 가리 카스파로프(Garry Kasparov)를 꺾은 IBM의 딥 블루(Deep Blue)는 매 턴마다 체스판을 처음부터 평가했습니다. 키워드를 고정된 목록과 대조하는 단순한 스팸 필터도 이 범주에 속합니다.
제한된 메모리 (Limited memory)과거 데이터로부터 학습하여 예측이나 의사 결정을 내립니다. 최근 입력을 사용하여 출력을 개선할 수 있지만, 인간처럼 지속적인 장기 기억을 유지하지는 못합니다.가장 뛰어난 시스템을 포함하여 프로덕션 환경에 배포된 거의 모든 현대 AI를 구동합니다.단기 센서 이력을 활용해 전방 도로를 예측하는 자율주행차. 현재 대화의 맥락은 유지하지만 새 세션에서는 새로 시작하는 ChatGPT. 시간의 흐름에 따른 시청 패턴을 학습하는 Netflix의 추천 엔진.
마음 이론 (Theory of mind)타인의 감정, 의도, 신념을 이해하는 인지 능력으로, 다른 사람의 마음을 모델링하는 능력입니다. 연구원들이 제한된 버전을 탐색하고 있지만, 이를 진정으로 보여주는 시스템은 아직 없습니다.이론적 단계이며 활발한 연구 분야입니다.아직 개발되지 않았습니다. 가장 유사한 사례로는 사용자 신호에 따라 어조를 조정하는 AI 튜터나 고객 서비스 봇이 있지만, 이는 의도를 실제로 이해하는 것이 아니라 패턴 매칭에 가깝습니다.
자기 인식 (Self-aware)의식과 자아감, 즉 존재에 대한 내적 경험을 가집니다.이론적 단계입니다. 이것이 실현 가능한지, 심지어 정의 가능한지 여부는 연구원과 철학자들 사이에서 논쟁의 여지가 있습니다.아직 개발되지 않았습니다. 공상 과학 소설이나 AI 안전 논쟁에서 자주 논의되지만, 현재로서는 명확한 기술적 경로가 존재하지 않습니다.

가장 뛰어난 대규모 언어 모델을 포함하여 오늘날 사람들이 사용하는 거의 모든 AI 제품은 제한된 메모리 범주에 속합니다.

좁은 범위의 AI(Narrow AI) vs. 일반 인공지능(General AI) vs. 초지능(Superintelligence)

오늘날 사용되는 모든 AI 시스템은 좁은 범위의 AI로 분류됩니다. 아래 표는 이러한 현재 시스템과 일반 인공지능 및 초지능이라는 이론적 개념을 구분하여 보여줍니다.

범주정의현재 상태예시
좁은 범위의 AI (약인공지능)특정 도메인으로 제한된 작업을 수행하도록 설계된 AI 시스템으로, 기능이 학습 데이터와 아키텍처 설계에 의해 엄격하게 제한됩니다.가장 뛰어난 시스템을 포함하여 오늘날 사용되는 모든 AI가 이에 해당합니다.ChatGPT, 얼굴 인식, Netflix 추천, 부정 행위 탐지, 음성 비서.
일반 인공지능 (AGI)인간이 할 수 있는 모든 지적 작업을 재학습 없이 여러 도메인에 걸쳐 유연하게 학습하고 수행할 수 있도록 설계된 시스템입니다.이론적 단계입니다. 현재의 발전 궤적이 AGI로 이어질지, 그리고 그 시기는 언제일지에 대해 활발한 논쟁이 진행 중입니다.없음.
초지능 (Superintelligence)스스로를 개선하는 능력을 포함하여 모든 영역에서 인간의 지능을 능가할 수 있는 시스템입니다.이론적이며 대부분 추측에 기반합니다.없음.

오늘날 AGI가 존재하는지 여부는 주로 그것을 어떻게 정의하느냐에 달려 있습니다. 고급 모델은 여러 도메인에 걸쳐 추론하고 복잡한 작업을 완료할 수 있지만, 지속적인 오류와 불균일한 신뢰성으로 인해 이 분류에 대해서는 논란이 있습니다.

AI vs. 머신러닝 vs. 딥러닝 vs. 생성형 AI

이 네 가지 용어는 종종 혼용되어 사용되지만 서로 다른 의미를 가집니다. 팀이 도구를 선택하거나, 프로젝트 범위를 지정하거나, 공급업체를 평가할 때 이러한 차이점을 이해하는 것이 중요합니다.

이 개념들을 이해하는 가장 쉬운 방법은 중첩된 원으로 생각하는 것입니다. AI가 가장 넓은 범주이고, 머신러닝은 AI의 하위 집합이며, 딥러닝은 머신러닝의 하위 집합입니다. 그리고 생성형 AI는 새로운 콘텐츠를 만드는 데 초점을 맞춘 딥러닝의 응용 분야입니다. 아래 표는 각 용어의 의미와 차이점을 보여줍니다. 더 자세한 비교를 원하시면 머신러닝과 딥러닝의 비교 분석을 확인해 보세요.

용어정의쉬운 예시
인공지능 (AI)인간의 지능이 필요한 작업을 수행하는 기계를 구축하는 광범위한 분야입니다. 규칙 기반 시스템과 학습 시스템을 모두 포함합니다.데이터로부터 학습했는지 아니면 시나리오 기반 로직을 따르는지에 관계없이 고객의 질문에 답변하는 챗봇입니다.
머신러닝 (ML)시스템이 각 규칙에 대해 명시적으로 프로그래밍되는 대신 데이터로부터 패턴을 학습하는 AI의 하위 집합입니다.과거 행동을 분석하여 다음 분기에 이탈할 가능성이 가장 높은 고객을 예측하는 모델입니다.
딥러닝이전의 ML 기술로는 처리하기 어려웠던 이미지, 음성, 언어와 같은 복잡한 입력을 처리하기 위해 다층 신경망을 사용하는 ML의 하위 집합입니다.방사선 스캔에서 종양을 식별하는 이미지 인식 기술입니다.
생성형 AI분류나 예측을 하기보다 새로운 콘텐츠(텍스트, 이미지, 오디오, 비디오 또는 코드)를 생성하는 딥러닝의 한 유형입니다.이메일을 작성하는 ChatGPT, 텍스트 프롬프트로부터 독창적인 예술 작품을 만드는 이미지 생성기입니다.

인공지능의 예시에는 어떤 것들이 있나요?

AI는 이미 일상적인 도구 속에서 조용히 작동하며 이메일을 초안하고, 몇 밀리초 만에 사기를 감지하며, 매장 재고를 예측하고 있습니다. 프로토타입에서 실제 제품에 내장되기까지의 여정이 크게 단축되었으며, Databricks가 제공하는 솔루션은 이러한 카테고리의 상당 부분에 걸쳐 있습니다:

산업 분야AI 활용 예시
의료 및 헬스케어영상의학과 의사가 암을 더 일찍 발견할 수 있도록 의료 이미지를 판독하는 AI, 잠재적인 약물 상호작용을 경고하는 임상 의사결정 지원 시스템, 임상의를 위해 환자 차트를 요약하는 에이전트입니다.
금융 서비스의심스러운 신용카드 거래를 실시간으로 감지하는 이상 거래 탐지 시스템, 알고리즘 트레이딩, 대출 및 보험을 위한 AI 지원 심사(underwriting)입니다.
리테일 및 이커머스아마존의 상품 추천, 개인화된 검색 결과, 각 물류창고에 보유할 재고량을 결정하는 수요 예측입니다.
운송 및 교통차량의 자율주행 기능, 네비게이션 앱의 경로 최적화, 차량 정비가 필요한 시점을 예측하는 예방 정비입니다.
제조업조립 라인에서 결함을 발견하는 컴퓨터 비전 시스템, 공장 장비의 예방 정비, 공급망 최적화입니다.
고객 서비스지원 문의를 처리하는 챗봇 및 가상 에이전트, 전화를 적절한 상담원에게 연결하는 AI, 고객 상호작용에 대한 감성 분석입니다.
미디어 및 엔터테인먼트넷플릭스 및 스포티파이 추천, 비디오 및 음악 제작을 위한 생성형 도구, AI 기반 자막 제작 및 번역입니다.
일상적인 소비자 기술음성 비서(Siri, Alexa), 이메일 스팸 필터, 스마트폰 얼굴 인식 잠금 해제, 얼굴과 장소를 인식하는 사진 앱입니다.

핵심은 그 광범위함에 있습니다. AI는 더 이상 몇몇 기술적 애플리케이션에만 국한되지 않으며, 패턴 인식이나 콘텐츠 생성이 가치를 창출하는 거의 모든 업무 영역으로 확산되었습니다. 도입 패턴은 대개 유사합니다. 첫 번째 단계에서는 좁고 반복적인 작업을 처리합니다. 이후 모델의 역량이 성숙해지고 조직이 이를 지원할 데이터 기반을 구축함에 따라, 더 많은 판단이 필요한 복잡한 작업을 수행하게 됩니다.

보고서

기업을 위한 에이전틱 AI 플레이북

AI의 주요 분야는 무엇인가요?

AI는 여러 전문 분야를 아우르는 포괄적인 용어입니다. 각 분야는 서로 다른 종류의 작업이나 역량에 초점을 맞추고 있지만, 딥러닝이 대부분의 작업의 공통 엔진이 되면서 그 경계가 모호해졌습니다.

  • 머신러닝: 데이터로부터 패턴을 학습하고 경험을 통해 개선되는 시스템입니다. 오늘날 AI 분야에서 가장 지배적인 접근 방식이며, 다른 대부분의 분야가 구축되는 기반입니다.
  • 딥러닝: 이미지, 음성, 언어와 같은 복잡한 입력을 처리하기 위해 계층화된 신경망을 사용하는 더 발전된 형태의 머신러닝입니다. 현재의 AI 붐을 가능하게 한 획기적인 기술입니다.
  • 자연어 처리 (NLP): 인간의 언어를 이해하고 생성하는 기술입니다. NLP는 챗봇, 번역, 음성 비서, 감성 분석의 기반이 됩니다. 자세한 내용은 자연어 처리 개요를 참조하세요.
  • 컴퓨터 비전: 이미지와 비디오를 해석하는 기술입니다. 얼굴 인식, 의료 영상, 제조업의 품질 검사, 자율주행차가 도로를 볼 수 있게 해주는 인지 시스템 등에 사용됩니다. 컴퓨터 비전에 대해 자세히 알아보세요.
  • 로보틱스: AI를 물리적 기계와 결합하여 현실 세계에서 작업을 수행하는 기술입니다. 물류창고 로봇, 수술 보조 로봇, 자율주행 차량, 농업용 드론 등이 이에 해당하며, AI 소프트웨어와 기계 공학의 교차점입니다.
  • 생성형 AI: 단순히 기존 데이터를 분석하는 것을 넘어 새로운 콘텐츠를 생성하는 모델입니다. 텍스트, 이미지, 오디오, 비디오, 코드가 모두 포함됩니다. 2022년 ChatGPT와 함께 대중의 관심을 폭발적으로 끌어모은 분야입니다.
  • 전문가 시스템: 좁은 영역에서 인간 전문가의 의사결정을 모방하는 과거의 규칙 기반 AI입니다. 현재는 머신러닝 접근 방식으로 대체되었지만, 명확하고 감사 가능한 규칙이 필요한 분야에서는 여전히 사용됩니다.

실제로 대부분의 현대 AI 시스템은 여러 분야를 결합하여 사용합니다. 자율주행차는 컴퓨터 비전을 사용해 주변 환경을 인지하고, 머신러닝을 사용해 주변 차량의 행동을 예측하며, 로보틱스를 사용해 제어 장치를 작동합니다. 각 분야는 개념적인 지도로서는 유용하지만, 실제로 출시되는 제품들은 대개 이러한 분야들을 아우르고 있습니다.

AI의 간략한 역사

AI는 70년 이상 연구되어 온 분야로, 지난 10년 동안 역량 면에서 큰 변화를 겪었습니다. 가장 최근의 흐름은 이 분야를 학술적 호기심의 대상에서 일상적인 인프라로 변화시켰습니다.

  • 1950년 — 튜링 테스트 제안: 앨런 튜링이 "Computing Machinery and Intelligence"를 발표하며 기계가 생각할 수 있는지 질문하고, 오늘날까지도 논쟁의 중심이 되고 있는 기계 지능 테스트를 제안했습니다.
  • 1956년 — AI라는 명칭 탄생: 존 매카시가 다트머스 회의에서 "인공지능"이라는 용어를 만들어내며 이 분야를 하나의 학문으로 공식 출범시켰습니다.
  • 1960년대~1970년대 — 초기 낙관론과 AI 겨울: 연구원들이 초기 규칙 기반 시스템과 자연어 프로그램을 구축했습니다. 그러나 난제에 부딪혀 발전이 정체되면서 자금 지원이 끊겼고, 두 차례의 "AI 겨울" 중 첫 번째 겨울이 시작되었습니다.
  • 1997년 — 딥 블루가 카스파로프를 꺾다: IBM의 체스 컴퓨터가 세계 챔피언 가리 카스파로프와의 6판 경기에서 승리했습니다. 이는 기계가 체스에서 현역 세계 챔피언을 꺾은 최초의 사례이자 AI 역사상 대중적인 이정표였습니다.
  • 2012년 — 딥러닝의 획기적 발전: AlexNet이라는 신경망이 ImageNet 대회에서 이미지 인식 정확도를 비약적으로 향상시키며 현대 AI 붐을 일으켰고, 업계에 딥러닝이 나아갈 길이라는 확신을 주었습니다.
  • 2017년 — 트랜스포머 도입: 구글 연구원들이 "Attention Is All You Need"를 발표하며 오늘날 대규모 언어 모델(LLM)의 문을 연 트랜스포머 아키텍처를 도입했습니다.
  • 2022년 — ChatGPT 출시: OpenAI가 ChatGPT를 대중에 공개하면서 생성형 AI가 주류로 자리 잡았습니다. 출시 두 달 만에 사용자 수 1억 명을 돌파하며 당시 역사상 가장 빠른 소비자 기술 도입 기록을 세웠습니다.
  • 2023년~현재 — 엔터프라이즈 AI의 확장: 기업들이 고객 서비스부터 소프트웨어 개발, 내부 운영에 이르기까지 다양한 비즈니스 기능 전반에서 실험 단계를 넘어 실제 서비스 환경에 AI 및 AI 에이전트를 도입하고 있습니다.

지난 3년 동안 가장 눈에 띄는 것은 그 속도입니다. 2022년 이후 AI 역량은 대부분의 전문가들이 예상했던 것보다 빠르게 발전했으며, 연구의 획기적인 성과가 실제 제품으로 출시되기까지의 간격이 수년에서 수개월로 단축되었습니다. 향후 10년의 모습은 단순한 모델 자체의 성능보다는 조직이 이러한 역량을 신뢰할 수 있고 거버넌스가 확보된 시스템으로 어떻게 전환하느냐에 따라 달라질 것입니다.

AI의 한계와 위험은 무엇인가요?

AI는 강력하지만 불완전합니다. 다음은 프로덕션에서 흔히 발생하는 위험 요소이며, 일반적으로 기술적 한계, 운영상의 어려움, 광범위한 사회적 영향의 세 가지 범주로 나뉩니다.

환각 및 부정확한 출력

생성형 AI는 사실과 다른 답변을 그럴듯하게 제시할 수 있습니다. 업계에서는 이를 “환각(hallucination)”이라고 부릅니다. 챗봇이 출처를 지어내거나, 소스를 잘못 인용하거나, 겉보기에는 그럴싸해 보이는 거짓 사실을 꾸며낼 수 있습니다. 이는 대규모 언어 모델이 검증된 정보를 검색하기보다 다음에 올 가능성이 높은 단어를 예측하기 때문에 발생합니다. 즉, 모델이 진실이 아닌 유창성에 최적화되어 있기 때문입니다.

의료, 법률 자문, 금융 의사 결정과 같이 중요도가 높은 분야에서는 AI 출력을 바탕으로 행동하기 전에 사람이 먼저 이를 검증해야 합니다. 중요도가 낮은 환경에서도 기업들은 생성형 모델을 신뢰할 수 있는 소스 문서에 기반하여 출력을 생성하는 검색 증강 생성(RAG) 시스템과 결합하는 사례를 늘리고 있습니다. 체계적인 평가도 도움이 됩니다. 배포 전에 벤치마크 질문 세트를 통해 모델을 테스트하면 많은 환각 현상을 사용자가 접하기 전에 조기에 발견할 수 있습니다.

학습 데이터의 편향

AI는 데이터로부터 학습합니다. 특정 인구 집단을 선호했던 과거의 채용 패턴이나 특정 집단에 불이익을 주었던 대출 심사처럼 데이터에 인간의 편향이 반영되어 있다면, AI는 그 편향을 그대로 재현하고 종종 증폭시킵니다. Stanford Emerging Technology Review에서 언급했듯이, “충분한 고품질 데이터가 없다면 AI 모델은 부정확하거나 편향된 결과를 생성할 수 있습니다.”

편향은 편향된 출력이 실제 피해를 초래하는 채용, 대출, 형사 사법 애플리케이션에서 심각한 문제입니다. 이를 완화하려면 학습 데이터를 신중하게 선별하고, 공정성 지표에 따라 지속적으로 평가하며, 학습 과정에서 과소대표되었을 수 있는 인구 집단을 대상으로 모델을 테스트하는 규율이 필요합니다. 이는 일회성으로 끝나는 작업이 아닙니다. 모델이 작동하는 세상이 변화함에 따라 모델 드리프트(drift)가 발생하므로, 공정성 모니터링은 출시 당일에만 확인하는 체크포인트가 아니라 지속적인 운영 프로세스가 되어야 합니다.

“블랙박스” 문제

특히 딥러닝의 경우, AI가 왜 특정 결정을 내렸는지 정확히 파악하기 어려운 경우가 많습니다. 모델의 추론 과정은 수백만 또는 수십억 개의 매개변수(parameter)에 분산되어 있으며, 이 중 어느 것도 사람이 이해할 수 있는 설명으로 명확하게 매핑되지 않습니다. 이는 고객, 감사인 또는 법원에 결정을 설명해야 하는 은행, 의료, 보험 등 규제가 엄격한 산업에서 가장 중요하게 작용합니다.

이에 대응하여 어떤 특성(feature)이 모델 출력에 가장 큰 영향을 미쳤는지 보여주는 도구를 구축하는 설명 가능한 AI (XAI) 분야가 등장했습니다. 일부 산업은 한 걸음 더 나아가 중요도가 높은 사용 사례에 대해 더 단순하고 “해석 가능한(interpretable)” 모델 아키텍처를 요구하며, 추적 가능하고 옹호할 수 있는 결정을 얻는 대가로 원시 정확도의 약간의 손실을 감수하기도 합니다.

개인정보 보호 및 보안 위험

AI 시스템은 대량의 데이터에 액세스해야 하는 경우가 많아, 해당 데이터의 수집, 저장 및 사용 방식에 대한 의문을 제기합니다. 생성형 AI는 실제 인물을 사칭하는 딥페이크, 대규모 AI 생성 오정보, 모델을 속여 공개해서는 안 되는 정보를 노출하거나 권한이 없는 작업을 수행하도록 만드는 프롬프트 주입 공격 등 고유한 새로운 위험을 초래합니다. 개인정보 보호 제어와 보안 가드레일은 사후에 추가하는 것이 아니라 책임감 있는 AI 설계의 필수적인 부분이어야 합니다.

일자리 대체 우려

AI는 여러 산업에 걸쳐 작업을 자동화하고 있으며, 이는 일자리와 기술이 어떻게 변화할 것인가에 대한 실질적인 의문을 제기합니다. 예상되는 패턴은 전면적인 대체가 아닌 변화입니다. AI는 직무 자체를 완전히 없애기보다는 직무 내 작업의 조합을 바꾸는 경향이 있습니다. 일부 직무는 사라지고 새로운 직무가 등장할 것이며, 기존의 많은 직무에서는 새로운 기술, 특히 AI 시스템과 함께 효과적으로 협업하는 능력이 요구될 것입니다. 이러한 변화는 실재하며 속도 또한 빠르므로, 리더, 교육자, 정책 입안자들은 인력에 미칠 영향에 대해 진지하게 관심을 기울여야 합니다.

거버넌스 및 컴플라이언스

AI를 도입하는 기업에는 명확한 가드레일이 필요합니다. 누가 어떤 모델에 액세스할 수 있는지, 해당 모델이 어떤 데이터를 사용하는지, 출력이 어떻게 모니터링되는지, 문제가 발생했을 때 액세스 권한을 어떻게 회수할 수 있는지 등이 포함됩니다. 지난 10년간의 클라우드 보안이 주는 교훈은 처음부터 내장된 제어 기능이 사후에 덧붙인 제어 기능보다 더 잘 유지된다는 점입니다.

AI도 마찬가지입니다. 규제 또한 빠르게 정비되고 있으며, EU AI 법안, US 주 단위 법률, 금융 및 의료 분야의 산업별 규정 등이 모두 AI 배포에 새로운 의무를 부과하고 있습니다. 개발자에게 주는 실질적인 시사점은 거버넌스를 더 이상 사후 고려 사항으로 남겨둘 수 없다는 것입니다. 데이터 레이어부터 거버넌스를 고려하여 설계해야 합니다. 그 이면의 규율에 대해 자세히 알아보려면 AI 거버넌스 개요를 참조하세요.

비즈니스에 AI가 중요한 이유는 무엇인가요?

AI는 기업이 운영하고, 경쟁하고, 고객에게 서비스를 제공하는 방식을 재편하고 있습니다. AI의 가치는 단절된 실험을 수행하는 데서 나오는 것이 아니라, 신뢰할 수 있고 거버넌스가 적용된 데이터를 실제 비즈니스 문제에 적용하는 데서 나옵니다.

기업들은 다음과 같은 목적으로 AI를 활용하고 있습니다:

  • 더 빠르고 현명한 의사 결정 내리기
  • 반복적인 업무 자동화하기
  • 고객 경험 개인화하기
  • 다단계 작업을 완료하는 에이전트 배포하기
  • 예측 및 고객 서비스 개선하기

이러한 가치를 실현하려면 데이터를 준비하고, 모델을 학습시키고, 에이전트를 배포하며, 전체 스택을 엔드투엔드로 거버넌스할 수 있는 통합 플랫폼이 필요합니다.

경쟁 압박도 거세지고 있습니다. AI가 여러 분야에서 표준으로 자리 잡으면서 선도적인 기업들은 다음과 같은 행보를 보이고 있습니다:

  • 구체적인 비즈니스 문제부터 시작하기
  • 모델의 정교함보다 데이터 품질을 우선시하기
  • 실제 성과를 기준으로 성능 평가하기
  • 처음부터 플랫폼에 거버넌스 구축하기

How Databricks supports AI

프로덕션 AI를 구축하는 것은 어렵습니다. 데이터는 여러 곳에 분산되어 있고, 모델을 학습시키고 평가해야 하며, 거버넌스는 전체 파이프라인에 걸쳐 적용되어야 합니다. Databricks 플랫폼은 데이터와 AI를 한곳으로 통합하여 팀이 데이터를 저장 및 준비하고, 모델을 학습 및 미세 조정(fine-tuning)하며, AI 에이전트를 배포하고, 이 모든 것을 엔드투엔드로 거버넌스할 수 있도록 지원합니다. 여기에는 기업 데이터를 기반으로 에이전트를 구축하기 위한 Agent Bricks와 데이터 및 AI 자산 전반에 걸친 거버넌스를 위한 Unity Catalog가 포함됩니다. 이 플랫폼은 OpenAI, Anthropic, Google, Meta의 선도적인 모델뿐만 아니라 오픈 소스 대안 모델과도 연결되므로, 스택을 재구축하지 않고도 각 작업에 적합한 모델을 선택할 수 있습니다.

전 세계 20,000개 이상의 기업이 Databricks를 사용하여 AI 작업을 구축, 확장 및 거버넌스하고 있습니다. 통합 플랫폼의 장점은 단절이 적다는 것입니다. 팀은 시스템 간에 데이터를 복사하거나 리니지(lineage)를 잃지 않고 데이터에서 모델, 배포로 원활하게 이동할 수 있으므로 AI 작업이 더 빠르고 저렴해지며 감사하기가 쉬워집니다. 자세한 내용은 Databricks 고객 디렉터리에서 확인해 보세요.

자주 묻는 질문

인공지능의 예로는 어떤 것이 있나요?

ChatGPT, Siri 및 Alexa와 같은 음성 비서, Netflix의 추천 엔진, 신용카드 거래의 이상 거래 탐지(fraud detection), 자동차의 자율주행 기능 등은 모두 오늘날 사용되고 있는 AI의 예입니다. 이들 대부분은 “제한된 메모리(limited memory)” 범주에 속합니다. 즉, 과거 데이터로부터 학습하여 예측을 수행하거나 응답을 생성하지만, 인간처럼 지속적인 장기 기억을 유지하지는 못합니다.

AI의 4가지 유형은 무엇인가요?

단순 반응형 기계(reactive machines), 제한된 메모리(limited memory), 마음 이론(theory of mind), 자아 성찰형 AI(self-aware AI)입니다. 처음 두 가지는 오늘날 존재하며, 스팸 필터부터 ChatGPT에 이르기까지 모든 것이 이 두 범주 중 하나에 속합니다. 나머지 두 가지는 여전히 이론적 영역에 머물러 있으며, 아직 어느 쪽으로도 명확한 기술적 경로가 존재하지 않습니다.

AI와 머신러닝은 같은 것인가요?

아닙니다. AI는 지능적인 작업을 수행하는 기계를 구축하는 더 넓은 분야입니다. 머신러닝은 AI의 한 분야로, 명시적으로 프로그래밍되는 대신 데이터로부터 학습하는 시스템을 말합니다. 모든 머신러닝은 AI에 속하지만, 모든 AI가 머신러닝인 것은 아닙니다.

AI와 생성형 AI의 차이점은 무엇인가요?

AI는 인간의 지능과 관련된 작업을 수행하는 모든 시스템을 포괄하는 상위 개념입니다. 생성형 AI는 딥러닝을 기반으로 구축된 특정 유형의 AI로, 기존 입력을 분류하거나 예측하는 대신 새로운 콘텐츠(텍스트, 이미지, 오디오, 비디오 또는 코드)를 생성합니다. ChatGPT와 이미지 생성기가 일상적인 예입니다.

AI의 가장 큰 위험 요소는 무엇인가요?

가장 흔한 위험 요소로는 환각(그럴듯하지만 잘못된 출력), 학습 데이터에서 비롯된 편향, “블랙박스” 문제(쉽게 설명할 수 없는 결정), 개인정보 보호 및 보안 공백, 일자리 대체, 취약한 거버넌스 등이 있습니다. 이러한 위험은 검증, 감독, 신중한 데이터 선별, 내장된 가드레일을 통해 완화할 수 있습니다.

AI 시작하기

AI는 더 이상 실험적인 기술이 아닙니다. 일상적인 제품에 동력을 공급하고 비즈니스 방식을 재편하는 기반 기술이며, 도입 속도는 점점 더 빨라지고 있습니다. AI가 무엇인지, 어떻게 작동하는지, 어디에 적합하고 어떤 한계가 있는지 등 기본 사항을 이해하는 것이 AI를 잘 활용하기 위한 출발점입니다. 거기서부터 신뢰할 수 있는 데이터를 바탕으로 실제 문제에 적용하고, 책임감 있게 확장할 수 있는 거버넌스를 구축하는 작업이 시작됩니다.

Databricks가 조직에서 자체 데이터를 기반으로 AI를 구축하고 확장하는 데 어떤 도움을 주는지 확인해 보세요 — Databricks 플랫폼 알아보기.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

최신 게시물을 이메일로 받아보세요

블로그를 구독하고 최신 게시물을 이메일로 받아보세요.