작성자: Databricks 직원
인공지능(AI)과 머신러닝은 종종 혼용되어 사용되지만, 명확한 관계를 가진 별개의 개념을 나타냅니다. AI는 인간의 지능을 모방하는 기계를 만드는 데 중점을 둔 광범위한 분야인 반면, 머신러닝은 시스템이 명시적으로 프로그래밍되지 않고도 데이터에서 패턴을 학습하는 AI의 하위 집합입니다.
이러한 구분은 서로 다른 문제에 서로 다른 접근 방식이 필요하기 때문에 중요합니다. 기준이 명확하고 안정적일 때 규칙 기반 시스템은 이를 안정적이고 투명하게 실행할 수 있습니다. 패턴이 너무 복잡하여 명확하게 설명하기 어렵거나 새 데이터가 도착함에 따라 변경되는 경우, 머신러닝 모델은 이를 자동으로 발견하고 조정합니다. 문제에 맞는 올바른 접근 방식을 선택하는 것은 비용과 결과 모두에 영향을 미칩니다.
AI와 머신러닝은 함께 작동하여 구매를 추천하는 추천 엔진, 은행 계좌를 보호하는 사기 탐지 시스템, 음성 명령에 응답하는 가상 비서와 같은 현대 기술을 지원합니다. 이 가이드에서는 이러한 기술을 구분하는 요소, 함께 작동하는 방식, 각 기술이 실제로 적용되는 분야를 자세히 설명합니다.
인공지능은 컴퓨터와 기계가 인간의 학습, 이해, 문제 해결, 의사 결정 및 창의성을 모방할 수 있도록 하는 기술을 말합니다. 모든 시나리오에 대해 엄격한 지침을 따르는 대신, AI 시스템은 정보를 해석하고, 패턴을 인식하며, 사용자가 정의한 특정 목표를 달성하기 위한 조치를 취할 수 있습니다.
AI는 여러 상호 연결된 기능을 통해 이러한 기능을 달성합니다. 자연어 이해는 시스템이 인간의 음성 및 텍스트를 해석하고 응답할 수 있도록 하며, 컴퓨터 비전은 기계가 시각 정보를 분석할 수 있는 능력을 부여합니다. 의사 결정 시스템은 사용 가능한 데이터를 기반으로 옵션을 평가하고 조치를 선택합니다. 이러한 기능은 조직이 지능형 애플리케이션을 구축하고 배포하는 데 도움이 되는 머신러닝 플랫폼에서 결합됩니다.
인공지능 시스템은 기능에 따라 네 가지 범주로 나뉩니다. 현재는 처음 두 가지 유형만 존재합니다.
AI 시스템은 기계가 문제를 해결하는 방법에 대한 서로 다른 철학을 반영하는 두 가지 기본 접근 방식에 의존합니다.
규칙 기반 시스템. 이는 인간 전문가가 인코딩한 명시적인 조건부 논리에 따라 작동합니다. 모든 결정은 미리 정해진 경로를 따릅니다. 예를 들어, 특정 조건이 충족되면 특정 조치가 따릅니다. 이 접근 방식은 투명 성과 예측 가능성을 제공하며, 논리가 명시적이므로 사용자는 시스템이 특정 결정을 내린 이유를 정확하게 추적할 수 있습니다. 규칙 기반 시스템은 학습 기반 대안보다 적은 컴퓨팅 성능을 필요로 하며, 규칙이 거의 변경되지 않는 명확하고 안정적인 기준을 가진 문제에 잘 작동합니다.
학습 기반 시스템. 학습 기반 시스템은 다른 접근 방식을 취합니다. 규칙을 명시적으로 인코딩하는 대신, 개발자는 예제를 제공하고 알고리즘이 자동으로 패턴을 발견하도록 합니다. 충분한 훈련 데이터가 주어지면 이러한 시스템은 인간이 명시하지 않았거나 인식하지 못했던 구별되는 특징을 식별합니다. 이 접근 방식은 규칙 기반 프로그래밍을 압도할 복잡성을 처리하고 새로운 패턴이 나타남에 따라 조정됩니다.
현대 인공지능은 이러한 두 가지 접근 방식을 점점 더 많이 결합하고 있습니다. 예를 들어, 금융 기관은 규정 준수 요구 사항에 규칙 기반 논리를 사용하는 동시에 사기 패턴 탐지를 위해 학습 기반 시스템을 배포할 수 있습니다. 이 하이브리드 전략은 각 방법의 강점을 활용하여 최종 사용자의 목표를 충족하는 시스템을 만듭니다.
AI 에이전트는 이 범주에서 떠오르는 기술입니다. AI 에이전트는 자체 계획을 생성하고 사용 가능한 도구를 사용하여 작업을 실행하는 복잡한 추론 기능을 갖춘 애플리케이션입니다. 명령에 응답하는 기존 챗봇과 달리, 에이전트 AI 시스템은 독립적으로 목표를 추구하고 자체 워크플로를 설계합니다. 복잡한 목표를 하위 목표로 분해하고, 옵션을 통해 추론하고, 상호 작용 전반에 걸쳐 메모리를 유지하며, 외부 시스템에서 작업을 수행합니다. 이러한 기능은 에이전트를 소프트웨어 설계, IT 자동화 및 다단계 추론이 필요한 프로세스에 유용하게 만듭니다.
이러한 에이전트 기능은 AI 개발의 더 넓은 원칙을 반영합니다. 즉, 인간의 뇌는 영감과 벤치마크 역할을 합니다. 연구자들은 뉴런이 정보를 처리하는 방식, 기억이 형성되는 방식, 추론이 발생하는 방식을 연구한 다음 이러한 프로세스를 계산적으로 복제하려고 시도합니다. 현대 AI 에이전트를 특징짓는 계획, 메모리 및 다단계 추론은 이 인지 컴퓨팅 접근 방식에서 직접적으로 비롯됩니다. 동일한 프레임워크는 전략적 추론, 비정형 데이터의 패턴 인식 및 인간 커뮤니케이션을 근사하는 자연어 생성과 같은 복잡한 작업을 수행할 수 있는 시스템을 생산했습니다.
머신러닝은 시스템이 모든 시나리오에 대해 명시적으로 프로그래밍되지 않고도 경험을 통해 학습하고 개선되는 인공지능의 한 분야입니다. 스팸을 식별하거나 가격을 예측하는 방법을 정확하게 지정하는 코드를 작성하는 대신, 개발자는 데이터를 분석하고, 패턴을 발견하고, 학습한 내용을 기반으로 정보에 입각한 결정을 내리는 알고리즘을 만듭니다.
이 학습 과정은 훈련 데이터에 크게 의존합니다. 머신러닝 모델은 예제를 처리하여 기능을 개발합니다. 예를 들어, 고양이를 인식하도록 훈련된 모델은 수천 개의 고양이 이미지가 필요하며, 고객 이탈을 예측하는 모델은 떠난 고객과 머문 고객에 대한 과거 데이터가 필요합니다. 이러한 훈련 데이터의 품질과 양은 모델 정확도에 직접적인 영향을 미칩니다.
모델이 더 많은 데이터를 접함에 따라 이해도를 높입니다. 각 새로운 예는 정확한 패턴을 강화하고 부정확한 패턴을 수정하여 모델이 시간이 지남에 따라 더 미묘한 구분을 할 수 있도록 합니다. 초기 훈련 후 적절하게 작동하는 모델은 엣지 케이스와 변형을 포착하는 추가 데이터를 처리한 후 훨씬 더 나은 성능을 보일 수 있습니다. 이러한 지속적인 개선은 인간이 명시적으로 업데이트할 때까지 고정된 상태로 유지되는 정적 규칙 기반 시스템과 머신러닝을 구별합니다.
머신러닝 방법은 데이터를 사용하는 방식에 따라 나뉘며, 올바른 접근 방식을 선택하는 것은 사용 가능한 정보에 따라 달라집니다.
지도 학습: 올바른 답을 알고 있는 레이블이 지정된 데이터가 있는 경우 지도 학습을 적용합니다. 알고리즘에 입력과 원하는 출력을 쌍으로 제공하면 알고리즘은 둘 사이의 관계를 학습합니다. 이 접근 방식은 두 가지 유형의 문제를 처리합니다. 분류는 항목을 특정 작업에 할당하고, 회귀는 연속적인 척도에서 숫자 값을 예측합니다. 대부분의 비즈니스 ML 애플리케이션은 조직이 일반적으로 알려진 결과가 있는 과거 데이터를 가지고 있기 때문에 여기서 시작합니다.
비지도 학습: 레이블이 지정된 데이터는 다른 접근 방식이 필요합니다. 비지도 학습은 어떤 패턴을 찾아야 하는지에 대한 지침 없이 숨겨진 패턴을 발견합니다. 클러스터링 알고리즘은 각 그룹 내의 항목이 유사한 특성을 공유하는 그룹으로 데이터를 분할합니다. 차원 축소는 필수 정보를 유지하면서 고차원 데이터를 더 적은 변수로 압축하여 복잡한 데이터 세트를 분석 및 시각화하기 더 쉽게 만듭니다. 두 기술 모두 사전 정의된 범주나 레이블이 지정된 예 없이 데이 터에서 구조를 추출합니다.
강화 학습: 일부 문제는 두 접근 방식 모두에 적합하지 않습니다. 강화 학습은 시스템이 환경 내에서 행동을 취하고, 보상 또는 페널티로 피드백을 받고, 시간이 지남에 따라 더 나은 결과를 생성하는 행동을 학습하면서 시행착오를 통해 에이전트를 교육합니다. 이 방법은 최적의 행동이 컨텍스트에 따라 달라지고 누적 보상을 최대화하는 것으로 표현될 수 있는 목표를 가진 순차적 의사 결정 문제에 잘 작동합니다.
준지도 학습: 일반적인 제약 조건에 대한 실용적인 하이브리드 접근 방식입니다. 데이터를 레이블링하는 데는 비용이 많이 들지만 레이블이 없는 데이터는 풍부합니다. 준지도 학습은 소량의 레이블이 지정된 예제와 대량의 레이블이 없는 데이터를 결합합니다. 모델은 레이블이 지정된 예제에서 패턴을 학습하고 이를 사용하여 레이블이 없는 데이터 세트 전체에서 유사한 인스턴스를 분류하거나 식별하며, 제한된 지도 학습과 패턴 검색을 결합합니다.
기존 머신러닝과 최신 접근 방식의 주요 차이점은 모델이 예측에 사용하는 입력 변수인 피처를 처리하는 방식입니다.
기존 머신러닝에서는 전문가가 훈련을 시작하기 전에 원시 데이터에서 관련 피처를 식별하고 추출해야 합니다. 이 피처 엔지니어링 프로세스에는 상당한 도메인 전문 지식이 필요합니다. 분석가는 어떤 특성이 중요할 가능성이 있는지, 이를 숫자로 어떻게 표현해야 하는지, 원시 입력을 알고리즘이 처리할 수 있는 형식으로 어떻게 변환해야 하는지를 이해해야 합니다. 이러한 수동으로 엔지니어링된 피처의 품질이 알고리즘 선택보다 모델 성능을 더 자주 결정합니다.
최신 접근 방식, 특히 딥러닝은 이러한 피처 엔지니어링의 상당 부분을 자동화합니다. 충분한 데이터가 주어지면 이러한 시스템은 여러 계층의 표현을 통해 원시 입력에서 직접 관련 피처를 학습합니다. 초기 계층은 간단한 패턴을 감지하고, 더 깊은 계층은 이를 점점 더 추상적인 피처로 결합합니다. 이 기능은 이미지, 오디오 및 텍스트와 같은 비정형 데이터에 특히 유용하며, 수동으로 피처를 지정하는 것이 비실용적입니다. 트레이드오프는 데이터 및 계산 요구 사항 증가입니다. 자동화는 더 많은 예제와 인간 전문가가 직접 지정했을 수 있는 것을 발견하기 위한 더 많은 처리 능력을 필요로 합니다.
딥러닝은 여러 계층을 가진 인공 신경망을 사용하여 데이터에서 패턴을 학습하는 머신러닝의 전문화된 하위 집합입니다. 딥러닝의 "딥"은 이러한 네트워크의 깊이, 즉 입력과 출력 사이의 계층 수를 나타냅니다.
기존 머신러닝에서 사람이 관련 피처를 식별하고 엔지니어링해야 하는 반면, 딥러닝은 이 프로세스를 자동화합니다. 원시 데이터와 충분한 예제가 주어지면 딥러닝 시스템은 문제를 해결하는 데 필요한 계층적 표현을 발견합니다. 이 기능은 이미지 인식, 음성 인식 및 자연어 이해 분야에서 혁신을 주도했습니다.
이 아키텍처는 단순화된 형태로 인간의 뇌가 정보를 처리하는 방식을 모방합니다. 상호 연결된 노드(뉴런과 유사)가 처리 계층을 통해 신호를 전달합니다. 각 계층은 데이터를 변환하고 점점 더 추상적인 피처를 추출합니다. 이미지 인식에서 초기 계층 은 가장자리와 간단한 모양을 감지할 수 있습니다. 중간 계층은 눈이나 바퀴와 같이 인식 가능한 부분으로 결합하고, 후반 계층은 완전한 객체나 얼굴을 식별합니다.
딥러닝 모델을 훈련하려면 상당한 데이터와 컴퓨팅 성능이 필요합니다. 기존 머신러닝은 수백 또는 수천 개의 예제로 효과적으로 작동할 수 있지만, 딥러닝은 종종 수만에서 수백만 개의 예제가 필요합니다. 훈련은 특수 하드웨어에서 몇 시간, 며칠 또는 몇 주가 걸릴 수 있습니다. 이러한 요구 사항으로 인해 딥러닝은 대규모 데이터 세트와 상당한 컴퓨팅 리소스에 액세스할 수 있는 조직에 가장 실용적입니다. 전이 학습은 이 제약을 다소 완화했습니다. 대규모 데이터 세트로 사전 훈련된 모델은 훨씬 적은 데이터로 특정 작업에 맞게 미세 조정할 수 있습니다.
신경망은 계층으로 구성된 상호 연결된 노드로 구성됩니다. 이 아키텍처를 이해하면 이러한 시스템이 학습하는 방식을 명확히 알 수 있습니다.
입력 계층은 원시 데이터를 수신하고 변환 없이 전달합니다. 이 계층은 네트워크가 분석할 정보를 수락하기만 하면 됩니다. 이는 이미지의 픽셀 값, 구조화된 데이터의 숫자 측정값 또는 언어 작업의 인코딩된 텍스트일 수 있습니다.
숨겨진 계층은 실제 학습을 수행합니다. 각 계층은 이전 계층의 정보를 수신하고, 데이터를 변환하는 수학적 연산을 적용하고, 결과를 전달합니다. 여러 개의 숨겨진 계층은 네트워크를 "딥"하게 만들고 점점 더 추상적인 표현을 구축할 수 있도록 합니다. 초기 계층은 간단한 패턴을 감지하고, 중간 계층은 더 복잡한 피처로 결합하고, 더 깊은 계층은 높은 수준의 개념을 인식합니다. 각 계 층은 이전 계층이 학습한 내용을 기반으로 합니다.
출력 계층은 최종 예측을 생성합니다. 구조는 작업에 맞게 조정됩니다. 예-아니요 결정의 경우 단일 출력, 여러 범주로 분류할 때 여러 출력 또는 숫자 예측의 경우 연속 값입니다.
훈련은 두 가지 상호 보완적인 프로세스를 통해 발생합니다. 순전파는 네트워크를 통해 데이터를 전달하여 예측을 생성합니다. 역전파는 이러한 예측을 올바른 답변과 비교하고, 오류를 계산하고, 향후 오류를 줄이기 위해 네트워크 전체의 연결을 조정합니다. 이 주기는 네트워크가 허용 가능한 정확도를 달성할 때까지 수천 또는 수백만 번 반복됩니다.
딥러닝과 기존 머신러닝 중에서 선택하는 것은 여러 요인에 따라 달라지며 상황에 따라 올바른 선택이 달라집니다.
데이터 볼륨은 종종 실질적인 선택을 결정합니다. 기존 머신러닝은 수백 또는 수천 개의 예제만으로도 작은 데이터 세트로 효과적으로 작동합니다. 딥러닝은 잠재력을 발휘하기 위해 일반적으로 훨씬 더 많은 데이터가 필요합니다. 훈련 예제가 제한적이라면 기존 접근 방식이 딥러닝보다 성능이 뛰어날 가능성이 높습니다.
데이터 유형은 중요합니다. 구조화된 테이블 형식 데이터의 경우 기존 머신러닝 알고리즘은 종종 적은 컴퓨팅 비용으로 딥러닝 성능과 일치하거나 능가합니다. 이미지, 오디오 또는 자연어 텍스트와 같은 비정형 데이터의 경우 딥러닝의 자동 피처 학습은 상당한 이점을 제공합니다.
컴퓨팅 리소스는 실질적인 제약을 부과합니다. 딥러닝 훈련에는 종종 GPU 또는 특수 가속기와 같은 강력한 하드웨어가 필요합니다. 기존 머신러닝은 표준 하드웨어에서 효율 적으로 실행됩니다. 인프라가 제한된 조직은 기존 접근 방식을 더 쉽게 사용할 수 있습니다.
해석 가능성 요구 사항은 기존 방법을 선호합니다. 결정 트리와 선형 모델은 모델이 특정 예측을 한 이유를 정확하게 추적할 수 있는 설명 가능한 결과를 생성합니다. 딥 신경망은 불투명한 시스템으로 작동합니다. 규제 산업이나 높은 위험 결정에서 추론 설명을 중요하게 생각하는 경우 기존 접근 방식이 필요할 수 있습니다.
자연어 처리(NLP)는 인간의 언어를 이해하고 생성하는 시스템을 지원하는 AI 및 머신러닝의 가장 눈에 띄는 애플리케이션 중 하나입니다.
챗봇과 가상 비서가 보편화되어 NLP를 사용하여 사용자 의도를 해석하고, 쿼리를 처리하고, 적절한 응답을 생성합니다. 고객 서비스 봇은 일상적인 문의를 처리하여 인간 상담원이 복잡한 작업을 수행할 수 있도록 합니다. 음성 비서는 음성을 텍스트로 변환하고, 사용자가 원하는 것을 결정하고, 조치를 취합니다. 초기 챗봇은 엄격한 스크립트를 따랐지만 최신 시스템은 컨텍스트를 이해하고, 모호성을 처리하고, 일관된 다중 턴 대화를 유지하는 반면, 기본 기술은 빠르게 발전했습니다.
언어 번역도 머신러닝으로 인해 변화했습니다. 신경망 기계 번역 시스템은 수백만 개의 번역된 예제 간의 관계를 학습합니다. 번역 프로그램은 수십억 건의 요청을 처리하고 수십 개의 언어 쌍을 이전 규칙 기반 시스템보다 훨씬 향상된 품질로 처리합니다. 실시간 번역은 여행자, 비즈니스 및 국제 협업에 필수적인 도구가 되었습니다.
감성 분석은 감정 톤으로 텍스트를 분류하며, 기업은 브랜드 인지도 를 측정하기 위해 소셜 미디어 언급을 모니터링하고 금융 회사는 거래 결정을 알리기 위해 뉴스 감성을 분석합니다. 지원팀은 이러한 시스템을 사용하여 고객 좌절 수준에 따라 티켓의 우선 순위를 지정할 수도 있습니다. 이러한 시스템은 콘텐츠를 긍정적, 부정적 또는 중립적으로 분류하며 정확도는 종종 90%를 초과합니다.
대규모 언어 모델은 생성 AI 애플리케이션을 지원하는 인공 지능과 머신러닝의 융합을 나타냅니다. 트랜스포머 아키텍처를 기반으로 방대한 텍스트로 훈련된 이러한 시스템은 일관된 단락을 생성하고, 질문에 답하고, 문서를 요약하고, 코드를 작성할 수 있습니다. GPT(Generative Pre-trained Transformer) 모델은 이러한 접근 방식을 예시하며, 딥러닝과 대규모 훈련을 결합하여 몇 년 전에는 불가능해 보였던 기능을 달성합니다.
컴퓨터 비전은 기계에 시각 정보를 해석하는 능력을 부여하여 산업 전반에 걸쳐 애플리케이션을 주도합니다.
이미지 분류는 시각적 콘텐츠를 기반으로 이미지를 미리 정의된 범주로 할당합니다. 시스템은 이미지를 분석하고 고정된 가능성 집합에서 어떤 범주에 속하는지 결정합니다. 전자 상거래 플랫폼은 분류를 사용하여 제품 사진에 자동으로 태그를 지정하고, 콘텐츠 관리 시스템은 정책 위반을 식별하는 데 적용하며, 제조 품질 관리는 결함 있는 제품을 감지하는 데 의존합니다. 이 기술은 표준 벤치마크에서 분류 정확도가 인간의 성능에 필적할 정도로 성숙했습니다.
객체 탐지는 분류를 넘어, 단일 이미지 내에서 여러 개의 개별 요소를 식별하고 위치를 파악합니다. 분류가 "이 이미지에 무엇이 있는가?"라고 묻는다면, 탐지는 "어떤 객체가 어디에 있는가?"라고 묻습니다. 이러한 공간 인식 능력은 환경을 모니터링하는 보안 시스템, 이동 패턴을 추적하는 리테일 분석, 그리고 기계가 물리적 객체를 찾고 주변을 탐색해야 하는 로보틱스 애플리케이션에 유용합니다.
얼굴 인식은 인간 얼굴의 기하학적 및 질감 특징을 분석하여 저장된 표현과 일치시키거나 신원을 확인합니다. 이 기술은 식별(알 수 없는 얼굴을 데이터베이스와 일치시키는 것)과 확인(얼굴이 주장된 신원과 일치하는지 확인하는 것) 모두에 사용됩니다. 이러한 애플리케이션은 조직이 해결해야 할 중요한 개인 정보 보호 문제를 야기하며, 얼굴 인식에 대한 규제 프레임워크는 계속 발전하고 있습니다.
의료 진단 영상은 패턴 인식을 의료 분야에 적용하여 특정 질환과 관련된 시각적 검색 마커를 분석합니다. 좁게 정의된 작업에서 이러한 시스템은 전문가의 성능과 일치하거나 능가했습니다. 이들은 일반적으로 인간의 검토를 위해 영역을 표시하고 감지된 이상을 기반으로 긴급 사례의 우선순위를 지정하는 데 도움을 주는 보조자 역할을 합니다.
자율 주행 차량은 아마도 가장 야심찬 컴퓨터 비전 애플리케이션으로, 동적이고 비정형적인 환경을 실시간으로 해석해야 합니다. 비전 시스템은 차선, 표지판, 보행자, 차량 및 장애물을 동시에 식별하면서 이동하는 요소들의 행동을 예측해야 합니다. 레이더 및 라이다의 센서 데이터와 결합하여, 이러한 시스템은 인식을 위한 딥러닝과 계획 및 제어를 위한 전통적인 알고리즘의 조합을 통해 자율 주행 차량을 목표로 합니다.