생성형 AI

요약

• 챗봇과 이미지 생성기부터 신약 개발과 사기 탐지에 이르기까지 생성형 AI(GenAI)는 기술을 재편하고 소매, 금융, 의료 등 다양한 분야에서 새로운 애플리케이션을 주도하고 있습니다.
• GenAI는 트랜스포머, GAN, VAE, 확산 시스템과 같은 모델을 사용하여 대규모 데이터세트에서 패턴을 학습하고 텍스트, 이미지, 음악, 코드, 심지어 합성 데이터까지 생성합니다.
• GenAI는 생산성 향상, 새로운 수익원, 혁신을 약속하는 동시에 편향, 잘못된 정보, 저작권, 책임감 있는 거버넌스의 필요성에 대한 우려를 낳고 있습니다.

생성형 AI란?

생성형 AI(줄여서 GenAI)란 스스로 새로운 콘텐츠를 생성할 수 있는 모든 유형의 인공 지능을 뜻합니다. 생성형 AI 콘텐츠에는 텍스트, 이미지, 비디오, 음악, 번역, 요약 및 코드가 포함됩니다. 또한 주관식 질문에 답하고, 거의 임의적인 지침을 실행하고, 채팅에 참여하는 등의 특정 작업을 완료할 수도 있습니다.

ChatGPT, DALL-E 등의 서비스를 통해 일반 대중에서 GenAI의 의미가 소개되면서 기술의 인기도 크게 높아졌습니다.

생성형 AI의 작동 원리

GenAI 모델은 딥러닝을 사용하여 기존 데이터세트 내의 패턴을 식별하고 분석합니다. 이 모델은 인간의 두뇌 행동과 마찬가지로 트랜스포머 및 기타 딥러닝 아키텍처를 사용하여 데이터세트를 처리하고 '학습'합니다. 이러한 AI 모델은 새롭고 독창적인 콘텐츠를 만들기 위해 엄청난 양의 데이터를 트레이닝니다.

텍스트, 이미지, 일련의 음표 등을 입력하여 AI 모델을 트레이닝시킨 후 해당 AI 모델에 "프롬프트"를 제공할 수 있습니다. 그러면 알고리즘이 이를 바탕으로 새로운 콘텐츠를 생성합니다. 예를 들어 이미지를 사용하여 텍스트 캡션을 만들거나 텍스트 설명에서 이미지를 생성하는 등 다양한 미디어에서 작업할 수도 있습니다.

생성형 AI 모델의 일반적인 유형은 텍스트를 통해 트레이닝된 대규모 언어 모델(LLM)입니다. 이 모델은 순차적으로 사용되는 단어를 인식하는 방법을 학습합니다. 그런 다음 어떤 단어가 다음 순서로 나올 가능성이 가장 높은지 예측하여 문장을 구성할 수 있으므로 자연스럽게 들리는 결과물을 얻을 수 있습니다.

생성형 AI 모델의 예

현재 사용되고 있는 생성형 AI 모델에는 여러 유형이 있습니다. 방법과 사용 사례는 다르지만 모두 다양한 알고리즘을 결합하여 콘텐츠를 처리하고 생성합니다.

GAN(Generative Adversarial Network, 생성형 적대적 신경망)

GAN 모델에는 동시에 트레이닝되는 두 개의 신경망, 즉 생성기(Generator)와 판별기(Discriminator)가 포함되어 있는데, 이 두 신경망은 게임 형태의 시나리오에서 서로 경쟁합니다. 

생성기는 프롬프트를 기반으로 한 이미지와 같은 새로운 출력을 생성합니다. 그리고 판별기는 이 새로운 콘텐츠의 진위를 평가하고 생성기에 피드백을 제공하여 출력을 개선하는 데 도움을 줍니다. 생성기는 항상 판별기가 생성된 콘텐츠를 '진짜'로 분류하도록 속이고, 판별기는 항상 진위를 더 잘 구별하려고 노력합니다.

GAN 모델의 잘 알려진 예로 Midjourney(텍스트 이미지 변환 GenAI 도구)가 있습니다. 그러나 GAN은 이미지 생성에만 국한되지 않고 텍스트와 비디오 콘텐츠도 생성합니다. 

GAN 생성기와 판별기는 계속 경쟁하면서 고품질의 결과를 빠르게 생성합니다. 그러나 과적합(overfitting), 모드 붕괴(mode collapse), 기울기 소실(diminished gradient)과 같은 문제를 방지하려면 두 신경망의 균형을 유지하는 것이 중요합니다.

변분 오토인코더(VAE)

오토인코더 모델도 두 가지 신경망을 사용하여 데이터를 해석하고 생성합니다. 이 모델에서는 이 두 신경망을 인코더와 디코더라고 하며 인코더 신경망은 주요 특성을 포착하는 단순 형식 또는 잠재 형식으로 데이터를 압축하도록 트레이닝되었습니다. 반면, 디코더 모델은 잠재 데이터로부터 콘텐츠를 재구성하도록 트레이닝됩니다. 

VAE는 연속적 잠재 공간을 사용하여 트레이닝 데이터 포인트 간의 로컬 변형을 구현합니다. VAE 모델은 약간 수정된 압축 정보를 디코딩하여 유사하지만 궁극적으로는 독창적인 콘텐츠를 출력합니다.

이 모델은 주로 이미지 생성 및 이상 탐지에 사용되지만 텍스트와 오디오를 생성하기도 합니다. VAE는 이미지와 같은 결과물을 빠르게 생성하지만 다른 모델에 비해 세부 정보가 부족할 수 있습니다.

자기회귀

자기회귀 생성형 AI 모델은 이전에 생성된 요소의 컨텍스트를 고려하여 새로운 샘플을 생성합니다. 또한 각 데이터 포인트의 조건부 확률 분포를 모델링하고 시퀀스의 다음 요소를 예측하여 새 데이터를 생성합니다.

이 모델은 한 번에 한 요소씩 순차적으로 데이터를 생성하므로 복잡한 시퀀스를 생성할 수 있습니다. 자기회귀 AI는 일반적으로 텍스트 생성(예: ChatGPT), 언어 모델링, 음악 작곡에 사용됩니다.

확산 모델

노이즈 제거 확산 확률 모델(De-noising Diffusion Probabilistic Model, DDPM)이라고도 하는 확산 모델은 정방향 확산과 역방향 확산을 포함하는 2단계 프로세스로 트레이닝됩니다. 

정방향 확산 중에는 트레이닝 데이터에 무작위 가우시안 노이즈가 점진적으로 추가되어 효과적으로 데이터를 파괴합니다. 그런 다음 AI는 역방향 확산을 통해 샘플을 재구성하는 방법을 학습합니다. 트레이닝 완료된 확산 모델은 완전한 무작위 노이즈로부터 새로운 데이터를 생성할 수 있습니다.

트랜스포머

트랜스포머(Transformer)는 순차적 입력 데이터 간의 장기적 관계를 처리하는 데 도움이 되는 특정 유형의 머신 러닝을 사용합니다. 그러려면 더 큰 데이터세트를 통해 모델을 트레이닝해야 합니다.

'어텐션(attention)'이라고 알려진 이 개념을 바탕으로 트랜스포머는 입력의 어느 부분이 다른 부분에 영향을 미치는지, 즉 컨텍스트를 이해할 수 있습니다. 따라서 이 모델은 컨텍스트에 대한 이해가 필요한 자연어 처리(NLP)와 관련된 텍스트 생성 작업에 가장 적합합니다. 잘 알려진 생성형 AI 프로그램 대부분이 트랜스포머 기반 모델에 속합니다.

트랜스포머는 매우 강력한 텍스트 생성기임이 입증되었습니다. 트레이닝 입력으로 텍스트만 필요하고 수십 억에 달하는 페이지를 사용할 수 있기 때문입니다. NLP 외에도 트랜스포머 AI 모델은 코드, 단백질, 화학물질, DNA 내의 연결 관계를 추적하고 식별하는 데 사용됩니다.

생성형 AI 모델 사용

이러한 각 모델 유형은 특정 사용 사례에 적합하며, 그 예는 다음과 같습니다: 

• GANs: 고해상도 이미지, 동영상 합성, 데이터 증강
• VAEs: 이상 감지 및 빠른 이미지 생성
• 자기회귀 모델: 텍스트 생성, 언어 모델링, 순차 데이터 작업
• 확산 모델: 고품질 이미지 합성 및 노이즈 제거 애플리케이션
• 트랜스포머: NLP, 코드 생성 및 멀티모달 AI

이러한 모델 중 어떤 것을 사용할지 평가할 때 조직은 각 사용 사례를 통해 달성하고자 하는 것에 대한 명확한 사용 사례와 목표를 정의해야 합니다. 상황에 가장 적합한 결과를 도출할 모델을 선택하려면 이러한 목표를 기준으로 각 모델의 장단점을 평가해야 합니다.

사용 사례가 결정되면 조직에서 생성형 AI 모델의 효능을 평가하고 검증하는 데 사용할 수 있는 몇 가지 기법이 있습니다.

• LEU: 이 모델은 생성된 텍스트와 참조 텍스트 간의 중복을 측정합니다. 원래 기계 번역을 위해 설계된 이 모델은 출력의 정밀도에 중점을 둡니다.
• ROUGE: 요약을 위해 설계된 이 측정항목은 n-gram 중복의 재현율을 평가하고 모델 출력에 참조 콘텐츠가 얼마나 포함되었는지 평가합니다.
• METEOR, ChrF: 단어 수준의 의미 또는 문자 수준의 패턴을 사용하여 생성된 텍스트와 참조 텍스트를 비교함으로써 텍스트 품질을 평가합니다.
• Perplexity: 이 접근 방식은 모델이 다음 토큰에 얼마나 '놀라는지'를 측정합니다(낮을수록 좋음). Perplexity가 낮을수록 예측 능력이 더 좋다는 것을 의미하지만, 실제 작업에서 항상 생성 품질과 상관관계가 있는 것은 아닙니다.
• Fréchet Inception Distance(FID) 는 특징 분포를 사용하여 생성된 이미지가 실제 이미지와 얼마나 가까운지를 측정합니다.
• Inception Score(IS) 는 예측된 라벨의 신뢰도와 다양성을 기반으로 이미지 품질을 측정합니다.
• Databricks 지원: MLflow를 사용하면 평가 파이프라인의 일부로 이러한 점수를 로깅하고 비교할 수 있습니다.

생성형 AI에서 딥러닝의 역할

딥러닝으로 전환하면서 AI 모델이 더욱 정교해졌고, 자연어 같이 점점 더 복잡해지는 데이터를 모델링할 수 있게 되었습니다. 생성형 AI 모델 대부분은 내부적으로 딥러닝을 사용하게 됩니다.

딥러닝이라는 이름은 이러한 모델에서 사용되는 수많은 처리 레이어에서 비롯되었습니다. 상호 연결된 노드의 첫 번째 레이어에서 트레이닝 데이터가 제공됩니다. 이 레이어의 출력이 다음 레이어의 입력으로 사용됩니다. 이전 레이어에서 얻은 지식을 기반으로 각 레이어가 구축되므로 복잡성과 추상화가 증가하고, 데이터세트의 세부 정보를 바탕으로 대규모 패턴을 이해할 수 있습니다.

기존 머신 러닝에서는 프로그래머가 특성 추출을 수행해야 하지만 딥러닝 프로그램은 지도학습을 줄이고 내부적으로 유용한 데이터 표현을 구축할 수 있습니다.

또한 AI 모델은 딥러닝 기술을 사용해 자연어 이해, 이미지 인식 등 복잡하고 추상적인 개념을 처리할 수 있습니다.

데이터 증강, 전이 학습, 미세 조정 등 AI 성능을 개선하는 방법에는 여러 가지가 있습니다. 데이터 증강은 생성 모델을 사용하여 데이터 트레이닝을 위한 새로운 합성 데이터 포인트를 생성합니다. 그런 다음 이 모델을 기존 데이터에 추가하여 데이터세트의 크기와 다양성을 늘리고, 결과적으로 모델의 정확도를 높입니다.

전이 학습에서는 사전 트레이닝된 모델을 두 번째 관련 작업에 사용합니다. 이 모델은 기존 모델의 출력을 다른 학습 문제의 입력으로 활용함으로써 첫 번째 트레이닝 인스턴스에서 얻은 지식을 적용할 수 있습니다. 전이 학습의 예로 자동차를 식별하도록 트레이닝된 모델을 사용하여 다른 차량을 식별하는 모델을 트레이닝하는 것이 있습니다. 전이 학습이 유용한 이유는 새로운 모델을 트레이닝하는 데 필요한 데이터의 양을 줄여주기 때문입니다.

마지막으로 미세 조정은 AI 모델을 보다 구체적인 데이터로 트레이닝하여 맞춤 구성하는 기술입니다. 이 모델을 사용해 사전 트레이닝된 모델을 특정 도메인이나 작업에 사용할 수 있도록 세부 조정할 수 있습니다. 미세 조정을 위해서는 최종 작업을 대표하는 고품질 데이터세트가 필요합니다.

생성형 AI의 실제 사용 사례

생성형 AI 기술은 텍스트 및 이미지 생성부터 소프트웨어 개발에 이르기까지 실제 사례를 광범위하게 보유하고 있습니다. 그 중 가장 일반적인 사용 사례 몇 가지에 대해 알아보겠습니다

이미지 생성

DALL-E와 같은 도구를 사용하면 시각적 또는 텍스트 형태의 프롬프트를 입력하여 새로운 이미지(예: 사진, 이미지, 비디오)를 생성할 수 있습니다. 멀티모달 모델은 텍스트 안내에 따라 이미지를 생성할 수 있으므로, 사용자는 원하는 만큼 모호하거나 구체적인 표현을 사용할 수 있습니다.

예를 들어 '동물'이나 '무지개'를 기반으로 한 그림을 요청하고 그 결과로 어떤 그림이 생성되는지 확인할 수 있습니다. 또는 '선글라스를 낀 새끼 코뿔소가 보라색 커튼이 쳐진 창문을 통해 무지개를 보고 있다'와 같이 자세한 안내를 제공할 수도 있습니다.

또 다른 옵션은 스타일 전이(style transfer)로, 한 이미지의 콘텐츠와 다른 이미지의 시각적 스타일을 결합하는 것입니다. 예를 들어 콘텐츠 이미지(코뿔소 사진)와 스타일 참조 이미지(피카소 그림)를 입력하면 AI가 이 둘을 혼합하여 피카소 스타일의 새로운 코뿔소 이미지를 생성합니다.

텍스트 생성

잘 알려진 텍스트 기반 GenAI 사용 사례 중 하나인 챗봇은 이제 다른 많은 작업에도 적용할 수 있습니다. 예를 들어 GrammarlyGo와 같은 도구는 비즈니스 양식의 이메일을 작성하고 답변을 보내는 데 도움이 될 수 있습니다.

기술 제품을 광고하는 브로셔를 제작한다고 가정해 보겠습니다. 인간의 경우 기능과 사양을 읽고 자세히 메모한 다음 초안을 작성하는 데 시간을 들입니다. 생성형 AI 프로그램은 입력된 정보를 바탕으로 몇 초 만에 이 모든 작업을 수행하여 바로 사용할 수 있는 콘텐츠를 빠르게 생성합니다. 텍스트 생성은 영화를 더빙하거나 비디오 콘텐츠에 자막을 제공하거나 콘텐츠를 다양한 언어로 번역할 때도 유용합니다.

음악 작곡

GenAI는 특정 장르의 음악을 작곡하거나 특정 작곡가의 스타일을 모방할 수 있습니다. 이미지 생성기와 마찬가지로 '무지개에 관한 노래' 또는 '우쿨렐레와 카주의 왈츠 박자 반주에 맞춘 무지개에 관한 3소절의 동요'와 같이 세부 정보를 제공하거나 완전한 창작의 자유를 허용할 수 있습니다.

또한 스타일 전이를 통해 거슈윈 스타일의 생일 축하 노래와 같이 서로 다른 두 곡을 섞거나 리믹스를 만들도록 AI에 요청할 수 있습니다. Amper Music은 사전에 녹음된 샘플에서 음악 트랙을 생성하는 반면, 동영상에서 개체를 인식하여 사운드트랙을 만드는 도구도 있습니다.

합성 데이터

GenAI는 고급 알고리즘과 시뮬레이션을 사용하여 합성 데이터를 생성할 수도 있습니다. 이 인공 데이터 세트는 실제 정보는 포함하지 않으면서 실제 데이터의 통계적 속성을 복제합니다. 기존의 데이터 수집은 비용이 많이 들고 시간이 오래 걸릴 수 있지만, GenAI는 훨씬 저렴한 비용으로 조직에 확장 가능한 대량의 정형화되고 라벨이 지정된 데이터 세트를 제공할 수 있습니다.

AI 모델 학습을 향상시키는 데 사용되는 데이터 증강 외에도 합성 데이터의 주요 사용 사례는 다음과 같습니다: 

• 연구 및 테스트: 생성형 AI 합성 데이터는 예측 모델과 제품을 안전하게 테스트하기 위해 경제 시장이나 기상 조건과 같은 실제 환경을 시뮬레이션할 수 있습니다.
• 개인 정보 보호: 의료 및 금융과 같은 산업에서 민감한 정보를 다루는 조직은 통계적 관련성은 보존하면서 개인 식별 정보(PII)를 제거하는 합성 데이터를 생성합니다. 이를 통해 소비자 보호 규정을 준수하면서 데이터를 안전하고 정확하게 분석할 수 있습니다.
• 편향 감소: 실제 데이터로 훈련된 AI 모델은 불공정한 결과를 초래하는 편향을 물려받는 경우가 많습니다. 합성 데이터는 데이터가 실제 현실을 더 정확하고 공정하게 나타내도록 보장하면서 전체 데이터 세트의 균형을 맞추는 데 도움이 될 수 있습니다.

생성형 AI의 산업별 적용 사례

이 기술을 사용하는 방법은 다양하므로 리테일, 금융 서비스, 의료 등을 위한 생성형 AI가 예외가 아닌 표준으로 자리잡고 있는 것은 놀라운 일이 아닙니다.

리테일

이미 많은 리테일 기업이 고객 서비스를 자동화하기 위해 챗봇을 사용하고 있으며, 생성형 AI가 발전함에 따라 이러한 챗봇은 더욱 정교해질 것입니다. 앞으로 AI는 가상 피팅룸, 제품 개발, 적극적인 마케팅을 통해 고객에게 더욱 맞춤화된 서비스를 제공할 수 있습니다. 리테일 비즈니스도 GenAI를 사용하여 재고 및 수요 계획을 수립하고 피싱이나 사기를 식별하여 보안을 강화함으로써 이점을 얻을 수 있습니다.

금융 서비스

금융 서비스업(FSI) 기업들은 이미 대량의 데이터를 분석하기 위해 GenAI에 투자하고 있습니다. 한 가지 예로 올초 발표된 BloombergGPT LLM을 들 수 있습니다. 500억 개의 매개변수가 있는 이 AI는 FSI 및 예측을 위해 특별히 제작되었습니다.

현재는 물론 미래에 FSI에서 생성형 AI를 사용하는 다른 용도로는 위험 관리 및 사기 탐지가 있으며, 이는 운영 효율성을 높이고 고객 개인화를 강화합니다.

제조

산업혁명 이후 제조업은 자동화를 통해 효율성을 최적화하는 것을 목표로 삼아왔습니다. 생성형 AI는 이 산업을 다시 한 번 미래로 이끌 새로운 도구를 제공합니다.

AI는 가동 중단 없는 제조 작업에 대한 자동화된 보고서를 제공하여 성능 격차나 병목 현상을 식별하고 데이터를 기반으로 우선순위를 지정하여 효율성을 높일 수 있습니다. AI는 작업 모니터링뿐만 아니라 장비를 모니터링하고 예측적 유지관리 및 문제 해결을 통해 다운타임을 최소화할 수도 있습니다.

마지막으로 제조업의 LLM은 고객 서비스 맟 자동차나 스마트 기술과 같은 특정 제품에 대한 고객 경험을 개인화할 수 있습니다.

미디어

엔터테인먼트 업계에서 AI를 어떻게 활용할 것인지는 큰 논란이 되고 있습니다. 그러나 생성형 AI는 업계의 업무에 영향을 주지 않고도 여러 가지 방법으로 사용할 수 있습니다.

AI 모델을 통한 사용자 선호도, 소비 패턴, 소셜 미디어 신호 분석은 엔터테인먼트 서비스의 미디어 추천을 최적화하는 데 사용될 수 있습니다. GenAI 모델은 타겟 광고를 개선할 수도 있습니다. 그러나 엔터테인먼트의 LLM과 관련하여 가장 흥미로운 발전은 시청자의 결정이 내러티브를 형성하는 몰입형 인터랙티브 스토리텔링의 잠재력입니다.

의료 서비스

의료 분야에서 생성형 AI 모델은 새로운 화합물과 분자를 보여주는 그래프를 생성하여 신약 발견에 도움을 줄 수 있습니다. AstraZeneca는 이미 신약 발견에 AI를 사용하고 있으며, 2025년이면 신약과 재료의 30% 이상이 GenAI 기술을 통해 발견될 것으로 추정됩니다.

이러한 모델은 테스트할 새로운 화합물을 제안하고, 임상 시험에 사용할 적합한 후보를 식별하고 합성 이미지를 사용하여 의료 이미지 분석 애플리케이션을 미세 조정할 수도 있습니다. 또한 AI를 사용하여 개인화된 치료 계획을 생성하거나 전자 건강 기록에 업로드하기 위한 상담 내용을 기록할 수 있습니다.

생성형 AI 적용 환경에서 기업이 얻을 수 있는 이점

지금까지 몇 가지 실제 적용 사례를 살펴보았습니다. 그렇다면 생성형 AI가 비즈니스에 어떤 변화를 가져올까요? 생성형 AI를 사용하여 얻을 수 있는 주요 이점은 다음과 같습니다.

수익 창출

생성형 AI 기술을 사용하면 기업들은 참신한 디자인을 떠올리고 R&D 프로세스를 가속화하여 새로운 제품을 신속하게 제작하고 출시할 수 있습니다. 이 기술은 트렌드와 고객 행동을 분석하여 추가 수익원에 대한 새로운 아이디어를 제시할 수 있습니다.

AI는 제품 혁신뿐만 아니라 새로운 마케팅 계획을 수립하고 홍보 자료를 제작하는 데 도움을 줄 수 있습니다. 또한 고객 선호도를 분석하여 타겟 광고를 생성하고, 맞춤형 추천을 제공하며, 제품과 서비스를 개인화할 수 있습니다. AI 데이터 분석은 기업이 경쟁사보다 앞서고 경쟁력을 유지할 수 있는 기회를 포착하는 데 도움이 되기도 합니다. 

마지막으로 GenAI를 사용하면 비즈니스 챗봇 성능이 향상되어 고객 만족도, 매출 및 유지율도 향상됩니다.

생산성

또 다른 주요 이점으로는 생산성을 들 수 있습니다. GenAI를 사용하면 데이터 입력, 일상적인 이메일, 회의 또는 통화 기록과 같이 시간이 많이 소요되는 수작업을 자동화할 수 있기 때문입니다.

AI 모델은 인간이 쉽게 이해하고 해석할 수 있도록 복잡한 정보를 요약하는 데 뛰어난 성능을 발휘합니다. 또한 데이터를 분석하고 기존 워크플로를 개선하여 효율성을 극대화하는 방법을 제안할 수 있습니다.

고객 지원 분야에서는 AI 기반 챗봇과 가상 어시스턴트를 구현하여 지원 상담사의 부담을 줄일 수 있습니다. 이외에도 상담원의 응답 및 해결 시간이 단축되고, 상담원이 일반적인 쿼리를 처리하는 동시에 다른 작업을 처리할 수 있다는 장점이 있습니다.

위험 완화

생성형 AI 플랫폼을 사용하면 데이터를 더욱 심층적으로 파악할 수 있을 뿐만 아니라 재무 또는 보안 취약성을 신속하게 식별할 수 있습니다. 고급 AI 프로그램은 잠재적인 비즈니스 위험을 시뮬레이션할 수 있으므로 규정 준수를 평가하고 프로토콜을 구현하여 문제를 피하거나 완화할 수 있습니다.

한편, 데이터 압축 덕분에 조직은 필수 데이터만 보관하면 되므로 많은 개인정보를 보관하는 데 따른 위험이 줄어듭니다.

가장 일반적인 LLM 간의 차이점

LLM은 많은 기업에서 출시 및 개발 중이므로 선택할 수 있는 옵션의 수는 계속 늘어날 것입니다. 그러나 일반적으로 LLM은 독점 서비스와 오픈 소스 모델이라는 두 가지 범주로 그룹화할 수 있습니다. 이 두 범주에 대해 자세히 알아보겠습니다.

독점 서비스

가장 잘 알려진 LLM 서비스는 OpenAI가 2022년 말에 출시한 ChatGPT입니다. ChatGPT는 프롬프트를 수신하고 일반적으로 빠르고 관련성 있는 응답을 제공하는 사용자 친화적인 검색 인터페이스를 제공합니다. 개발자는 ChatGPT API에 액세스하여 LLM을 자체 애플리케이션, 제품 또는 서비스에 통합할 수도 있습니다. 

다른 독점 서비스 생성형 AI의 예로는 Google Bard와 Anthropic의 Claude가 있습니다.

오픈 소스 모델

다른 유형의 LLM은 오픈 소스이며 상업적으로 사용 가능합니다. 오픈 소스 커뮤니티는 독점 모델의 성능을 빠르게 따라잡았고, 자체 호스팅되거나 클라우드 서비스 API를 통해 제공되는 오픈 소스 모델은 미세 조정을 통해 맞춤 설정이 가능합니다.

많이 사용되는 오픈 소스 LLM으로는 Meta의 Llama 2 그리고 Databricks에 인수된 MosaicML의 MPT가 있습니다.

최적의 생성형 AI LLM 선택하기

독점 LLM과 오픈 소스 LLM 간의 차이점을 이해하는 것이 첫 번째 단계이지만 GenAI 애플리케이션을 위한 LLM을 선택할 때 고려해야 할 사항은 아직 많습니다. 외부 공급업체의 폐쇄형 API와 오픈 소스(또는 미세 조정된) LLM 중에서 선택할 때는 미래 보장, 비용, 경쟁 우위로서의 데이터 활용을 모두 고려해야 합니다.

독점 서비스 LLM은 매우 강력한 기능을 하는 경우가 많지만 트레이닝 프로세스 및 가중치에 대한 감독이 덜 이루어지는 '블랙박스' 스타일로 인해 거버넌스 문제가 발생할 수도 있습니다. 또 다른 위험은 독점 모델이 더 이상 지원되지 않거나 제거되어 기존 파이프라인이나 벡터 인덱스가 손상될 수 있다는 것입니다.

반면, 오픈 소스 모델은 구매자가 무기한 액세스할 수 있습니다. 또한 이 모델은 추가적인 맞춤 설정 및 감독 기능을 제공하므로 성능과 비용을 조정하여 절충점을 찾을 수 있습니다. 마지막으로, 오픈 소스 모델을 추가로 미세 조정함으로써 조직은 데이터를 경쟁 우위로 활용하여 공개적으로 사용 가능한 것보다 더 나은 모델을 구축할 수 있습니다.

생성형 AI의 윤리적 고려사항

모든 형태의 AI는 윤리적 우려를 불러일으키는 경향이 있으며, 인간은 지능형 기계가 미치는 영향과 관련한 문제를 해결해야 합니다. 그렇다면 생성형 AI의 윤리란 무엇일까요? 우선, 이 기술은 비교적 새로운 기술이며 매우 빠르게 발전하고 있습니다. 이 분야의 개발자들조차도 AI가 어디까지 발전할 것인지 확신하지 못하지만, 모델이 인간처럼 상호작용하는 방법을 학습함에 따라 부정확성을 감지하는 것이 점점 더 어려워지고 있습니다. 

GenAI 모델에서 확인된 문제 중 하나는 "할루시네이션(환각)"입니다. 이는 챗봇이 무언가를 만들어내는 현상을 뜻합니다. 모델이 의학적 조언이나 정확한 보고와 같은 용도로 사용되는 경우 이는 심각한 결과를 초래할 수 있습니다.

또한 인종 차별이나 동성애 혐오와 같이 무의식적이거나 고의적인 편견이 트레이닝 데이터세트에 포함되어 있으면 모델에 인코딩되어 AI의 결과에 영향을 미칠 수 있습니다. 

잘못된 정보나 잠재적으로 유해한 콘텐츠 외에도 디지털로 위조된 이미지나 비디오인 '딥페이크'에 대한 공통된 우려가 있습니다. 사이버 공격자는 생성형 AI를 사용하여 신뢰할 수 있는 발신자의 스타일을 모방하고 비밀번호나 금전을 요구하는 메시지를 작성할 수 있습니다.

또한 모델의 결과물을 작성자까지 추적하는 것이 어려운 경우가 많으며, 이로 인해 저작권 및 표절 문제가 발생합니다. 이는 특정 데이터세트에 대한 정보가 부족할 경우 더욱 복잡해집니다. 예를 들어 이미지 생성 도구를 사용하면 '아티스트 X'가 자신의 이미지가 데이터세트에 사용되는 데 동의한 적이 없는데도 사용자가 '아티스트 X의 스타일"로 무언가를 요청할 수 있습니다.

GenAI와 윤리를 둘러싼 다른 우려사항으로는 지속 가능성이 있는데, 이는 기술에 막대한 연산 능력과 전력이 필요하기 때문입니다. 이외에도 온라인에서 단어와 이미지에 대한 불신을 조장하여 진정성 있는 보고가 가짜라는 주장에 신빙성을 부여할 수 있는 방법 등이 있습니다.

AI 품질을 테스트하는 방법

이전 섹션에서 언급했듯이 생성형 AI가 부정확하거나 품질이 낮은 결과를 생성하는 경우도 있습니다. 생성형 AI 도구 및 프레임워크를 연구할 때 성능 지표가 영업 자료에 표시되기는 하지만 직접 확인하는 것이 가장 좋습니다.

개발자와 엔지니어는 모델이 트레이닝된 대로 작동하는지 확인하기 위해 AI가 생성한 콘텐츠의 품질과 다양성을 테스트해야 합니다. '사실에 기반한' 잘못된 대답이 있는지 확인하는 것은 비교적 간단하지만, 주관적인 예술 또는 창의적 결과물의 품질을 평가하는 것은 더 까다롭습니다.

Databricks의 MLflow 평가 API와 같은 도구는 GenAI 매개변수 및 모델을 추적하여 결과가 요구사항을 충족하는지 확인할 수 있습니다. 이는 인간의 평가와도 결합될 수 있습니다. 예를 들어 생성된 음악이나 예술 작품이 매력적인지 자체적으로 판단하는 것입니다. 보다 객관적인 평가 지표로는 인셉션 점수, 프레쳇 인셉션 거리(Fréchet Inception Distance, FID), 원본 데이터가 있습니다.

실제 데이터

이 평가 방법에는 생성형 AI를 트레이닝시킨 실제 데이터를 식별하는 작업이 포함됩니다. 실제 데이터는 본질적으로 사실이라고 알려진 정보를 기반으로 한 쿼리에 대한 '올바른' 응답입니다. 이는 AI에게 신뢰할 수 있는 결과에 도달하는 방법을 가르치는 트레이닝 데이터세트에 포함되어야 합니다.

예를 들어 부정확한 콘텐츠를 인식하도록 모델을 트레이닝하는 경우 참 또는 거짓으로 분류된 텍스트와 이미지의 대규모 데이터세트가 필요합니다. 개발자는 이 데이터세트를 표준으로 삼아 답변과 예측의 정확성을 측정할 수 있습니다.

그러나 AI 디자이너는 실제 데이터를 구성하는 사람이므로, 정보의 정확성을 확보하기 위해서는 그들의 성실함에 의존해야 합니다. 이상적으로, 실제 데이터는 사용자로부터 직접 피드백을 받아 구성하는 것이 가장 좋습니다.

Databricks Lakehouse Monitoring은 AI 전문가가 자산의 품질, 정확성, 신뢰성을 보장하는 데 도움을 줄 수 있습니다. 사전 예방적 보고 및 통합 도구는 이상 징후를 간단하게 팀지할 수 있도록 데이터와 모델에 대한 완벽한 가시성을 제공하며 내장된 Judge 모델 지표는 맞춤형 품질 지표로 보강할 수 있습니다.

AI 품질 지표

AI 품질 지표는 생성형 AI 모델의 성능을 결정하는 데 사용되는 측정값입니다. 정확성 및 재현율과 같은 기존 ML 지표 외에도 GenAI에 특화된 맞춤형 지표를 사용하면 이러한 모델에 대한 중요한 평가가 가능합니다. 

예를 들어, 프레쳇 인셉션 거리(FID) 지표는 생성형 AI로 생성된 이미지의 품질을 평가합니다. 이 지표는 생성된 이미지의 분포와 도구를 트레이닝하는 데 사용된 실제 이미지의 분포를 비교하여 분류기의 일부 심층 레이어에 대한 활성화 분포 사이의 거리를 계산할 수 있습니다. 최적의 FID 결과는 0.0점입니다.

Databricks는 LLM Judge를 사용해 챗봇의 품질을 측정하는 작업의 가치를 보여주었습니다. 이러한 최첨단 기술을 통해 다양한 AI 모델의 텍스트 출력을 비교하여 유해성과 복잡성을 평가할 수 있는 새로운 Judge로서의 MLflow 모델이 탄생했습니다.

현재 생성형 AI의 도전과제

기술이 빠르게 발전하고 있지만 생성형 AI 모델을 사용하는 데는 여전히 상당한 과제가 남아 있습니다.

인프라 확장

GenAI를 배포할 때 직면할 수 있는 주요 문제 중 하나는 확장성입니다. 앞서 살펴본 것처럼 이러한 모델에는 원하는 결과를 생성하기 위해 고품질의 편향되지 않은 대량의 데이터가 필요합니다.

생성형 AI 모델의 개발 및 유지 관리에는 대규모 컴퓨팅 인프라와 성능이 필요하며, 이로 인해 상당한 자본 지출과 기술 전문 지식이 필요합니다. 그리고 이는 결과적으로 확장 가능한 솔루션에 대한 수요 증가로 이어집니다.

최적화 복잡성

머신 러닝 실무자는 생성형 AI 모델을 최적화해야 할 때 발생하는 여러 가지 낮은 수준의 문제에 직면할 수도 있습니다. 이러한 복잡성의 예로는 모드 붕괴 및 기울기 소실이 있습니다. 

모드 붕괴는 생성기가 더 다양한 결과를 생성하는 대신 판별기가 수용한 하나의 믿을 수 있는 출력을 반복하는 방법을 학습할 때 GAN 모델에서 발생하는 오류 유형입니다. 판별기가 유사하고 반복되는 출력을 거부하는 방법을 학습하지 못하면 생성기의 모든 후속 반복은 작은 출력 유형 세트를 순환하게 됩니다.

특정 활성화 함수가 포함된 추가 레이어가 신경망에 추가되어 손실 함수의 기울기가 너무 작아지는 경우 기울기 소실이 발생할 수 있습니다. 기울기가 너무 작으면 초기 레이어의 가중치와 편향이 제대로 업데이트되지 않아 입력 데이터 인식의 핵심 요소가 실패하고 네트워크가 부정확해집니다.

GenAI에서는 비용이 많이 드는 레이블링된 데이터나 반복적인 미세 조정 사이클 없이 대규모 모델을 전문적인 엔터프라이즈 태스크에 적용하는 데 추가적인 복잡성이 따릅니다. 새롭게 부상하는 접근 방식 중 하나는 Test-time Adaptive Optimization (TAO)인데, Databricks Mosaic AI Research 팀에서 개발한 이 기술은 레이블이 없는 입력, 테스트 시간 컴퓨팅, 강화 학습을 사용하여 추론 비용을 늘리지 않고 효율적으로 모델을 튜닝합니다.

분리된 데이터, ML 및 AI 도구

데이터, 일반 머신 러닝, 생성형 AI를 위한 각각의 도구도 제대로 통합되지 않으면 데이터 사이언티스트에게 어려움을 초래할 수 있습니다. 

머신 러닝과 GenAI 모델을 모두 트레이닝하려면 고품질의 데이터가 필수적이며, ML 및 GenAI 모델의 출력을 데이터 파이프라인으로 다시 제공해야 합니다. 거버넌스, 품질, 구현은 데이터와 ML/AI 전반에 걸쳐 전체적으로 다루어져야 하며, 별도의 플랫폼은 조직에 마찰, 비효율성, 추가 비용을 초래할 수 있습니다.

Databricks Data Intelligence Platform은 핵심 데이터 워크로드, 일반 ML 및 생성형 AI를 지원하고 전반적인 데이터 사용량을 파악합니다. 레이크하우스의 개방적이고 통합된 구조를 생성형 AI와 결합함으로써 Databricks의 Data Intelligence Platform은 성능을 최적화하고 사용자 경험을 단순화하며 강력하고 안전한 거버넌스 및 개인정보 보호를 제공합니다.

모델 컨텍스트 프로토콜(MCP)은 LLM이 엔터프라이즈 컨텍스트에 따라 작동하는 데 필요한 데이터와 도구에 액세스할 수 있는 안전하고 표준화된 방법을 제공하여 이 문제를 추가로 해결합니다. AI 어시스턴트와 데이터 시스템 간의 양방향 연결을 구축하기 위한 오픈 프로토콜인 MCP는 에이전트가 새로운 사일로를 만들지 않고도 함수를 호출하고, 지식을 검색하고, 파이프라인과 통합할 수 있게 해줍니다. Databricks에서 MCP는 에이전트 빌드 및 평가를 위한 Mosaic AI, 거버넌스를 위한 Unity Catalog와 결합되어 기업이 보안과 관측성을 유지하면서 AI에 컨텍스트를 제공할 수 있도록 지원합니다.

생성형 AI의 미래 전망

Gartner에 따르면 생성형 AI는 증기 기관, 전기, 인터넷과 유사한 영향을 미치고 궁극적으로 '범용 기술'이 될 것으로 예상됩니다. 왜냐하면 이 기술에 대한 잠재적 응용 분야가 너무 많기 때문입니다.

예를 들어, 현재 미국 경제 전반에서 근무 시간의 최대 30%를 차지하는 활동이 2030년까지 자동화될 수 있습니다. 또한 AI 기능을 도구에 통합하는 소프트웨어 제공업체가 증가할 것입니다.

당연히 인간은 기계 때문에 일자리를 잃게 될 것을 걱정하지만 미래에는 AI가 새로운 일자리를 창출할 것입니다. 예를 들어, 인간은 특정 작업에 가장 적합한 모델을 선택하고 결과를 평가하기 위해 트레이닝 데이터를 수집하는 등 GenAI 시스템을 개발하고 트레이닝해야 합니다.

ChatGPT와 같은 기술의 빠른 채택은 GenAI를 책임 있게 사용하는 데 따른 문제를 강조합니다. 많은 국가와 지역에서는 이미 저작권과 사이버 보안 위협과 관련된 문제를 처리하기 위해 새로운 법적 및 보안 프로토콜이 필요하다는 사실을 인식하고 있으며, 이러한 기술은 향후 더욱 큰 규제를 불러올 가능성이 높습니다.

반면에, Databricks Data Intelligence Platform에는 생성형 AI가 내장되어 있어 데이터 보안과 거버넌스를 더욱 쉽게 유지하고 데이터의 품질을 추적하며 모델을 모니터링하고 미세 조정할 수 있습니다.

아키텍처와 트레이닝 알고리즘이 더욱 발전함에 따라 생성형 AI 모델은 더욱 강력해질 것입니다. 조직은 권한에는 책임이 따른다는 사실을 기억해야 하며, 자동화와 인간의 개입 사이에서 균형을 찾아야 합니다.

생성형 AI에 대한 더 자세한 정보

생성형 AI에 대한 자세한 정보를 찾을 수 있는 다양한 리소스는 다음과 같습니다.

교육

• 생성형 AI 기초: Databricks의 무료 과정을 수강하고 생성형 AI의 기본 사항에 대해 알아봅니다.
• LLM: 파운데이션 모델을 기초부터 학습합니다(edX 및 Databricks 교육). Databricks에서 제공하는 이 무료 교육에서는 LLM의 파운데이션 모델에 대한 세부 정보를 살펴봅니다.
• LLM: 용응부터 프로덕션까지(Application through Production) 과정을 통해 역량을 강화합니다(edX 및 Databricks 교육). Databricks에서 제공하는 이 무료 교육에서는 가장 잘 알려진 최신 프레임워크를 사용하여 LLM 중심 애플리케이션을 구축하는 방법을 중점적으로 다룹니다.

사이트

• Databricks AI 및 머신 러닝 페이지

eBook

• 대가속(Great Acceleration)의 시대: 생성형 AI에 대한 CIO의 관점: 생성형 AI에 대한 600명 이상의 CIO의 인사이트를 담은 MIT Technology Review의 보고서를 읽어보세요.
• 생성형 AI로 가능성 재정의: 52가지의 사용 사례로 시작하세요.
• MLOps Big Book

기술 블로그

• Databricks로 고품질의 RAG 애플리케이션 구축
• 검색 증강 생성(RAG) 애플리케이션의 LLM 평가를 위한 모범 사례
• MLflow AI Gateway 및 Llama 2를 사용하여 생성형 AI 앱 빌드(자체 데이터로 RAG를 사용하여 정확도 향상)
• 검색 증강 생성(RAG), 파운데이션 모델 및 Vector Search를 사용하여 LLM 챗봇 배포
• LLMOps: LLM을 관리하기 위해 알아야 할 모든 정보

또한 Databricks에 문의하여 데모를 예약하고 LLM 프로젝트에 대해 상담하거나 LLM을 위한 Databricks의 제품 및 솔루션에 대해 자세히 알아볼 수 있습니다.