대규모 언어 모델(LLM)이란?

대규모 언어 모델(LLM)이란?

언어 모델은 생성형 AI(GenAI) 의 한 유형으로, 자연어 처리(NLP)를 사용하여 인간의 언어를 이해하고 생성합니다. 대규모 언어 모델(LLM)이 이 중 가장 강력합니다. LLM은 고급 기계 학습 (ML) 알고리즘을 사용하여 방대한 데이터세트로 학습하여 인간 언어의 패턴과 구조를 배우고 서면 프롬프트에 대한 텍스트 응답을 생성합니다. LLM의 예시로는 BERT, Claude, Gemini, Llama, 그리고 생성형 사전 훈련 Transformer(GPT) 계열의 LLM이 있습니다.

LLM은 다양한 언어 관련 작업에서 성능과 능력 면에서 이전 모델들을 크게 뛰어넘었습니다. 복잡하고 미묘한 콘텐츠를 생성하고 작업을 자동화하여 인간과 같은 결과를 내는 능력은 다양한 분야의 발전을 주도하고 있습니다. LLM은 지원 자동화, 인사이트 도출, 맞춤형 콘텐츠 생성 등 다양한 환경과 비즈니스 용도 전반에 걸쳐 영향력을 발휘하기 위해 비즈니스계에 널리 통합되고 있습니다.

핵심 LLM AI 및 언어 기능은 다음과 같습니다.

• 자연어 이해: LLM은 문맥, 의미, 의도를 포함하여 인간 언어의 뉘앙스를 이해할 수 있습니다.
• 멀티모달 콘텐츠 생성: LLM은 코딩부터 창의적인 글쓰기까지 다양한 목적을 위한 인간과 유사한 텍스트는 물론, 이미지, 음성 등도 생성할 수 있습니다.
• 질의응답: LLM은 개방형 질문에 지능적으로 답변할 수 있습니다.  
• 확장성: LLM은 그래픽 처리 장치(GPU)의 기능을 활용하여 대규모 언어 작업을 효율적으로 처리하고 증가하는 비즈니스 요구에 적응할 수 있습니다.

LLM의 작동 방식

대부분의 LLM은 트랜스포머 아키텍처를 사용하여 구축됩니다. 입력 텍스트를 토큰(하위 단어 단위)으로 분할하고, 해당 토큰을 숫자 벡터로 임베딩하고, 어텐션 메커니즘을 사용하여 입력 전반의 관계를 파악하는 방식으로 작동합니다. 그런 다음 시퀀스에서 다음 토큰을 예측하여 일관된 출력을 생성합니다.

LLM을 사전 훈련하는 것은 무엇을 의미하나요?

LLM 모델을 사전 훈련하는 것은 기존 모델의 사전 지식이나 가중치를 사용하지 않고 텍스트나 코드와 같은 대규모 데이터 모음으로 모델을 훈련하는 과정을 의미합니다. 전체 사전 학습의 출력은 다운스트림 작업에 직접 사용하거나 추가로 미세 조정할 수 있는 기본 모델입니다.

사전 훈련은 모델의 기초 지식이 사용자의 특정 도메인에 맞춰지도록 합니다. 그 결과 조직의 고유한 데이터로 차별화된 맞춤형 모델이 생성됩니다. 하지만 사전 훈련은 일반적으로 가장 규모가 크고 비용이 많이 드는 훈련 유형이며 대부분의 조직에서는 일반적이지 않습니다.

LLM을 파인튜닝한다는 것은 무엇을 의미하나요?

미세 조정은 사전 학습된 LLM을 개별 도메인이나 작업에 특화된 비교적 작은 데이터세트에 적용하는 프로세스입니다. 미세 조정 과정에서는 전체 모델에 비해 상대적으로 적은 수의 가중치를 조정하여 짧은 시간 동안 학습을 계속합니다.

가장 일반적인 미세 조정 방식 두 가지는 다음과 같습니다.

감독 대상 명령 미세 조정: 이 접근 방식에는 일반적으로 수천 개의 학습 예시를 사용하여 수행되는 입력-출력 훈련 예시 데이터세트로 사전 학습된 LLM의 지속적인 학습이 포함됩니다.

지속적 사전 학습: 이 미세 조정 방법은 입력 및 출력 예시에 의존하지 않고, 대신 도메인에 특화된 비정형 텍스트를 사용하여 동일한 사전 학습 프로세스(예: 다음 토큰 예측 및 마스크 언어 모델링)를 계속 진행합니다.

미세 조정은 조직이 기반 LLM을 자체 데이터로 학습시켜 회사의 도메인과 워크로드에 대한 정확도를 높이고 맞춤화할 수 있게 해주므로 중요합니다. 이렇게 하면 학습에 사용되는 데이터를 직접 제어할 수 있어 AI를 책임감 있게 사용할 수 있습니다.

신경망과 트랜스포머 아키텍처

LLM은 확률을 기반으로 대량의 데이터를 프로그램에 입력하여 훈련시키는 AI의 한 형태인 딥러닝을 기반으로 구축됩니다. LLM은 방대한 데이터세트에 노출되어 명시적인 프로그래밍 없이 언어 패턴과 관계를 인식하도록 스스로 학습할 수 있으며, 자가 학습 메커니즘으로 지속적으로 정확도를 개선합니다.

LLM의 기반은 인간 두뇌의 구조에서 영감을 받은 인공 신경망입니다. 이러한 네트워크는 상호 연결된 노드가 계층으로 배열되어 있으며, 입력 계층, 출력 계층 및 그 사이에 있는 하나 이상의 계층으로 구성됩니다. 각 노드는 학습된 패턴을 기반으로 정보를 처리하여 다음 레이어로 전송합니다.

LLM은 트랜스포머 모델이라는 유형의 신경망을 사용합니다. 이러한 획기적인 모델은 단어를 순차적으로 처리하는 이전 모델과는 대조적으로 전체 문장을 한 번에 볼 수 있습니다. 이를 통해 언어를 더 빠르고 효율적으로 이해할 수 있습니다. 트랜스포머 모델은 셀프 어텐션이라는 수학적 기법을 사용하며, 이는 문장 내 여러 단어에 다양한 중요도를 할당하여 모델이 의미의 미묘한 차이를 파악하고 맥락을 이해할 수 있게 합니다. 위치 인코딩은 모델이 문장 내 단어 순서의 중요성을 이해하도록 돕는데, 이는 언어를 이해하는 데 필수적입니다. 트랜스포머 모델은 LLM이 방대한 양의 데이터를 처리하고, 맥락에 맞는 정보를 학습하며, 일관성 있는 콘텐츠를 생성할 수 있도록 합니다.

LLM 학습 프로세스의 단순화된 버전

모든 LLM의 기반인 트랜스포머에 대해 자세히 알아보기

LLM의 사용 사례

LLM은 사용 사례와 다양한 산업 전반에 걸쳐 비즈니스에 영향을 미칠 수 있습니다. 사용 사례의 예는 다음과 같습니다.

• 챗봇 및 가상 어시스턴트: LLM은 챗봇을 구동하여 고객과 직원이 고객 지원, 웹사이트 리드 후속 조치에 도움을 주고 개인 비서 역할을 하는 개방형 상담 기능을 제공하는 데 사용됩니다.
• 콘텐츠 제작: LLM은 기사, 블로그 게시물, 소셜 미디어 업데이트와 같은 다양한 유형의 콘텐츠를 생성할 수 있습니다.
• 코드 생성 및 디버깅: LLM은 유용한 코드 스니펫을 생성하고 코드 오류를 식별 및 수정하며, 입력 명령에 따라 프로그램을 완성할 수 있습니다.
• 감성 분석: LLM은 텍스트의 감성을 자동으로 파악하여 고객 만족도를 측정할 수 있습니다.
• 텍스트 분류 및 클러스터링: LLM은 대량의 데이터를 구성, 분류 및 정렬하여 정보에 입각한 의사 결정을 지원하는 공통의 주제와 추세를 식별할 수 있습니다.
• 언어 번역: LLM은 다양한 시장에 진출하기 위해 문서와 웹페이지를 여러 언어로 번역할 수 있습니다.
• 요약 및 의역: LLM은 논문, 기사, 고객 통화 또는 회의를 요약하고 가장 중요한 내용을 강조할 수 있습니다.
• 보안: LLM은 사이버 보안에서 위협 패턴을 식별하고 대응을 자동화하는 데 사용될 수 있습니다.

LLM이 효과적으로 배포된 고객 사례 소개

JetBlue

JetBlue는 기업 데이터로 보완된 오픈 소스 생성형 AI 모델을 사용하는 Databricks 기반 챗봇인 "BlueBot"을 배포했습니다. 이 챗봇은 JetBlue의 모든 팀에서 역할별로 관리되는 데이터에 액세스하는 데 사용할 수 있습니다. 예를 들어 재무팀은 SAP 및 규제 관련 보고 자료의 데이터를 볼 수 있지만, 운영팀은 유지 관리 정보만 볼 수 있습니다.

Chevron Phillips

Chevron Phillips는 Databricks의 Dolly와 같은 오픈 소스 모델로 구동되는 생성형 AI 솔루션을 활용 하여 문서 프로세스 자동화를 간소화합니다. 이러한 도구는 PDF 및 설명서의 비정형 데이터를 구조화된 인사이트로 변환하여 운영 및 시장 인텔리전스를 위해 더 빠르고 정확한 데이터 추출을 지원합니다. 거버넌스 정책은 추적성을 유지하면서 생산성 및 리스크 관리를 보장합니다.

Thrivent Financial

Thrivent Financial은 생성형 AI를 활용하고 있으며 Databricks를 통해 검색 속도를 높이고, 더 명확하고 접근성 높은 인사이트를 제공하며, 엔지니어링 생산성을 향상시키고 있습니다. 역할 기반 거버넌스가 적용된 단일 플랫폼에서 데이터를 통합함으로써 회사는 팀이 혁신하고, 탐색하며, 더 효율적으로 작업할 수 있는 안전한 공간을 만들고 있습니다.

LLM은 왜 갑자기 인기를 얻고 있나요?

• 머신러닝 기술의 발전: LLM은 발전된 많은 ML 기술을 활용합니다. 가장 주목할 만한 발전은 트랜스포머 아키텍처로, 대부분의 LLM 모델의 기본 아키텍처입니다.  
• 향상된 접근성: ChatGPT의 출시로 인터넷에 접속할 수 있는 모든 사람이 간단한 웹 인터페이스를 통해 가장 진보된 LLM 중 하나와 상호 작용할 수 있게 되었으며, 이를 통해 전 세계가 LLM의 힘을 이해하게 되었습니다.  
• 향상된 컴퓨팅 성능: 그래픽 처리 장치(GPU)와 더 나은 데이터 처리 기술 등 더욱 강력한 컴퓨팅 리소스를 사용할 수 있게 되면서 연구자들은 훨씬 더 큰 모델을 훈련할 수 있게 되었습니다.  
• 학습 데이터의 양과 질: 대규모 데이터 세트의 가용성과 이를 처리하는 능력은 모델 성능을 크게 향상시켰습니다. 예를 들어, GPT-3는 품질에 중점을 두고 공개적으로 크롤링되는 웹 페이지를 포함한 WebText2 데이터세트(1,700만 개의 문서)와 같은 고품질의 하위 집합을 포함하는 빅데이터(약 5,000억 개의 토큰)에서 학습되었습니다.

조직의 자체 데이터로 LLM을 맞춤 설정하는 방법은 무엇인가요?

선택한 기술에 관계없이 잘 구조화되고 모듈화된 방식으로 솔루션을 구축하면 조직은 반복과 조정 작업을 수행할 수 있는 준비가 됩니다. 이 접근 방식과 더 많은 내용에 대해 생성형 AI 대백과에서 알아보세요.

LLM과 관련하여 프롬프트 엔지니어링은 무엇을 의미하나요?

프롬프트 엔지니어링은 LLM에 제공된 텍스트 프롬프트를 조정하여 보다 정확하고 관련성 높은 응답을 이끌어내는 방식입니다. 프롬프트 엔지니어링은 모델마다 다르므로 모든 LLM 모델이 동일한 품질 결과를 생성하는 것은 아닙니다. 다음은 다양한 모델에 적용되는 몇 가지 일반적인 팁입니다.

1. 명확하고 간결한 프롬프트를 사용합니다. 여기에는 지침, 컨텍스트(필요한 경우), 사용자 쿼리 또는 입력, 원하는 출력 유형 또는 형식에 대한 설명이 포함될 수 있습니다.
2. LLM이 원하는 출력이 무엇인지 이해할 수 있도록 프롬프트에 예(퓨샷 학습)를 제공합니다.
3. 질문에 답할 수 없는 경우에 답변하기 어렵다고 설명하는 것 등 모델에 행동 방식을 지시합니다.
4. 모델에 단계별로 생각하거나 그 이유를 설명하도록 지시합니다.
5. 프롬프트에 사용자 입력이 포함된 경우 프롬프트의 어느 부분이 사용자 명령과 사용자 입력에 해당하는지 명확하게 표시하는 등 프롬프트 해킹을 방지하는 기술을 사용합니다.

LLM과 관련하여 검색 증강 생성(RAG)은 무엇을 의미하나요?

검색 증강 생성(RAG)은 사용자 지정 데이터를 활용하여 LLM 애플리케이션의 효능을 높일 수 있는 아키텍처 접근 방식입니다. 이 작업은 질문이나 작업과 관련된 데이터/문서를 검색하고 이를 LLM의 컨텍스트로 제공하여 수행할 수 있습니다. RAG는 최신 정보를 유지 관리하거나 도메인별 지식에 액세스해야 하는 지원 챗봇 및 Q&A 시스템에서 성공을 거두었습니다.

여기에서 RAG에 대해 자세히 알아보세요.

가장 일반적인 LLM의 종류와 차이점은 무엇인가요?

LLM 분야는 선택할 수 있는 다양한 옵션으로 가득합니다. 일반적으로 LLM은 독점 서비스와 오픈 소스 모델이라는 두 가지 범주로 분류할 수 있습니다.

독점 모델

사유 LLM 모델은 민간 기업에서 개발하고 소유하며 일반적으로 액세스하려면 라이선스가 필요합니다. 아마도 가장 잘 알려진 독점 LLM은 2022년에 많은 화제를 모으며 출시된 ChatGPT의 기반이 되는 GPT-4o일 것입니다. ChatGPT는 사용자가 프롬프트를 제공하고 일반적으로 빠르고 관련성 높은 응답을 받을 수 있는 친숙한 검색 인터페이스를 제공합니다. 개발자는 ChatGPT API에 액세스하여 이 LLM을 자신의 애플리케이션, 제품 또는 서비스에 통합할 수 있습니다. 그 외 독점 모델로는 Google의 Gemini와 Anthropic의 Claude가 있습니다.

오픈 소스 모델

또 다른 옵션은 LLM을 자체 호스팅하는 것으로, 오픈 소스이며 상업적으로 사용 가능한 모델이 일반적입니다. 오픈 소스 커뮤니티는 독점 모델의 성능을 빠르게 따라잡았습니다. 인기 있는 오픈 소스 LLM 모델로는 Meta의 Llama 4와 Mixtral 8x22B 등이 있습니다.

최선의 옵션을 평가하는 방법

타사 공급업체의 폐쇄형 AI를 사용하거나 자체 오픈 소스(또는 미세 조정된) LLM 모델을 자체 호스팅하는 접근 방식에서 고려해야 할 주요 사항과 차이점은 미래 보장성을 고려하고, 비용을 관리하며, 데이터를 경쟁 우위로 활용하는 것입니다. 독점 모델은 더 이상 사용되지 않고 제거되어 기존 파이프라인과 벡터 인덱스를 손상시킬 수 있으며, 오픈 소스 모델은 영구적으로 액세스할 수 있습니다. 오픈 소스 및 미세 조정된 모델은 더 많은 옵션을 제공하고 애플리케이션에 맞게 조정할 수 있으므로 성능과 비용 간의 절충점을 더 잘 찾을 수 있습니다. 향후 자체 모델을 미세 조정할 계획을 세우면 공개적으로 사용할 수 있는 것보다 더 나은 모델을 구축하기 위한 경쟁 우위로 조직의 데이터를 활용할 수 있습니다. 마지막으로, 독점 모델은 이러한 '블랙박스' LLM이 학습 프로세스 및 가중치에 대해 더 낮은 수준의 감독을 허용하므로 거버넌스 문제를 야기할 수 있습니다.

자체 오픈 소스 LLM 모델을 호스팅하려면 독점 LLM을 사용하는 것보다 더 많은 작업이 필요합니다. Databricks의 MLflow를 사용하면 Python 경험이 있는 사용자가 트랜스포머 모델을 가져와 Python 개체로 더 쉽게 사용할 수 있습니다.

어떤 LLM을 사용해야 하나요?

LLM 평가는 어렵지만 계속 발전하고 있는 영역으로, 주된 이유는 LLM이 다양한 작업에서 균등하지 않은 기능을 보여 주는 경우가 많기 때문입니다. LLM은 하나의 벤치마크에서는 탁월할 수 있지만, 프롬프트나 문제가 약간만 변형되어도 성능에 큰 영향을 미칠 수 있습니다.

LLM 성과를 평가하는 데 사용되는 몇 가지 주요 도구 및 벤치마크는 다음과 같습니다.

• MLFlow
  • 모델 평가를 위한 일련의 LLMOps 도구를 제공합니다.
• Mosaic Model Gauntlet
  • 단일 모놀리식 지표로 정제하는 대신 모델 역량을 6개의 광범위한 영역(아래 표시)으로 분류하는 집계 평가 접근 방식입니다.
• Hugging Face는 개방형 LLM 참여자로부터 수십만 개의 모델을 수집합니다.
• BIG-bench(Beyond the Imitation Game Benchmark)
  • 현재 200개 이상의 작업을 호스팅하고 있는 동적 벤치마킹 프레임워크로, 향후 LLM 기능에 적응하는 데 초점을 맞춥니다.
• EleutherAI LM Evaluation Harness
  • 200개 이상의 작업에 대한 모델을 평가하고 BIG-bench 및 MMLU와 같은 평가를 병합하여 재현성과 비교 기능을 향상하는 포괄적인 프레임워크입니다.

RAG 애플리케이션의 LLM 평가를 위한 모범 사례도 참조하세요.

대규모 언어 모델 옵스를 통해 LLM 관리를 어떻게 운영하나요?

LLMOps(Large Language Model Ops)는 프로덕션 환경에서 대규모 언어 모델의 운영 관리에 사용되는 사례, 기술 및 도구를 포괄합니다.

LLMOps는 LLM의 효율적인 배포, 모니터링 및 유지보수를 가능하게 합니다. 기존 머신 러닝 운영(MLOps)과 마찬가지로 LLMOps에는 데이터 사이언티스트, DevOps 엔지니어 및 IT 전문가의 협업이 필요합니다. 여기에서 LLMOps에 대해 자세히 알아보세요.

대규모 언어 모델(LLM)에 대해 더 자세히 알아보세요.

다음과 같이 다양한 리소스를 참고할 수 있습니다.

교육

• LLM: 처음부터 파운데이션 모델로 빌드(EDX 및 Databricks 교육) — LLM의 파운데이션 모델에 대한 세부 정보를 살펴보는 Databricks의 무료 교육
• LLM: 애플리케이션에서 프로덕션까지(EDX 및 Databricks 교육) — 가장 잘 알려진 최신 프레임워크를 사용하여 LLM 중심 애플리케이션을 빌드하는 방법에 초점을 맞춘 Databricks의 무료 교육

eBook

• 생성형 AI Big Book
• 맞춤형 LLM의 미세 조정 및 구축을 위한 간략 가이드
• 대규모 언어 모델 간략 가이드

기술 블로그

• Databricks Data Intelligence Platform에서 선보이는 Meta의 Llama 4 | Databricks 블로그
• Databricks에서 Qwen 모델 서빙하기 | Databricks 블로그
• RAG 애플리케이션의 LLM 평가를 위한 모범 사례
• MLflow AI Gateway 및 Llama 2를 사용하여 생성형 AI 앱 빌드
• Mosaic AI Agent Framework, Agent Evaluation, Model Serving 및 Vector Search로 고품질 RAG 앱 구축
• LLMOps: LLM을 관리하기 위해 알아야 할 모든 정보 

다음 단계

• Databricks에 연락해 데모를 예약하고 대규모 언어 모델(LLM) 프로젝트에 대해 문의하기
• Databricks의 LLM용 제품에 대해 알아보기
• 검색 증강 생성(RAG) 사용 사례(가장 일반적인 LLM 아키텍처)에 대해 자세히 알아보기