AI 검색이란 무엇인가요?

AI 검색 엔진이란 무엇인가요?

AI 검색은 인공지능, 대규모 언어 모델(LLM) 및 의미론적 이해를 사용하여 자연어 질문을 해석하고 출처가 인용된 종합적인 답변을 제공합니다. 색인된 페이지와 키워드를 매칭하는 대신, AI 검색 엔진은 문맥을 분석하고 관련 소스 자료를 검색하며 해당 정보에 기반한 답변을 생성합니다.

AI 검색은 ChatGPT Search, Perplexity, Google AI Mode, Microsoft Copilot과 같은 일반 사용자용 답변 엔진뿐만 아니라, 직원이 거버넌스가 적용된 회사의 비공개 데이터를 검색할 수 있도록 돕는 기업용 AI 검색 도구를 의미할 수도 있습니다. 예를 들어, Databricks AI Search는 내부 제품 및 조직 데이터에 자연어 검색을 도입하여 팀이 신뢰할 수 있는 정보를 대규모로 찾을 수 있도록 지원합니다. 두 가지 사용 사례 모두 공개 웹을 검색하든 조직 내부 데이터를 쿼리하든 관계없이 사람들이 답변을 찾는 방식을 바꾸고 있습니다. 이 글에서는 AI 검색의 작동 방식, 사용처, 그리고 이것이 중요한 이유를 살펴보겠습니다.

AI 검색이 중요한 이유

사용자 측면에서는 AI 강화 또는 AI 기반 검색의 등장으로 사람들의 기대치가 이미 달라졌으며, 이제는 링크 목록 대신 직접적인 답변을 제공하는 것이 기본 기능으로 여겨집니다. 음성 쿼리, 모바일 사용 습관, 대화형 AI 도구의 보급 확대로 인해 사용자들은 동료에게 질문하듯이 질문하고, 분류해야 할 10개의 URL이 아닌 일관성 있는 답변을 기대하도록 학습되었습니다.

비즈니스 측면에서 기업은 두 가지 상호 연관된 압박에 직면해 있습니다. 대외적으로는 자사의 콘텐츠와 제품이 기존 검색 결과에서 높은 순위를 차지하는 것뿐만 아니라, AI가 생성한 답변 내에 노출되도록 해야 합니다. 대내적으로는 자체 데이터, 문서 및 지식을 자연어를 통해 검색할 수 있도록 만들어야 합니다.

두 가지 과제 모두 단순한 키워드가 아닌 의미를 이해하는 검색 시스템이 필요합니다. 생성형 AI 도입 트렌드에 따르면, 기업들은 빠르게 움직이고 있으며, 2025년 기업 지출은 총 370억 달러에 달해 전년도 총 지출의 3배 이상을 기록할 것으로 예상됩니다.

AI 검색은 기존 검색과 어떻게 다른가요?

기존 검색 엔진은 쿼리의 단어를 색인(index)의 단어와 매칭합니다. 예를 들어 "best plumber NYC"를 입력하면 결과 페이지에 해당 단어 또는 이들의 다양한 조합이 관련성 신호에 따라 순위가 매겨져 표시됩니다. 검색 엔진은 사용자가 무엇을 의미하는지 또는 무엇을 하려고 하는지 알지 못하며(관심도 없음), 단지 사용자가 입력한 내용만 알 뿐입니다.

AI 검색은 쿼리 뒤에 숨겨진 의미와 의도를 해석하려고 노력할 뿐만 아니라 후속 질문도 지원하며, 사용자가 찾고 있는 내용이 있을 가능성이 가장 높은 웹 페이지로 링크를 연결하는 대신 자연어 답변을 생성합니다. 키워드 매칭에서 의미 및 의도 해석으로의 이러한 전환은 검색 엔진 결과와 AI 검색을 사용하는 것 사이의 가장 큰 차이점입니다. 아래 표는 두 기술의 다른 차이점 중 일부를 보여줍니다.

이러한 차이점은 실제 세상에서 어떻게 나타날까요? 가장 분명하고 중요한 방식 중 하나는 사용자가 웹사이트를 클릭하지 않고 결과 페이지에서 직접 답변을 찾는 '제로 클릭 검색(zero-click searches)'의 증가입니다. 예를 들어, AI Overviews 출시 이후 제로 클릭으로 이어진 Google 검색 비율은 2024년 5월부터 2025년 5월 사이에 56%에서 69%로 증가했습니다.

AI 검색의 작동 방식

기존의 검색 기술과 달리 AI 검색은 단일 선형 알고리즘 프로세스(예: 토큰화-매칭-순위 지정)를 기반으로 하지 않습니다. 여러 기술이 사슬처럼 연결되어 순서대로 작동합니다. 이 순서를 이해하면 AI 검색을 강력하게 만드는 요소와 오류가 발생할 수 있는 부분을 모두 명확히 파악하는 데 도움이 됩니다.

1. 쿼리 이해. AI 검색은 먼저 질문을 해석하고 실제로 무엇을 의미하는지, 목표가 무엇인지 파악합니다.
   
2. 임베딩(Embeddings). 질문과 모든 소스 콘텐츠는 수치적 표현으로 변환됩니다. 이를 유사한 개념을 서로 가까이에 배치하여 "의미 지도"를 만드는 좌표라고 생각할 수 있습니다. 즉, Apache Spark에 대한 콘텐츠와 분산 컴퓨팅에 대한 콘텐츠는 서로 다른 단어를 사용하더라도 해당 공간에서 서로 가까이 위치하게 됩니다.
   
3. 벡터 검색(Vector search). 시스템은 정확한 키워드가 일치하지 않더라도 질문과 의미가 가장 가까운 소스 콘텐츠를 의미 지도에서 검색합니다. 그렇기 때문에 "blue shoes good for a Friday night"를 입력하면 금요일 밤 외출에 적합한 결과를 얻을 수 있습니다.
   
4. 정보 검색(Retrieval). 모델이 학습한 내용에만 의존하는 대신, 검증된 소스 자료에 기반하여 답변을 제공하기 위해 가장 관련성이 높은 구절, 문서 또는 웹 페이지를 가져옵니다. 기업용 AI 검색의 경우, 벡터 데이터베이스에 임베딩을 저장하여 대규모 환경에서도 검색 단계를 빠르고 정확하게 수행할 수 있습니다.
   
5. LLM 종합. LLM이 검색된 소스를 읽고 자연어로 일관성 있는 단일 답변을 작성합니다.
   
6. 인용 및 순위 지정. 시스템은 소스 출처를 포함하여 정보가 어디서 왔는지 확인할 수 있도록 제시합니다.
   

먼저 검색한 다음 생성하는 이러한 패턴을 흔히 검색 증강 생성(RAG)이라고 합니다. RAG는 AI 검색을 실제 소스 자료와 연결하는 아키텍처입니다.

AI 검색 엔진의 예

다음 AI 검색 솔루션 목록은 다양한 유형의 작업에 맞게 설계된 광범위한 일반 사용자용 및 기업용 도구를 다룹니다.

• ChatGPT Search: ChatGPT에 내장된 웹 연결 검색입니다. 추론 및 다단계 질문에 강점이 있습니다.
  
• Perplexity: 인용된 웹 조사 및 소스에 대한 직접 링크를 중심으로 구축된 답변 엔진으로, 사실 확인에 널리 사용됩니다.
  
• Google AI Mode 및 AI Overviews: AI Overviews는 기존 결과 위에 표시되는 답변을 생성합니다. AI Mode는 더 깊이 있는 조사를 위한 별도의 대화형 탭입니다.
  
• Microsoft Copilot: Outlook, Teams, Edge를 포함한 Microsoft 365 에코시스템 전반에 깊이 통합된 AI 검색을 포함합니다.
  
• Felo: 여러 언어로 또는 여러 언어에 걸쳐 검색하는 사용자를 위해 구축된 AI 검색입니다.
  
• Azure AI Search: Azure OpenAI 및 Microsoft 365 에코시스템과 통합되어 기업이 애플리케이션 내에 AI 기반 검색을 구축할 수 있도록 지원합니다.
  
• Databricks AI Search: 기업의 고유 데이터를 기반으로 AI 검색 및 RAG 애플리케이션을 구축하기 위한 기업용 플랫폼입니다.

적합한 AI 검색 엔진 선택하기

모든 상황에 완벽히 부합하는 단 하나의 최선인 AI 검색 엔진은 없습니다. 적절한 선택은 목표에 따라 달라집니다. 아래 표는 가장 일반적인 사용 사례 중 일부와 이에 가장 적합한 도구를 매핑한 것입니다.

기업용 유스케이스는 독특하다는 점에 유의하세요. 소비자용 AI 검색 솔루션은 인터넷을 검색합니다. 이러한 솔루션은 독점 문서, 내부 지식 베이스 또는 액세스가 제한되거나 한정된 데이터를 처리하도록 설계되지 않았습니다. 자체 데이터를 위한 AI 검색이 필요한 조직은 거버넌스, 보안 및 검색 품질이 내장된 전용 플랫폼을 사용해야 합니다.

AI 검색이 할 수 없는 것

AI 검색은 사람들이 정보를 찾는 방식을 바꾸어 놓았지만, 이해해 둘 만한 명확한 한계가 있습니다.

자신감 있는 어조가 정확성을 의미하지는 않습니다

AI 검색은 권위 있는 어조로 답변할 수 있지만 여전히 틀릴 수 있습니다. 웹 액세스 기능이 있는 여러 AI 시스템에 대한 2025년 감사에 따르면, 시스템에 따라 답변의 30%에서 90%가 인용된 출처에 의해 완전히 뒷받침되지 않거나(때로는 모순됨) 하는 것으로 나타났습니다.

가장 우수한 AI 검색 엔진은 검증된 출처에 답변을 기반으로 하여(grounding) 오류 위험을 줄이는데, 이는 RAG 기반 시스템을 사용할 때 얻을 수 있는 이점 중 하나입니다. 하지만 환각(hallucination) 현상을 완전히 제거할 수는 없습니다. AI 검색의 답변이 완전히 정확하다고 가정해서는 안 됩니다. 답변에서 주장, 결론, 통계 또는 연구나 기타 전문 지식에 대한 참조를 찾아보고, 이 모든 내용이 문서나 데이터, 또는 둘 다에 의해 뒷받침되는지 확인하세요.

좋은 답변에는 좋은 출처가 필요합니다

AI 검색 결과의 신뢰성은 액세스할 수 있는 콘텐츠의 신뢰성에 비례합니다. 사용할 수 있는 출처 자료에 저품질, 오래된 정보 또는 편향된 정보가 포함되어 있다면 답변에도 그것이 반영됩니다. 이는 투명한 출처 필터링 없이 인터넷을 검색하는 소비자용 도구에서 특히 문제가 됩니다.

출처 투명성은 도구마다 크게 다릅니다. Perplexity는 모든 답변에 번호가 매겨진 인용구를 제공합니다. 다른 도구들은 정보의 출처를 명확하게 밝히지 않아 신뢰성을 평가하기가 더 어렵습니다. 정확성이 중요할 때는 출처를 명확히 보여주는 도구를 사용하는 것이 시간을 절약하는 길입니다.

사각지대

대부분의 AI 모델은 특정 기준일(cutoff date)까지의 데이터로 학습됩니다. 즉, 실시간 웹 검색이 없으면 최근 이벤트, 업데이트된 정책 또는 해당 기준일 이후에 발생했거나 변경되었을 수 있는 사항에 대한 질문에 답변할 수 없습니다.

최신 도구들은 실시간 검색을 통합하여 최신 정보에 액세스할 수 있도록 함으로써 이 문제를 해결합니다. 하지만 모든 도구가 이를 일관되게 수행하는 것은 아니며, 웹 액세스가 가능한 도구라도 가장 최근의 동향을 놓칠 수 있습니다. 가장 최신 정보가 필요한 쿼리의 경우, AI 검색과 직접 수행하는 표적 인터넷 조사를 병행하는 것이 좋습니다.

제로 클릭의 영향

AI 검색이 검색 결과 상단에 완전한 답변을 제공하면 사용자는 결과에 있는 링크를 클릭할 필요가 없는 경우가 많습니다. 사용자에게는 더 빠른 답변을 의미합니다. 퍼블리셔에게는 추천 트래픽(referral traffic)의 감소를 의미합니다. AI 생성 답변 경험이 확대됨에 따라 많은 퍼블리셔가 2025년에 추천 트래픽이 20%에서 30% 감소했으며, 일부 제한적인 사례에서는 최대 90%까지 감소했다고 보고했습니다. AI 검색 엔진이 콘텐츠 출처를 표기하고 보상하는 방식은 아직 해결되지 않았으며, 업계 전반에서 활발한 법적 분쟁과 라이선스 협상이 진행 중입니다.

소비자를 위한 개인정보 보호 위험

소비자용 AI 검색 도구는 쿼리 데이터를 기록하고 저장하므로, 내부 비즈니스 데이터, 고객 세부 정보 또는 기밀 문서와 같은 민감한 정보를 회사의 챗봇이나 검색 인터페이스에 제공하면 제공업체의 로깅 및 학습 시스템에 보관됩니다.

기업 팀은 업무용 쿼리에 소비자용 도구를 사용하기 전에 개인정보 처리방침을 검토해야 하며, 명시적인 데이터 거버넌스 제어 기능이 있는 전용 기업용 검색 플랫폼이 민감한 유스케이스에 적합한지 고려해야 합니다. Databricks AI Search와 같은 도구는 기업 데이터를 거버넌스가 적용되고 액세스가 제어되는 환경 내에 유지하고 공용 모델 학습과 분리하도록 특별히 설계되었습니다.

기업 내에서 AI 검색 활용하기

인터넷에 의존하는 소비자용 도구는 일반적으로 공개된 정보를 다룹니다. 반면, 기업용 AI 검색은 보안을 타협하지 않으면서 문서, 티켓, 제품 카탈로그, 코드 또는 녹취록과 같은 비공개 데이터에 액세스해야 합니다. 즉, 사용자가 승인된 내용만 볼 수 있도록 액세스 권한을 준수하고, 데이터가 업데이트됨에 따라 최신 상태를 유지하며, 인터넷 전체가 아닌 신뢰할 수 있는 내부 소스에 기반한 답변을 반환해야 함을 의미합니다.

이러한 요구 사항을 충족하려면 LLM 이상의 것이 필요합니다. 올바른 콘텐츠를 검색하기 위한 벡터 검색, 실제 출처 자료에 답변을 기반으로 하기 위한 RAG, 그리고 검색과 거버넌스를 한곳에서 통합할 수 있는 데이터 플랫폼이 필요합니다. Databricks AI Search는 이러한 기술적 기반의 한 예로, Databricks 플랫폼에 통합된 벡터 데이터베이스와 회사의 자체 거버넌스 데이터로 학습된 AI 에이전트를 구축하기 위한 Agent Bricks를 제공합니다.

자주 묻는 질문

AI 검색이 이미지를 읽을 수 있나요?

일부 AI 검색 엔진은 텍스트와 함께 이미지를 처리할 수 있으며, 이를 멀티모달 검색이라고도 합니다. 대부분의 기업용 AI 검색 플랫폼은 주로 텍스트와 정형 데이터에 집중하고 있지만, 멀티모달 지원은 활발히 개발 중인 분야입니다.

AI 검색은 얼마나 정확한가요?

시스템과 쿼리에 따라 다릅니다. 검색된 출처에 답변을 기반으로 하는 AI 검색 엔진은 순수하게 모델 학습에만 의존하는 엔진보다 일반적으로 더 정확합니다. 하지만 AI 검색을 최종적인 리소스로 신뢰하거나 그 답변이 정확하다고 가정해서는 안 됩니다.

AI 검색과 챗봇의 차이점은 무엇인가요?

챗봇은 질문에 답변하고 작업을 지원하도록 설계되었지만, 반드시 실시간 정보 소스에 연결되어 있는 것은 아닙니다. AI 검색 엔진은 특히 정보를 검색하고 종합하도록 구축되었으며, 일반적으로 출처 자료의 인용을 함께 제공합니다. 사용자 입장에서는 경험상 유사한 점이 있을 수 있으며, 일부 기업용 AI 검색 플랫폼은 대화형 인터페이스를 제공합니다.

AI 검색은 비즈니스나 민감한 데이터에 안전한가요?

소비자용 AI 검색 도구는 쿼리 데이터를 기록하며 모델 개선에 사용할 수 있으므로, 공개 AI 검색 엔진에 제공된 모든 정보가 제공업체에 의해 보관될 수 있습니다. 비즈니스 용도의 경우, 이는 특히 독점 문서, 고객 데이터 또는 규제 요구 사항의 적용을 받는 모든 데이터에 대해 실제 데이터 노출 위험을 초래합니다. 거버넌스가 적용된 인프라를 기반으로 구축된 기업용 AI 검색 플랫폼이 이러한 유스케이스에 적합한 선택입니다.

AI 검색과 시맨틱 검색의 차이점은 무엇인가요?

시맨틱 검색은 AI 검색의 한 구성 요소입니다. 정확한 키워드 매칭이 아닌 의미를 기반으로 콘텐츠 검색을 수행합니다. AI 검색은 결과 목록이 아닌 답변과 출처 인용을 생성하기 위해 시맨틱 검색(검색)과 LLM을 결합하는 더 광범위한 시스템입니다. AI 검색 없이 시맨틱 검색을 사용할 수는 있지만, AI 검색은 항상 검색 파이프라인의 일부로 시맨틱 검색에 의존합니다.

Databricks로 자체 데이터를 위한 AI 검색 구축하기

AI 검색은 더 이상 소비자 전용 경험이 아닙니다. 기업들은 이를 자체 제품, 내부 도구 및 AI 에이전트에 구축하고 있으며, 그 기반은 거버넌스가 적용된 데이터, 벡터 검색 및 검색 증강 생성(RAG)입니다. Databricks AI Search는 기업용 AI 검색에 필요한 벡터 검색 및 RAG 인프라를 제공하며, Agent Bricks를 통해 팀은 자체 거버넌스 데이터에 기반한 AI 에이전트를 구축하고 배포할 수 있습니다. 이 모든 것은 Databricks Data Intelligence Platform 내에서 이루어집니다.

Databricks AI Search 및 Agent Bricks가 팀에서 자체 데이터를 기반으로 정확하고 거버넌스가 적용된 AI 검색을 구축하는 데 어떻게 도움이 되는지 확인해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)