AI 기술이 고객의 일상 속으로 빠르게 확산되고 있는 가운데, 통신 산업은 이러한 변화의 중심에 서 있습니다. 2025년 기준 연간 매출 15조 원 이상, 무선 가입 회선 3,071만 개 이상을 보유한 국내 대표 통신사 LG U+는 AI를 통해 고객의 일상을 편리하게 만드는 데 집중하고 있습니다. 특히, ‘Simply’라는 고객 가치를 기반으로 정확하고 개인화된 서비스를 제공하기 위해 AI 검색 서비스 등 다양한 AI 기술을 도입하며 고객 경험 혁신을 추진해 왔습니다. 하지만 검색 서비스 운영 과정에서 외부 LLM 의존성이라는 구조적 한계에 직면하였고, 이에 LG U+는 데이터브릭스를 도입해 특정 벤더 의존성을 분산하는 동시에 운영 비용 절감과 응답 속도 개선을 달성하는 구조적 전환을 이루었습니다. 이러한 변화는 AI 검색을 넘어 ixi-O 기반의 Voice AI 영역으로까지 확장되며, AI가 고객의 일상에 자연스럽게 스며드는 기반을 마련하고 있습니다.
LLM 서비스 운영의 현실과 한계
현재 LG U+가 가장 집중하고 있는 영역은 고객 경험을 향상시키는 AI 서비스입니다. 기존 키워드 검색을 대체하며 진화해 온 U+one AI 검색은 고객의 자연어 질문을 이해하고, 보다 정확하고 개인화된 답변을 제공하는 것을 목표로 합니다. 또한, Voice AI 기술을 통해 한층 고도화된 개인화 서비스를 제공하며, ixi-O를 통해 실용적인 서비스로 발전하고 있습니다.
기존 키 워드 기반 검색은 명확한 한계를 가지고 있었습니다. 고객의 질문 의도를 충분히 이해하지 못하고, 단순히 관련 정보 목록을 제공하는 데 그쳤으며, 개인의 상황을 반영하지 못해 모든 사용자에게 동일한 결과를 반환하는 구조였습니다. 이러한 한계를 극복하기 위해 LG U+는 LLM 기반 AI 검색 서비스를 구축하여 출시하게 되었습니다.
그러나 LLM 서비스는 또 다른 운영상의 문제를 제기하였습니다. 데이터 품질 관리, 현업 요구사항 반영, 품질과 속도 간의 트레이드오프 등 다양한 문제가 발생했습니다. 그 중 가장 큰 구조적 문제는 외부 LLM에 대한 높은 의존성이었습니다. 서비스 전반이 외부 LLM 호출에 기반하다 보니, 토큰 비용, 응답 속도, 품질 편차, 인프라 안정성 등 핵심 요소가 모두 외부 벤더에 종속되는 구조였습니다.
LG U+는 이러한 리스크를 줄이기 위해 다중 모델 운영 구조를 설계하고, 장애 발생 시 트래픽을 자동으로 분산하는 자체 유량 제어 기능을 개발하였습니다. 그럼에도 불구하고, 주요 모델인 Gemini의 호출 경로는 여전히 특정 벤더 인프라에 의존하고 있어, 벤더 측의 지연이나 장애가 서비스 품질에 직접적인 영향을 미치는 문제가 반복되었습니다. 실제로 응답 지연과 편차가 증가하면서, 자동 유량 제어 기능을 갖추고 있었음에도 장애 수준의 지연 상황에서는 수동 개입이 불가피했으며, 다른 모델로의 전환은 매번 추가 검증이 요구되는 상황이었습니다. 이에, 조경현 ixi Agent 미디어BE팀 책임자는 “특정 벤더에 대한 의존성을 구조적으로 분산할 수 있는 근본적인 해결책을 모색하게 되었습니다.”라고 설명하였습니다.
데이터브릭스를 통한 벤더 의존성 분산
LG U+는 벤더 의존성 분산, 기존 코드의 변경을 최소화 및 빠른 전환, 그리고 기존 수준의 성능과 안전성 보장이라는 세 가지 요구사항을 충족하는 솔루션으로 데이터브릭스를 선택하였습니다. 데이터브릭스의 모델 서빙 환경은 Gemini, Claude, GPT 등 다양한 모델을 유연하게 운영할 수 있도록 구성되어 있으며, 특히 데이터브릭스의 Gemini 2.5 Flash의 경우 구글과의 별도 파트너십을 통해 전용 가용 영역이 제공되어, 기존과 동일한 모델을 사용하면서도 구글에 직접 의존하지 않는 대안 경로를 확보할 수 있었습니다.
전환 과정 또한 빠르고 효율적으로 이루어졌습니다. 데이터브릭스가 제공하는 ChatDatabricks 클래스를 활용해, LangChain 표준 인터페이스를 유지하며 통합할 수 있었습니다. 그 결과, 외부 벤더 장애가 서비스에 직접 영향을 미치던 구조에서 벗어나 안정적인 대안 경로를 확보하게 되었고, LLM 서빙뿐 아니라 자체 모델 서빙, LLM 트레이싱, Genie 기반 분석 환경까지 자연스럽게 이어갈 수 있는 확장성도 확보할 수 있었습니다. 조경현 책임자는, “데이터브릭스의 LLM 서비스를 도입하면서 벤더 의존성을 분산할 수 있었고, 성능도 오히려 개선되는 결과를 얻었습니다.”라고 설명했습니다.
LG U+는 데이터브릭스를 기반으로 U+one AI 검색 아키텍처를 고도화하였습니다. 고객의 트래픽은 AI Gateway를 통해 분배되고, Query Orchestration을 통해 최적의 검색 전략을 생성합니다. 이후, Semantic Elastic Cache가 유사한 질문에 대해 효율적인 응답을 제공해 비용과 속도를 최적화하며, Hybrid Reasoning Retrieval이 여러 데이터 소스를 연합하여 가장 적합한 답변을 도출합니다. 마지막으로 Agentic Self-Correction Loop를 통해 응답의 정확성과 응답 품질을 지속적으로 개선하고 있으며, 전체 LLMOps 기반 시스템은 지속적으로 학습 및 개선되고 있습니다.
성능 개선과 운영 효율 향상
데이터브릭스 도입 효과는 명확하게 나타났습니다. 동일한 환경에서 수행한 테스트 결과, 데이터브릭스를 활용한 Gemini 호출은 직접 호출 대비 처리량(TPS)이 3.2에서 4.81로 약 48% 향상되었고, 평균 응답 시간은 18초에서 14초로 단축되었으며, 실패율은 4%에서 0.4%로 크게 감소하였습니다. 실제 운영 환경에서도 평균 응답 시간은 5초대에서 2초대로 개선되었으며, 10초 미만 응답률은 89%에 도달했습니다. 데이터브릭스 Gemini 2.5 Flash 모델 전환을 통해 성능과 안정성을 동시에 확보할 수 있었습니다.
특히 주목할 점은 시스템 복잡도가 증가한 상황에서도 성능과 비용이 동시에 개선되었다는 점입니다. 시스템 복잡도는 초기 설계 대비 107% 증가했음에도 불구하고, 데이터브릭스와 함께 복잡도를 풀어간 결과, 운영 비용은 36% 절감되고, 응답 속도는 64% 향상되었습니다. 이는 단순 인프라 교체가 아닌, 복잡한 AI 시스템을 효율적으로 운영할 수 있는 구조적 전환을 실현했음을 의미합니다.
앞으로 나아가, LG U+는 데이터브릭스를 중심으로 분산된 AI 인프라를 통합하고, Genie를 활용해 현업 담당자가 자연어 질문만으로 핵심 지표를 직접 분석할 수 있는 데이터 민주화 환경도 구축할 예정입니다. 이러한 변화는 U+one AI 검색을 넘어 ixi-O 기반 Voice AI 영역으로 확장될 예정입니다. 신정호 VP는, “LG U+는 데이터브릭스를 통해 확보한 통합된 AI 인프라 위에서, 제공하는 서비스를 더욱 안전하고 실용적으로 발전시켜 나갈 계획입니다.”라고 밝혔습니다.