업계를 선도하는 기업들이 AI를 활용하는 방법

소개

산업 제조업체, 물류 제공업체, 유통업체는 수십 개의 시스템에 분산되어 있고 PDF에 잠겨 있으며 장비 센서에 갇혀 있고 부서별로 사일로화된 방대한 양의 운영 데이터를 보유하고 있습니다. 그 결과, 몇 분이면 될 결정이 며칠씩 걸립니다. 분석가 팀은 반복적인 query에 파묻혀 있습니다. 몇 주 전에 예측할 수 있었던 장비 고장이 생산 라인이 멈출 때까지 감지되지 않습니다.

앞서 나가는 기업들은 단순히 AI를 배포하는 것이 아니라, 통합되고 관리되는 데이터 플랫폼에 AI를 배포하고 있습니다. 이것이 바로 인상적인 파일럿과 확장 가능한 시스템의 차이점입니다.

주요 내용

• 선도 기업의 프로덕션 표준은 단일 목적의 챗봇이 아닌 다중 에이전트 아키텍처입니다. BASF Coatings의 Marketmind는 감독자, 관리자, 전문 작업자의 3계층 에이전트 계층 구조를 사용하여 단일 관리 플랫폼에서 1,000명 이상의 영업 담당자에게 서비스를 제공합니다.
• 데이터 거버넌스는 대규모 산업용 AI를 위한 아키텍처의 필수 전제 조건입니다. Unity Catalog의 세분화된 액세스 제어, 열 수준 보안, 에이전트 워크플로를 통한 전체 리니지 덕분에 BASF와 같은 기업은 민감한 데이터에 대한 통제권을 잃지 않고 전 세계적으로 AI를 배포할 수 있습니다.
• 가장 효과적인 산업용 AI는 단일 통합 시스템 내에서 정형 및 비정형 등 모든 데이터 유형에 걸쳐 작동합니다. 예를 들어, SQL 및 Genie 에이전트는 데이터베이스 쿼리를 처리하고, RAG 및 Vector Search 에이전트는 PDF 및 기술 사양을 처리합니다. 결과적으로 영업 담당자는 데이터가 어디에 있는지 알 필요 없이 질문 하나만으로 가격 데이터베이스와 200페이지 분량의 제품 문서 모두에서 가져온 답변을 얻을 수 있습니다.
• 가치 창출 시간은 분기가 아닌 주 단위로 측정됩니다. Databricks 배포 전반에 걸쳐 기업들은 예상보다 빠르게 프로덕션에 도달하고 있습니다. easyJet은 2주 만에 작동하는 MVP를 제공했고, Edmunds는 몇 주 만에 RAG 애플리케이션을 배포했으며, BASF Coatings는 6개월 만에 파일럿에서 엔터프라이즈 규모 프로덕션으로 전환했습니다.
• 효율성 향상은 실질적이고 측정 가능합니다. Gerdau는 데이터 처리 시간을 1.5시간에서 12분으로 단축하고 비용을 40% 절감했습니다. Edmunds는 모델별 분석에 드는 노력을 30% 줄였습니다.
• 구축하기 전에 이해관계자들의 의견을 조율하세요. 가장 성공적인 배포는 첫날부터 CDO, CTO, 영업 VP, 운영 VP, IT 보안 및 재무 담당자를 참여시키는 것입니다. 이러한 교차 기능적 협업이 확장되는 파일럿과 정체되는 파일럿을 구분하는 요소입니다.

사용 사례

멀티 에이전트 감독자 아키텍처

대부분의 산업 기업은 데이터베이스와 문서 유형에 분산된 수십 개의 시스템에 의존합니다. 멀티 에이전트 아키텍처는 전문 에이전트에게 다양한 작업을 처리하도록 할당하고, 중앙 감독자가 각 질문을 올바른 위치로 라우팅하여 이 문제를 해결합니다. BASF Coatings는 이 접근 방식을 사용하여 Microsoft Teams를 통해 전 세계 1,000명 이상의 영업 담당자에게 배포된 영업 인텔리전스 플랫폼인 Marketmind를 구동합니다. 이 솔루션은 이전에는 여러 시스템과 수동 검색이 필요했던 답변에 대해 단일 거버넌스 진입점을 제공합니다.

기반 기술: Unity Catalog(액세스 제어 및 데이터 리니지), Genie 에이전트(정형 데이터/SQL), RAG 에이전트(비정형 문서), 함수 호출 에이전트(벡터 검색), Databricks Model Serving

자연어 데이터 액세스 및 분석

팀의 누구나 SQL이나 분석가 대기열, 기다림 없이 질문 하나만으로 회사 데이터로부터 답변을 얻을 수 있다면 어떨까요? easyJet은 Databricks에서 음성 텍스트 변환을 위해 Whisper를, 그리고 오픈 소스 LLM을 사용하여 2주 만에 text-to-SQL 챗봇을 구축했습니다. 이를 통해 인사이트 확보 시간을 몇 시간에서 몇 분으로 단축하고, 비즈니스 사용자가 대화만으로 복잡한 데이터세트를 query할 수 있도록 지원했습니다.

Edmunds는 모든 query를 분류 → 계획 → 코드 생성 → 실행 → 종합의 5단계 검증 워크플로를 통해 실행하는 분석 에이전트인 DataDave를 통해 한 단계 더 나아갔습니다. 각 단계는 진행하기 전에 전문 비평 에이전트의 확인을 거치며, 그 결과 복잡한 분석 쿼리에서 95%의 정확도를 달성하고 사전 예방적 인사이트를 얻을 수 있습니다.

구축 기반: Databricks Model Serving, 오픈 소스 LLM 지원(Llama, Mistral), Genie text-to-SQL, Mosaic AI 평가 에이전트 프레임워크

예측 유지보수 및 디지털 트윈

예기치 않은 다운타임은 제조업에서 가장 비용이 많이 드는 문제 중 하나이지만, 예측 유지보수는 장비 센서 및 생산 라인의 실시간 데이터를 사용하여 문제가 장애로 이어지기 전에 미리 알려줍니다. 이를 실현하기 위해 Gerdau는 철강 생산 라인의 디지털 트윈을 구축하여 데이터 처리 시간을 1.5시간에서 단 12분으로 단축하고 데이터 처리 비용을 40% 절감했습니다.

기반 기술: Databricks 스트리밍 파이프라인, Delta Lake, 실시간 ML 모델 서빙, Mosaic AI

성공의 동력으로서의 데이터 거버넌스

거버넌스는 조직에 확장할 수 있다는 확신을 줌으로써 전사적 AI 배포를 가능하게 합니다. Unity Catalog의 액세스 제어, 데이터 마스킹, 리니지 추적 기능은 플랫폼에 내장되어 있으므로 AI 에이전트는 규정 준수 위험을 생성하지 않고도 민감한 데이터 세트에서 작동할 수 있습니다. BASF Coatings는 글로벌 영업팀 전체에 AI 기반 인사이트를 제공하는 동시에 엄격한 데이터 보호 표준을 유지합니다.

기반 기술: Unity Catalog(열 수준 보안, 동적 데이터 마스킹, 에이전트 워크플로를 통한 데이터 리니지 추적, 감사 로깅), 다중 에이전트 시스템을 위한 세분화된 액세스 제어

현장 결과

이러한 배포 사례 전반에서 세 가지 패턴이 나타납니다.

첫째, 효율성 향상은 처리, 쿼리, 보강 등 데이터 운영에 집중됩니다. 이러한 반복적이고 대량의 작업은 바로 AI가 가장 잘 처리하는 종류의 일입니다.

둘째, 속도 향상은 점진적이 아니라 혁신적입니다. Gerdau의 처리 시간 87% 단축과 easyJet의 몇 시간에서 몇 분으로 단축된 인사이트 주기는 팀이 정보에 대해 얼마나 빨리 조치를 취할 수 있는지를 근본적으로 바꿉니다.

셋째, 각 AI 워크플로가 운영 비용 추가 없이 더 많은 처리량을 흡수하므로 규모가 커질수록 복합적인 효과가 나타납니다. Grainger는 매일 40만 건의 제품 업데이트를 처리하기 위해 인력을 비례적으로 늘리지 않습니다. 플랫폼이 수동으로는 관리 불가능한 규모의 작업을 처리하기 때문입니다.

모든 경우의 기본 동인은 동일합니다. 즉, 팀이 격차를 해소하기 위해 포인트 솔루션을 결합할 필요 없이 원시 운영 데이터를 AI 계층에 연결하는 Databricks Unified Data Platform입니다.

전략적 권장 사항

기반 구축하기

첫 번째 에이전트를 배포하기 전에 Unity Catalog를 구현하세요. 기본 내장 액세스 제어, 데이터 리니지 및 감사 로깅 기능은 거버넌스 부채를 만들지 않고도 첫 팀을 넘어 AI를 확장할 수 있게 해주는 핵심 요소입니다. 수동적이고 반복적인 데이터 워크플로(보고서 생성, 데이터 품질 확인, 카탈로그 업데이트)를 감사하는 것으로 시작하여 가장 양이 많은 워크플로를 첫 번째 자동화 대상으로 지정하세요. 그런 다음 easyJet이 text-to-SQL MVP로 했던 것처럼 실제 문제에 대해 2주간 집중적인 파일럿을 실행하세요.

효과가 있는 것을 확장하세요

하나의 비즈니스 부서에서 워크플로가 입증되면 다음 부서를 위한 템플릿으로 활용하세요. 각각의 새로운 배포를 처음부터 생성하면 출시가 지연되고 불필요한 위험이 발생합니다. Databricks는 재사용 가능한 파이프라인, 공유 노트북, 거버넌스가 적용된 데이터 자산을 지원하므로, 아키텍처를 재설계하지 않고도 text-to-SQL 워크플로나 다중 에이전트 아키텍처를 조직 전체로 확장할 수 있습니다. MLflow를 사용하여 모델 성능을 추적하고, 새로운 팀과 데이터 도메인이 추가될 때 Unity Catalog로 액세스를 관리하세요. 목표는 개별적인 배포 모음 대신 재사용 가능한 에이전트 구성 요소 라이브러리를 구축하는 것입니다.

불필요한 것은 건너뛰세요

모든 투자가 가치 있는 것은 아닙니다. 피해야 할 세 가지는 다음과 같습니다.

• DIY MLOps 인프라. Databricks와 주요 클라우드 제공업체는 이미 이 문제를 해결했습니다. 자체적으로 구축한다는 것은 비즈니스 문제를 해결하는 대신 인프라 유지 관리에 엔지니어링 시간을 소비하는 것을 의미합니다. 플랫폼을 구매하면 운영에 영향을 미치는 곳에 AI를 배포하는 데 집중할 수 있습니다.
• 단일 목적의 AI 포인트 도구. 벤더가 추가될 때마다 총소유비용(TCO)이 증가하고 통합 부채가 늘어납니다.
• 시기상조인 모델 최적화. LLM은 매 분기마다 개선됩니다. 워크플로를 다시 빌드하지 않고도 더 나은 모델이 출시될 때마다 교체할 수 있는 개방형 아키텍처를 기반으로 구축하세요.

현실적인 타임라인

AI에 관해 비즈니스 의사 결정권자들은 종종 다음과 같이 궁금해합니다. 이 기술이 실질적인 성과를 내기까지 얼마나 걸릴까요?

여러 산업 기업에 걸친 Databricks 배포를 기반으로 합니다:

• 약 2주 만에 easyJet에서 작동하는 MVP를 구현하여 비즈니스 사용자가 텍스트-SQL 챗봇을 통해 실시간 데이터를 쿼리할 수 있게 되었습니다.
• RAG 애플리케이션과 95% query 정확도를 가진 검증된 분석 에이전트를 포함하여 Edmunds에서 프로덕션 준비가 된 프로토타입을 만드는 데 평균 2~6주가 소요됩니다.
• BASF Coatings의 Marketmind 엔터프라이즈 규모 출시에 약 6개월 소요: 초기 파일럿부터 전 세계 1,000명 이상의 영업 담당자를 지원하는 거버넌스 플랫폼까지

대부분의 기업이 익숙한 수년간의 전환 주기가 아니라, 몇 주 안에 실질적이고 측정 가능한 가치를 제공할 수 있습니다. 가장 빠르게 움직이는 기업들은 start 전에 두 가지를 갖추고 있습니다. 바로 에이전트가 작업할 수 있는 깨끗하고 액세스 가능한 데이터를 확보하기 위한 관리형 데이터 기반과 무엇이 '성과'인지를 정의하는 명확한 비즈니스 담당자입니다. 이 두 가지 모두 첫 번째 스프린트가 시작되기 전에 달성 가능합니다.

결론

산업용 AI는 더 이상 실험이 아닙니다. 선도적인 제조업체, 유통업체, 물류 제공업체들이 지금 바로 대규모로 배포하고 있는 운영 역량입니다. 앞서 나가는 기업들은 여러 포인트 솔루션이나 단일 챗봇으로 이를 달성하지 않습니다. 이들은 데이터 엔지니어링, 거버넌스가 적용된 액세스, 멀티 에이전트 오케스트레이션, 모델 서빙을 하나의 환경에 통합하는 통합 플랫폼으로 이를 실현하고 있습니다.

Databricks는 대규모 산업용 AI를 위한 확실한 선택이며, 이는 세 가지 이점으로 요약됩니다.

1. 첫째, 개방형 아키텍처: Databricks는 ChatGPT, Claude, Llama 및 기타 오픈 소스 모델을 기본적으로 지원하므로 특정 모델에 종속되지 않으며 더 나은 모델이 나타났을 때 다시 구축할 필요가 없습니다.
2. 둘째, 플랫폼 계층의 거버넌스: Unity Catalog를 사용하면 데이터 보호나 규정 준수를 저해하지 않으면서 조직 전체에 AI를 광범위하게 배포할 수 있습니다.
3. 셋째, 통합 플랫폼의 복합적인 이점: Databricks에 구축된 모든 새로운 사용 사례는 동일한 데이터 자산, 파이프라인 및 거버넌스 프레임워크를 공유하므로 열 번째 배포는 첫 번째 배포에 비해 훨씬 적은 노력이 듭니다.

산업 리더들에게 중요한 질문은 AI를 배포할지 여부가 아닙니다. 확장되지 않는 도구들을 꿰맞추느라 다음 2년을 보낼 것인지, 아니면 배포할 때마다 다음 배포가 더 빠르고 스마트하며 효율적으로 이루어지는 통합된 기반 위에 구축할 것인지의 문제입니다.