작성자: Louis Rottmeier, Maximilian Fest, Michael Boesl, Michael Weber, Martin Gindler , 켈리 알바노
AI 도입이 확대됨에 따라 AUMOVIO 팀들은 대규모 언어 모델에 액세스하는 다양한 방법을 개발했습니다. 오늘날 Databricks Unity Gateway는 AI 워크로드를 위한 공유 진입점을 제공합니다. 이 블로그에서는 이러한 접근 방식들을 어떻게 통합했는지 살펴봅니다.
AUMOVIO의 팀들은 공급업체 통합 및 특정 유스케이스에 맞게 구축된 게이트웨이를 포함하여 LLM에 액세스하는 다양한 방법을 개발했습니다. 이러한 접근 방식들은 모두 실제적인 요구를 충족했지만, AI 도입이 늘어남에 따라 다양성으로 인해 운영, 비용 할당, 일관된 거버넌스의 복잡성이 가중되었습니다.
주요 개선 기회는 다음과 같습니다:
종합할 때, 이러한 접근 방식은 단일 AI 게이트웨이 솔루션으로 AI 워크로드를 관리하기 위한 공유 운영 모델의 가치를 여실히 보여주었습니다.
AUMOVIO의 부서 간 AI 태스크포스는 보안, 데이터 보호, 비즈니스 부서 및 IT의 이해관계자들을 한데 모았습니다. 태스크포스는 LLM 액세스 및 거버넌스를 위한 공유 경로로서 단일 중앙 AI Gateway를 도입하기로 결정했으며, 이를 통해 전사적인 모델 액세스의 공통 방향성을 정립했습니다.
그 시점부터 우리의 임무는 팀과 애플리케이션이 중앙 집중식 경 로를 유용하게 활용할 수 있도록 만드는 것이었습니다.

AI 게이트웨이를 구축하는 것은 간단하지만, 엔터프라이즈 서비스로서 운영하는 것은 영구적인 약속입니다. 공급업체 API가 변경되고, 종속성 패치가 필요하며, 보안 요구사항이 진화하고, 사용자는 지원을 필요로 합니다. 애플리케이션이 게이트웨이에 의존하게 되면 로드맵, 온콜(on-call) 로테이션, 지원 프로세스가 필요합니다. 또 다른 AI 게이트웨이를 구매하는 것과 비교하여, Databricks Unity Gateway가 우리에게 솔루션이 된 이유를 뒷받침하는 다섯 가지 근거는 다음과 같습니다.
1. Databricks는 이미 우리의 데이터 플랫폼이었습니다. 1ADP(One AUMOVIO Data Platform)는 Databricks 위에서 실행됩니다. 거버넌스가 적용된 엔터프라이즈 데이터 바로 옆에 모델 액세스를 배치함으로써 새로운 벤더를 도입할 필요가 없고, 검토해야 할 새로운 네트워크 경로도 없으며, 운영해야 할 격리된 스택도 없어졌습니다.
2. 기업용 ID 통합. Databricks는 기업용 Microsoft Entra ID 테넌트와 통합되어 있으며, 다른 AUMOVIO 애플리케이션도 동일한 테넌트에 대해 인증을 수행합니다. 애플리케이션이 Entra ID 토큰을 제시하면 토큰 교환을 통해 Unity Gateway에 대한 액세스 권한을 얻으므로, 별도의 계정이 필요 없고, 배포할 API 키도 없으며, 맞춤형 통합도 필요하지 않습니다. AI 지원 애플리케이션을 온보딩하는 데는 권한 부여 하나면 충분하며, 기업용 ID가 만료되면 모든 모델에 대한 액세스도 자동으로 종료됩니다.
3. 거버넌스 및 사용량 추적. 애플리케이션마다 개별적으로 구현하는 대신 모델 승인, 액세스 정책, 사용량 추적 및 로깅이 한곳에서 이루어집니다. 추론 테이블(inference tables)을 통한 페이로드 로깅은 기본적으로 꺼져 있으며 명시적이고 승인된 정당한 사유가 있는 경우에만 활성화됩니다. 이는 당사의 데이터 보호 계약에서 요구하는 태세입니다.
4. 공급업체를 자유롭게 선택할 수 있었습니다. 이 점이 가장 중요했습니다. 우리는 1adp-* 모델 별칭(alias)으로 구성된 큐레이션된 카탈로그를 게시하고, Unity Gateway는 각 별칭을 Databricks 호스팅 파운데이션 모델, Google Vertex AI, Azure OpenAI, AWS Bedrock 등 해당 모델을 서비스하는 공급업체로 라우팅합니다. 사용자는 안정적이고 벤더 중립적인 이름으로 코딩하며, 개발자가 단 한 줄의 코드도 수정하지 않고도 해당 이름을 다른 공급업체나 더 최신 모델로 다시 지정할 수 있습니다. 이러한 별칭을 통해 팀은 승인된 모델에 일관되게 접근할 수 있습니다.
5. 설정이 코드로 구현된 인프라(infrastructure as code)입니다. Terraform은 각 1adp-* 별칭 배후의 엔드포인트, 각 모델이 라우팅되는 공급업체, 공급업체 성능 저하 시의 폴백(fallback) 순서, 속도 제한, 엔드포인트별로 적용되는 가드레일 등 Unity Gateway가 수행하는 모든 작업을 표현합니다. 모델 추가, 별칭 변경, 안전 제어 강화 작업은 풀 리퀘스트(pull request)를 통해 검토, 버전 관리되며 환경 전반에 걸쳐 재현 가능합니다. 프로덕션에서 문제가 발생하면 버전 제어를 통해 원인이 된 구성을 파악할 수 있습니다. 1ADP의 나머지 부분도 동일한 방식으로 프로비저닝하므로, 게이트웨이는 이미 플랫폼을 운영 중인 엔지니어들에게 익숙한 또 하나의 모듈일 뿐입니다.
모델 액세스 중앙화는 첫 번째 단계였습니다. 그 후 우리는 팀의 AI 관리, 액세스, 사용 방식을 지원하기 위해 Unity Gateway 위에 세 가지 기능을 구축했습니다:
비용 할당 및 차지백(Chargeback). Unity Gateway는 소비된 토큰 수를 보고하며, 모든 사용자는 자신의 소비량을 개인 비용 센터 또는 자신이 참여하는 프로젝트 중 하나에 할당합니다. 파이프라인은 해당 할당을 Databricks 시스템 테이블과 결합하여 올바른 비용 센터에 사용량을 청구합니다. 우리는 그 결과를 대시보드 형태로 게시합니다. 어떤 모델이, 누구에 의해 사용되고 있는지, 소비량이 어떻게 증가하는지, 비용은 얼마나 발생하는지 등을 보여줍니다. 예산 소유자는 지출 내역을 확인하고 소비량의 변화를 파악할 수 있습니다.
큐레이션된 모델 카탈로그. 표준화된 액세스가 모델들을 서로 호환 가능한 것으로 만들어 주지는 않습니다. 카탈로그는 어떤 모델이 승인되었고, 무엇에 매핑되며, 어떤 소비 티어에서 실행되는지에 대한 단일 진실 공급원(single source of truth) 역할을 합니다. 팀은 여전히 자신이 선택한 모델을 기준으로 애플리케이션을 테스트하지만, 모델에 도달하기 위한 인프라를 직접 구축할 필요 는 없습니다.
임직원을 위한 인터페이스. 1ADP AI App은 동일한 게이트웨이 위에서 프로덕션 환경으로 실행되며, 임직원들이 코드를 작성하지 않고도 거버넌스가 적용된 방식으로 AI를 사용할 수 있도록 지원합니다. 개발자는 OpenAI 호환 엔드포인트를 얻고 호환 가능한 에이전틱(agentic) 코딩 도구를 중앙 모델에 연결할 수 있습니다. 동일한 인프라로 두 가지 대상층을 지원합니다. 즉, 모델 액세스는 표준화하되 개발 인터페이스의 선택은 열어둡니다.
Unity Gateway는 LLM 액세스를 위한 공유 경로를 제공합니다. 1adp-* 별칭은 애플리케이션을 모델에 연결하고, 가드레일이 중앙에서 적용되며, 사용량은 실시간에 가깝게 비용 센터에 할당됩니다.
다음 단계는 AI 플랫폼 스택의 상위 단계로 이동하는 것입니다. 1ADP 프로젝트 내에서 에이전트를 공유하고, 관리형 및 자체 가져오기(Bring-Your-Own) MCP(Model Context Protocol) 연결을 통해 지식 소스, 웹 검색 및 기타 도구를 연결합니다. 모델 액세스는 중앙집중식으로 유지되며, 변경되는 것은 에이전트가 도달할 수 있는 도구의 범위입니다. 이로 인해 에이전트가 무엇을 검색할 수 있는지, 어떤 도구를 호출할 수 있는지, 누구의 권한으로 작동하는지에 대한 질문이 제기됩니다. 이러한 질문에 답할 수 있는 단일 프레임워크를 갖추는 것이 애초에 우리가 통합을 진행한 이유입니다.
다양한 모델 액세스 접근 방식을 통합하는 경우, 운영 모델에 보안, 데이터 보호, 비즈니스 부서 및 IT를 참여시키세요. 그런 다음 해당 서비스를 사용할 팀에게 유용한 공유 서비스를 만드십시오.
구축과 구매를 비교할 때, 프로토타입이 아닌 향후 10년을 기준으로 비용을 산정하십시오. 공급업체 통합 패치를 누가 적용하는지, 지원 티켓에 누가 답변하는지, 인시던트를 누가 처리하는지, 그리고 내년에도 누가 그 일을 반복할지 자문해 보십시오.
그런 다음 진정으로 직접 구축해야 할 것이 무엇인지 결정하십시오. 게이트웨이는 그 대상이 아니었습니다. 비용 할당, 모델 카탈로그, 임직원용 AI App은 AUMOVIO의 일하는 방식을 반영하며 어떤 벤더도 대신 제공해 줄 수 없기 때문에 우리가 직접 구축해야 했습니다.
저희는 아키텍처, 보안 결정, 애플리케이션 품질에 대한 책임을 계속해서 집니다. Unity Gateway는 공용 모델 액세스 서비스를 제공하는 한편, 팀들은 원하는 애플리케이션을 계속 선택하여 구축할 수 있습니다.
AUMOVIO는 자체 게이트웨이 구축에 따른 지속적인 유지 관리, 보안 업데이트, 운영 부담 없이 AI 모델 액세스를 중앙화하기 위해 Databricks Unity Gateway를 선택했습니다. Databricks가 이미 엔터프라이즈 데이터 플랫폼을 구동하고 있었기 때문에, AUMOVIO는 기존 인프라, Microsoft Entra ID 통합, 거버넌스 제어를 재사용할 수 있었습니다. 이를 통해 각 팀은 비용 할당, 선별된 모델 카탈로그, 직원용 AI 애플리케이션 등 회사 고유의 기능을 구축하는 데 집중할 수 있었습니다.
Databricks Unity Gateway는 Azure OpenAI, Google Vertex AI, AWS Bedrock 및 Databricks 호스팅 모델과 같은 다양한 제공업체의 AI 모델에 액세스할 수 있는 단일화된 거버넌스 진입점을 제공합니다. AUMOVIO는 중앙 집중식 모델 승인, 액세스 정책, 로깅 및 가드레일을 사용하여 모든 애플리케이션에 일관된 거버넌스를 적용합니다. 또한 선별된 모델 별칭을 통해 관리자는 애플리케이션 코드를 변경하지 않고도 기본 모델이나 제공업체를 변경할 수 있습니다.
Unity Gateway는 기업이 모델 및 사용자별 AI 사용량을 추적하는 데 사용할 수 있는 토큰 사용량 데이터를 제공합니다. AUMOVIO는 Databricks 시스템 테이블의 이 데이터와 프로젝트 및 비용 센터 할당을 결합하여 AI 지출을 적절한 사업 책임자에게 할당합니다. 대시보드는 모델 사용량, 소비 트렌드, 비용에 대한 실시간에 가까운 가시성을 제공하여 사내 비용 청구 및 예산 관리를 지원합니다.
Databricks Unity Gateway는 OpenAI 호환 엔드포인트를 통해 중앙 집중식 모델 액세스를 제공하므로 개발자가 개별 제공업체 통합을 관리할 필요성이 줄어듭니다. AUMOVIO에서는 Microsoft Entra ID 토큰 교환을 통해 애플리케이션이 인증을 거치므로 개별 API 키를 배포할 필요가 없습니다. 개발자는 호환되는 코딩 에이전트와 애플리케이션을 통해 승인된 모델을 사용할 수 있으며, IT 부서는 권한과 제공업체 연결을 중앙에서 관리합니다.
중앙 집중식 AI 게이트웨이는 여러 모델에 대한 액세스를 단순화하는 동시에 거버넌스, 비용 가시성, 운영 관리를 하나의 공용 서비스로 통합합니다. AUMOVIO는 Unity Gateway를 사용하여 동일한 인프라를 통해 직원용 AI 애플리케이션과 개발자 도구를 모두 지원합니다. 다음 단계에서는 도구 액세스 및 권한 거버넌스에 초점을 맞춰 이 접근 방식을 공유 AI 에이전트 및 MCP 연결로 확장할 것입니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.