미래를 추적하다: Barracuda Networks에서 GenAI를 활용하여 보안 솔루션을 강화하는 방법

Barracuda에서는 점점 복잡해지는 디지털 환경에서 떠오르는 보안 위협에 앞서 나가기 위해 지속적으로 혁신하고 있습니다. 이메일, 네트워크, 애플리케이션, 데이터를 보호하기 위해 전 세계 수십만 개의 기업들이 우리를 신뢰하고 있기 때문에, 포괄적인 보안 솔루션의 중요성을 이해하고 있습니다. Barracuda는 고객을 평생 보호하고 지원하기 위해 존재합니다 - 우리의 임무를 더욱 추진하기 위해 최첨단 AI 기술을 어떻게 활용할 수 있을까요?

Barracuda GenAI 플랫폼 이니셔티브를 이끄는 주요 엔지니어로서, 제품 팀에 통합된 지역, 확장 가능하고 준수한 플랫폼을 최소한의 오버헤드로 제공하면서, 그들이 AI 솔루션을 자신 있게 구축, 반복, 배포할 수 있도록 하는 것이 얼마나 중요한지 알고 있습니다. Barracuda AI는 20개 이상의 AI 모델에 쉽게 접근할 수 있도록 지원하며, 최신 모델은 안정적인 API를 통해 몇 일 내에 추가됩니다. 우리는 Databricks의 고급 추적 기능을 활용하여 AI 플랫폼을 모니터링하고, 문제를 해결하고, 개선하고 있으며, Databricks의 LLMOps 솔루션, 예를 들어 LLM Judge Metrics 및 Monitoring을 통합하는 작업을 진행 중입니다. 이를 통해 Barracuda AI를 사용하는 제품 팀의 LLMOps를 단순화하고 있습니다.

Barracuda AI에 대한 추적의 힘

사이버 보안에서는 AI 모델이 어떻게 결정을 내리는지를 정확히 이해하는 것이 효과성과 신뢰성에 있어 중요합니다. 추적은 우리의 AI 애플리케이션에 전례 없는 가시성을 제공하며, 초기 요청부터 최종 응답까지의 결정 과정의 모든 단계를 추적할 수 있게 해줍니다.

우리가 Databricks Data + AI Summit에서 MLflow LangChain autologging 을 보았을 때, 우리는 쉽게 통합하였고, 그 이후로 계속해서 이점을 얻고 있습니다.

추적을 통해 우리는 다음을 할 수 있습니다:

• 우리 시스템을 통한 요청의 전체 여정을 따라가기
• 실시간으로 병목 현상과 성능 문제를 파악하십시오
• 여러 AI 구성 요소 간의 복잡한 상호 작용 디버깅
• 다양한 환경에서 일관된 동작을 보장하십시오
• 보안 및 준수 목적으로 감사 추적 제공

우리 플랫폼 전체에 걸쳐 포괄적인 추적을 구현함으로써, 우리는 빠르게 문제를 식별하고 해결할 수 있으며, 성능을 최적화하고, 공격 패턴이 변화함에 따라 우리의 보안 솔루션이 최상의 상태로 작동하고 있는지 확인할 수 있습니다.

우리의 기술 구현

Barracuda AI는 성능을 극대화하면서 오버헤드를 최소화하기 위해 설계된 유연하고 상호 운용 가능한 기술을 기반으로 구축되었습니다.

Barracuda AI API 인프라

우리의 API는 OpenAI 호환 및 LangChain AIMessage/AIMessageChunk 엔드포인트를 제공합니다(곧 더 많은 것이 추가될 예정) 이는 기존 도구와 워크플로우와의 원활한 통합을 가능하게 합니다. 이 호환성 계층은 제품 팀이 모델 또는 에이전트 프레임워크 간의 배포나 코드 변경에 대해 걱정하지 않고 반복하고 실험할 수 있게 합니다. 뒷단에서는 우리는 인터페이스를 신중하게 래핑하고 지역적이며 확장 가능한 API 게이트웨이를 통해 번역을 처리합니다. 이는 Kubernetes 클러스터를 통해 배포되고 Uvicorn에서 제공하는 FastAPI를 사용하여 구축되어 일관된 동작과 성능을 보장하면서 자세한 추적을 유지합니다.

Barracuda AI 프론트엔드

Barracuda AI는 또한 회사 전체에서 AI 사용을 확대하기 위한 안전한 SSO 인증 Next.js 프론트엔드 애플리케이션을 갖추고 있습니다.

모니터링 및 로깅

MLflow autologging 기능은 광범위한 코드 변경 없이 모든 모델 상호 작용을 자동으로 추적합니다. 이 "설정하고 잊어버리기" 방식의 추적은 우리의 플랫폼이 진화함에 따라 포괄적인 데이터를 캡처하도록 보장합니다.

데이터 처리 및 분석

Databricks 통합은 우리가 대량의 추적 데이터를 효율적으로 처리할 수 있도록 강력한 분석 및 모니터링 기능을 제공합니다. 최근 추적(지난 1시간 이내)에 대해서는 즉시 분석을 위해 MLflow UI를 사용합니다. 오래된 추적을 내보낸 경우, 우리는 우리의 Databricks Genie 공간에 DBT로 뷰를 구축하여, 자연어를 사용하여 의미 있는 통찰력과 분석을 추출할 수 있게 했습니다.

일상적인 사용 시나리오

우리의 추적 인프라는 우리가 보안 우수성을 유지하는 데 도움이 되는 다양한 중요한 사용 사례를 지원합니다:

복잡한 문제 해결

사용자가 이상한 동작을 보고하면, 우리의 개발자들은 즉시 관련 request_id를 찾아내고 해당 추적을 검색할 수 있습니다. 이를 통해 그들은 요청이 우리 시스템을 통해 어떻게 이동했는지 전체적으로 추적하고, 문제가 발생한 정확한 위치를 파악할 수 있습니다.

포괄적인 성능 모니터링

우리는 다음을 볼 수 있는 정교한 대시보드와 일일 보고서를 구축했습니다:

• 팀 및 모델별 사용 패턴
• 비용 분석 및 최적화 기회
• 효율성을 위한 토큰 사용 추적
• 모델 성능 지표 및 지연 통계

이 대시보드를 통해 우리는 자원 할당에 대한 데이터 기반의 결정을 내리고 최적화 기회를 파악할 수 있습니다.

남용 감지 및 예방

보안은 외부 위협뿐만 아니라 잠재적인 내부 취약점에 대한 보호에 관한 것입니다. 우리의 추적 시스템은 남용 시나리오를 식별하는 데 도움이 됩니다. 예를 들어, 개발 키가 실수로 프로덕션 환경에 배포될 때와 같은 경우입니다.

대규모 데이터 관리

추적 데이터를 대규모로 처리하는 것은 독특한 도전을 제시합니다. 매우 큰 추적(예: 광범위한 코드 베이스나 대량의 로그 복사와 같은 대량의 컨텍스트 로드를 포함하는 경우)에 대해, 우리는 Databricks의 VARIANT 타입의 16MB JSON 제한 내에 머무를 수 있도록 가장 중요한 정보를 보존하는 동시에 지능적인 절단 전략을 구현했습니다.

우리는 또한 데이터 개인 정보를 우선시합니다. Delta Lake Tables에 저장된 추적에 대해, 우리는 데이터 보호 목적으로 개인 식별 정보(PII)를 제거하면서 우리의 추적 데이터의 분석적 가치를 보존합니다.

미래의 방향

우리는 Barracuda AI 플랫폼에 대한 몇 가지 흥미로운 개선 사항을 적극적으로 탐색하고 있습니다:

고급 평가 기능

평가 및 모니터링 API 사용이 우리의 우선 순위 목록 상단에 있으며, 해커톤 로드맵에도 있습니다. 우리는 이러한 평가 기능을 우리의 플랫폼 API를 통해 공개할 계획이며, 이를 통해 팀들이 자신들의 AI 기반 보안 솔루션의 품질을 측정하고 개선할 수 있게 합니다.

민주화된 데이터 접근

Databricks Delta Sharing 을 사용하여 팀이 추적 데이터에 대한 자체 분석을 실행할 수 있게 합니다. 이 기능은 그들이 자신의 애플리케이션에 특정한 통찰력을 도출하고 변화를 주도하는 데 권한을 부여할 것입니다.

향상된 오프라인 평가

우리는 추적 데이터의 오프라인 평가 기능을 개발하고 있으며, 이를 통해 팀들이 가설을 테스트하고 개선 사항을 제안할 수 있게 해주며, 이는 생산 시스템에 영향을 주지 않습니다. 이 접근 방식은 우리의 보안 인프라의 안정성을 유지하면서 혁신을 가속화합니다.

확장된 모니터링

우리가 GenAI 플랫폼에 새로운 기능과 개선 사항을 통합함에 따라, 우리는 모니터링 기능을 강화하는 방법을 탐색하고 있습니다. 우리는 제품 혁신을 가속화하려고 합니다. 예를 들어, 우리의 GenAI 플랫폼과 통합하는 Databricks에 AI 에이전트를 배포하고, 우리의 추적 인프라의 가시성을 확장하려고 합니다.

결론

Barracuda AI는 Barracuda에서 미래의 혁신을 위한 기반으로서, 제품 팀에게 다음 세대의 보안 솔루션을 구축하는 데 필요한 유연성, 힘, 가시성을 제공합니다. AI 기능을 중앙화하고, 추적을 통한 관찰 가능성을 간소화하고, Databricks가 제공하는 확장 가능한 인프라를 활용함으로써, Barracuda AI는 우리의 많은 제품 이니셔티브를 강화하는 핵심 요소가 되었습니다. 위협 환경이 변화함에 따라, 우리는 이 AI 기반을 지속적으로 개선하고 확장함으로써 고객을 평생 보호하는 데 전념하고 있으며, 모든 Barracuda 솔루션이 견고하고 민첩하며 미래 준비가 완료된 혁신의 혜택을 누릴 수 있도록 보장합니다.

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)