Rastreando o Futuro: Como Utilizamos a GenAI para Melhorar as Soluções de Segurança na Barracuda Networks

Na Barracuda, estamos constantemente inovando para nos manter à frente das ameaças de segurança emergentes em uma paisagem digital cada vez mais complexa. Como uma empresa confiada por centenas de milhares de empresas em todo o mundo para proteger seus e-mails, redes, aplicações e dados, entendemos a importância crítica de soluções de segurança abrangentes. A Barracuda existe para proteger e apoiar os clientes por toda a vida - como podemos aproveitar a tecnologia AI de ponta para promover nossa missão?

Como Engenheiro Principal liderando a iniciativa da plataforma Barracuda GenAI, sei o quão importante é fornecer às equipes de produto uma plataforma regional consolidada, escalável e em conformidade com o mínimo de sobrecarga, permitindo que elas construam, iterem e implementem soluções de IA com confiança. Barracuda AI oferece fácil acesso a mais de 20 modelos de IA, com suporte para os modelos mais recentes adicionados em dias através de APIs estáveis. Contamos com as avançadas capacidades de rastreamento do Databricks para monitorar, solucionar problemas e melhorar nossa plataforma de IA e estamos trabalhando ativamente na integração das soluções LLMOps do Databricks, como LLM Judge Metrics e Monitoramento, para simplificar o LLMOps para as equipes de produto que usam a Barracuda AI.

O Poder do Rastreamento para a Barracuda AI

Em cibersegurança, entender exatamente como os modelos de AI tomam decisões é crucial para a eficácia e confiança. O rastreamento oferece uma visibilidade sem precedentes em nossas aplicações de AI, permitindo-nos acompanhar cada passo do processo de tomada de decisão, desde o pedido inicial até a resposta final.

Quando vimos o autologging do MLflow LangChain no Databricks Data + AI Summit, integramos facilmente e temos colhido benefícios desde então.

O rastreamento nos permite:

• Acompanhe a jornada completa de uma solicitação através do nosso sistema
• Identificar gargalos e problemas de desempenho em tempo real
• Depurar interações complexas entre múltiplos componentes de AI
• Garantir comportamento consistente em diferentes ambientes
• Fornecer registros de auditoria para fins de segurança e conformidade

Ao implementar um rastreamento abrangente em nossa plataforma, podemos identificar e resolver problemas rapidamente, otimizar o desempenho e garantir que nossas soluções de segurança estejam funcionando da melhor maneira possível, mesmo com a evolução dos padrões de ataque.

Nossa Implementação Técnica

Barracuda AI é construída sobre uma base de tecnologias flexíveis e interoperáveis projetadas para maximizar o desempenho minimizando o overhead.

Infraestrutura da API Barracuda AI

Nossa API oferece endpoints OpenAI-compatíveis e LangChain AIMessage/AIMessageChunk (com mais por vir) que permitem a integração perfeita com as ferramentas e fluxos de trabalho existentes. Esta camada de compatibilidade permite que as equipes de produto iterem e experimentem sem se preocupar com implantações ou alterações de código em modelos ou frameworks agentes. Nos bastidores, envolvemos cuidadosamente as interfaces e lidamos com as traduções por meio de um gateway de API regional e escalável, implantado via clusters Kubernetes e construído usando FastAPI servido por Uvicorn, garantindo um comportamento e desempenho consistentes, mantendo um rastreamento detalhado.

Barracuda AI Frontend

A Barracuda AI também possui um aplicativo de front-end Next.js seguro e autenticado por SSO para um uso mais amplo de IA em toda a empresa.

Monitoramento e Registro

As capacidades de autologging do MLflow rastreiam automaticamente todas as interações do modelo sem exigir extensas alterações de código. Esta abordagem de "configurar e esquecer" para o rastreamento garante que capturamos dados abrangentes mesmo com a evolução de nossa plataforma.

Processamento e Análise de Dados

A integração com o Databricks oferece poderosas capacidades de análise e monitoramento que nos permitem processar grandes quantidades de dados de rastreamento de forma eficiente. Para rastreamentos recentes (dentro da última hora), usamos a interface do usuário do MLflow para análise imediata. Para rastreamentos exportados mais antigos, construímos visualizações com DBT para nosso espaço Databricks Genie, permitindo-nos extrair insights significativos e análises usando linguagem natural.

Cenários de Uso Diário

Nossa infraestrutura de rastreamento suporta uma variedade de casos de uso críticos que nos ajudam a manter a excelência em segurança:

Solução de Problemas Complexos

Quando os usuários relatam comportamentos incomuns, nossos desenvolvedores podem imediatamente procurar o request_id associado e recuperar o rastreamento correspondente. Isso permite que eles rastreiem a jornada inteira dessa solicitação através do nosso sistema, identificando exatamente onde as coisas deram errado.

Monitoramento Abrangente de Desempenho

Construímos painéis sofisticados e relatórios diários que nos dão visibilidade sobre:

• Padrões de uso por equipe e modelo
• Análise de custos e oportunidades de otimização
• Rastreamento do uso de tokens para eficiência
• Métricas de desempenho do modelo e estatísticas de latência

Esses painéis nos permitem tomar decisões baseadas em dados sobre a alocação de recursos e identificar oportunidades de otimização.

Detecção e Prevenção de Abusos

Segurança é sobre proteger contra ameaças externas e potenciais vulnerabilidades internas. Nosso sistema de rastreamento ajuda a identificar cenários de uso indevido, como quando chaves de desenvolvimento são implantadas acidentalmente em ambientes de produção.

Gerenciando Dados em Grande Escala

Lidar com dados de rastreamento em grande escala apresenta desafios únicos. Para rastreamentos muito grandes contendo cargas de contexto massivas (como bases de código extensas ou grandes cópias de logs), implementamos estratégias inteligentes de truncamento para permanecer dentro do limite de 16MB do tipo VARIANT do Databricks, preservando as informações mais críticas.

Também priorizamos a privacidade dos dados. Para rastreamentos em repouso nas Tabelas do Delta Lake, removemos informações pessoalmente identificáveis (PII) para fins de proteção de dados, enquanto preservamos o valor analítico de nossos dados de rastreamento.

Direções Futuras

Estamos explorando ativamente várias melhorias empolgantes para nossa plataforma Barracuda AI:

Capacidades Avançadas de Avaliação

O uso de APIs de avaliação e monitoramento está no topo de nossa lista de prioridades e em nosso roteiro de hackathon. Planejamos expor essas capacidades de avaliação através de nossas APIs de plataforma, permitindo que as equipes meçam e melhorem a qualidade de suas soluções de segurança alimentadas por AI.

Acesso Democratizado aos Dados

Use Databricks Delta Sharing para permitir que as equipes executem suas próprias análises nos dados de rastreamento. Esta capacidade irá capacitá-los a obter insights e promover mudanças específicas para suas aplicações.

Avaliação Offline Aprimorada

Estamos desenvolvendo capacidades para avaliação offline de dados de rastreamento, permitindo que as equipes testem hipóteses e melhorias sem impactar os sistemas de produção. Esta abordagem acelera a inovação enquanto mantém a estabilidade de nossa infraestrutura de segurança.

Monitoramento Expandido

À medida que incorporamos novos recursos e melhorias em nossa plataforma GenAI, estamos explorando maneiras de aprimorar nossas capacidades de monitoramento. Queremos acelerar a inovação do produto, como a implantação de agentes de IA no Databricks que se integram à nossa plataforma GenAI, e expandir a visibilidade de nossa infraestrutura de rastreamento.

Conclusão

Barracuda AI é uma base para futuras inovações na Barracuda, dando às equipes de produto a flexibilidade, o poder e a visibilidade de que precisam para construir a próxima geração de soluções de segurança. Ao centralizar as capacidades de AI, simplificar a observabilidade através do rastreamento e aproveitar a infraestrutura escalável fornecida pela Databricks, Barracuda AI tornou-se uma pedra angular que capacita muitas de nossas iniciativas de produto. À medida que a paisagem de ameaças evolui, continuamos comprometidos em proteger os clientes para a vida, refinando e expandindo continuamente essa base de IA, garantindo que cada solução Barracuda se beneficie de uma inovação robusta, ágil e preparada para o futuro.

(This blog post has been translated using AI-powered tools) Original Post