Apresentando o Genie Code

Temos o prazer de anunciar o Genie Code, a mais nova adição à família Databricks Genie. Nos últimos seis meses, as ferramentas agênticas de codificação mudaram fundamentalmente a engenharia de software; Genie Code traz essa mesma transformações para as equipes de dados. O Genie Code pode executar tarefas complexas de forma autônoma, como construir pipelines, depuração de falhas, entregar dashboards e manter sistemas de produção.

Diferentemente dos agentes que se concentram apenas em escrever código, o Genie Code também opera como um agente de produção proativo. Ele monitora seus Lakeflow pipelines e modelos de AI em segundo plano, fazendo a triagem de falhas, lidando com atualizações de rotina do DBR e investigando anomalias antes mesmo que sua equipe perceba.

Ele faz tudo isso integrando-se profundamente ao Unity Catalog para entender os dados, a semântica e as políticas de governança da sua empresa. O Genie Code supera significativamente um dos principais agentes de codificação em mais do dobro em tarefas de ciência de dados do mundo real.

Ascensão do trabalho com dados agentivo

As ferramentas de codificação agênticas transformaram a engenharia de software, levando os desenvolvedores além do preenchimento automático e em direção ao desenvolvimento orientado por agentes. Com um único prompt, os engenheiros agora podem criar o scaffolding de recursos, refatorar o código e implantar protótipos em segundos. Essa mudança foi impulsionada por avanços em LLMs e por sistemas agênticos que conseguem interpretar o contexto complexo das bases de código de software modernas.

A maioria dos agentes no mercado foca em código como o produto final. No entanto, para equipes de dados, o código é meramente um veículo para manipular e entender os dados subjacentes. É exatamente por isso que agentes centrados em software geralmente têm dificuldades com o trabalho de dados. Em um ecossistema de dados, o contexto está presente não apenas no script, mas também nos padrões de uso, na linhagem e na semântica de negócios. 

Acessar esse contexto é vital porque os riscos são altos. Dashboards orientam as decisões de negócios, pipelines alimentam os sistemas de produção e modelos do machine learning influenciam os resultados do mundo real. Para as equipes de dados, a velocidade e o poder de escala oferecidos pelos agentes devem ser combinados com precisão absoluta, reprodutibilidade e governança.

O Genie Code é um agente de AI criado especificamente para dados. Ele utiliza o Unity Catalog para fazer a curadoria automática dos dados e conteúdos mais relevantes enquanto você trabalha. Ele cria índices de pesquisa personalizados, instruções personalizadas, repositórios de conhecimento e extrai padrões de uso da linhagem. O melhor de tudo é que ele se torna mais inteligente quanto mais sua equipe o utiliza. Essa integração profunda com o Unity Catalog é muito superior a qualquer sistema que simplesmente lê os dados externamente.

Vimos o impacto do Genie e do Genie Code em primeira mão na Databricks, tanto entre usuários técnicos quanto não técnicos. Nossa equipe de ventas o utiliza para obter uma visão completa de cada cliente antes das reuniões, resumindo em segundos as key métricas de consumo, os tickets de suporte e as interações recentes. Gerentes de Produto usam o Genie Code para criar dashboards a partir de um esboço de gráficos e tabelas feito à mão. Nossa equipe financeira realiza a execução de análises de orçamento versus real e modelagem avançada de ROI. Nossa equipe de liderança responde a perguntas sobre dados em tempo real durante discussões estratégicas, reduzindo o acompanhamento e acelerando decisões complexas. Em toda a empresa, essas ferramentas mudaram a forma como trabalhamos com dados.

O que o Genie Code faz:

• Atua como um engenheiro de machine learning especialista: o Genie Code gerencia fluxos de trabalho de ML completos de ponta a ponta. Ele raciocina sobre problemas complexos para planejar, escrever e implantar modelos, enquanto registra experimentos no MLflow e ajusta os endpoints de serviço para obter o máximo desempenho.
• Profunda experiência em engenharia de dados: Enquanto um engenheiro iniciante pode escrever um script que funciona com dados de teste, o Genie Code projeta como um arquiteto sênior. Leva em consideração as diferenças entre ambientes de preparação (staging) e produção, cria fluxos de trabalho para captura de dados de alterações (CDC) e aplica expectativas de qualidade de dados.
• Mantém e otimiza proativamente: O Genie Code monitora Lakeflow pipelines e modelos de AI em segundo plano para triar falhas e investigar anomalias. Ele analisa autonomamente os rastreamentos de agentes para corrigir alucinações e ajusta a alocação de recursos antes que um humano intervenha.
• Entende o contexto empresarial: integrado ao Unity Catalog, o Genie Code aplica as políticas de governança e os controles de acesso existentes. Ele entende a semântica de negócios e os requisitos de auditoria e federa dados empresariais, incluindo dados de plataformas externas.
• Melhora com o tempo: o Genie Code fica mais inteligente quanto mais equipes o utilizam. Por meio da memória persistente, ele atualiza automaticamente as instruções internas com base nas interações anteriores e preferências de codificação. Em tarefas internas de ciência de dados, o Genie Code supera os principais agentes de codificação por 77,1% a 32,1% em qualidade.

Com o Genie Code, as equipes de dados passam de solicitar a um copiloto para delegar trabalho real: criar pipelines, depuração de falhas, entregar dashboards e manter sistemas de produção — de forma autônoma, de ponta a ponta.

Na SiriusXM, o Genie Code oferece suporte a tudo, desde a criação de notebooks e SQL complexo até o raciocínio sobre relações entre tabelas e a depuração de pipelines. Ele atua como um parceiro de desenvolvimento prático que ajuda nossas equipes de dados a entregar um trabalho de alta qualidade em menos tempo. — Bernie Graham, Vice-Presidente de Engenharia de Dados, Sirius XM

O agente da mais alta qualidade para trabalhos com dados e AI

O Genie Code não é alimentado por um único modelo. É um sistema agêntico que direciona tarefas entre vários modelos e ferramentas, selecionando automaticamente o melhor modelo para cada job, seja um LLM de fronteira, um modelo de código aberto ou um modelo personalizado hospedado no Databricks. Isso elimina a necessidade de os usuários alternarem manualmente entre os modelos ou tentarem adivinhar qual deles produzirá o melhor resultado.

O Genie Code também é profundamente integrado com as APIs do Databricks, permitindo que ele identifique os ativos de dados corretos, reúna um contexto rico e gere consultas de maior qualidade. A Databricks Research aprimora continuamente o sistema, fazendo benchmarking dos modelos mais recentes dos principais laboratórios de AI, juntamente com modelos personalizados executados na plataforma.

Em nosso recente benchmarking de desempenho em tarefas do mundo real de ciência de dados e analítica coletadas de usuários internos, o Genie Code superou significativamente o desempenho de um agente de codificação líder equipado com os servidores do Databricks Model Context Protocol (MCP).

• Genie Code: 77,1% de tarefas resolvidas
• Agente de codificação líder + Databricks MCP: 32,1% de tarefas resolvidas

O Genie Code dá suporte a todo o ciclo de vida do trabalho com dados

Ensinar e avaliar modelos do machine learning

O Genie Code atua como um engenheiro de ML dedicado integrado ao seu fluxo de trabalho. Peça para ele "ensinar um modelo de previsão que prevê as ventas em @sales_table" e ele raciocinará por todo o pipeline: 

• Identificando e perfilando recursos
• Divida os conjuntos de dados de treinamento, validação e teste corretamente
• Ensine vários tipos de modelo e compare-os, executando varreduras de hiperparâmetros para ensinar o melhor modelo possível.
• Avalia os resultados usando métricas como AUC, F1, RMSE e R²
• Graficar para importância dos recursos, matrizes de confusão e curvas ROC
• Acompanhe experimentos no MLflow
• Recomendar melhorias com base em diagnósticos do modelo

Uma vez implantado no Databricks Model Serving, o Genie Code permanece no ciclo: ele pode verificar a integridade do endpoint, analisar rastreamentos e recomendar otimizações. Você pode ler mais sobre isso na seção “Do código à produção: Observabilidade com o Genie Code” abaixo.

O Genie Code muda a forma como nossas equipes de dados operam. Em vez de unir manualmente notebooks, pipelines e modelos, podemos entregar fluxos de trabalho complexos a um parceiro de IA que entende nossos dados e governança de dados, contexto de negócios e bibliotecas internas, como a Repsol Artificial Intelligence Products. Ele acelera tudo, desde a previsão de séries temporais até a implantação em produção, sem sacrificar o rigor ou o controle. — Emilio Martín Gallardo, Cientista de Dados Principal, gestão de dados e analítica, Repsol

Crie pipelines de dados prontos para produção

O Genie Code é seu engenheiro de dados especialista, criado para ajudar você a projetar e evoluir pipelines de dados confiáveis.

• Crie pipelines a partir de linguagem natural: descreva o que você precisa e o Genie Code gera um Pipeline Declarativo do Spark completo com ingestão, transformações e expectativas de qualidade de dados integradas.
• Amplie pipelines existentes: adicione datasets, modifique transformações, escreva fluxos do AutoCDC, configure o Auto Loader e aplique expectativas de qualidade de dados, tudo no contexto do seu pipeline atual.
• Entenda o comportamento do pipeline: inspecione as saídas, rastreie o fluxo de dados para tabelas downstream e identifique alterações inesperadas na contagem de linhas ou em esquemas.

O Genie Code nos levou além da codificação assistida, para a verdadeira engenharia de dados agêntica. Ele pode analisar nossos Lakeflow pipelines, propor alterações em vários arquivos com diffs, executar execuções com proteções e iterar sobre as falhas até que os problemas sejam resolvidos. Parece menos um preenchimento automático e mais um colaborador incorporado ao nosso fluxo de trabalho. — Nishit Gajjar, Tech Lead, Provedor Global de Tecnologia de Infraestrutura

Crie dashboards com definições semânticas reutilizáveis

O Genie Code pode gerar visualizações, configurar filtros e organizar disposições de dashboards de várias páginas, tudo com definições semânticas reutilizáveis. Ele conecta essas definições a filtros, cálculos e disposições que escalam à medida que os dashboards crescem, ajudando as equipes a avançar mais rapidamente enquanto mantêm a consistência.

Com o Genie Code, nossas equipes estão entregando analítica orientada por IA e fluxos de trabalho automatizados em semanas, não em meses. Os agentes low-code nos ajudam a avançar mais rápido, mantendo o alinhamento com a governança, permitindo que as equipes de projeto e engenharia obtenham percepções em linguagem natural a partir de dados complexos sem atrasar a entrega. — Russell Singer, arquiteto-chefe de dados, Bechtel Corporation

Planejamento e execução autônomos de múltiplas etapas 

Forneça um objetivo de alto nível, como "Identificar riscos de atraso de voos e criar um dashboard de monitoramento". O Genie Code analisa os requisitos, formula um plano de várias etapas e o executa em todos os Databricks Notebooks, AI/BI Dashboards e Lakeflow em um único thread de conversação.

O que estamos vendo na Danfoss é que o Genie Code muda os papéis dentro de uma equipe de dados, apoiando nosso foco estratégico em digitalização e AI. Os cientistas de dados ainda fornecem orientação e revisão, mas engenheiros, analistas e especialistas de domínio agora podem trabalhar ativamente em Notebooks com o assistente e contribuir para fluxos de trabalho de analítica avançada. Isso transforma a ciência de dados em uma atividade de equipe muito mais colaborativa. — Radu Dragusin, Engenheiro Principal, Dados e AI, Danfoss

Análise Exploratória de Dados com Busca Contextual Profunda

O Genie Code usa popularidade, linhagem, amostras de código e metadados do Unity Catalog para encontrar os conjuntos de dados mais relevantes para qualquer análise. Essa busca contextual profunda elimina o esforço manual de procurar dados e garante que seu trabalho seja baseado nas tabelas mais precisas e usadas com frequência em sua organização.

Estou genuinamente fascinado. O Genie Code parece uma prévia do futuro de como o trabalho com dados é feito. — Sameer Yasser, Engenheiro de Dados Sênior, Sundt Construction

Personalização e extensibilidade

O Genie Code é uma plataforma flexível projetada para ser adaptada aos padrões específicos da sua equipe e ao seu stack de tecnologia externo. Existem três maneiras principais de estender seus recursos:

1. Ferramentas externas via Protocolo de Contexto de Modelo (MCP)
   O Genie Code oferece suporte ao Protocolo de Contexto de Modelo (MCP), um padrão aberto que permite que ele interaja com segurança com suas ferramentas externas, APIs e documentação. Isso permite fluxos de trabalho autônomos que se estendem além do workspace do Databricks.

Por exemplo, quando você recebe uma tarefa no Jira para ensinar um novo modelo de ML, o Genie Code pode coletar automaticamente o contexto dela, realizar a tarefa e atualizar o tíquete com os resultados.

Conecte o Genie ao seu Confluence, Google Drive, GitHub ou Notion interno via MCP para que ele possa consultar os runbooks e dicionários de dados específicos da sua equipe ao solucionar problemas.

2. Habilidades do Agente: Defina recursos específicos de domínio para ensinar o Genie Code a executar tarefas complexas de forma consistente. Seja uma maneira específica como sua empresa lida com o mascaramento de PII ou uma estrutura personalizada para validação de dados, as Skills garantem que a AI siga as melhores práticas da sua organização sempre. As Skills seguem o formato aberto das Agent Skills (formato).
3. Memória: O Genie Code fica mais inteligente quanto mais você o usa. Através da memória persistente, o agente atualiza automaticamente suas instruções internas com base em suas interações passadas. Ele aprende suas preferências de codificação, lembra quais conjuntos de dados você usa com mais frequência e retém o contexto entre as sessões.

Do código à produção: observabilidade com o Genie Code

Escrever código é apenas o primeiro passo. Mantê-lo é o verdadeiro desafio. O Genie Code atua como um agente de observabilidade para manter seus fluxos de trabalho de dados e AI saudáveis. Embora milhares de clientes usem o Databricks para disponibilizar aplicações de AI sofisticadas, a depuração desses modelos em produção é geralmente a parte mais demorada do ciclo de vida.

O Genie Code agora se integra diretamente com o Databricks Model Serving e o MLflow 3.0 para automatizar esse processo. Em vez de pesquisar manualmente em logs e rastreamentos, você pode usar o Genie para:

• Verificações de integridade do Endpoint: obtenha um relatório de status completo sobre compute, tratamento de solicitações e logs do servidor em um único prompt.

• Análise de qualidade do agente: Exponha problemas sutis como alucinações, chamadas de ferramenta incorretas e padrões de frustração do usuário em rastreamentos complexos de agentes em tempo real.

• Solução de problemas de produção: quando ocorrem incidentes, o Genie faz referências cruzadas de logs e métricas do servidor para automatizar a primeira rodada de diagnóstico e reduzir o tempo de resolução.
• Otimização de Endpoint: obtenha recomendações sobre provisionamento, configurações de hardware e escalonamento automático com base nas melhores práticas do Databricks.

Agentes em segundo plano que mantêm as cargas de trabalho saudáveis

O Genie Code foi projetado para funcionar em segundo plano para que seus dados permaneçam íntegros mesmo depois que você fecha seu laptop. Você pode implantar vários agentes em paralelo para lidar com o trabalho operacional que normalmente consome a semana de um engenheiro de dados. Esses agentes em segundo plano vão além do suporte reativo em direção à manutenção proativa, lidando com tarefas repetitivas, como responder a falhas de job e gerenciar atualizações de rotina. Quando um pipeline falha, o agente identifica a causa raiz e sugere uma correção somente após validá-la em um ambiente de sandbox seguro. 

Por exemplo, se um pipeline de produção falhar devido a uma incompatibilidade de esquema, como uma coluna mudando de INT (150) para STRING (“150 USD”), o Genie Code identificará a falha e corrigirá automaticamente o pipeline corrompido. 

Agentes em segundo plano estarão disponíveis em breve. 

Baseado no Unity Catalog: segurança e governança integradas

O Genie Code é desenvolvido diretamente no Unity Catalog. Essa integração garante que o agente siga as mesmas regras de segurança e governança que o restante da plataforma Databricks.

Quando o Genie Code pesquisa dados, ele exibe apenas os ativos que o usuário tem autorização para acessar. Ao criar um pipeline, ele adere à linhagem e aos controles de acesso existentes.

• História de revisões nativo: cada edição é rastreada pelo sistema de controle de versão do Databricks. Você pode reverter alterações em Notebooks, query, arquivos e Lakeflow pipelines com total confiança.
• Guardrails integrados: o Genie Code foi projetado para pedir confirmação proativamente antes de executar um código que possa modificar tabelas subjacentes.
• Aplicação de controle de acesso: o Genie Code nunca expõe ativos de dados que um usuário não tem permissão para ver.
• Registro de auditoria abrangente: sua organização mantém total visibilidade de como o Genie Code está sendo usado através da infraestrutura de auditoria existente.

Disponível em seu Workspace hoje

O Genie Code está em Disponibilidade Geral em seu workspace do Databricks agora mesmo. Você pode encontrar o painel do Genie Code em seus Notebooks, editor de SQL e editor de Lakeflow Pipelines hoje mesmo — sem necessidade de configuração complexa.

Saiba mais

Se você quiser saber mais sobre o Genie Code:

• Visite nossa página da web para entender os key recursos e casos de uso do Genie Code e aprender como ele funciona na plataforma Databricks
• Assista à demonstração para ver o Genie Code planejar e executar fluxos de trabalho de dados reais de ponta a ponta
• Leia a documentação para começar a usar o Genie Code em seu próprio workspace hoje

Estamos ansiosos para ver o que você vai criar com o Genie Code e como os agentes autônomos vão remodelar a forma como suas equipes de dados trabalham no Databricks.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original