Apresentando o Agente de Ciência de Dados do Databricks Assistant

Desde o lançamento há dois anos, o Databricks Assistant se tornou um parceiro indispensável para os profissionais de dados, ajudando-os a gerar código SQL e Python, resolver erros e receber orientação contextual diretamente em seus fluxos de trabalho. Ao longo desse tempo, o cenário da IA avançou rapidamente. A fronteira mudou de copilotos e chatbots simples para agentes que podem raciocinar, planejar e executar autonomamente processos complexos de várias etapas. 

Estender esse paradigma aos dados exige mais do que fluência em código. Os agentes de dados corporativos devem estar cientes do contexto de seus dados, permitir que você revise e refine seu trabalho e operar com os mais altos padrões de governança. A Databricks está em uma posição única para cumprir essa visão. Com o Unity Catalog fornecendo políticas unificadas, linhagem e semântica de negócios, a plataforma já é a base confiável para a inteligência de dados. Com base nessa base, os agentes podem comprimir o tempo da pergunta ao insight sem comprometer a transparência, a confiança ou o rigor. Esse é o futuro que agora estamos trazendo para o Databricks Assistant.

Trazendo agentes para o Databricks Assistant

Temos orgulho de apresentar o Data Science Agent, um grande avanço que eleva o Databricks Assistant de um copiloto útil a um verdadeiro parceiro autônomo para ciência de dados e análise. Totalmente integrado aos Databricks Notebooks e ao SQL Editor, o Data Science Agent reúne inteligência, adaptabilidade e execução em uma única experiência. É o primeiro de uma nova geração de agentes de dados de IA disponíveis selecionando o Agent Mode no Assistant, e começará a ser lançado para os clientes nos próximos dias.

O Data Science Agent se baseia em tudo o que você já faz com o Databricks Assistant hoje e acelera massivamente seu trabalho quando você entrega a ele tarefas de nível superior. Aqui estão apenas algumas maneiras pelas quais ele pode ajudar no seu dia a dia:

• Exploração de dados: você pode pedir ao agente para “realizar uma análise exploratória de dados em @table para identificar padrões interessantes”. Você pode fornecer orientação adicional se quiser concentrar a exploração em uma área específica. O recurso “@” é um recurso existente do Assistant, facilitando a indicação ao Assistant da tabela específica que você está referenciando.

• Treinamento e avaliação de modelos de ML: o agente pode executar tarefas de machine learning, usando os recursos do MLflow conforme necessário. Por exemplo, você pode pedir ao agente para “treinar um modelo de previsão prevendo as vendas em @sales_table”. Você pode então orientá-lo a usar tipos de modelo específicos ou o quanto se concentrar no ajuste de hiperparâmetros.
• Correção de erros: as pessoas adoram o botão de diagnóstico de erro do Assistant. No agent mode, o recurso de diagnóstico de erro pode ajudá-lo a fazer atualizações adicionais e tentar iterativamente a correção até que o problema seja resolvido.
• Resumo e explicação dos resultados: você pode pedir ao agente para explicar e resumir os resultados de sua análise ou realizar análises adicionais.
• Encontrar dados relevantes: o agente pode ajudá-lo a encontrar os dados necessários para concluir sua tarefa no Unity Catalog, pesquisando tabelas que você pode acessar. Tente descrever em detalhes o que você está procurando, como os nomes das colunas ou o tipo de dados. O Data Science Agent será mais útil para isso se suas tabelas e colunas tiverem comentários descritivos.

Respostas precisas e confiáveis

Nosso objetivo com o Data Science Agent é oferecer uma experiência de ciência de dados e análise em que você possa confiar, com respostas precisas, relevantes e baseadas nos dados de sua organização. Este é um problema difícil, mesmo para modelos de IA de fronteira, que por si só não entendem a semântica de seus dados, sua lógica de negócios ou a maneira como suas equipes trabalham. O Data Science Agent preenche essa lacuna combinando o poder de raciocínio dos modelos de IA com a Databricks Data Intelligence Platform, garantindo resultados confiáveis e contextuais. Por exemplo, ele pode pesquisar no Unity Catalog para exibir as tabelas e os notebooks certos e interpretar os resultados para sugerir as melhores próximas etapas, como refinar uma análise, treinar um modelo ou resumir as descobertas para as partes interessadas. Ao fundamentar os fluxos de trabalho de agentes em um contexto governado, o Data Science Agent transforma a automação bruta em aceleração confiável.

Começando

Os administradores do workspace podem habilitar o beta do agent mode do Assistant no portal de visualização do Databricks. 

Depois que o administrador habilitar o agent mode, você verá uma alternância no canto inferior direito do Assistant. Mude para Agent, digite sua tarefa e deixe o agente cuidar dela do início ao fim. Para solicitações de várias etapas ou mais complexas, recomendamos experimentar o Planner para maior transparência e controle.

Usando o planner para fluxos de trabalho mais complexos

O recurso de planner do agente ajuda você a lidar com fluxos de trabalho complexos, elaborando um plano antes da execução. Ative-o no início de um thread do Assistant, e o agente proporá etapas detalhadas, fazendo perguntas de esclarecimento conforme necessário e, em seguida, refinará o plano com base em sua entrada. Quando estiver tudo certo, clique em Continue, e o agente o executará passo a passo, revisando os resultados com você ao longo do caminho e resumindo os resultados no final.

O planner é especialmente valioso quando a tarefa abrange várias etapas ou requer uma orquestração cuidadosa. Por exemplo, em uma investigação de rotatividade, você pode querer orientar o agente por meio da exploração do conjunto de dados, análise de coorte e visualização. Ou, ao construir um pipeline de ML, o planner pode ajudar a estruturar a limpeza de dados, a engenharia de recursos, o treinamento de modelos e a avaliação em um fluxo coerente.

Confirmação da ferramenta

Você permanece no banco do motorista. Antes de executar o código, o agente pede sua aprovação. Você pode escolher:

• Permitir uma vez: aprovar uma única execução
• Sempre permitir para este thread: simplifique o trabalho na conversa atual do Assistant. Isso é redefinido quando você pressiona o “+” no canto superior direito do painel do Assistant.
• Sempre permitir: conceda aprovação até que você altere a configuração

Além disso, o agente tem proteções integradas para ajudar a reduzir ações não intencionais, como descartar acidentalmente uma tabela. Dito isso, ainda recomendamos revisar o código gerado cuidadosamente, especialmente quando ele toca em dados de produção, tabelas importantes ou outras operações confidenciais.

No horizonte

Olhando para o futuro, estamos investindo em várias melhorias para tornar o Data Science Agent ainda mais poderoso:

• Contexto mais amplo: traga contexto adicional por meio da integração do MCP. Isso fornecerá ao Assistant novos conhecimentos que ele não tem hoje.
• Memória mais inteligente: As instruções do Assistant já são usadas pelo Data Science Agent, mas queremos que o agente torne ainda mais fácil atualizar e selecionar suas instruções
• Descoberta de dados mais rápida: o Data Science Agent pode ajudá-lo a encontrar os ativos necessários para sua tarefa. Ele dá um primeiro passo hoje com sua capacidade de pesquisar tabelas e código, mas estamos trabalhando para melhorar esta área.

O Data Science Agent é apenas o começo. O agent mode crescerá para orquestrar cargas de trabalho inteiras no Databricks. Estamos construindo fluxos de trabalho de agentes para engenharia de dados e além, todos alimentados pela mesma base confiável e governada.

Experimente o Data Science Agent hoje 🚀 

Confira nossa página do produto para saber mais sobre o Databricks Assistant, ou leia a documentação para obter mais informações sobre todos os recursos.

Peça ao seu administrador para habilitar o Databricks Assistant Agent Mode hoje e comece a transformar horas de trabalho em minutos. Isso lhe dará mais tempo para insights e menos tempo para a mecânica.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original