Apresentando o Agente de Ciência de Dados do Databricks Assistant

Desde o seu lançamento há dois anos, o Databricks Assistant tornou-se um parceiro indispensável para os profissionais de dados, ajudando-os a gerar código SQL e Python, resolver erros e receber orientações contextuais diretamente em seus fluxos de trabalho. Durante esse tempo, a paisagem da IA avançou rapidamente. A fronteira mudou de simples copilotos e chatbots para agentes que podem raciocinar, planejar e executar autonomamente processos complexos e de múltiplos passos. 

Expandir esse paradigma para os dados requer mais do que fluência em código. Os agentes de dados corporativos devem estar cientes do contexto dos seus dados, permitir que você revise e refine o trabalho deles, e operar com os mais altos padrões de governança. A Databricks está singularmente posicionada para entregar essa visão. Com o Unity Catalog fornecendo políticas unificadas, linhagem e semântica de negócios, a plataforma já é a base confiável para a inteligência de dados. Com base nessa fundação, os agentes podem comprimir o tempo da pergunta ao insight sem comprometer a transparência, confiança ou rigor. Esse é o futuro que estamos trazendo agora para o Assistente Databricks.

Trazendo Agentes para o Assistente Databricks

Estamos orgulhosos de apresentar o Agente de Ciência de Dados, um grande avanço que eleva o Assistente Databricks de um copiloto útil para um verdadeiro parceiro autônomo para ciência de dados e análise. Totalmente integrado com os Notebooks Databricks e o Editor SQL, o Agente de Ciência de Dados traz inteligência, adaptabilidade e execução juntas em uma única experiência. É o primeiro de uma nova geração de agentes de dados de IA disponíveis ao selecionar o Modo Agente no Assistente, e começará a ser disponibilizado para os clientes nos próximos dias.

O Agente de Ciência de Dados se baseia em tudo que você já faz com o Assistente Databricks hoje e acelera massivamente seu trabalho quando você lhe entrega tarefas de nível superior. Aqui estão apenas algumas maneiras de como ele pode ajudar no seu dia a dia:

• Explorando dados: Você pode pedir ao agente para “realizar uma análise exploratória de dados em @table para identificar padrões interessantes”. Você pode fornecer orientações adicionais se quiser focar a exploração em uma área específica. A capacidade “@” é uma funcionalidade existente do Assistant, facilitando a indicação ao Assistant da tabela específica que você está referenciando.

• Treinamento e avaliação de modelos ML: O agente pode realizar tarefas de aprendizado de máquina, usando as capacidades do MLflow conforme necessário. Por exemplo, você pode pedir ao agente para "treinar um modelo de previsão de vendas em @sales_table". Você pode então orientá-lo a usar tipos de modelos específicos ou quanto focar no ajuste de hiperparâmetros.
• Corrigindo erros: As pessoas adoram o botão de diagnóstico de erro do Assistente. No modo agente, a capacidade de diagnóstico de erro pode ajudá-lo a fazer atualizações adicionais e tentar a correção de forma iterativa até que o problema seja resolvido.
• Resumindo e explicando resultados: Você pode pedir ao agente para explicar e resumir os resultados da sua análise ou realizar análises adicionais.
• Encontrando dados relevantes: O agente pode ajudá-lo a encontrar os dados de que você precisa para completar sua tarefa no Catálogo Unity, pesquisando tabelas que você pode acessar. Tente descrever em detalhes o que você está procurando, como os nomes das colunas ou o tipo de dados. O Agente de Ciência de Dados será mais útil para isso se suas tabelas e colunas tiverem comentários descritivos.

Respostas precisas e confiáveis

Nosso objetivo com o Agente de Ciência de Dados é entregar uma experiência de ciência de dados e análise que você pode confiar, com respostas que são precisas, relevantes e baseadas nos dados da sua organização. Este é um problema difícil, até mesmo para modelos de IA de fronteira, que por si só não entendem a semântica dos seus dados, a lógica do seu negócio ou a maneira como suas equipes trabalham. O Agente de Ciência de Dados preenche essa lacuna combinando o poder de raciocínio dos modelos de IA com a Plataforma de Inteligência de Dados do Databricks, garantindo resultados que são confiáveis e conscientes do contexto. Por exemplo, ele pode pesquisar no Catálogo Unity para trazer à tona as tabelas e notebooks certos e interpretar resultados para sugerir os melhores próximos passos, como refinar uma análise, treinar um modelo ou resumir descobertas para as partes interessadas. Ao ancorar fluxos de trabalho agentivos em um contexto governado, o Agente de Ciência de Dados transforma a automação bruta em aceleração confiável.

Introdução

Os administradores do espaço de trabalho podem habilitar o modo beta do agente Assistant a partir do portal de pré-visualização do Databricks. 

Uma vez que seu administrador habilita o modo agente, você verá um interruptor no canto inferior direito do Assistant. Mude para Agente, digite sua tarefa e deixe o agente cuidar de tudo do início ao fim. Para solicitações de várias etapas ou mais complexas, recomendamos experimentar o Planner para maior transparência e controle.

Usando o Planner para fluxos de trabalho mais complexos

A capacidade de planejamento do agente ajuda você a lidar com fluxos de trabalho complexos, elaborando um plano antes da execução. Ative-o no início de um tópico do Assistente, e o agente proporá etapas detalhadas, fazendo perguntas esclarecedoras conforme necessário, e então refinará o plano com base em suas respostas. Quando estiver correto, clique em Continuar, e o agente executará passo a passo, revisando os resultados com você ao longo do caminho e resumindo os resultados no final.

O planejador é especialmente valioso quando a tarefa abrange várias etapas ou requer uma orquestração cuidadosa. Por exemplo, em uma investigação de churn, você pode querer guiar o agente através da exploração do conjunto de dados, análise de coorte e visualização. Ou, ao construir um pipeline de ML, o planejador pode ajudar a estruturar a limpeza de dados, engenharia de recursos, treinamento de modelo e avaliação em um fluxo coerente.

Confirmação da ferramenta

Você permanece no controle. Antes de executar o código, o agente pede sua aprovação. Você pode escolher:

• Permitir uma vez: aprovar uma única execução
• Sempre permitir para este tópico: agilizar o trabalho dentro da conversa atual do Assistant. Isso é redefinido quando você pressiona o “+” no canto superior direito do painel do Assistant.
• Sempre permitir: dê aprovação até que você altere a configuração

Além disso, o agente possui guardrails integrados para ajudar a reduzir ações não intencionais, como excluir acidentalmente uma tabela. Dito isso, ainda recomendamos revisar cuidadosamente o código gerado, especialmente quando ele toca dados de produção, tabelas importantes ou outras operações sensíveis.

No horizonte

Olhando para o futuro, estamos investindo em várias melhorias para tornar o Agente de Ciência de Dados ainda mais poderoso:

• Contexto mais amplo: Traga contexto adicional por meio da integração MCP. Isso fornecerá ao Assistente novos conhecimentos que ele não possui hoje.
• Memória mais inteligente: As instruções do Assistente já são usadas pelo Agente de Ciência de Dados, mas queremos que o agente torne ainda mais fácil atualizar e curar suas instruções
• Descoberta de dados mais rápida: o Agente de Ciência de Dados pode ajudá-lo a encontrar os ativos de que você precisa para sua tarefa. Ele dá um primeiro passo hoje com sua capacidade de pesquisar tabelas e códigos, mas estamos trabalhando para melhorar essa área.

O Agente de Ciência de Dados é apenas o começo. O modo Agente crescerá para orquestrar cargas de trabalho inteiras no Databricks. Estamos construindo fluxos de trabalho de agente para engenharia de dados e além, todos alimentados pela mesma base confiável e governada.

Experimente o Agente de Ciência de Dados hoje 🚀 

Confira nossa página do produto para saber mais sobre o Assistente Databricks, ou leia a documentação para mais informações sobre todos os recursos.

Peça ao seu administrador para habilitar o Modo Agente do Databricks Assistant hoje e comece a transformar horas de trabalho em minutos. Isso lhe dará mais tempo para insights e menos tempo para mecânica.

(This blog post has been translated using AI-powered tools) Original Post