Anunciando o Lakeflow Designer: ETL sem código, alimentado pela plataforma de inteligência Databricks

Estamos animados para anunciar o Lakeflow Designer, um construtor de pipeline sem código, alimentado por IA, que está totalmente integrado à Plataforma de Inteligência de Dados Databricks. Com uma tela visual e interface de linguagem natural integrada, o Designer permite que analistas de negócios construam pipelines de produção escaláveis e realizem análises de dados sem escrever uma única linha de código - tudo em um único produto unificado.

Cada pipeline construído no Designer cria um Pipeline Declarativo Lakeflow por trás das cenas. Os engenheiros de dados podem revisar, entender e melhorar esses pipelines sem trocar de ferramentas ou reescrever a lógica, pois é o mesmo padrão ANSI SQL usado em todo o Databricks. Isso permite que usuários sem código participem do trabalho de dados sem criar sobrecarga adicional para os engenheiros.

O Lakeflow Designer estará disponível em Visualização Privada nos próximos meses, após o Lançamento Geral do Lakeflow anunciado hoje. Estamos animados para que você veja o impacto que ele pode causar.

As ferramentas existentes sem código vivem fora da Plataforma de Inteligência de Dados, criando silos, causando lacunas de produção e limitando a produtividade da IA

As equipes de dados e os analistas de negócios querem a mesma coisa: transformar dados brutos em insights rapidamente. Mas as ferramentas que eles usam e os ambientes em que trabalham muitas vezes os puxam em direções diferentes.

Os analistas de negócios trazem conhecimento de domínio valioso e insights sobre as perguntas que orientam as decisões de uma organização. Para se mover rapidamente, eles costumam criar soluções rápidas usando planilhas ou, quando essas não são suficientes, recorrem a ferramentas sem código legadas. Essas ferramentas são fáceis e diretas, mas os pipelines que criam vivem fora da plataforma de dados em ambientes diferentes, separados dos pipelines que os engenheiros criam e mantêm.

Essa separação cria três desafios persistentes:

• Fluxos de trabalho isolados: Analistas e engenheiros constroem em ferramentas diferentes, levando a trabalho redundante e sobrecarga de coordenação. Quando os fluxos de trabalho precisam cruzar para a plataforma de dados, os engenheiros geralmente têm que reconstruí-los completamente, começando do zero.
• Desafios de produção: Pipelines externos são executados sem governança ou observabilidade da plataforma, tornando-os frágeis e mais difíceis de manter.
• Produtividade limitada da IA: Assistentes de IA não têm acesso a metadados, linhagem e padrões de uso, então suas sugestões são frequentemente genéricas, semelhantes ao uso de um modelo de linguagem sem acesso ao contexto dos seus dados.

Lakeflow Designer: Ferramenta unificada sem código, integrada à Plataforma de Inteligência de Dados

O Lakeflow Designer resolve esses problemas ao reunir equipes de negócios e de dados em um único ambiente unificado, onde os pipelines são criados, gerenciados e governados no Databricks. Com todos os pipelines construídos nativamente dentro da plataforma, as equipes ganham observabilidade, governança e escala desde o primeiro dia: não são necessárias reescritas.

Fluxos de trabalho compartilhados e colaborativos

O Lakeflow Designer aborda diretamente os fluxos de trabalho isolados, fornecendo uma plataforma unificada onde as equipes podem construir juntas. Usuários de negócios criam pipelines em um ambiente visual, sem código, que é familiar e intuitivo. Nos bastidores, os pipelines visuais são implementados como Pipelines Declarativos Lakeflow. Eles usam o mesmo tempo de execução escalável e confiável que os pipelines desenvolvidos diretamente dentro dos Pipelines Declarativos Lakeflow.

Como a saída do Designer é a mesma como se fosse codificada, os engenheiros de dados podem inspecionar e editar os pipelines como qualquer outro pipeline do Lakeflow. Isso significa que se os analistas de negócios encontrarem problemas, os engenheiros podem ajudar sem precisar aprender uma nova ferramenta, pois são os mesmos Pipelines Declarativos aos quais estão acostumados. Tudo isso resulta em transições mais suaves e menos reconstruções que ocupam ciclos de engenharia.

Um caminho integrado para a produção

Os pipelines do Lakeflow Designer são implantados como Lakeflow Declarative Pipelines–ponto final. Isso significa que eles estão imediatamente prontos para uso em produção. Eles são versionados, governados pelo Catálogo Unity e totalmente observáveis com as ferramentas de monitoramento do Lakeflow.

Como tudo é nativo da plataforma Databricks, você não precisa replataformar pipelines para torná-los de nível de produção. Você obtém agendamento, teste e alerta desde o primeiro dia.

IA que entende seu negócio

O Designer oferece uma experiência de desenvolvimento com foco em IA, ajudando os usuários a passar da ideia para o pipeline com prompts de linguagem natural. Único para a IA do Designer é que ela está fundamentada na estrutura, semântica e padrões de uso de seus dados, tornada possível pela Plataforma de Inteligência Unificada Databricks. Ele sabe como os dados são realmente falados e usados em todo o negócio, incluindo definições de tabela, nomes de coluna e histórico de consultas.

Outras ferramentas podem oferecer recursos de IA, mas porque vivem fora da plataforma, operam sem esse rico contexto. A IA do Designer é diferente: profundamente integrada ao Databricks, treinada na estrutura e semântica dos seus dados e construída para gerar pipelines confiáveis e de nível de produção que se alinham com seus fluxos de trabalho e padrões de governança existentes.

Disponível em Visualização Privada em breve

O Lakeflow Designer estará disponível em Visualização Privada nos próximos meses. Estamos colaborando de perto com os primeiros usuários em várias indústrias para refinar a experiência e expandir o acesso.

Se sua equipe deseja dar a mais usuários a capacidade de construir pipelines confiáveis sem aumentar o risco ou adicionar novas ferramentas, entre em contato com sua equipe de conta Databricks para solicitar acesso.

(This blog post has been translated using AI-powered tools) Original Post