Anunciando o Lakeflow Designer: ETL sem código, potencializado pela Plataforma de Inteligência de Dados

Temos o prazer de anunciar o Lakeflow Designer, um construtor de pipelines sem código e com IA, totalmente integrado à Plataforma de Inteligência de Dados da Databricks. Com uma tela visual e interface de linguagem natural integrada, o Designer permite que analistas de negócios criem pipelines de produção escaláveis e realizem análises de dados sem escrever uma única linha de código – tudo em um único produto unificado.

Todo pipeline criado no Designer gera um Lakeflow Declarative Pipeline por baixo dos panos. Engenheiros de dados podem revisar, entender e aprimorar esses pipelines sem trocar de ferramenta ou reescrever a lógica, pois é o mesmo padrão ANSI SQL usado em toda a Databricks. Isso permite que usuários sem código participem do trabalho com dados sem criar sobrecarga adicional para os engenheiros.

O Lakeflow Designer estará disponível em Private Preview nos próximos meses, após o lançamento geral do Lakeflow anunciado hoje. Estamos animados para que você veja o impacto que ele pode causar.

Ferramentas sem código existentes funcionam fora da Plataforma de Inteligência de Dados, criando silos, causando lacunas na produção e limitando a produtividade de IA

Equipes de dados e analistas de negócios querem a mesma coisa: transformar dados brutos em insights rapidamente. Mas as ferramentas que eles usam e os ambientes em que trabalham muitas vezes os puxam em direções diferentes.

Analistas de negócios trazem conhecimento valioso do domínio e insights sobre as perguntas que impulsionam as decisões de uma organização. Para agir rapidamente, eles geralmente criam soluções rápidas usando planilhas ou, quando estas não são suficientes, recorrem a ferramentas sem código legadas. Essas ferramentas são fáceis e diretas, mas os pipelines que criam funcionam fora da plataforma de dados em ambientes diferentes, separados dos pipelines que os engenheiros criam e mantêm.

Essa separação cria três desafios persistentes:

• Fluxos de trabalho isolados: Analistas e engenheiros criam em ferramentas diferentes, levando a trabalho redundante e sobrecarga de coordenação. Quando os fluxos de trabalho precisam cruzar para a plataforma de dados, os engenheiros muitas vezes têm que reconstruí-los inteiramente, começando do zero.
• Desafios de produção: Pipelines externos rodam sem governança ou observabilidade da plataforma, tornando-os frágeis e mais difíceis de manter.
• Produtividade limitada de IA: Assistentes de IA não têm acesso a metadados, linhagem e padrões de uso, então suas sugestões são frequentemente genéricas, semelhante a usar um modelo de linguagem sem acesso ao contexto dos seus dados.

Lakeflow Designer: Ferramentas unificadas sem código, integradas à Plataforma de Inteligência de Dados

O Lakeflow Designer resolve esses problemas trazendo equipes de negócios e de dados para um ambiente único e unificado onde os pipelines são criados, gerenciados e governados na Databricks. Com todos os pipelines criados nativamente dentro da plataforma, as equipes ganham observabilidade, governança e escalabilidade integradas desde o primeiro dia: sem reescritas necessárias.

Fluxos de trabalho compartilhados e colaborativos

O Lakeflow Designer aborda diretamente os fluxos de trabalho isolados, fornecendo uma plataforma unificada onde as equipes podem construir juntas. Usuários de negócios criam pipelines em um ambiente visual e sem código que é familiar e intuitivo. Por trás das cenas, os pipelines visuais são implementados como Lakeflow Declarative Pipelines. Eles usam o mesmo runtime escalável e confiável dos pipelines desenvolvidos diretamente dentro dos Lakeflow Declarative Pipelines.

Como a saída do Designer é a mesma como se tivesse sido codificada, engenheiros de dados podem inspecionar e editar os pipelines como qualquer outro pipeline Lakeflow. Isso significa que se os analistas de negócios encontrarem problemas, os engenheiros podem intervir para ajudar sem precisar aprender uma nova ferramenta, pois são os mesmos Declarative Pipelines com os quais estão acostumados. Tudo isso resulta em transições mais suaves e menos reconstruções que consomem ciclos de engenharia.

Um caminho integrado para a produção

Os pipelines do Lakeflow Designer são implantados como Lakeflow Declarative Pipelines – ponto final. Isso significa que eles estão imediatamente prontos para uso em produção. Eles são versionados, governados pelo Unity Catalog e totalmente observáveis com as ferramentas de monitoramento do Lakeflow.

Tudo é construído para produção desde o início, então não há necessidade de reconstruir pipelines para escala e confiabilidade. Você obtém agendamento, testes e alertas desde o primeiro dia.

IA que entende seu negócio

O Designer oferece uma experiência de desenvolvimento com foco em IA, ajudando os usuários a passar da ideia ao pipeline com prompts em linguagem natural. O que é exclusivo da IA do Designer é que ela é fundamentada na estrutura, semântica e padrões de uso dos seus dados, possibilitada pela Plataforma de Inteligência Databricks unificada. Ela sabe como os dados são realmente falados e usados em toda a empresa, incluindo definições de tabelas, nomes de colunas e histórico de consultas.

Outras ferramentas podem oferecer recursos de IA, mas como elas funcionam fora da plataforma, operam sem esse rico contexto. A IA do Designer é diferente: profundamente integrada à Databricks, treinada na estrutura e semântica dos seus dados, e construída para gerar pipelines confiáveis e prontos para produção que se alinham com seus fluxos de trabalho e padrões de governança existentes.

Disponível em Private Preview em breve

O Lakeflow Designer estará disponível em Private Preview nos próximos meses. Estamos colaborando de perto com os primeiros usuários de diversas indústrias para refinar a experiência e expandir o acesso.

Se sua equipe deseja dar a mais usuários a capacidade de construir pipelines confiáveis sem aumentar o risco ou adicionar novas ferramentas, entre em contato com sua equipe de conta Databricks para solicitar acesso.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original