Anunciando a Visualização Pública do Lakeflow Designer

Introduzimos o Lakeflow Designer pela primeira vez na Data and AI Summit no ano passado. Desde então, trabalhamos em estreita colaboração com os primeiros clientes para refinar o produto e entender melhor onde ele é mais útil. Hoje, estamos entusiasmados em anunciar a Visualização Pública do Lakeflow Designer. O Lakeflow Designer remove um dos maiores gargalos nos dados hoje: a barreira técnica de entrada.

O que é o Lakeflow Designer?

O Lakeflow Designer é uma experiência visual, sem código e nativa de IA para preparação e análise de dados. Criado diretamente no Databricks, ele permite que analistas, especialistas de domínio e outros usuários menos técnicos preparem e explorem dados por meio de uma tela de arrastar e soltar e linguagem natural.

Cada etapa no Lakeflow Designer é representada como um operador, dando aos usuários uma visão clara de como os dados mudam ao longo do fluxo de trabalho. Isso facilita a criação, validação e compreensão das transformações à medida que você avança.

O Lakeflow Designer estende o poder do Databricks Lakeflow para um conjunto mais amplo de usuários, permitindo a preparação de dados sem código, ao mesmo tempo que gera código pronto para produção por baixo dos panos. Os fluxos de trabalho podem ser agendados e operacionalizados por meio de Lakeflow Jobs, facilitando a transição da preparação interativa de dados para pipelines de produção.

O Lakeflow Designer expande a autonomia das equipes de negócios, permitindo a criação eficiente de visualizações de dados por meio de linguagem natural e melhores práticas, garantindo consistência, governança e confiabilidade dos dados. — Phelipe Naman, Tech Lead de Arquitetura de Dados e Análise, Sabesp

O que torna o Lakeflow Designer diferente?

A preparação de dados self-service não é uma ideia nova, mas as ferramentas existentes ficam fora da sua plataforma de dados central. Isso vem com desvantagens:

• A desconexão entre a ferramenta de preparação de dados e a plataforma de dados cria lacunas de governança e sobrecarga adicional de TI
• A IA é adicionada posteriormente e as sugestões são genéricas porque a ferramenta não tem um entendimento real dos dados
• Fluxos de trabalho visuais são difíceis de colocar em produção, com a lógica frequentemente presa em linguagens específicas de domínio ou na interface do usuário
• Licenciamento por usuário é caro e limita quem tem acesso

O Lakeflow Designer adota uma abordagem diferente.

1. Criado nativamente no Databricks para governança e simplicidade
O Lakeflow Designer é executado diretamente onde seus dados já residem - no Databricks. Não há necessidade de mover dados para uma ferramenta separada ou para sua máquina local. Os dados permanecem no local, governados pelo Unity Catalog desde o início, enquanto simplificam a pilha de dados geral. Em vez de gerenciar uma ferramenta separada de baixo código com seu próprio modelo de licenciamento, permissões e administração, as organizações podem habilitar o trabalho self-service diretamente no Databricks.

A KPMG UK oferece serviços de auditoria e garantia para milhares de empresas - cada uma com um cenário de dados diferente. Equipar nossos profissionais com o Lakeflow Designer permite um fluxo de trabalho visual, de baixo código e assistido por IA que escala e democratiza nossa capacidade de traduzir conjuntos de dados complexos e variados em insights significativos. — Mark Wallington, Parceiro de Dados e IA de Auditoria, KPMG UK

Comece a trabalhar com dados de origem nativos imediatamente

2. Criado do zero para IA e projetado para tornar a IA revisável
O Lakeflow Designer é construído sobre o Genie Code, o assistente de codificação nativo e agente do Databricks. A IA não é um complemento aqui. É central para o funcionamento do produto. Basta descrever o que você deseja em linguagem natural simples, e o Genie Code pode gerar ou modificar o fluxo de trabalho diretamente.

Criação nativa de IA que simplesmente funciona

Como o Lakeflow Designer está embutido diretamente no workspace do Databricks, o Genie Code pode raciocinar sobre mais do que apenas nomes de colunas. Ele pode usar metadados do Unity Catalog, descrições de tabelas, linhagem, popularidade e exemplos de consultas para entender o significado semântico dos dados e identificar os ativos corretos para uma tarefa. Isso leva a sugestões mais contextuais e precisas do que ferramentas que veem apenas o esquema.

Essa arquitetura também abre portas para um comportamento mais agente. Em vez de gerar um resultado estático uma vez, o sistema pode executar uma transformação, inspecionar a saída e iterar quando necessário. Por exemplo, se um join falhar ou não retornar linhas, o Genie Code pode avaliar o resultado e tentar uma abordagem alternativa.

Talvez igualmente importante, o Lakeflow Designer torna as transformações geradas por IA fáceis de entender e validar, dividindo-as em operadores visuais discretos com pré-visualizações de dados em cada etapa. Você pode ver exatamente o que mudou, onde as linhas foram filtradas, como um join foi resolvido e como a saída se parece antes de seguir em frente.

O Lakeflow Designer é um facilitador chave para escalar a engenharia de dados além da equipe técnica principal no Databricks. Ao fornecer uma interface visual integrada com recursos de linguagem natural, ele ajuda a reduzir o “gargalo de SQL”, permitindo que as equipes de negócios prototipem e iterem em pipelines com maior autonomia. Isso vai além da facilidade de uso - trata-se de alinhamento organizacional. Quando as transformações são visuais e acessíveis, a lacuna entre a intenção de negócios e a execução técnica diminui, acelerando a jornada de dados brutos para insights acionáveis. — Matheus Polycaropo, Líder de Engenharia de Dados, Serasa Experian

3. Cada transformação visual gera código real e pronto para produção
Cada transformação no Lakeflow Designer gera código Python pronto para produção por baixo dos panos. Esse código pode ser revisado, versionado em Git e integrado diretamente em fluxos de trabalho de produção maiores. Com o tempo, o Designer também suportará mais saídas de produção nativas, como visualizações materializadas. Isso, em última análise, reduz um dos maiores custos das ferramentas self-service: a entrega do trabalho para a engenharia para reconstruir para produção. Em vez de refazer o trabalho em outro sistema, as equipes de dados centrais podem construir sobre o que os usuários já criaram.

4. Sem licenças por usuário
Uma das maiores barreiras de adoção que vimos em ferramentas tradicionais de baixo código é o preço. O licenciamento baseado em assentos força as equipes a decidir antecipadamente quais usuários valem o acesso, retardando a adoção e limitando o self-service antes mesmo de começar.

Com o Lakeflow Designer, não há modelo de licença por usuário. Você paga apenas pela computação que usa. Todos na empresa podem participar do trabalho com dados sem criar um novo gargalo de aquisição.

Como as equipes estão usando o Lakeflow Designer

Já estamos vendo centenas de equipes em vários setores usando o Lakeflow Designer para preparar e trabalhar com dados de maneiras que antes eram difíceis de escalar sem suporte de engenharia.

Por exemplo:

• Equipes de consultoria e serviços profissionais usam o Lakeflow Designer para limpar dados de clientes de planilhas, PDFs e arquivos compartilhados, em seguida, aplicam fluxos de trabalho repetíveis de auditoria ou análise para produzir relatórios.
• Organizações de serviços financeiros usam o Lakeflow Designer para preparação de dados self-service, relatórios regulatórios e análise de risco.
• Equipes de negócios de marketing, operações e logística o usam para combinar dados de várias fontes, responder a perguntas operacionais e preparar dados para dashboards.

Também estamos vendo o Lakeflow Designer desempenhar um papel importante em toda a plataforma Databricks. As equipes o estão usando para preparar dados que fluem para Metric Views e dashboards de IA/BI, criando um loop self-service completo. Os analistas podem ir de tabelas brutas a dashboards polidos sem escrever código.

Com a adoção do Lakeflow Designer, simplificamos a construção de pipelines de dados e elevamos a qualidade das análises por meio de desenvolvimento low-code e recursos de IA potencializados por linguagem natural. Equipes não técnicas começaram a criar processos analíticos complexos de forma autônoma, gerando valor de negócios real e acelerando a tomada de decisões. Mais do que isso, a plataforma nos permitiu escalar uma cultura orientada a dados em toda a empresa, expandindo o alcance de análises avançadas para mais áreas e democratizando o acesso à inteligência de dados em toda a organização. — Carlos Gumz, Líder de Dados, Hering

Começando

O Designer está atualmente disponível em todos os workspaces. Para começar, clique no botão + Novo no canto superior esquerdo do workspace e selecione Preparação visual de dados. Se você não vir a opção Preparação visual de dados, o Designer pode precisar ser ativado por um administrador no portal de pré-visualização.

Aqui estão alguns outros próximos passos que você pode dar com o Lakeflow Designer:

• Assista a um vídeo de demonstração de 8 minutos do Lakeflow Designer: demo video
• Confira a página de documentação para obter recursos mais detalhados sobre como começar com o Lakeflow Designer.
• O feedback dos clientes continua a moldar o produto e desempenha um papel fundamental em nosso roteiro. Se você tiver algum feedback ou dúvida, adoraríamos ouvir você em [email protected].

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original