Benefícios do Lakeflow Connect para ingestão de dados

O futuro da engenharia de dados na Databricks está no Lakeflow: a solução unificada para ingestão, transformação e orquestração. Você pode usar o Lakeflow Connect para ingerir dados de qualquer fonte, o Apache Spark™ Declarative Pipelines para transformar seus dados e o Lakeflow Jobs para orquestrar qualquer fluxo de trabalho. Juntos, eles permitem que os clientes forneçam dados mais atualizados e de maior qualidade para seus negócios.

O Lakeflow Connect oferece mais de 100 conectores nativos para ingestão de aplicativos empresariais, bancos de dados, fontes de conhecimento empresarial e eventos. Ele oferece uma interface de usuário do tipo aponte e clique e governança unificada por meio do Unity Catalog, fornecendo aos agentes de IA contexto empresarial completo. O Lakeflow Connect aproveita leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, escalável e econômica, enquanto seus dados permanecem atualizados para consumo downstream. Internamente, os pipelines do Lakeflow Connect são construídos com Apache Spark™ Declarative Pipelines. Além disso, muitos dos conectores leem e gravam apenas os dados alterados no sistema de origem. Por fim, aproveitamos a tecnologia específica da fonte da Arcion para otimizar cada conector quanto a desempenho e confiabilidade, além de limitar o impacto no sistema de origem.

Na lista crescente de conectores Lakeflow Connect, há vários tipos de conectores: conectores SaaS, conectores de banco de dados, conectores de origem de arquivos e conectores de streaming. Para obter a lista completa e atualizada, consulte a documentação. Conectores gerenciados estão em vários estados de versão, e conectores padrão oferecem níveis mais altos de personalização do pipeline de ingestão. Observe que o Lakeflow Connect usa serverless compute para Lakeflow Declarative Pipelines. Para obter orientações, consulte a documentação do Lakeflow Connect.

Sim. Oferecemos um nível gratuito permanente, onde cada workspace recebe 100 DBUs por dia sem custo, permitindo ingestão de até 100 milhões de registros por dia em fontes gerenciadas elegíveis. Para mais detalhes, consulte a página de preços.

O Lakeflow Connect foi desenvolvido para equipes de profissionais de dados e engenharia de dados que precisam trazer dados corporativos para a Plataforma Data + IA sem necessidade de programação personalizada pesada. Sua interface de usuário sem código e sua API simples permitem que os profissionais realizem a ingestão de dados por autoatendimento, enquanto a integração profunda com o Unity Catalog e o Lakehouse Monitoring oferece às equipes de governança e observabilidade os controles de que precisam. As organizações o aplicam em casos de uso, como análises 360 de clientes, painéis centralizados da força de trabalho de RH, gêmeos digitais de manufatura, processamento inteligente de documentos e análise de consumidores. Como a ingestão está totalmente integrada à plataforma, ela também alimenta os agentes de IA com o contexto de negócios completo de que precisam para um raciocínio confiável.

Clientes que estão abandonando pilhas de ETL legadas e middleware personalizado relatam ganhos de eficiência significativos após a adoção do Lakeflow Connect. Segundo seu estudo de caso, a equipe de BI da Panasonic reduziu os tempos de atualização do Power BI em 50% após migrar de uma pilha rígida de ETL legada para a Databricks Data + AI Platform. O Insulet eliminou o middleware frágil e problemático entre o Salesforce e o Databricks SQL, reduzindo a latência de dados de dias para minutos, e o Kotahi reduziu o tempo para extrair e preparar dados do Salesforce de aproximadamente três horas para 30 minutos após substituir uma ferramenta de ingestão de terceiros. Como os conectores são totalmente gerenciados, as equipes também evitam a manutenção contínua do pipeline que as camadas de ETL ou middleware criadas à mão normalmente exigem.

Você pode começar a usar o Lakeflow Connect gratuitamente seguindo a documentação de primeiros passos, que explica como configurar seu primeiro pipeline de ingestão. Todo workspace da Databricks também inclui um nível gratuito permanente com 100 DBUs por dia, o suficiente para ingerir até 100 milhões de registros diariamente em fontes gerenciadas elegíveis. Se quiser conhecer o produto primeiro, faça o tour pelos recursos do Lakeflow Connect e, quando estiver pronto para escalar, analise os detalhes de preços com base no uso.