Anunciando a Prévia Pública do Lakebase

No Data and AI Summit, introduzimos uma nova categoria de bancos de dados operacionais chamada lakebases para construção de aplicações inteligentes. Hoje, estamos animados para anunciar a Prévia Pública do Databricks Lakebase, o primeiro banco de dados Postgres totalmente gerenciado para aplicativos de dados e IA. 

Os clientes estão combinando seus dados operacionais e analíticos para construir aplicações inteligentes: servindo recursos e modelos, construindo aplicações independentes ou analisando dados operacionais em uma casa de dados. Mas eles continuam a lutar com provisionamento, escalabilidade e a falta de uma experiência moderna de desenvolvimento para dados, porque as bases de dados não têm visto muita inovação nas últimas décadas. 

Lakebases fornecem uma solução para a era da IA. Neste blog, apresentaremos as principais características e benefícios do Databricks Lakebase, e delinearemos como os clientes já usam o Lakebase hoje.

Apresentando Lakebase

Bancos de dados OLTP não mudaram fundamentalmente desde os anos 90. Mesmo quando implantados na nuvem, esses bancos de dados legados são lentos e caros para provisionar e gerenciar. Bancos de dados operacionais são normalmente implantados em uma pilha separada da plataforma de análise, criando silos entre dados transacionais e analíticos. Além disso, esses bancos de dados também não se encaixam em um fluxo de trabalho de desenvolvimento moderno necessário para o desenvolvimento de IA. A arquitetura tradicional geralmente envolve bancos de dados separados para ambientes de desenvolvimento, teste, preparação e produção - cada um provisionado, preenchido e mantido separadamente.

Databricks Lakebase é uma base de dados inédita, construída com base em padrões de código aberto, com uma arquitetura altamente escalável, baseada na separação de computação e armazenamento, especificamente projetada para o desenvolvimento moderno de aplicações. Lakebase está profundamente integrado ao lakehouse para facilitar a combinação de pilhas operacionais, analíticas e de IA.

Construído com base no Postgres de código aberto 

Nos últimos 7 anos, o Postgres tornou-se a base de dados mais popular na comunidade de desenvolvedores e é a escolha de facto para aplicações modernas. É de código aberto, possui um ecossistema vibrante de extensões e é suportado por uma robusta comunidade de bibliotecas, ferramentas e frameworks. Os engenheiros já sabem como trabalhar com ele, e todos os modelos fundamentais são treinados em grandes quantidades de dados disponíveis para o ecossistema Postgres, tornando-o muito acessível para aplicações inteligentes e agentes.

Com suporte para extensões populares como PostGIS e pgvector, e um amplo ecossistema de drivers e ferramentas, o Lakebase oferece um rico conjunto de capacidades que serão familiares às equipes de desenvolvimento. 

Separação de Computação e Armazenamento

Lakebase aproveita uma arquitetura que separa computação e armazenamento, o que permite escalonamento independente enquanto suporta transações de baixa latência (<10ms) e alta concorrência (>10k qps).

O Lakebase é totalmente gerenciado pela Databricks, o que significa que não há infraestrutura para provisionar ou manter. O resultado é um serviço de banco de dados que remove atritos tanto da infraestrutura quanto dos processos de desenvolvimento, permitindo que as equipes avancem mais rápido sem comprometer o controle ou a confiabilidade.

• Alta disponibilidade com secundários legíveis: A alta disponibilidade em várias zonas protege contra falhas zonais ao provisionar recursos de computação secundários em várias zonas. Os secundários podem opcionalmente ser legíveis para fornecer isolamento e escalabilidade horizontal de cargas de trabalho de leitura.
• Armazenamento e recuperação de dados: Todas as transações são persistidas em armazenamento criptografado que é regionalmente durável e, portanto, protegido contra qualquer falha de zona única. A recuperação em um ponto específico no tempo está disponível através de uma janela de proteção de dados que oferece até 35 dias de tempo de recuperação.
• Ramificação para um ambiente de teste isolado ou recuperação em um ponto no tempo: O Lakebase usa ramificação de cópia na gravação para criar um clone instantâneo sem cópia do banco de dados, juntamente com computação dedicada para operar nessa ramificação. A ramificação filha é gerenciada independentemente da ramificação pai principal, e pode ser criada com base nos dados do pai no ponto atual no tempo, ou em um ponto anterior no tempo ou Número de Sequência de Log (LSN). Isso pode ser usado para criar um ambiente de teste isolado com dados de produção ou para operações de recuperação em um ponto no tempo.

DevEx moderno, construído para IA

O Lakebase é construído com a tecnologia Neon, que fornece ramificação de cópia na gravação e computação sem servidor com autoescala. A ramificação de cópia na gravação torna possível criar instantaneamente um novo banco de dados com os mesmos dados e esquema de um banco de dados existente, sem afetar o original. Este novo banco de dados é economicamente amigável porque não duplica os dados subjacentes. A computação sem servidor com autoescala proporciona tempos de início inferiores a um segundo e escala com base na demanda, com a escala para zero permitindo uma utilização de computação custo-efetiva.

Juntos, o autoescalamento sem servidor de computação e as capacidades de ramificação mudam completamente o paradigma de desenvolvimento para aplicações. Desenvolvedores podem criar instantaneamente um ramo de banco de dados para corresponder a cada ramo git e não precisam se preocupar em configurar novas instâncias de banco de dados, amostragem de dados para ambientes de desenvolvimento ou teste, ou hidratar vários bancos de dados.

Para desenvolvedores e agentes, isso significa que ambientes de banco de dados efêmeros podem ser rapidamente criados, usados e descomissionados praticamente sem custo, com praticamente nenhum esforço.

A experiência completa do desenvolvedor Neon no Lakebase e muitos outros recursos emocionantes estarão disponíveis em breve.

Integrado com o lakehouse

Lakebase integra uma camada de banco de dados transacional com o lakehouse e herda a maturidade operacional da Plataforma Databricks, incluindo observabilidade, segurança e controles de acesso. Lakebase sincroniza com as tabelas gerenciadas do Catálogo Unity, tornando rápido e fácil combinar cargas de trabalho operacionais, analíticas e de IA sem pipelines ETL personalizados. Como resultado, você pode construir aplicações inteligentes que consomem recursos ou previsões geradas no lakehouse e atualizam a camada analítica com dados operacionais frescos, tudo dentro de uma plataforma unificada.

• Sincronização de dados totalmente gerenciada: Pipelines de sincronização de dados fáceis de configurar fornecem uma maneira simples e escalável de gerenciar dados entre tabelas gerenciadas pelo Unity Catalog e o Lakebase. As opções de frequência de sincronização de dados incluem Snapshot único, Acionado ou Contínuo.
• Serviço de recursos e modelos: Sirva recursos e modelos de aprendizado de máquina para aplicações com o Lakebase como a loja de recursos online, e a casa de dados como a loja offline para treinamento e análise.
• Governança unificada: Aproveite a integração nativa com o Unity Catalog e a identidade Databricks para simplificar o controle de acesso em toda a plataforma. Utilize a Identidade Databricks e o OAuth para manter uma identidade consistente entre seus usuários operacionais e analíticos. Registre um banco de dados Postgres no Unity Catalog para fornecer governança unificada e controle de acesso para usuários de análise.
• Integração com Databricks Apps: Construa e implante aplicações completas no Databricks com o Lakebase alimentando interações transacionais. Databricks Apps suporta Lakebase como um tipo de recurso nativo.
• Ambiente de desenvolvimento unificado: Use o Editor SQL do Databricks para consultar diretamente o Lakebase, bem como navegar pelos dados.
• Monitoramento integrado: Fornece métricas chave do banco de dados, como transações por segundo, o número de conexões abertas e a utilização de recursos.
• Segurança de rede: O Lakebase está integrado com os recursos de segurança de rede empresarial da Databricks, incluindo PrivateLink e ACLs de IP, para fornecer uma segurança de rede consistente 
• Multi-cloud: O Lakebase está disponível em provedores de nuvem sem necessidade de replataforma. Na Prévia Pública, o Lakebase está disponível em Azure e AWS, com suporte para Google Cloud Platform a ser adicionado no futuro.

Clientes estão usando o Lakebase

Com centenas de clientes no programa de Pré-visualização Privada, tem sido emocionante ver a variedade de casos de uso, incluindo:

• Servindo dados e/ou recursos do lakehouse para aplicações como recomendações personalizadas, ou segmentação de clientes,
• Construção de aplicações e agentes para processamento de pedidos, aprovação de fluxo de trabalho interativo e chatbots.
• Analisar dados operacionais no lakehouse sincronizando dados para o lakehouse para análise de pedidos históricos, ou histórico de chatbot para dados de treinamento.

Na Heineken, nosso objetivo é nos tornar a cervejaria mais bem conectada. Para fazer isso, precisávamos de uma maneira de unificar todos os nossos conjuntos de dados para acelerar o caminho dos dados para o valor. Databricks tem sido há muito tempo nossa base para análises, criando insights como recomendações de produtos e melhorias na cadeia de suprimentos. Nossa plataforma de dados analíticos está agora evoluindo para ser uma plataforma de dados operacionais de IA e precisa entregar esses insights para aplicações com baixa latência.

—Jelle Van Etten, Chefe da Plataforma Global de Dados, Heineken

Na Tibber, capacitar os clientes a assumir o controle de seu consumo de energia requer uma infraestrutura de dados flexível. A integração do Lakebase com o Databricks facilita o fornecimento de dados analíticos e transacionais, ajudando-nos a fornecer insights em tempo real para nossos clientes.

— Niklas Nordansjö, Líder da Plataforma de Dados, Tibber AS

Uma forte rede de parceiros ajuda os clientes do Lakebase a trabalhar com seus parceiros tecnológicos existentes e Integradores de Sistemas para integração de dados, inteligência de negócios e governança. Estamos animados em ter um incrível grupo de parceiros de lançamento da indústria para o Lakebase.

Na dbt Labs, estamos mudando a forma como a engenharia de dados é feita. Com o novo Lakebase da Databricks, nossos clientes conjuntos agora poderão combinar dados transacionais de baixa latência e dados analíticos em uma única plataforma na Databricks. Isso nos ajudará a fornecer IA em escala empresarial para nossos clientes. Mal podemos esperar para inaugurar a nova era da análise com a Databricks.

— Ryan Segar, Diretor de Produto, dbt Labs

Resumo

Lakebase combina a familiaridade e extensibilidade do Postgres, a escalabilidade de uma arquitetura serverless moderna, uma experiência moderna para desenvolvedores, com a experiência unificada de dados do lakehouse e a maturidade operacional da Plataforma de Inteligência de Dados Databricks. Ao combinar esses elementos em uma única oferta totalmente gerenciada, o Lakebase permite que as equipes construam aplicações inteligentes e orientadas a dados sem a complexidade operacional tradicionalmente associada a sistemas transacionais.

O Lakebase está disponível na Prévia Pública com preços disponíveis aqui. Se você está procurando construir aplicações que incorporam análises e IA, é a peça que faltava em sua pilha, pronta para acelerar o desenvolvimento e simplificar as operações. Se você é um administrador de Workspace ou Conta, você pode ativá-lo diretamente a partir de sua Conta Databricks. Experimente hoje!

(This blog post has been translated using AI-powered tools) Original Post