Anunciando o Lakebase em Preview Público

Na Data and AI Summit, apresentamos uma nova categoria de bancos de dados operacionais chamada lakebases para a criação de aplicações inteligentes. Hoje, temos o prazer de anunciar a Public Preview do Databricks Lakebase, o primeiro banco de dados Postgres totalmente gerenciado, criado para aplicações de dados e IA. 

Os clientes estão combinando seus dados operacionais e analíticos para criar aplicações inteligentes: servindo features e modelos, construindo aplicações independentes ou analisando dados operacionais em um lakehouse. No entanto, eles continuam enfrentando dificuldades no provisionamento, escalabilidade e na falta de uma experiência moderna para desenvolvedores de dados, pois os bancos de dados não tiveram muitas inovações nas últimas décadas. 

Lakebases oferecem uma solução para a era da IA. Neste blog, apresentaremos os principais recursos e benefícios do Databricks Lakebase e descreveremos como os clientes já o utilizam hoje.

Apresentando Lakebase

Bancos de dados OLTP não mudaram fundamentalmente desde os anos 90. Mesmo quando implantados na nuvem, esses bancos de dados legados são lentos e caros para provisionar e gerenciar. Bancos de dados operacionais são tipicamente implantados em uma stack separada da plataforma de análise, criando silos entre dados transacionais e analíticos. Além disso, esses bancos de dados também não se encaixam em um fluxo de trabalho de desenvolvimento moderno necessário para o desenvolvimento de IA. A arquitetura tradicional geralmente envolve bancos de dados separados para ambientes de desenvolvimento, teste, homologação e produção - cada um provisionado, populado e mantido separadamente.

Databricks Lakebase é um banco de dados pioneiro, construído sobre padrões open source, com uma arquitetura altamente escalável, baseada na separação de computação e armazenamento, especificamente projetado para o desenvolvimento de aplicações modernas. Lakebase é profundamente integrado ao lakehouse para facilitar a combinação de stacks operacionais, analíticas e de IA.

Construído sobre Postgres open source 

Nos últimos 7 anos, Postgres se tornou o banco de dados mais popular na comunidade de desenvolvedores e é a escolha de banco de dados de fato para aplicações modernas. É open source, possui um ecossistema vibrante de extensões e é suportado por uma comunidade robusta de bibliotecas, ferramentas e frameworks. Engenheiros já sabem como trabalhar com ele, e todos os modelos fundamentais são treinados em vastas quantidades de dados disponíveis para o ecossistema Postgres, tornando-o muito acessível para aplicações e agentes inteligentes.

Com suporte para extensões populares como PostGIS e pgvector, e um amplo ecossistema de drivers e ferramentas, Lakebase oferece um rico conjunto de funcionalidades que serão familiares às equipes de desenvolvimento. 

Separação de Computação e Armazenamento

Lakebase utiliza uma arquitetura que separa computação e armazenamento, permitindo escalabilidade independente enquanto suporta baixa latência (<10ms) e transações de alta concorrência (>10k qps).

Lakebase é totalmente gerenciado pelo Databricks, o que significa que não há infraestrutura para provisionar ou manter. O resultado é um serviço de banco de dados que remove barreiras tanto dos processos de infraestrutura quanto de desenvolvimento, permitindo que as equipes avancem mais rapidamente sem comprometer o controle ou a confiabilidade.

• Alta disponibilidade com réplicas legíveis: Alta disponibilidade multizona protege contra falhas zonais provisionando recursos de computação secundários em diferentes zonas. As réplicas podem ser opcionalmente legíveis para fornecer isolamento e escalabilidade horizontal de cargas de trabalho de leitura.
• Armazenamento e recuperação de dados: Todas as transações são persistidas em armazenamento criptografado que é durável regionalmente e, portanto, protegido contra qualquer falha de zona única. A recuperação point-in-time está disponível através de uma janela de proteção de dados que oferece até 35 dias de tempo de recuperação.
• Branching para um ambiente de teste isolado ou recuperação point-in-time: Lakebase usa copy-on-write branching para criar um clone instantâneo zero-copy do banco de dados, juntamente com computação dedicada para operar nesse branch. O branch filho é gerenciado independentemente do branch pai principal e pode ser criado com base nos dados do pai no ponto atual no tempo, ou em um ponto anterior no tempo ou Log Sequence Number (LSN). Isso pode ser usado para criar um ambiente de teste isolado com dados de produção ou para operações de recuperação point-in-time.

DevEx Moderna, Construído para IA

Lakebase é construído sobre a tecnologia Neon, que oferece copy-on-write branching e computação serverless com autoescalonamento. O copy-on-write branching permite criar instantaneamente um novo banco de dados com os mesmos dados e schema de um banco de dados existente, sem afetar o original. Este novo banco de dados é economicamente vantajoso porque não duplica os dados subjacentes.  O autoescalonamento serverless de computação oferece tempos de inicialização inferiores a um segundo e escala com base na demanda, permitindo a utilização de computação de forma econômica com escalonamento para zero.

Combinados, o autoescalonamento serverless de computação e as funcionalidades de branching mudam completamente o paradigma de desenvolvimento para aplicações. Desenvolvedores podem criar instantaneamente um branch de banco de dados para corresponder a cada branch git e não precisam se preocupar em configurar novas instâncias de banco de dados, amostrar dados para ambientes de desenvolvimento ou teste, ou hidratar múltiplos bancos de dados.

Para desenvolvedores e agentes, isso significa que ambientes de banco de dados efêmeros podem ser rapidamente criados, usados e desativados com custo virtualmente zero e esforço virtualmente zero.

A experiência completa de desenvolvimento Neon no Lakebase e muitos outros recursos interessantes estarão disponíveis em breve.

Integrado com o lakehouse

Lakebase integra uma camada de banco de dados transacional com o lakehouse e herda a maturidade operacional da Databricks Platform, incluindo observabilidade, segurança e controles de acesso. Lakebase sincroniza com tabelas gerenciadas do Unity Catalog, tornando rápido e fácil combinar cargas de trabalho operacionais, analíticas e de IA sem pipelines de ETL customizados. Como resultado, você pode construir aplicações inteligentes que consomem features ou previsões geradas no lakehouse e atualizam a camada analítica com dados operacionais recentes, tudo dentro de uma plataforma unificada.

• Sincronização de dados totalmente gerenciada: Pipelines de sincronização de dados fáceis de configurar oferecem uma maneira simples e escalável de gerenciar dados entre tabelas gerenciadas do Unity Catalog e Lakebase. As opções de frequência de sincronização de dados incluem Snapshot único, Disparada ou Contínua.
• Serviço de Features e Modelos: Sirva features e modelos de machine learning para aplicações com Lakebase como o feature store online, e o lakehouse como o store offline para treinamento e análise.
• Governança Unificada: Aproveite a integração nativa com o Unity Catalog e a identidade Databricks para simplificar o controle de acesso em toda a plataforma. Utilize a Identidade Databricks e o OAuth para manter uma identidade consistente entre seus usuários operacionais e analíticos. Registre um banco de dados Postgres no Unity Catalog para fornecer governança unificada e controle de acesso para usuários de análise.
• Integração com Databricks Apps: Construa e implante aplicações full-stack no Databricks com Lakebase alimentando interações transacionais. Databricks Apps suportam Lakebase como um tipo de recurso nativo.
• Ambiente de desenvolvimento unificado: Use o Databricks SQL Editor para consultar diretamente o Lakebase, bem como navegar pelos dados.
• Monitoramento integrado: Fornece métricas chave do banco de dados, como transações por segundo, número de conexões abertas e utilização de recursos.
• Segurança de rede: Lakebase é integrado com os recursos de segurança de rede corporativa do Databricks, incluindo PrivateLink e IP ACLs, para fornecer segurança de rede consistente.
• Multi-cloud: Lakebase está disponível em diferentes provedores de nuvem sem replatforming. Na Public Preview, Lakebase está disponível em Azure e AWS, com suporte para Google Cloud Platform a ser adicionado no futuro.

Clientes estão usando Lakebase

Com centenas de clientes no programa Private Preview, tem sido empolgante ver a variedade de casos de uso, incluindo:

• Servir dados e/ou features do lakehouse para aplicações como recomendações personalizadas ou segmentação de clientes,
• Construir aplicações e agentes para processamento de pedidos, aprovação interativa de fluxos de trabalho e chatbots.
• Analisar dados operacionais no lakehouse sincronizando dados para o lakehouse para análise histórica de pedidos, ou histórico de chatbots para dados de treinamento.

Na Heineken, nosso objetivo é ser a cervejaria mais conectada. Para isso, precisávamos de uma forma de unificar todos os nossos conjuntos de dados para acelerar o caminho dos dados ao valor. A Databricks tem sido nossa base para análise há muito tempo, criando insights como recomendações de produtos e melhorias na cadeia de suprimentos. Nossa plataforma de dados analíticos está evoluindo para ser uma plataforma de dados de IA operacional e precisa entregar esses insights para aplicações com baixa latência. — Jelle Van Etten, Head of Global Data Platform, Heineken

Na Tibber, capacitar os clientes a controlar o consumo de energia requer uma infraestrutura de dados flexível. A integração do Lakebase com a Databricks facilita o fornecimento de dados analíticos e transacionais, ajudando-nos a entregar insights em tempo real aos nossos clientes. — Niklas Nordansjö, Data Platform Lead, Tibber AS

Uma forte rede de parceiros ajuda os clientes do Lakebase a trabalhar com seus parceiros de tecnologia e Integradores de Sistemas existentes para integração de dados, business intelligence e governança. Estamos animados em ter um grupo incrível de parceiros de lançamento da indústria para o Lakebase.

Na dbt Labs, estamos mudando a forma como a engenharia de dados é feita. Com o novo Lakebase da Databricks, nossos clientes conjuntos poderão combinar dados transacionais de baixa latência e dados analíticos em uma única plataforma na Databricks. Isso nos ajudará a entregar IA em escala empresarial para nossos clientes. Mal podemos esperar para inaugurar a nova era da análise com a Databricks. — Ryan Segar, Chief Product Officer, dbt Labs

Resumo

O Lakebase combina a familiaridade e extensibilidade do Postgres, a escalabilidade de uma arquitetura serverless moderna, uma experiência de desenvolvedor moderna, com a experiência de dados unificada do lakehouse e a maturidade operacional da Databricks Data Intelligence Platform. Ao combinar esses elementos em uma oferta única e totalmente gerenciada, o Lakebase permite que as equipes criem aplicações inteligentes e orientadas por dados sem a complexidade operacional tradicionalmente associada aos sistemas transacionais.

O Lakebase está disponível em Preview Pública com preços disponíveis aqui. Se você está procurando construir aplicações que incorporem análise e IA, é a peça que faltava em sua stack, pronta para acelerar o desenvolvimento e simplificar as operações. Se você é um administrador de Workspace ou Conta, pode ativá-lo diretamente de seu Databricks Workspace. Experimente hoje mesmo!

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original