Ir para o conteúdo principal

Databricks lança LTAP: A primeira arquitetura de processamento transacional/analítico em lake - Clonado

16 de junho de 2024

Databricks lança LTAP: A primeira arquitetura de processamento transacional/analítico em lake - Clonado
  • A Databricks lançou hoje o LTAP (Lake Transactional/Analytical Processing), uma nova arquitetura de processamento de dados que unifica OLAP e OLTP em uma única cópia de dados no lake, eliminando ETL, réplicas e pipelines por design.
  • O Lakebase, a base da arquitetura LTAP, agora atende a milhares de clientes e processa 12 milhões de inicializações de banco de dados por dia em toda a plataforma.
  • A Databricks é a primeira plataforma LTAP do mundo. Ela combina o Lakebase (Postgres serverless em armazenamento de objetos aberto) com o Lakehouse sob um único modelo de governança, fonte da verdade e camada de armazenamento para todos os dados operacionais, analíticos e de streaming.

DATA + AI SUMMIT – 16 de junho de 2026Databricks, a empresa de dados e IA, apresentou hoje o Lake Transactional/Analytical Processing (LTAP), uma nova arquitetura de processamento de dados que unifica transações, análises, streaming e dados operacionais em uma única cópia de armazenamento no lake. Com o LTAP, as empresas têm uma base única e governada para ler, raciocinar e agir, sem pipelines, réplicas ou a sobrecarga de ETL que definiu a infraestrutura de dados por décadas. Impulsionado por grandes avanços no Lakebase, o LTAP oferece uma nova base de dados para a era dos aplicativos de IA.

A nova base de dados para a era dos agentes

Por quatro décadas, as cargas de trabalho transacionais e analíticas viveram em sistemas separados: os bancos de dados operacionais atendiam às aplicações, os sistemas analíticos respondiam às perguntas. Fazer a ponte entre eles significava criar pipelines de CDC que são frágeis e propensos a falhas sob pressão. Isso já era uma troca ruim quando os humanos escreviam software na velocidade humana. Hoje, a IA ajuda os desenvolvedores a escrever cerca de 50 vezes mais aplicações do que antes, muitas das quais são alimentadas por agentes que precisam ler, raciocinar e agir sobre os dados quase em tempo real. A arquitetura antiga não foi criada para isso.

A indústria de dados já tentou resolver o problema de sistemas díspares antes. O HTAP prometeu unificar dados transacionais e analíticos em um único mecanismo, mas acabou com o isolamento de cargas de trabalho no processo, comprometeu o desempenho de ambos e deixou as organizações com uma infraestrutura proprietária enorme e cara. O Zero ETL adotou uma abordagem diferente, ocultando o pipeline de CDC em vez de eliminá-lo. O problema arquitetônico subjacente permaneceu.

O LTAP adota uma abordagem fundamentalmente diferente: em vez de forçar ambas as cargas de trabalho em um único mecanismo ou ocultar o pipeline, ele unifica os dados na camada de armazenamento. Todos os dados operacionais ficam imediatamente disponíveis para consulta e análise no lake, sem a necessidade de pipelines. As cargas de trabalho transacionais e analíticas escalam de forma independente, com desempenho total e isolamento estrito. E como o LTAP é baseado em padrões abertos, ele funciona com qualquer aplicação compatível com Postgres e qualquer leitor que entenda formatos de tabela abertos, como Iceberg e Delta.

“Por décadas, a infraestrutura de dados complicada foi uma taxa que as equipes eram forçadas a pagar”, disse Ali Ghodsi, cofundador e CEO da Databricks. “Então os agentes chegaram. Em questão de meses, as organizações praticamente dobraram sua força de trabalho, só que não com humanos. Os agentes escrevem código, fazem chamadas e executam loops em um ritmo que as equipes humanas nunca conseguiriam. A infraestrutura que alimentou a última era da computação é agora o gargalo que ninguém pode pagar. O LTAP elimina isso.”

Lakebase adiciona recuperação de desastres, ramificação no estilo Git e snapshots

O primeiro passo em direção ao LTAP foi o Lakebase, que trouxe transações nativas do Postgres para o armazenamento de objetos, a mesma camada que alimenta o Lakehouse. Ao separar a computação do armazenamento, o Lakebase transforma a economia de executar milhares de aplicações e agentes ao mesmo tempo. Lançado no ano passado, o Lakebase já atende a milhares de clientes, incluindo Block, Ensemble, Superhuman e Zillow, e processa 12 milhões de inicializações de banco de dados por dia.

Hoje, a Databricks anunciou novos recursos que expandem o Lakebase para IA empresarial em escala. A nova recuperação de desastres entre nuvens e regiões permite que as organizações criem arquiteturas de dados mais resilientes, o que é cada vez mais importante à medida que os agentes assumem operações de missão crítica. Além disso, a nova ramificação no estilo Git e snapshots permitem experimentações seguras em dados de produção, enquanto as operações autônomas de banco de dados permitem que os agentes monitorem a integridade, detectem lentidões, proponham índices e ajudem na recuperação.

Como o LTAP completa a arquitetura

O Lakebase e o Lakehouse já compartilhavam uma camada de armazenamento, mas cada um mantinha sua própria cópia de dados em seu próprio formato. O LTAP elimina essa lacuna. O Lakebase armazena dados diretamente no Unity Catalog, usando os mesmos formatos abertos do Lakehouse. O resultado é uma arquitetura mais limpa, definida por três propriedades que, juntas, eliminam as compensações que definiram a infraestrutura de dados corporativos por décadas:

  • Governança unificada, uma única fonte da verdade: Todos os dados operacionais, analíticos e de streaming residem em armazenamento de objetos aberto em formatos abertos — Delta e Iceberg — sem transformação ou degradação. Tudo é governado por meio do Unity Catalog com um único modelo de identidade, permissões e auditoria, para que cada mecanismo leia a mesma cópia e os agentes compartilhem uma única superfície governada para agir.
  • Sem perdas de desempenho para qualquer carga de trabalho: As cargas de trabalho transacionais são executadas no Postgres padrão com semântica ACID completa. As cargas de trabalho analíticas são executadas em todo o Lakehouse em qualquer escala e simultaneidade. Cada uma escala de forma independente e, como não há movimentação de dados entre sistemas, os resultados operacionais e analíticos estão sempre sincronizados — sem cópias ou infraestrutura paralela.
  • Sem pipelines de ETL (mesmo os ocultos): Não há pipelines sincronizando armazenamentos operacionais e analíticos, réplicas para manter ou conectores movendo dados entre sistemas. A arquitetura elimina totalmente a camada de ETL, reduzindo os custos operacionais de manter os sistemas sincronizados e garantindo que os dados permaneçam atualizados.

“Para os sistemas de saúde que atendemos, a velocidade e a precisão no ciclo de receita afetam diretamente a capacidade de prestar atendimento”, disse Grant Veazey, CTO da Ensemble. “Nosso investimento inicial com a Databricks nos ajudou a construir uma base governada que suporta mais de dois petabytes de dados de ciclo de receita limpos e harmonizados. O Lakebase e o LTAP estendem essa base ao unificar cargas de trabalho operacionais e analíticas em uma única camada, dando à nossa IA nativa de RCM o acesso em tempo real de que precisa para atuar em operações ativas. Isso se traduz em um desempenho financeiro mais forte para os provedores e em mais receita recuperada retornando para prontos-socorros, UTIs neonatais e outros serviços de cuidados críticos.”

Disponibilidade

O LTAP estará disponível em breve como parte do Lakebase.

Sobre a Databricks

A Databricks é a empresa de dados e IA. Mais de 20.000 organizações em todo o mundo — incluindo adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever e 70% da Fortune 500 — confiam na Databricks para criar e escalar aplicativos de dados e IA, análises e agentes. Sediada em São Francisco, com mais de 30 escritórios em todo o mundo, a Databricks oferece uma plataforma unificada que inclui Lakebase, Genie, Agent Bricks, Lakeflow, Lakehouse e Unity Catalog. Para saber mais, siga a Databricks no LinkedIn, X, YouTube e Instagram.

Pronto para se tornar uma empresa de dados + IA?