O lake é o armazenamento do banco de dados, e não uma réplica dele. É por isso que o Postgres continua rápido, a análise continua atualizada e nenhum pipeline de CDC é necessário
por Sergey Melnik
O artigo de Reynold Xin "From monolith to Lakebase to LTAP" explicou o que é o LTAP e como a arquitetura do Lakebase torna isso possível: uma única cópia governada de dados operacionais, atendendo tanto ao Postgres quanto à análise, sem pipeline de CDC e sem um segundo banco de dados.
Boa parte dos comentários seguintes analisou essa afirmação sob a perspectiva de sistemas que as pessoas já conhecem. Quatro interpretações surgiram com frequência:
Cada um desses mitos se baseia em uma suposição incorreta sobre como o Lakebase armazena dados. Vamos analisá-los um a um.
A realidade: O LTAP mantém uma cópia durável de cada tabela no lake. As camadas à frente dela retêm alguns dos mesmos bytes para tornar essa tabela durável e rápida, mas nenhuma delas é um segundo banco de dados.
De fora, o LTAP pode parecer um pipeline familiar. O Postgres grava linhas, um processo monitora o log, as alterações chegam a uma tabela Iceberg e a análise lê o Iceberg. Esse pipeline é o CDC. É também a estrutura de replicação lógica, espelhamento e da maioria dos produtos zero-ETL. Portanto, é fácil classificar o LTAP com o mesmo design.
Para entender por que não é, ajuda ser preciso sobre o que conta como uma segunda cópia. Há duas maneiras diferentes de um sistema acabar armazenando os mesmos dados em mais de um lugar:
Portanto, o teste é simples: esta camada pode ser consultada ou assumida como failover em seu próprio banco de dados? Se sim, é uma réplica. Se não, é uma camada.
Por esse critério, o Postgres sempre foi organizado em camadas. O WAL, o cache de buffer e os índices armazenam bytes que se sobrepõem ao heap. Ninguém chama um índice de réplica da tabela, pois ele não possui catálogo ou linha do tempo próprios.
O LTAP mantém essa mesma hierarquia. Ele a move para o armazenamento de objetos e permite que um mecanismo de lakehouse leia a camada inferior e durável.
Veja como é essa hierarquia no Lakebase, após uma gravação seguida de uma leitura:
O armazenamento de objetos em si funciona da mesma maneira. Quando você faz um PUT de um objeto no S3, ele é armazenado mais de uma vez, geralmente em várias zonas de disponibilidade usando codificação de apagamento (erasure coding). A API ainda nomeia um objeto e nenhum trabalho de sincronização é executado entre as cópias. O Lakebase aplica a mesma ideia em frente ao lake: log, caches, pageserver, armazenamento de objetos. Os arquivos extras são a forma como uma tabela se torna durável e rápida.
O CDC cria um segundo banco de dados. Ele decodifica um fluxo de alterações lógicas em um esquema externo, geralmente baseado em chave primária, e faz um upsert em uma tabela que a origem nunca relê. Essa segunda tabela pode ser consultada por conta própria e pode se distanciar da origem: os tipos podem divergir, o DDL pode sumir, um slot de replicação pode perder linhas e tabelas que ninguém selecionou nunca aparecem. O resultado são dois catálogos.
O LTAP não tem uma segunda tabela para manter sincronizada. Não há lista de tabelas para aderir. Uma tabela que existe no Postgres existe no lake, e as páginas que a primária serve são caches desse armazenamento.
A realidade: duas codificações sem perda das mesmas linhas podem atender a diferentes caminhos de acesso — páginas de heap para consultas pontuais, Parquet para varreduras. Cada consulta lê o layout que é rápido para ela.
Mesmo que os arquivos extras formem uma hierarquia, o layout continua sendo uma questão separada. Consultas pontuais são eficientes em linhas, varreduras são eficientes em colunas. Se houver apenas uma codificação em disco, um desses padrões de acesso consome I/O. Chamar a tabela de cópia lógica única não muda isso.
Esse raciocínio está correto, mas se baseia em uma suposição: a de que uma cópia implica uma única codificação. Não implica, desde que dois formatos possam representar as mesmas linhas sem perda.
Portanto, a questão é se os dois formatos do LTAP não têm perdas:
Como nada é perdido, a cópia colunar pode ser o repositório durável no lake, e as páginas de heap se tornam um cache dela. Cada caminho de acesso lê o formato que melhor lhe convém. As consultas acessam páginas de 8 KB no nó de computação, no disco local e no pageserver. As varreduras acessam o Parquet por meio de um mecanismo OLAP. Os índices permanecem na camada ativa; eles não são transcodificados para Parquet.
O Postgres já funciona assim. Ele mantém duas estruturas físicas sobre as mesmas linhas para diferentes caminhos de acesso: um heap e um índice de cobertura. Ninguém trata o índice como uma réplica CDC de cliente. SELECT * FROM t WHERE id = 1 e SELECT count(*) FROM t são dois caminhos de acesso sobre uma tabela.
Uma observação mais restrita é válida. Os arquivos colunares do Postgres são ordenados por heap: as linhas ficam na ordem dos números das páginas, porque a página é a unidade reescrita em cada compactação. Esse layout é eficiente para reconstruir uma página e para reescrever apenas páginas sujas. É uma chave de agrupamento ruim para WHERE order_date >= …. Se uma consulta de data warehouse precisar desse agrupamento, ele poderá ser derivado da mesma forma que as tabelas silver já são derivadas de qualquer fonte operacional. O que não é mais necessário é um pipeline de CDC cuja finalidade era criar a cópia no lake.
A realidade: todas as consultas analíticas leem um snapshot consistente. Os commits que ainda não chegaram ao lake são lidos a partir dos pageservers, para que nada confirmado antes da consulta seja perdido.
O Iceberg e o Delta oferecem isolamento de snapshot em armazenamento de objetos, e o armazenamento de objetos tem alta latência. Portanto, é natural concluir que a análise de dados está sempre atrasada, que muitas tabelas pequenas não conseguem se manter atualizadas e que uma junção (join) entre tabelas não pode ser consistente. Essa descrição se encaixa na ingestão de CDC em um lake.
Isso depende de uma suposição: que uma consulta só pode ver o que já foi gravado no armazenamento de objetos. No LTAP, uma consulta também pode ver páginas que ainda não estão no armazenamento de objetos. Isso muda o resultado, e é mais fácil entender acompanhando uma consulta.
Quando uma consulta analítica começa,
O Postgres não lida com o tráfego de leitura em massa; ele retorna um número e, no máximo, essas páginas recentes. O lake não precisa conter a confirmação mais recente para que ela esteja visível. Ele precisa conter quase tudo, além de uma maneira de buscar as páginas confirmadas após a última materialização. O LSN é o limite: ele indica ao motor até onde a mesclagem deve ir.
O mesmo LSN também mantém as junções (joins) consistentes. O CDC é aplicado tabela por tabela, de modo que uma relação pode estar em uma posição de slot posterior a outra, e uma junção (join) mistura dois pontos no tempo. O LTAP lê cada tabela em um único LSN, o mesmo tipo de limite que o Postgres usa para REPEATABLE READ, em vez de usar o último momento em que cada pipeline foi finalizado. Esse LSN é uma marca d'água compartilhada. APIs para ler alterações recentes desde uma marca d'água estão sendo desenvolvidas tanto nativamente para o Lakebase quanto como uma extensão para o Postgres upstream.
Tabelas pequenas representam um custo de metadados, e não uma limitação de atualização. A sobrecarga do Iceberg são arquivos e snapshots. Para uma relação com poucas linhas, essa contabilidade custa mais do que economiza, e o layout não importa para o desempenho da varredura. Essas tabelas permanecem no cache de páginas, participam da leitura consistente por LSN e ignoram a confirmação do Iceberg.
Isso deixa duas afirmações que parecem iguais, mas não são:
O snapshot colunar materializado pode ficar atrasado em relação ao primário pelo intervalo de compactação mais recente, mas a consulta em si não fica. O fato de os arquivos Parquet poderem estar atrasados por vários minutos não significa que um leitor não consiga ver os dados confirmados.
A realidade: a replicação lógica é uma maneira custosa de manter o lake sincronizado com o banco de dados. Ela reproduz cada alteração, linha por linha, e precisa de um pipeline que consiga acompanhar o ritmo. Descodificar o WAL em paralelo não resolve isso, porque os registros de log não podem ser processados de forma independente.
Uma maneira padrão de obter análises em um Postgres atualizado é ativar a replicação lógica. Debezium, PeerDB, pgoutput e ferramentas semelhantes partem da constatação de que o banco de dados já emite um fluxo de alterações e perguntam qual formato de armazenamento é necessário além disso.
A questão é se um fluxo de alterações é uma boa maneira de construir uma tabela no lake. Duas propriedades do fluxo dizem que não: a quantidade que ele precisa ler e a quantidade de estado que precisa carregar.
A replicação lógica lê todas as alterações
O WAL é um log físico de edições de página, escrito para que o Postgres possa falhar e se recuperar. A decodificação lógica o transforma em eventos de linha na ordem de confirmação. Essa conversão não consegue condensar muitas atualizações na mesma página na imagem atual da página; cada alteração precisa passar por ela. Em uma página movimentada, o Postgres pode registrar os mesmos 8 KB cem vezes entre os pontos de verificação (checkpoints). A decodificação lógica emite cem eventos, e um job subsequente faz o upsert deles no Parquet por chave primária. Em contrapartida, um caminho de organização em camadas de páginas (page-tiering) lê a página uma vez. Nas cargas de trabalho intensivas em gravação que medimos, o CDC lê pelo menos o volume do WAL, enquanto a compactação de páginas sujas pode ler uma fração dele.
A replicação lógica carrega estado
Um slot de replicação é um cursor para o WAL que o consumidor deve continuar avançando. Se o consumidor ficar para trás, o WAL permanecerá no disco até que o slot seja descartado ou o disco fique cheio. A decodificação lógica não emite DDL, portanto, ALTER TABLE, alterações de tipo e renomeações tornam os eventos inconsistentes com o catálogo atual ou invalidam o slot. Tabelas sem chave primária precisam de REPLICA IDENTITY FULL. Como o pipeline é caro, ele geralmente é aplicado a um submetodo de tabelas. Isso é o oposto de todas as tabelas do Postgres aparecerem no lake simplesmente por existirem.
Uma afirmação relacionada: a decodificação lógica pode ser ignorada e o WAL decodificado em paralelo
Os pageservers já consomem o WAL, portanto, um caminho paralelo de log para Parquet pode parecer uma pequena etapa adicional. É possível em princípio. Ele não foi construído como um extrator de produção e não é o caminho que o LTAP usa. Os registros do WAL são ordenados porque os posteriores dependem dos anteriores. A visibilidade reside em pg_xact, na matriz de processos e no catálogo naquele LSN, e não na tupla. Trabalhadores independentes não podem decodificar, cada um, um intervalo de bytes disjunto e emitir as linhas atuais corretas.
O que o LTAP paraleliza são páginas, e não registros de log. O sistema pergunta quais páginas foram alteradas desde o último snapshot (resumos de WAL no Postgres 17+ ou árvores de fusão estruturadas em log do pageserver), e cada página suja é um trabalho independente. Esse conjunto é particionado, as páginas são transcodificadas e um snapshot do Iceberg é confirmado. O log é a forma como as gravações foram tornadas duráveis e uma maneira de descobrir quais páginas mudaram. O snapshot são as páginas atuais, e não uma reprodução de cada registro que as sujou.
Nada disso torna a replicação a ferramenta errada para suas funções pretendidas: migrações, grandes atualizações de versão e transições para um segundo Postgres. Mas usar a replicação lógica como armazenamento produz uma segunda fonte da verdade.
Todos os quatro mitos vêm do mesmo mal-entendido: tratar cada materialização dos dados como um segundo banco de dados.
O LTAP mantém uma tabela lógica, e o lake é sua cópia durável. Páginas de heap, índices e caches são a forma como o Postgres atende a essa tabela com latência de OLTP, assim como um índice de cobertura atende a consultas sobre um heap. Um motor (engine) OLAP examina o Parquet diretamente e mescla alterações consistentes com transações desde a última materialização.
Nenhuma dessas camadas adiciona um segundo catálogo ou uma segunda fonte da verdade que possa divergir.
Para uma análise aprofundada de como a arquitetura de armazenamento do Lakebase leva ao LTAP, veja esta publicação.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.