Databricks + Neon

Hoje, temos o prazer de anunciar que concordamos em adquirir a Neon, uma empresa de Postgres serverless focada em desenvolvedores. Os cofundadores da Neon estão entre as pouquíssimas pessoas no mundo que poderiam rearquitetar o Postgres com separação real de armazenamento e computação, construído para desenvolvedores modernos e sistemas de IA. Sua equipe de classe mundial de hackers de Postgres e veteranos de banco de dados se juntará à Databricks para entregar Postgres serverless em escala de produção para desenvolvedores em um mundo nativo de IA.

Uma missão focada em desenvolvedores, nascida da expertise em Postgres

Há quatro anos, os cofundadores da Neon se uniram com a visão de revolucionar a indústria de bancos de dados. Eles observaram que as bases das tecnologias de banco de dados foram em grande parte projetadas para a era dos anos 90. Seu objetivo era construir uma nova plataforma de banco de dados que melhoraria drasticamente as experiências dos desenvolvedores, de algumas maneiras fundamentais:

1. Eles previram que o Postgres se tornaria o padrão de fato para bancos de dados e tiveram a visão de criar uma plataforma Postgres serverless.
2. Eles estavam determinados a possibilitar a criação de uma nova instância Postgres em segundos, para que os desenvolvedores não precisassem esperar. 
3. Eles se propuseram a simplificar o aspecto operacional do dimensionamento de banco de dados, automatizando-o conforme a carga mudava, para que os desenvolvedores pudessem começar com algo muito pequeno e não se preocupar com provisionamento excessivo ou insuficiente.
4. Eles queriam permitir experimentação e testes rápidos, suportando fork e branch instantâneos de bancos de dados e criando bancos de dados totalmente isolados, pois os bancos de dados são frequentemente um dos módulos mais difíceis de testar em testes de aplicativos de ponta a ponta.

Após alguns anos, a equipe da Neon projetou uma arquitetura de banco de dados nova e inovadora que desacopla o dimensionamento de armazenamento do dimensionamento de computação, o que, em última análise, possibilitou todos os objetivos acima. Quando a Neon foi lançada pela primeira vez, os desenvolvedores elogiaram a velocidade, a simplicidade e a capacidade de fazer branch e fork de seus bancos de dados como o Git faz para o código.

A mudança em direção a agentes de IA

Quando a Neon atingiu o GA no ano passado, eles notaram uma estatística interessante: 30% dos bancos de dados foram criados por agentes de IA, não por humanos. Quando eles olharam suas estatísticas novamente recentemente, o número passou de 30% para mais de 80%. Ou seja, agentes de IA estavam criando 4 vezes mais bancos de dados do que humanos.

Se você pensar em agentes de IA como sua própria equipe massiva de desenvolvedores juniores de alta velocidade (potencialmente "mentoreados" por desenvolvedores seniores), não é surpreendente que as mesmas capacidades nas quais a equipe da Neon se concentrou, que tornaram a Neon ótima para desenvolvedores, também a tornaram ótima para esses agentes de IA:

1. Ecossistema de código aberto do Postgres: Todos os LLMs de ponta foram treinados na vasta quantidade de informações públicas disponíveis sobre o ecossistema de código aberto do Postgres, então todos os agentes de IA são especialistas no uso da Neon, que é construída sobre o Postgres.
2. Velocidade: Bancos de dados tradicionais foram projetados para que humanos provisionassem e operassem. Era aceitável levar minutos para iniciar um banco de dados. Como os agentes de IA operam em velocidade de máquina, o tempo de provisionamento ultrarrápido se torna crítico.
3. Escalabilidade elástica e precificação: A arquitetura serverless com armazenamento e computação desacoplados possibilita instâncias Postgres de custo extremamente baixo. Agora é possível lançar milhares ou até milhões de agentes com seus próprios bancos de dados de forma econômica.
4. Branching e forking: Agentes de IA podem ser não determinísticos, e "vibes" precisam ser verificadas e validadas. A capacidade da Neon de criar instantaneamente uma cópia completa de um banco de dados, não apenas para o esquema, mas também para os dados, permite que todos esses agentes de IA operem em sua própria instância de banco de dados isolada em alta fidelidade para experimentação e validação.

DNA Compartilhado

Conhecemos há muito tempo Nikita Shamgunov, Heikki Linnakangas e Stas Kelvich – os fundadores da Neon. Antes da Neon, Nikita começou sua carreira trabalhando no SQL Server e mais tarde se tornou bem conhecido na comunidade de bancos de dados como cofundador e CEO da SingleStore, impulsionando o negócio da startup para mais de US$ 100 milhões em receita anual. Heikki é um committer no Postgres há duas décadas - ele começou sua jornada no Postgres quando estava entediado na licença paternidade e decidiu olhar os internos do Postgres por diversão. Stas é um ex-físico que entrou no hacking de Postgres porque precisava de uma implementação de R-tree melhor para sua startup de mecanismo de busca de turismo.

Databricks e Neon compartilham o mesmo DNA na construção de inovações técnicas hardcore na camada de infraestrutura. Também compartilhamos a crença na importância do código aberto: originalmente iniciamos o projeto Apache Spark™ na UC Berkeley, que também é o local de nascimento original do Postgres, o projeto de banco de dados de código aberto no qual a Neon se baseia.

Olhando para o futuro

Bancos de dados OLTP representam um mercado de US$ 100 bilhões dominado por produtos criados décadas atrás. Acreditamos que é hora de este mercado ser revolucionado por desenvolvedores e agentes de IA. Juntamente com a equipe da Neon, esperamos construir a plataforma de banco de dados mais amigável para desenvolvedores e agentes de IA.

O que isso significa para os clientes e parceiros existentes da Neon? Estamos totalmente comprometidos com o futuro da plataforma Neon. O roadmap continua ambicioso e pretendemos continuar fazendo da Neon a melhor plataforma de banco de dados para desenvolvedores. Após o fechamento, os clientes e parceiros existentes podem esperar suporte e inovação contínuos – agora com o apoio total e os recursos da Databricks. É um ótimo momento para os usuários existentes da Neon e um momento emocionante para os desenvolvedores que estão descobrindo a Neon. Crie uma nova instância Postgres na Neon hoje mesmo!

Estamos igualmente entusiasmados com o que isso significará para os clientes empresariais da Databricks. Planejamos compartilhar muito mais no próximo Data + AI Summit em São Francisco, de 9 a 12 de junho.

Confira o blog da Neon para ouvir diretamente deles sobre por que eles estão animados para unir forças.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original