Databricks + Neon

Aujourd'hui, nous sommes ravis d'annoncer que nous avons convenu d'acquérir Neon, une entreprise Postgres serverless axée sur les développeurs. Les cofondateurs de Neon font partie des rares personnes au monde capables de réarchitecturer Postgres avec une véritable séparation du stockage et du calcul, conçue pour les développeurs modernes et les systèmes d'IA. Leur équipe de classe mondiale de hackers Postgres et de vétérans des bases de données rejoindra Databricks pour fournir Postgres serverless à l'échelle de la production aux développeurs dans un monde natif de l'IA.

Une mission axée sur les développeurs, née de l'expertise Postgres

Il y a quatre ans, les cofondateurs de Neon se sont réunis avec une vision : bouleverser le secteur des bases de données. Ils ont constaté que les fondations des technologies de base de données étaient largement conçues pour l'ère des années 90. Leur objectif était de construire une nouvelle plateforme de base de données qui améliorerait considérablement l'expérience des développeurs, de plusieurs manières fondamentales :

1. Ils ont prévu que Postgres deviendrait la norme de facto pour les bases de données et ont eu la vision de créer une plateforme Postgres serverless.
2. Ils étaient déterminés à rendre possible la création d'une nouvelle instance Postgres en quelques secondes, afin que les développeurs n'aient pas à attendre. 
3. Ils ont entrepris de simplifier l'aspect opérationnel de la mise à l'échelle des bases de données en l'automatisant au fur et à mesure que la charge changeait, afin que les développeurs puissent commencer très petit et ne pas se soucier du sur- ou du sous-provisionnement.
4. Ils voulaient permettre une expérimentation et des tests rapides en prenant en charge la bifurcation et la ramification instantanées des bases de données et en créant des bases de données entièrement isolées, car les bases de données sont souvent l'un des modules les plus difficiles à tester lors des tests d'application de bout en bout.

Après quelques années, l'équipe Neon a conçu une nouvelle architecture de base de données innovante qui découple la mise à l'échelle du stockage de la mise à l'échelle du calcul, ce qui a finalement permis d'atteindre tous les objectifs ci-dessus. Lorsque Neon a été lancé pour la première fois, les développeurs ont salué la vitesse, la simplicité et la possibilité de créer des branches et de bifurquer leurs bases de données comme Git le fait pour le code.

Le passage aux agents d'IA

Lorsque Neon est passé en GA l'année dernière, ils ont remarqué une statistique intéressante : 30 % des bases de données ont été créées par des agents d'IA, et non par des humains. Lorsqu'ils ont examiné à nouveau leurs statistiques récemment, le nombre est passé de 30 % à plus de 80 %. Autrement dit, les agents d'IA créaient 4 fois plus de bases de données que les humains.

Si vous considérez les agents d'IA comme votre propre équipe massive de jeunes développeurs à grande vitesse (potentiellement « encadrés » par des développeurs seniors), il n'est pas surprenant que les mêmes capacités sur lesquelles l'équipe Neon s'est concentrée et qui ont fait de Neon un excellent outil pour les développeurs aient également fait de Neon un excellent outil pour ces agents d'IA :

1. Écosystème open source Postgres : tous les LLM de pointe ont été formés sur la grande quantité d'informations publiques disponibles sur l'écosystème open source Postgres. Tous les agents d'IA sont donc des experts dans l'utilisation de Neon, qui est basé sur Postgres.
2. Vitesse : les bases de données traditionnelles ont été conçues pour que les humains les provisionnent et les exploitent. Il était acceptable de prendre quelques minutes pour lancer une base de données. Étant donné que les agents d'IA fonctionnent à la vitesse de la machine, le temps de provisionnement ultra rapide devient essentiel.
3. Mise à l'échelle et tarification élastiques : L'architecture serverless de stockage découplé du calcul permet de créer des instances Postgres à très faible coût. Il est désormais possible de lancer des milliers, voire des millions d'agents avec leurs propres bases de données de manière rentable.
4. Ramification et bifurcation : les agents d'IA peuvent être non déterministes, et les « vibrations » doivent être vérifiées et validées. La capacité de Neon à créer instantanément une copie complète d'une base de données, non seulement pour le schéma, mais aussi pour les données, permet à tous ces agents d'IA de fonctionner sur leur propre instance de base de données isolée en haute fidélité pour l'expérimentation et la validation.

ADN commun

Nous connaissons Nikita Shamgunov, Heikki Linnakangas et Stas Kelvich, les fondateurs de Neon, depuis longtemps. Avant Neon, Nikita a commencé sa carrière en travaillant sur SQL Server, puis est devenu un membre reconnu de la communauté des bases de données en tant que cofondateur et PDG de SingleStore, menant l'entreprise à un chiffre d'affaires annuel de plus de 100 millions de dollars. Heikki est un contributeur à Postgres depuis deux décennies. Il a commencé son parcours Postgres lorsqu'il s'ennuyait pendant son congé de paternité et a décidé d'examiner les rouages de Postgres pour le plaisir. Stas est un ancien physicien qui s'est lancé dans le hacking de Postgres parce qu'il avait besoin d'une meilleure implémentation de l'arbre R pour sa startup de moteur de recherche touristique.

Databricks et Neon partagent le même ADN dans la construction d'innovations techniques fondamentales au niveau de l'infrastructure. Nous partageons également la conviction de l'importance de l'open source : nous avons initialement lancé le projet Apache Spark™ à l'UC Berkeley, qui se trouve également être le lieu de naissance de Postgres, le projet de base de données open source sur lequel Neon s'appuie.

Perspectives d'avenir

Les bases de données OLTP représentent un marché de 100 milliards de dollars dominé par des produits construits il y a des décennies. Nous pensons qu'il est temps que ce marché soit perturbé par les développeurs et les agents d'IA. Avec l'équipe Neon, nous sommes impatients de construire la plateforme de base de données la plus conviviale pour les développeurs et les agents d'IA.

Qu'est-ce que cela signifie pour les clients et partenaires Neon existants ? Nous sommes pleinement engagés dans l'avenir de la plateforme Neon. La feuille de route reste ambitieuse et nous avons l'intention de continuer à faire de Neon la meilleure plateforme de base de données pour les développeurs. Après la clôture, les clients et partenaires existants peuvent s'attendre à un soutien et à une innovation continus, désormais avec le soutien et les ressources complètes de Databricks. C'est un grand moment pour les utilisateurs de Neon existants, et un moment passionnant pour les développeurs qui découvrent Neon. Lancez une nouvelle instance Postgres sur Neon dès aujourd'hui !

Nous sommes également enthousiastes quant à ce que cela signifiera pour les clients d'entreprise de Databricks. Nous prévoyons d'en partager beaucoup plus lors du prochain Data + AI Summit à San Francisco, du 9 au 12 juin.

Consultez le blog de Neon pour entendre directement ce qu'ils ont à dire sur les raisons pour lesquelles ils sont enthousiastes à l'idée de joindre leurs forces.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original