Databricks + Neon

Aujourd'hui, nous sommes ravis d'annoncer que nous avons conclu un accord pour acquérir Neon, une entreprise spécialisée dans les bases de données Postgres serverless, axée sur les développeurs. Les cofondateurs de Neon font partie des rares personnes au monde capables de réarchitecturer Postgres avec une séparation réelle du stockage et du calcul, conçue pour les développeurs modernes et les systèmes d'IA. Leur équipe de classe mondiale d'experts en Postgres et de vétérans des bases de données rejoindra Databricks pour fournir des solutions Postgres serverless à l'échelle de la production pour les développeurs dans un monde axé sur l'IA.

Une mission axée sur les développeurs, née de l'expertise Postgres

Il y a quatre ans, les cofondateurs de Neon se sont réunis avec la vision de révolutionner l'industrie des bases de données. Ils ont observé que les fondements des technologies de bases de données étaient largement conçus pour l'ère des années 90. Leur objectif était de construire une nouvelle plateforme de base de données qui améliorerait considérablement l'expérience des développeurs, de manière fondamentale :

1. Ils ont anticipé que Postgres deviendrait la norme de facto pour les bases de données et ont eu la vision de créer une plateforme Postgres serverless.
2. Ils étaient déterminés à permettre la création d'une nouvelle instance Postgres en quelques secondes, afin que les développeurs n'aient pas à attendre. 
3. Ils ont cherché à simplifier l'aspect opérationnel de la mise à l'échelle des bases de données en l'automatisant en fonction des variations de charge, afin que les développeurs puissent commencer avec une petite capacité et ne pas s'inquiéter d'un sur- ou sous-provisionnement.
4. Ils voulaient permettre une expérimentation et des tests rapides en prenant en charge le clonage et la branche instantanés des bases de données et en créant des bases de données entièrement isolées, car les bases de données sont souvent l'un des modules les plus difficiles à tester dans les tests d'application de bout en bout.

Quelques années plus tard, l'équipe Neon a conçu une nouvelle architecture de base de données innovante qui découple la mise à l'échelle du stockage de la mise à l'échelle du calcul, ce qui a finalement permis d'atteindre tous les objectifs ci-dessus. Lors du lancement initial de Neon, les développeurs ont plébiscité sa rapidité, sa simplicité et sa capacité à cloner et à brancher leurs bases de données comme Git le fait pour le code.

L'évolution vers les agents d'IA

Lorsque Neon est devenu disponible en général l'année dernière, ils ont remarqué une statistique intéressante : 30 % des bases de données étaient créées par des agents d'IA, et non par des humains. En réexaminant leurs statistiques récemment, ce chiffre est passé de 30 % à plus de 80 %. Autrement dit, les agents d'IA créaient 4 fois plus de bases de données que les humains.

Si l'on considère les agents d'IA comme votre propre équipe massive de développeurs juniors ultra-rapides (potentiellement « mentorés » par des développeurs seniors), il n'est alors pas surprenant que les mêmes capacités sur lesquelles l'équipe Neon s'est concentrée, et qui ont fait le succès de Neon auprès des développeurs, aient également rendu Neon performant pour ces agents d'IA :

1. Écosystème open source Postgres : Tous les LLM de pointe ont été entraînés sur la vaste quantité d'informations publiques disponibles sur l'écosystème open source Postgres, donc tous les agents d'IA sont experts dans l'utilisation de Neon, qui est basé sur Postgres.
2. Vitesse : Les bases de données traditionnelles ont été conçues pour être provisionnées et exploitées par des humains. Il était acceptable de prendre plusieurs minutes pour démarrer une base de données. Étant donné que les agents d'IA fonctionnent à la vitesse de la machine, un temps de provisionnement ultra-rapide devient essentiel.
3. Mise à l'échelle et tarification élastiques : L'architecture serverless découplant le stockage du calcul permet des instances Postgres à très faible coût. Il est désormais possible de lancer des milliers, voire des millions d'agents avec leurs propres bases de données de manière rentable.
4. Branching et forking : Les agents d'IA peuvent être non déterministes, et les « vibes » doivent être vérifiées et validées. La capacité de Neon à créer instantanément une copie complète d'une base de données, non seulement pour le schéma mais aussi pour les données, permet à tous ces agents d'IA de fonctionner sur leur propre instance de base de données isolée en haute fidélité pour l'expérimentation et la validation.

ADN partagé

Nous connaissons depuis longtemps Nikita Shamgunov, Heikki Linnakangas et Stas Kelvich – les fondateurs de Neon. Avant Neon, Nikita a commencé sa carrière en travaillant sur SQL Server et est ensuite devenu bien connu dans la communauté des bases de données en tant que cofondateur et PDG de SingleStore, propulsant l'entreprise à plus de 100 millions de dollars de revenus annuels. Heikki est un contributeur à Postgres depuis deux décennies – il a commencé son parcours avec Postgres lorsqu'il s'ennuyait pendant son congé de paternité et a décidé d'examiner les internes de Postgres pour le plaisir. Stas est un ancien physicien qui s'est lancé dans le hacking de Postgres parce qu'il avait besoin d'une meilleure implémentation R-tree pour sa startup de moteur de recherche touristique.

Databricks et Neon partagent le même ADN dans la construction d'innovations techniques hardcore au niveau de l'infrastructure. Nous partageons également la conviction de l'importance de l'open source : nous avons initialement lancé le projet Apache Spark™ à l'UC Berkeley, qui est également le lieu de naissance original de Postgres, le projet de base de données open source sur lequel Neon est basé.

Perspectives

Les bases de données OLTP représentent un marché de 100 milliards de dollars dominé par des produits conçus il y a des décennies. Nous pensons qu'il est temps que ce marché soit perturbé par les développeurs et les agents d'IA. Aux côtés de l'équipe Neon, nous sommes impatients de construire la plateforme de base de données la plus conviviale pour les développeurs et les agents d'IA.

Qu'est-ce que cela signifie pour les clients et partenaires actuels de Neon ? Nous sommes pleinement engagés envers l'avenir de la plateforme Neon. La feuille de route reste ambitieuse, et nous avons l'intention de continuer à faire de Neon la meilleure plateforme de base de données pour les développeurs. Après la clôture, les clients et partenaires existants peuvent s'attendre à un support et à une innovation continus – désormais avec le soutien total et les ressources de Databricks. C'est un grand moment pour les utilisateurs actuels de Neon, et un moment passionnant pour les développeurs qui découvrent Neon. Lancez dès aujourd'hui une nouvelle instance Postgres sur Neon !

Nous sommes tout aussi enthousiastes quant à ce que cela signifiera pour les clients d'entreprise de Databricks. Nous prévoyons de partager beaucoup plus d'informations lors du prochain Data + AI Summit à San Francisco, du 9 au 12 juin.

Consultez le blog de Neon pour entendre directement de leur part pourquoi ils sont ravis de joindre leurs forces.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original