Exécuter open-Jev en SQL sur Databricks

Ce week-end, des modèles de décision « System One » tels que Jev ont été lancés. Il s'agit d'une classe croissante de modèles de fondation capables de produire des décisions bien calibrées à partir d'un ensemble discret d'options. Ces modèles sont généralement extrêmement rapides et peu coûteux, ce qui permet un large éventail d'applications sur de grands volumes de données. Les cas d'usage potentiels vont de l'analyse des transcriptions du support client à l'application de décisions complexes à grande échelle sur vos données.

La communauté open source a également été active en lançant des versions à poids ouverts de ces modèles de décision, de Smelf-open-jev à Laya, en passant par Kev. Mais la puissance de ces modèles ne se révèle que lorsqu'ils peuvent traiter de grandes quantités de données. Aujourd'hui, nous sommes ravis de vous expliquer comment déployer des modèles de décision à poids ouverts sur Databricks et les exécuter directement sur vos données gouvernées. Vous pouvez même accéder à ces modèles directement depuis votre console SQL ou vos tâches de production dans Lakeflow via ai_query. De plus, des produits comme AI Runtime vous permettent de personnaliser ou de post-entraîner ces modèles pour les adapter au contexte spécifique de votre entreprise.

Dans cet article, nous allons vous montrer comment utiliser un tel modèle, SemIf-OpenJev, directement dans Databricks, pour classer des avis d'hôtels comme bons ou mauvais.

Du notebook au point de terminaison

Nous avons intégré le workflow dans un notebook Databricks importable.

Trois étapes suffisent pour commencer :

1. Choisissez le nom/schéma du modèle
2. Sélectionnez Serverless GPU
3. Cliquez sur Run All

Le notebook utilise Databricks AI Runtime pour fournir un calcul GPU serverless et à la demande, sans que vous n'ayez à configurer ou à gérer d'infrastructure GPU.

À partir de là, il :

• Télécharge les fichiers du modèle SemIf-OpenJev.
• Enregistre et répertorie le modèle à l'aide d'Express Deployments.
• Crée automatiquement un point de terminaison GPU Model Serving.

À ce stade, votre classificateur open source s'exécute derrière un point de terminaison géré que vous pouvez appeler depuis des applications — ou directement depuis SQL.

Appeler le modèle depuis SQL avec ai_query

L'un des aspects pratiques de cette configuration est que le point de terminaison n'a pas besoin d'exposer une interface standard de complétion de chat.

La fonction  ai_query de Databricks prend en charge des API de modèles personnalisés arbitraires, ce qui vous permet d'envoyer le format de requête structuré de SemIf directement depuis SQL.

Par exemple :

Vous pouvez désormais appliquer le modèle aux avis déjà stockés dans Databricks et obtenir la classification sélectionnée ainsi que les probabilités des options sous forme de colonnes structurées.

Pour commencer

Les modèles de décision évoluent rapidement, et les implémentations open source comme SemIf-OpenJev facilitent grandement l'expérimentation de cette approche par vous-même.

Importez le notebook directement dans votre espace de travail Databricks, sélectionnez Serverless GPU, puis cliquez sur Run All pour commencer. De là, testez-le sur vos propres données, intégrez vos propres critères de décision et découvrez comment cette approche s'intègre dans vos applications.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original