Ejecución de open-Jev en SQL en Databricks

Durante el fin de semana, se lanzaron modelos de decisión de “Sistema Uno” como Jev, que son una clase cada vez mayor de modelos fundacionales capaces de producir decisiones bien calibradas a partir de un conjunto discreto de opciones. Estos modelos suelen ser extremadamente rápidos y también económicos, lo que permite una amplia gama de aplicaciones en grandes volúmenes de datos. Los casos de uso potenciales van desde el análisis de transcripciones de atención al cliente hasta la aplicación de decisiones complejas a escala en todos sus datos.

La comunidad de código abierto también ha estado activa lanzando versiones de pesos abiertos de estos modelos de decisión, desde Smelf-open-jev hasta Laya y Kev. Pero el poder de estos modelos solo se libera cuando pueden interactuar con grandes cantidades de datos. Hoy nos complace compartir cómo puede servir modelos de decisión de pesos abiertos en Databricks y ejecutarlos directamente sobre sus datos gobernados. Incluso puede acceder a estos modelos directamente desde su consola de SQL o trabajos de producción en Lakeflow vía ai_query. Además, productos como AI Runtime le permiten personalizar o realizar un entrenamiento posterior de estos modelos para adaptarlos al contexto específico de su empresa.

En esta publicación, mostraremos cómo puede usar uno de estos modelos, SemIf-OpenJev, directamente en Databricks, para clasificar reseñas de hoteles como buenas o malas.

De notebook a endpoint

Hemos empaquetado el flujo de trabajo en un Databricks Notebook importable.

Comenzar requiere solo tres pasos:

1. Elija el nombre o esquema del modelo
2. Seleccione Serverless GPU
3. Haga clic en Run All

El notebook utiliza Databricks AI Runtime para proporcionar computación de GPU serverless bajo demanda, sin necesidad de configurar ni administrar la infraestructura de GPU.

A partir de ahí, el notebook:

• Descarga los archivos del modelo SemIf-OpenJev.
• Registra el modelo utilizando Express Deployments.
• Crea automáticamente un endpoint de GPU Model Serving.

En ese punto, tendrá el clasificador de código abierto ejecutándose detrás de un endpoint administrado al que puede llamar desde aplicaciones, o directamente desde SQL.

Llamar al modelo desde SQL con ai_query

Una parte útil de esta configuración es que el endpoint no necesita exponer una interfaz estándar de chat-completions.

La función  ai_query de Databricks admite API de modelos personalizados arbitrarios, por lo que puede enviar el formato de solicitud estructurado de SemIf directamente desde SQL.

Por ejemplo:

Ahora puede aplicar el modelo a las reseñas ya almacenadas en Databricks y obtener la clasificación seleccionada y las probabilidades de las opciones como columnas estructuradas.

Primeros pasos

Los modelos de decisión están avanzando rápidamente, e implementaciones de código abierto como SemIf-OpenJev facilitan enormemente que usted mismo experimente con este patrón.

Importe el notebook directamente en su espacio de trabajo de Databricks, seleccione Serverless GPU y haga clic en Run All para comenzar. A partir de ahí, pruébelo con sus propios datos, adapte sus propios criterios de decisión y vea cómo encaja este patrón en sus aplicaciones.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original