Etiquetas de consulta: El contexto que sus consultas de almacén han estado perdiendo

Databricks SQL registra automáticamente atributos clave de cada consulta: quién la ejecutó, en qué almacén y desde qué herramienta. Pero eso a menudo no es suficiente.

Cuando una consulta de Power BI funciona lentamente, sabes que vino de Power BI, pero no qué panel arreglar. Cuando los costos se disparan, puedes ver qué usuarios ejecutaron consultas, pero no a qué centro de costos o proyecto facturar. La pieza que falta es el contexto personalizado, y eso es exactamente lo que Query Tags agrega.

Hoy, presentamos Query Tags en vista previa pública. Query Tags te permite adjuntar contexto de negocio como pares clave-valor a cada ejecución de SQL, y consultarlo todo a través de tablas del sistema con SQL estándar — o simplemente preguntándole a Genie. Query Tags también son visibles en la interfaz de usuario del Perfil de Consulta (la búsqueda de soporte en la interfaz de usuario del Historial de Consultas estará disponible pronto).

Query Tags ya han tenido una fuerte adopción, con cientos de clientes etiquetando millones de consultas semanalmente.

Simplemente etiquétalo: presentamos Query Tags

Con Query Tags, adjuntas pares clave-valor personalizados (por ejemplo, “proyecto” : “planificación_financiera”) a cada ejecución de SQL. Estas etiquetas viajan con la consulta y se registran en la Tabla del Sistema de Historial de Consultas, haciéndolas disponibles para agrupar, filtrar y analizar cargas de trabajo.

Las etiquetas agregan valor en tres escenarios:

1. Herramientas de socios: Al usar dbt, Power BI o Tableau, propaga identificadores como el nombre del modelo dbt, el ID del informe de Power BI o el nombre del libro de trabajo de Tableau en cada consulta.
2. Aplicaciones personalizadas: Al crear aplicaciones a través de la API de ejecución de sentencias SQL o conectores, adjunta metadatos como `customerid`, `applicationname` o `app_version` a cada ejecución.
3. Trabajo ad-hoc en la interfaz de usuario de Databricks: Etiqueta consultas con dimensiones relevantes para ti: entorno de desarrollo vs. producción, centro de costos, nombre del experimento o equipo.

Profundicemos en estos escenarios.

(1) Rastrea cada consulta de herramienta de socio hasta su origen

Las consultas de dbt, Power BI y Tableau fluyen hacia tu almacén, pero sin etiquetas, son imposibles de rastrear más allá de un ID de usuario y la herramienta de la que provienen. Estas herramientas resuelven esto inyectando Query Tags automáticamente, sin necesidad de etiquetado manual.

dbt etiqueta automáticamente cada consulta con el nombre del modelo, la versión principal, la versión del adaptador y el tipo de materialización. Si un modelo dbt de repente empeora en rendimiento, puedes identificar exactamente qué modelo, qué versión y cuándo:

Los líderes de ingeniería de personal Dipesh Bhundia y Dave Couse en ASOS agregaron:

"Sin tener que configurar nada, podemos mapear cada carga de trabajo SQL al modelo dbt del que se origina. Con Query Tags, finalmente podemos dividir con precisión los costos del almacén por los equipos que ejecutan dbt en él."

Power BI y Tableau admiten Query Tags personalizados a nivel de conexión. Configúralos una vez y cada consulta de esa conexión los llevará automáticamente. Para Tableau, los clientes han encontrado útil usar parámetros como [WorkbookName] como valor de etiqueta, para que la atribución se conserve incluso cuando se cambia el nombre del libro de trabajo.

Para obtener una lista completa de las herramientas de socios que admiten Query Tags, consulta la documentación. Si tu herramienta no aparece en la lista, comunícate con tu equipo de cuentas.

(2) Convierte consultas de API anónimas en cargas de trabajo rastreables

Las aplicaciones personalizadas acceden a tu almacén a través de APIs y conectores, pero las consultas que generan no llevan contexto de aplicación: ni nombre de aplicación, ni nombre de equipo, ni ID de cliente. Query Tags te permite adjuntar estos metadatos a nivel de conexión o de sentencia.

La API de ejecución de sentencias SQL admite el etiquetado a nivel de sentencia. Las etiquetas pasadas como parámetro se aplican a esa ejecución específica:

El Conector Python admite etiquetado tanto a nivel de conexión como de sentencia. Establece un nombre de equipo en la conexión; anúlalo por sentencia cuando sea necesario:

Matthew Haber, Ingeniero de DevOps, Unit21 compartió:

"Pasamos de un almacén por equipo a almacenes compartidos para reducir costos, pero perdimos la visibilidad de qué equipo estaba generando el gasto. Con Query Tags, simplemente pasamos el nombre del equipo desde nuestro Conector Databricks SQL para cargas de trabajo de Python y recuperamos esa atribución, sin necesidad de dividir los almacenes nuevamente."

Para obtener la lista completa de conectores y drivers compatibles (Node.js, Go, JDBC, etc.), consulta la documentación.

(3) Etiqueta tu propio trabajo para que no se pierda en el ruido

Los analistas ejecutan cientos de consultas por semana (exploración, producción, depuración, etc.) y sin etiquetas, todas se ven iguales en las tablas del sistema. Query Tags permite a los profesionales etiquetar sobre la marcha con una línea de SQL, en cualquier lugar donde envíen consultas: Editor SQL, Notebooks, Dashboards y Alertas.

Una vez configuradas, todas las sentencias subsiguientes en la sesión llevan automáticamente esas etiquetas. No es necesario anotar cada consulta individualmente. Por ejemplo, agregar la sentencia SET QUERY_TAGS a cada consulta de conjunto de datos en un dashboard de IA/BI etiqueta cada consulta de ese dashboard con 'entorno: producción'.

Los profesionales de datos pueden usar esto para:

• Etiquetar análisis ad-hoc por proyecto o equipo
• Marcar experimentos o pruebas A/B
• Identificar cargas de trabajo de desarrollo vs. producción
• Adjuntar contexto de depuración al investigar problemas

De etiquetas a respuestas: monitoreo con Tablas del Sistema

Una vez que las consultas están etiquetadas, las etiquetas se registran en la columna query_tags de la Tabla del Sistema de Historial de Consultas. Ahora las preguntas difíciles se convierten en SQL simple.

¿Qué equipo está generando los costos del almacén?

Muchas organizaciones necesitan asignar los costos compartidos del almacén por equipo o producto. Con las Etiquetas de Consulta (Query Tags), esto es una sola consulta, sin necesidad de dividir almacenes ni adivinar.

¿Qué modelo de dbt introdujo una regresión?

Cuando una canalización se ralentiza, necesitas saber qué modelo, no solo qué almacén. Filtra el historial de consultas del sistema (system.query.history) por la etiqueta del nombre del modelo dbt inyectada automáticamente para aislar el problema.

O, omite la escritura de SQL por completo, preguntándole a Genie. Dado que las Etiquetas de Consulta almacenan el contexto de negocio en las Tablas del Sistema (System Tables), Genie puede razonar sobre los datos de tu carga de trabajo en lenguaje natural. Por ejemplo: "¿Qué modelo de dbt tuvo la mayor cantidad de consultas? ¿Cuál tuvo los tiempos de consulta promedio más largos?”

Las Etiquetas de Consulta (Query Tags) habilitan muchos más casos de uso de monitoreo:

1. Agrupa por query_tags['cost_center'] para la imputación de costos
2. Filtra por query_tags['@@dbt_model_name'] para monitorear la salud de la canalización
3. Identifica consultas de larga duración por libro de trabajo de Tableau
4. Compara query_tags['env'] para separar el tráfico de desarrollo del de producción

¿Qué sigue?

Las Etiquetas de Consulta (Query Tags) se encuentran actualmente en Vista Previa Pública (Public Preview) para Almacenes SQL (SQL Warehouses), y ya estamos trabajando para hacerlas aún más útiles para las experiencias de monitoreo de nuestros clientes. Por favor, consulta la documentación para ver las actualizaciones.

• Etiquetado automático de Power BI: Power BI adjuntará automáticamente metadatos como DatasetId y ReportId a cada consulta sin configuración alguna. Puedes habilitar esto manualmente hoy mismo siguiendo los pasos en la documentación. El etiquetado automático estará activado por defecto en la próxima versión de Power BI.
• Soporte más amplio de conectores: Además de Python, el etiquetado a nivel de sentencia ahora está disponible para Go y Node.js.
• Capacidad de búsqueda en la interfaz de usuario: Pronto admitiremos la búsqueda en la interfaz de usuario del Historial de Consultas (Query History), para que puedas buscar consultas con una etiqueta específica (por ejemplo, "@@dbt_model_name": "my_model")
• Soporte más allá de los almacenes SQL: Llevamos las Etiquetas de Consulta (Query Tags) a los Cuadernos (Notebooks) y Trabajos (Jobs) sin servidor (Serverless), de modo que el mismo modelo de etiquetado y atribución se extienda a las cargas de trabajo de los cuadernos.

Prueba las Etiquetas de Consulta (Query Tags) hoy mismo

Cada consulta sin etiqueta es una oportunidad perdida de atribución. Ya sea que necesites dividir los costos del almacén por equipo, rastrear una consulta lenta hasta un panel específico o etiquetar el trabajo del analista por proyecto, las Etiquetas de Consulta (Query Tags) te brindan el contexto para hacerlo.

Si usas dbt, ya estás etiquetando (revisa la Tabla del Sistema de tu Historial de Consultas). Para Power BI, Tableau y aplicaciones personalizadas, la configuración toma minutos. Para trabajo ad-hoc, toma una línea de SQL.

Las Etiquetas de Consulta (Query Tags) están disponibles hoy en Vista Previa Pública (Public Preview) en todas las nubes. Comienza con la documentación.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original