Anunciando la vista previa pública de Lakeflow Designer

Presentamos Lakeflow Designer en Data and AI Summit el año pasado. Desde entonces, hemos trabajado estrechamente con los primeros clientes para refinar el producto y comprender mejor dónde es más útil. Hoy, nos complace anunciar la Vista Previa Pública de Lakeflow Designer. Lakeflow Designer elimina uno de los mayores cuellos de botella en los datos actuales: la barrera técnica de entrada.

¿Qué es Lakeflow Designer?

Lakeflow Designer es una experiencia visual, sin código y nativa de IA para la preparación y el análisis de datos. Creado directamente en Databricks, permite a los analistas, expertos en la materia y otros usuarios menos técnicos preparar y explorar datos a través de un lienzo de arrastrar y soltar y lenguaje natural.

Cada paso en Lakeflow Designer se representa como un operador, lo que brinda a los usuarios una imagen clara de cómo cambian los datos a lo largo del flujo de trabajo. Esto facilita la creación, validación y comprensión de las transformaciones a medida que avanza.

Lakeflow Designer extiende el poder de Databricks Lakeflow a un conjunto más amplio de usuarios, permitiendo la preparación de datos sin código y, al mismo tiempo, generando código listo para producción en segundo plano. Los flujos de trabajo se pueden programar y operacionalizar a través de Lakeflow Jobs, lo que facilita el paso de la preparación de datos interactiva a las canalizaciones de producción.

Lakeflow Designer amplía la autonomía de los equipos de negocio, permitiendo la creación eficiente de vistas de datos a través del lenguaje natural y las mejores prácticas, al tiempo que garantiza la coherencia, gobernanza y fiabilidad de los datos. — Phelipe Naman, Líder Técnico de Arquitectura de Datos y Análisis, Sabesp

¿Qué hace diferente a Lakeflow Designer?

La preparación de datos de autoservicio no es una idea nueva, pero las herramientas existentes se encuentran fuera de su plataforma de datos central. Eso conlleva concesiones:

• La desconexión entre la herramienta de preparación de datos y la plataforma de datos crea brechas de gobernanza y una sobrecarga de TI adicional
• La IA se añade de forma externa y las sugerencias son genéricas porque la herramienta no comprende realmente los datos
• Los flujos de trabajo visuales son difíciles de poner en producción, con la lógica a menudo atrapada en lenguajes específicos del dominio o en la interfaz de usuario
• Las licencias por usuario son caras y limitan quién tiene acceso

Lakeflow Designer adopta un enfoque diferente.

1. Creado de forma nativa en Databricks para gobernanza y simplicidad
Lakeflow Designer se ejecuta directamente donde sus datos ya residen: en Databricks. No es necesario mover datos a una herramienta separada o a su máquina local. Los datos permanecen en su lugar, gobernados por Unity Catalog desde el principio, al tiempo que simplifican la pila de datos general. En lugar de gestionar una herramienta de bajo código separada con su propio modelo de licencias, permisos y administración, las organizaciones pueden habilitar el autoservicio directamente dentro de Databricks.

KPMG UK ofrece servicios de auditoría y aseguramiento a miles de empresas, cada una con un panorama de datos diferente. Equipar a nuestros profesionales con Lakeflow Designer permite un flujo de trabajo visual, de bajo código y asistido por IA que escala y democratiza nuestra capacidad para traducir conjuntos de datos complejos y variados en información significativa. — Mark Wallington, Socio de Datos e IA de Auditoría, KPMG UK

Comience a trabajar de inmediato con datos de origen nativos

2. Creado desde cero para IA, y diseñado para que la IA sea revisable
Lakeflow Designer se basa en Genie Code, el asistente de codificación agéntico nativo de Databricks. La IA no es un complemento aquí. Es fundamental para el funcionamiento del producto. Simplemente describa lo que desea en lenguaje natural y Genie Code puede generar o modificar el flujo de trabajo directamente.

Creación nativa de IA que simplemente funciona

Dado que Lakeflow Designer está integrado directamente en el espacio de trabajo de Databricks, Genie Code puede razonar sobre más que solo nombres de columnas. Puede utilizar metadatos de Unity Catalog, descripciones de tablas, linaje, popularidad y consultas de ejemplo para comprender el significado semántico de los datos e identificar los activos correctos para una tarea. Esto conduce a sugerencias más conscientes del contexto y precisas que las herramientas que solo ven el esquema.

Esta arquitectura también abre la puerta a un comportamiento más agéntico. En lugar de generar un resultado estático una vez, el sistema puede ejecutar una transformación, inspeccionar la salida e iterar cuando sea necesario. Por ejemplo, si una unión falla o no devuelve filas, Genie Code puede evaluar el resultado y probar un enfoque alternativo.

Quizás igual de importante, Lakeflow Designer hace que las transformaciones generadas por IA sean fáciles de entender y validar al dividirlas en operadores visuales discretos con vistas previas de datos en cada paso. Puede ver exactamente qué cambió, dónde se filtraron las filas, cómo se resolvió una unión y cómo se ve la salida antes de continuar.

Lakeflow Designer es un habilitador clave para escalar la ingeniería de datos más allá del equipo técnico central en Databricks. Al proporcionar una interfaz visual integrada con capacidades de lenguaje natural, ayuda a reducir el "cuello de botella de SQL", lo que permite a los equipos de negocio prototipar e iterar en canalizaciones con mayor autonomía. Esto va más allá de la facilidad de uso: se trata de alineación organizacional. Cuando las transformaciones son visuales y accesibles, la brecha entre la intención del negocio y la ejecución técnica se reduce, acelerando el viaje desde los datos brutos hasta información procesable. — Matheus Polycaropo, Líder de Ingeniería de Datos, Serasa Experian

3. Cada transformación visual genera código real y listo para producción
Cada transformación en Lakeflow Designer genera código Python listo para producción en segundo plano. Ese código se puede revisar, versionar en Git e integrar directamente en flujos de trabajo de producción más grandes. Con el tiempo, Designer también admitirá más salidas de producción nativas, como vistas materializadas. Esto, en última instancia, reduce uno de los mayores costos de las herramientas de autoservicio: la entrega de trabajo a ingeniería para reconstruirlo para producción. En lugar de rehacer el trabajo en otro sistema, los equipos de datos centrales pueden basarse en lo que los usuarios ya han creado.

4. Sin licencias por usuario
Una de las mayores barreras de adopción que hemos visto en las herramientas tradicionales de bajo código es el precio. Las licencias basadas en asientos obligan a los equipos a decidir de antemano qué usuarios merecen acceso, lo que ralentiza la adopción y limita el autoservicio antes de que comience.

Con Lakeflow Designer, no hay un modelo de licencia por usuario. Solo paga por la computación que utiliza. Todos en el negocio pueden participar en el trabajo de datos sin crear un nuevo cuello de botella de adquisición.

Cómo utilizan Lakeflow Designer los equipos

Ya estamos viendo a cientos de equipos en diversas industrias utilizar Lakeflow Designer para preparar y trabajar con datos de maneras que antes eran difíciles de escalar sin soporte de ingeniería.

Por ejemplo:

• Los equipos de consultoría y servicios profesionales utilizan Lakeflow Designer para limpiar datos de clientes de hojas de cálculo, PDF y archivos compartidos, y luego aplican flujos de trabajo de auditoría o análisis repetibles para producir informes.
• Las organizaciones de servicios financieros utilizan Lakeflow Designer para la preparación de datos de autoservicio, informes regulatorios y análisis de riesgos.
• Los equipos de negocio de marketing, operaciones y logística lo utilizan para combinar datos de múltiples fuentes, responder preguntas operativas y preparar datos para paneles.

También estamos viendo que Lakeflow Designer desempeña un papel importante en la plataforma Databricks en general. Los equipos lo utilizan para preparar datos que fluyen hacia Metric Views y paneles de IA/BI, creando un ciclo completo de autoservicio. Los analistas pueden pasar de tablas sin procesar a paneles pulidos sin escribir código.

Con la adopción de Lakeflow Designer, simplificamos la construcción de canalizaciones de datos y elevamos la calidad de los análisis a través del desarrollo de bajo código y capacidades de IA impulsadas por lenguaje natural. Los equipos no técnicos comenzaron a crear procesos analíticos complejos de forma autónoma, generando valor empresarial real y acelerando la toma de decisiones. Más aún, la plataforma nos permitió escalar una cultura impulsada por los datos en toda la empresa, ampliando el alcance del análisis avanzado a más áreas y democratizando el acceso a la inteligencia de datos en toda la organización. — Carlos Gumz, Líder de Datos, Hering

Primeros pasos

Designer está disponible actualmente en todos los espacios de trabajo. Para empezar, haga clic en el botón + Nuevo en la esquina superior izquierda del espacio de trabajo y seleccione Preparación visual de datos. Si no ve la opción Preparación visual de datos, es posible que un administrador deba habilitar Designer en el portal de vista previa.

Estos son otros próximos pasos que puede seguir con Lakeflow Designer:

• Vea un video demo de 8 minutos de Lakeflow Designer
• Consulte la página de documentación para obtener recursos más detallados sobre cómo empezar con Lakeflow Designer.
• Los comentarios de los clientes continúan dando forma al producto y desempeñan un papel clave en nuestra hoja de ruta. Si tiene algún comentario o pregunta, nos encantaría saber de usted en [email protected].

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original