Anuncio de Lakeflow Designer: ETL sin código, potenciado por la Plataforma de Inteligencia de Datos

Nos complace anunciar Lakeflow Designer, un generador de pipelines sin código y potenciado por IA, totalmente integrado con la Plataforma de Inteligencia de Datos de Databricks. Con un lienzo visual y una interfaz de lenguaje natural incorporada, Designer permite a los analistas de negocio crear pipelines de producción escalables y realizar análisis de datos sin escribir una sola línea de código, todo en un único producto unificado.

Cada pipeline creado en Designer genera un Lakeflow Declarative Pipeline internamente. Los ingenieros de datos pueden revisar, comprender y mejorar estos pipelines sin cambiar de herramienta ni reescribir la lógica, ya que se trata del mismo estándar ANSI SQL utilizado en Databricks. Esto permite a los usuarios sin código participar en el trabajo de datos sin crear una sobrecarga adicional para los ingenieros.

Lakeflow Designer estará disponible en Private Preview en los próximos meses, tras la disponibilidad general de Lakeflow anunciada hoy. Estamos deseando que vea el impacto que puede tener.

Las herramientas sin código existentes operan fuera de la Plataforma de Inteligencia de Datos, creando silos, provocando brechas de producción y limitando la productividad de la IA

Los equipos de datos y los analistas de negocio quieren lo mismo: convertir datos brutos en información rápidamente. Pero las herramientas que utilizan y los entornos en los que trabajan a menudo los separan.

Los analistas de negocio aportan valiosos conocimientos del dominio y comprensión de las preguntas que impulsan las decisiones de una organización. Para avanzar rápidamente, a menudo crean soluciones rápidas utilizando hojas de cálculo o, cuando estas no son suficientes, recurren a herramientas sin código heredadas. Estas herramientas son fáciles y directas, pero los pipelines que crean operan fuera de la plataforma de datos en entornos diferentes, separados de los pipelines que los ingenieros crean y mantienen.

Esta separación crea tres desafíos persistentes:

• Flujos de trabajo aislados: Los analistas e ingenieros trabajan en herramientas diferentes, lo que genera trabajo redundante y sobrecarga de coordinación. Cuando los flujos de trabajo deben cruzar a la plataforma de datos, los ingenieros a menudo tienen que reconstruirlos por completo, empezando desde cero.
• Desafíos de producción: Los pipelines externos se ejecutan sin la gobernanza ni la observabilidad de la plataforma, lo que los hace frágiles y más difíciles de mantener.
• Productividad de IA limitada: Los asistentes de IA carecen de acceso a metadatos, linaje y patrones de uso, por lo que sus sugerencias suelen ser genéricas, similar a usar un modelo de lenguaje sin acceso al contexto de sus datos.

Lakeflow Designer: Herramientas unificadas sin código, integradas en la Plataforma de Inteligencia de Datos

Lakeflow Designer resuelve estos problemas al reunir a los equipos de negocio y de datos en un entorno único y unificado donde los pipelines se crean, gestionan y gobiernan en Databricks. Con todos los pipelines creados de forma nativa dentro de la plataforma, los equipos obtienen observabilidad, gobernanza y escalabilidad integradas desde el primer día, sin necesidad de reescrituras.

Flujos de trabajo compartidos y colaborativos

Lakeflow Designer aborda directamente los flujos de trabajo aislados al proporcionar una plataforma unificada donde los equipos pueden construir juntos. Los usuarios de negocio crean pipelines en un entorno visual sin código que resulta familiar e intuitivo. Detrás de escena, los pipelines visuales se implementan como Lakeflow Declarative Pipelines. Utilizan el mismo tiempo de ejecución escalable y fiable que los pipelines desarrollados directamente dentro de Lakeflow Declarative Pipelines.

Dado que la salida de Designer es la misma que si se hubiera codificado, los ingenieros de datos pueden inspeccionar y editar los pipelines como cualquier otro pipeline de Lakeflow. Eso significa que si los analistas de negocio encuentran problemas, los ingenieros pueden intervenir para ayudar sin necesidad de aprender una nueva herramienta, porque son los mismos Declarative Pipelines a los que están acostumbrados. Todo esto resulta en transferencias más fluidas y menos reconstrucciones que consumen ciclos de ingeniería.

Un camino integrado hacia la producción

Los pipelines de Lakeflow Designer se implementan como Lakeflow Declarative Pipelines, sin más. Esto significa que están listos para su uso en producción de inmediato. Tienen control de versiones, están gobernados por Unity Catalog y son totalmente observables con las herramientas de monitorización de Lakeflow.

Todo está construido para la producción desde el principio, por lo que no hay necesidad de reconstruir pipelines para escalabilidad y fiabilidad. Obtiene programación, pruebas y alertas desde el primer día.

IA que entiende su negocio

Designer ofrece una experiencia de desarrollo centrada en la IA, ayudando a los usuarios a pasar de la idea al pipeline con indicaciones en lenguaje natural. Lo exclusivo de la IA de Designer es que se basa en la estructura, la semántica y los patrones de uso de sus datos, lo que es posible gracias a la Plataforma de Inteligencia Unificada de Databricks. Sabe cómo se habla y se utilizan realmente los datos en toda la empresa, incluidas las definiciones de tablas, los nombres de columnas y el historial de consultas.

Otras herramientas pueden ofrecer funciones de IA, pero como operan fuera de la plataforma, lo hacen sin este rico contexto. La IA de Designer es diferente: está profundamente integrada con Databricks, entrenada en la estructura y semántica de sus datos, y construida para generar pipelines confiables y listos para producción que se alinean con sus flujos de trabajo y estándares de gobernanza existentes.

Disponible pronto en Private Preview

Lakeflow Designer estará disponible en Private Preview en los próximos meses. Estamos colaborando estrechamente con los primeros usuarios de diversas industrias para perfeccionar la experiencia y ampliar el acceso.

Si su equipo desea dar a más usuarios la capacidad de crear pipelines confiables sin aumentar el riesgo ni añadir nuevas herramientas, póngase en contacto con su equipo de cuentas de Databricks para solicitar acceso.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original