Ir al contenido principal
Plataforma

Descubre información de inversión sin migrar tus datos: Lakehouse Federation

Cómo combinar datos confidenciales de carteras locales con inteligencia financiera de terceros sin comprometer la seguridad ni la conformidad

por Meghana Padmanabhan, Isaac Gritz y Max Nienu

  • Federate, no copies: Databricks Lakehouse Federation consulta bases de datos locales directamente desde Databricks con SQL estándar. Los datos nunca se mueven.
  • Suscríbete, no desarrolles: Los datos financieros de FactSet de Databricks Marketplace aparecen como un catálogo nativo. No se requiere ninguna canalización de ingesta.
  • Una consulta, panorama completo: Una sola unión SQL entre ambos catálogos alimenta paneles y consultas en lenguaje natural de Genie, sin objetos intermedios persistentes que ofrecen información detallada sobre carteras e inversiones.

Lakehouse Federation: Consulta donde sea, sin mover nada

En el panorama empresarial actual, los datos rara vez se encuentran en un solo lugar. Las instituciones financieras, los administradores de activos y los inversores individuales se enfrentan a un desafío común: sus datos más confidenciales, incluidas las carteras de inversión, las posiciones comerciales y la información de los clientes, suelen residir en bases de datos locales detrás de cortafuegos corporativos, en la nube o en ambos entornos. Este desafío se complica debido a que los datos de terceros que necesitan para el análisis, incluidos los datos de mercado, las estimaciones de analistas y los fundamentos financieros, residen cada vez más en la nube.

Los enfoques tradicionales imponen una decisión difícil: copiar datos confidenciales a la nube, configurar canales de ETL frágiles o renunciar por completo a integrar ambos.

¿Y si pudiera simplemente federar la fuente local, suscribirse a los datos de terceros en la nube y pasar directamente de esos dos catálogos a un panel y un chat en lenguaje natural, sin canalizaciones, sin vistas materializadas y sin objetos persistentes de por medio?

Eso es Databricks Lakehouse Federation en su forma más simple.

La solución: Consulta donde sea, no muevas nada, no construyas nada

Databricks Lakehouse Federation te permite crear conexiones federadas a bases de datos externas como SQL Server, PostgreSQL, MySQL, Snowflake y más, y consultarlas directamente desde Databricks utilizando SQL estándar. Los datos se quedan exactamente donde están. Sin copias. Sin sincronización. Sin dolores de cabeza de cumplimiento.

Añade un recurso compartido de datos de un marketplace encima de esto, y tendrás dos catálogos uno al lado del otro en Unity Catalog: uno federado y otro compartido, que una consulta SQL simple puede unir como si fueran dos tablas ordinarias.

Bases de datos externas

Un ejemplo del mundo real: Análisis de la cartera de clientes

Veamos un ejemplo concreto. Imagina que eres una empresa de gestión patrimonial con:

  • Datos propios: Las tenencias de tu cartera (qué acciones posees y cuántas acciones tienes), almacenadas en una base de datos SQL Server local.
  • Datos de terceros: Datos financieros de FactSet desde Databricks Marketplace, incluidos los fundamentos de ganancias y las estimaciones de los analistas.

Tu objetivo: Construir un panel de inversión que muestre tus ganancias proyectadas, identifique posiciones de alto riesgo y recomiende acciones, todo sin exponer los datos de tus tenencias a la nube.

Paso 1: Configurar el acceso a los datos de la cartera y los datos de FactSet

Paso 1a: Configurar la conexión federada

Configurar la federación es sencillo a través de la interfaz de usuario de Databricks. Navega a Catalog → External Data → Connections y crea una nueva conexión a tu base de datos local.

Datos de FactSet

La conexión almacena de forma segura tus credenciales.

Paso 1b: Crear un catálogo externo

Una vez establecida la conexión, crea un catálogo externo que se mapee a tu base de datos local. Esto hace que tus tablas externas aparezcan como objetos nativos de Unity Catalog.

Catálogo externo

Después de este paso, tus datos locales aparecen como un catálogo, pero los datos nunca abandonan tu SQL Server. Cada consulta se ejecuta contra la fuente en tiempo real.

SQL Server

Paso 1c: Suscribirse a los datos de FactSet desde el Marketplace

Databricks Marketplace ofrece acceso instantáneo a los datos financieros integrales de FactSet. Busca FactSet, revisa los conjuntos de datos disponibles y solicita acceso. Una vez que el proveedor apruebe tu solicitud, podrás suscribirte a los conjuntos de datos relevantes.

Marketplace de datos de FactSet

Después de suscribirte, los datos están disponibles como un catálogo compartido en tu espacio de trabajo, organizado en esquemas:

  • fe_v4 - Estimaciones de FactSet: pronósticos de EPS por consenso de analistas, proyecciones de ganancias y recuentos de estimaciones
  • ff_v3 - Fundamentos de FactSet: estados financieros anuales que incluyen ingresos, ingresos netos, márgenes de beneficio y niveles de deuda
  • sym_v1 - Simbología: asignaciones de ticker a entidad que conectan los símbolos de tu cartera con los identificadores internos de FactSet

Espacio de trabajo del catálogo

Estas tablas aparecen junto a tu catálogo de carteras federadas en Unity Catalog. Puedes explorarlas, obtener una vista previa de los datos y verificar esquemas, todo sin necesidad de ingesta o copia de datos.

Paso 2: Explorar los datos combinados

Paso 2a: Explorar los datos combinados con SQL

Con ambas fuentes de datos accesibles a través de Unity Catalog, un administrador de activos puede abrir el editor de SQL y escribir una consulta que abarque ambos: las tenencias federadas por un lado y las tablas del marketplace de FactSet por el otro. Para el creador de SQL, parecen dos tablas ordinarias en el mismo almacén de datos.

Unity Catalog

No hay ninguna canalización que crear, ninguna vista materializada que programar y ninguna capa de oro que mantener. Cada vez que se ejecuta la consulta, se vuelve a federar la fuente local en vivo y se vuelve a unir con la porción del marketplace.

Paso 3: Consumir los datos

Paso 3a: Crear el panel de inversión

El panel funciona con la misma consulta combinada integrada directamente en el conjunto de datos de cada widget. No se crean vistas y no se persisten tablas. Cada widget vuelve a federar la fuente en cada actualización.

Responde instantáneamente a preguntas como:

  • Salud de la cartera: tenencias totales, ganancias anuales actuales, ganancias anuales proyectadas, recuento de alto riesgo
  • Distribución de riesgos: ¿qué parte de la cartera es de riesgo alto, medio o bajo?
  • Recomendaciones de inversión: ¿cuántas acciones debería comprar más frente a vender?
  • Mejores rendimientos: ¿qué participaciones están generando más ganancias y cómo se comparan las ganancias actuales con las proyectadas?
  • Tabla completa de tenencias: ganancias por acción, % de crecimiento, % de margen, D/E, riesgo y recomendación de acción.

Panel de inversión

Paso 3b: Habilitar consultas en lenguaje natural con Genie

La pieza final: un agente de Genie conectado directamente a las mismas tenencias federadas y a las tablas del marketplace de FactSet. Genie recibe la cadena de uniones y los filtros de calidad de datos en sus instrucciones. Traduce el lenguaje natural a las mismas consultas que ejecuta el panel.

El resultado: acceso a datos democratizado. Los gestores de carteras, los asesores financieros y los inversores individuales pueden obtener respuestas sin escribir SQL y sin que nadie materialice nada.

Agente de Genie

El panorama completo

Databricks Lakehouse Federation cambia fundamentalmente la economía del análisis de datos híbridos. En lugar del proceso costoso, arriesgado y lento de mover datos a la nube, o del proceso igualmente pesado de construir y mantener canalizaciones sobre ellos, puedes llevar la informática a los datos y permitir que una sola consulta controle todo lo que sigue.

En este ejemplo, el recorrido creó una solución completa de análisis de inversiones que:

  • Consulta los datos de las tenencias locales en tiempo real
  • Los enriquece con inteligencia financiera de FactSet desde el Marketplace
  • Combina ambos en una sola consulta SQL, sin objetos intermedios persistentes
  • Visualiza todo en un panel interactivo
  • Permite consultas en lenguaje natural con Genie

Todo ello sin copiar ni una sola fila de datos de la cartera a la nube.

El futuro del análisis de datos no consiste en mover todos tus datos a un solo lugar ni tampoco en construir pipelines complejos para darles forma. Se trata de consultar los datos dondequiera que estén. Aunque este blog usó carteras de inversión como ejemplo, este patrón (federar datos confidenciales de origen, suscribirse a datos de terceros en la nube y analizar sin mover ni copiar nada) se aplica ampliamente. Las organizaciones de atención médica pueden combinar registros de pacientes protegidos por HIPAA con bases de datos de interacciones de medicamentos para obtener recomendaciones de tratamiento. Las empresas manufactureras pueden federar telemetría IoT local con datos de la cadena de suministro en la nube. Los minoristas pueden combinar sistemas POS en tienda con conjuntos de datos demográficos de terceros. El hilo conductor: los datos confidenciales de origen se mantienen protegidos a la vez que permiten análisis enriquecidos con datos de terceros.

¿Listo para empezar? Explora los siguientes enlaces:

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original

Etiquetas relacionadas:

Soluciones, Tutoriales, Servicios financieros, Insights y Clientes

Recibe las últimas publicaciones en tu bandeja de entrada

Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.