Cómo combinar datos confidenciales de carteras locales con inteligencia financiera de terceros sin comprometer la seguridad ni la conformidad
En el panorama empresarial actual, los datos rara vez se encuentran en un solo lugar. Las instituciones financieras, los administradores de activos y los inversores individuales se enfrentan a un desafío común: sus datos más confidenciales, incluidas las carteras de inversión, las posiciones comerciales y la información de los clientes, suelen residir en bases de datos locales detrás de cortafuegos corporativos, en la nube o en ambos entornos. Este desafío se complica debido a que los datos de terceros que necesitan para el análisis, incluidos los datos de mercado, las estimaciones de analistas y los fundamentos financieros, residen cada vez más en la nube.
Los enfoques tradicionales imponen una decisión difícil: copiar datos confidenciales a la nube, configurar canales de ETL frágiles o renunciar por completo a integrar ambos.
¿Y si pudiera simplemente federar la fuente local, suscribirse a los datos de terceros en la nube y pasar directamente de esos dos catálogos a un panel y un chat en lenguaje natural, sin canalizaciones, sin vistas materializadas y sin objetos persistentes de por medio?
Eso es Databricks Lakehouse Federation en su forma más simple.
Databricks Lakehouse Federation te permite crear conexiones federadas a bases de datos externas como SQL Server, PostgreSQL, MySQL, Snowflake y más, y consultarlas directamente desde Databricks utilizando SQL estándar. Los datos se quedan exactamente donde están. Sin copias. Sin sincronización. Sin dolores de cabeza de cumplimiento.
Añade un recurso compartido de datos de un marketplace encima de esto, y tendrás dos catálogos uno al lado del otro en Unity Catalog: uno federado y otro compartido, que una consulta SQL simple puede unir como si fueran dos tablas ordinarias.

Veamos un ejemplo concreto. Imagina que eres una empresa de gestión patrimonial con:
Tu objetivo: Construir un panel de inversión que muestre tus ganancias proyectadas, identifique posiciones de alto riesgo y recomiende acciones, todo sin exponer los datos de tus tenencias a la nube.
Configurar la federación es sencillo a través de la interfaz de usuario de Databricks. Navega a Catalog → External Data → Connections y crea una nueva conexión a tu base de datos local.

La conexión almacena de forma segura tus credenciales.
Una vez establecida la conexión, crea un catálogo externo que se mapee a tu base de datos local. Esto hace que tus tablas externas aparezcan como objetos nativos de Unity Catalog.

Después de este paso, tus datos locales aparecen como un catálogo, pero los datos nunca abandonan tu SQL Server. Cada consulta se ejecuta contra la fuente en tiempo real.

Databricks Marketplace ofrece acceso instantáneo a los datos financieros integrales de FactSet. Busca FactSet, revisa los conjuntos de datos disponibles y solicita acceso. Una vez que el proveedor apruebe tu solicitud, podrás suscribirte a los conjuntos de datos relevantes.

Después de suscribirte, los datos están disponibles como un catálogo compartido en tu espacio de trabajo, organizado en esquemas:

Estas tablas aparecen junto a tu catálogo de carteras federadas en Unity Catalog. Puedes explorarlas, obtener una vista previa de los datos y verificar esquemas, todo sin necesidad de ingesta o copia de datos.
Con ambas fuentes de datos accesibles a través de Unity Catalog, un administrador de activos puede abrir el editor de SQL y escribir una consulta que abarque ambos: las tenencias federadas por un lado y las tablas del marketplace de FactSet por el otro. Para el creador de SQL, parecen dos tablas ordinarias en el mismo almacén de datos.

No hay ninguna canalización que crear, ninguna vista materializada que programar y ninguna capa de oro que mantener. Cada vez que se ejecuta la consulta, se vuelve a federar la fuente local en vivo y se vuelve a unir con la porción del marketplace.
El panel funciona con la misma consulta combinada integrada directamente en el conjunto de datos de cada widget. No se crean vistas y no se persisten tablas. Cada widget vuelve a federar la fuente en cada actualización.
Responde instantáneamente a preguntas como:

La pieza final: un agente de Genie conectado directamente a las mismas tenencias federadas y a las tablas del marketplace de FactSet. Genie recibe la cadena de uniones y los filtros de calidad de datos en sus instrucciones. Traduce el lenguaje natural a las mismas consultas que ejecuta el panel.
El resultado: acceso a datos democratizado. Los gestores de carteras, los asesores financieros y los inversores individuales pueden obtener respuestas sin escribir SQL y sin que nadie materialice nada.

Databricks Lakehouse Federation cambia fundamentalmente la economía del análisis de datos híbridos. En lugar del proceso costoso, arriesgado y lento de mover datos a la nube, o del proceso igualmente pesado de construir y mantener canalizaciones sobre ellos, puedes llevar la informática a los datos y permitir que una sola consulta controle todo lo que sigue.
En este ejemplo, el recorrido creó una solución completa de análisis de inversiones que:
Todo ello sin copiar ni una sola fila de datos de la cartera a la nube.
El futuro del análisis de datos no consiste en mover todos tus datos a un solo lugar ni tampoco en construir pipelines complejos para darles forma. Se trata de consultar los datos dondequiera que estén. Aunque este blog usó carteras de inversión como ejemplo, este patrón (federar datos confidenciales de origen, suscribirse a datos de terceros en la nube y analizar sin mover ni copiar nada) se aplica ampliamente. Las organizaciones de atención médica pueden combinar registros de pacientes protegidos por HIPAA con bases de datos de interacciones de medicamentos para obtener recomendaciones de tratamiento. Las empresas manufactureras pueden federar telemetría IoT local con datos de la cadena de suministro en la nube. Los minoristas pueden combinar sistemas POS en tienda con conjuntos de datos demográficos de terceros. El hilo conductor: los datos confidenciales de origen se mantienen protegidos a la vez que permiten análisis enriquecidos con datos de terceros.
¿Listo para empezar? Explora los siguientes enlaces:
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Soluciones, Tutoriales, Servicios financieros, Insights y Clientes
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.