Delta Sharing: Benefícios e Casos de Uso
Introdução
As tecnologias de código aberto permitiram nos últimos anos uma evolução dos processos e métodos de ingestão, processamento e armazenamento de dados. Com isso, houve um grande avanço nos casos de uso e integração entre as diferentes áreas de negócio aumentando a necessidade de compartilhar dados de uma maneira aberta, segura e simples, para gerar valor além do que já é obtido atualmente. De acordo com um estudo do Gartner, as empresas que promovem compartilhamento de dados podem ter uma melhor performance em suas métricas de negócios em seu setor se comparada às outras que não conseguem chegar a este patamar.
A necessidade de compartilhar dados não é uma novidade, mas muitas organizações sofrem para compartilhar seus dados. Nos últimos 30 anos as soluções de compartilhamento de dados foram construídas de um modo proprietário ou com soluções "caseiras", com tecnologias SFTP e/ou REST API's que são difíceis de escalar ou manter, exemplificado na arquitetura abaixo:
Figura 1: Compartilhamento de dados sem Delta Sharing
Com esses desafios em mente, o protocolo Delta Sharing foi anunciado com o princípio de ser aberto, descentralizado e possibilitar o compartilhamento de dados de maneira segura entre as diferentes soluções, com isso, padronizar e agilizar o acesso aos dados rapidamente quando necessário. A arquitetura acima é simplificada quando utiliza-se Delta Sharing como mostramos abaixo:
Figura 2: Compartilhamento de dados com Delta Sharing
Benefícios
Com a arquitetura simplificada temos um claro e importante benefício que é de ter o acesso aos dados atualizados sempre, sem a necessidade de usar as mesmas ferramentas que armazenam a informação ou de replicar dados, uma arquitetura simples que possibilita aplicar novos conceitos rapidamente como por exemplo, Dados como Produto e Data Mesh.
Delta Sharing permite alcançar esses benefícios por ter um conceito simples onde quem deseja compartilhar a informação (provedor de dados) pode escolher qual informação deseja compartilhar e quem necessita acessar os dados (recipiente de dados) pode utilizar qualquer ferramenta compatível com o protocolo para acessar a informação:
Figura 3: Arquitetura Delta Sharing
Casos de Uso
A partir da adoção da tecnologia no mundo real, vemos como Delta Sharing pode ajudar a agilizar o processo de inovação e democratização dos dados nas organizações que necessitam de novas análises e diferentes visões sobre sua informação e monetizar a informação que possui de maneira ágil e segura. A seguir detalhamos alguns casos de uso mais comuns na adoção da tecnologia:
1 - Monetização de Dados
Um caso de uso muito abordado nos últimos anos é o de utilizar os dados para obter ganhos econômicos. O compartilhamento de informações é um dos métodos descritos pelo Gartner para descrever o que é monetizar dados.
Como descrito anteriormente, as soluções tradicionais tornam o processo de compartilhamento de dados uma tarefa difícil e complexa, por exemplo, caso a empresa que deseja monetizar sua informação utiliza algum software proprietário, o processo para disponibilizar esses dados pode levar um bom tempo desde criar e definir quais dados podem ser compartilhados, até ter o acordo com as diferentes áreas de como a informação deve ser criada (ex: texto), monitorada (ex: logs de acesso) e acessada (ex: SFTP).
Naturalmente um dos primeiros casos de uso que podemos aplicar Delta Sharing é o de Monetização de Dados pois o mesmo pode ser realizado de maneira segura, simples e com independência de ferramentas entre os diferentes consumidores da informação.
2 - Compartilhar Dados com Clientes ou Parceiros
Outro caso de uso comum e ligado ao primeiro caso de uso, é o de fornecer informações para clientes ou parceiros para uma melhor experiência e/ou enriquecimento de suas informações. Com uma simplicidade maior de arquitetura e padronização, administrar o compartilhamento de dados com uma grande quantidade de clientes/parceiros torna-se uma tarefa mais fácil e praticamente elimina a necessidade de criar diferentes soluções/projetos para cada necessidade ou atualização da informação, visto que é possível acessar os dados atualizados sem a necessidade de modificar o que já foi criado e possibilitando ter agilidade e mais tempo para trabalhar com a informação.
O serviço de imigração dos Estados Unidos (USCIS) é um exemplo real deste caso de uso, facilitando o compartilhamento de dados entre suas agências e atendendo os requerimentos necessários com agilidade no acesso à informação.
3 - Arquitetura de Dados Híbrida e Multi Nuvem
Com o avanço dos provedores de nuvens e com a necessidade de buscar o melhor custo/benefício, uma tendência é a de organizações utilizarem mais de uma cloud pública em seu ecossistema. Com as soluções tradicionais é comum na arquitetura de compartilhamento de dados utilizar JDBC/ODBC, obrigando o acesso e processamento de dados na plataforma de origem, ou utilizar ferramentas de storage de cada provedor, que trazem a mesma complexidade e dificuldades para administrar todo esse ecossistema.
Delta Sharing conta com uma série de conectores e possibilita a leitura de dados atualizados sem a necessidade de replicar toda a informação, independentemente do ambiente de origem/destino e ferramenta de consumo:
Figura 4: Conectores Delta Sharing
Conclusão
Delta Sharing possibilita uma nova forma para compartilhamento de dados, de maneira centralizada, segura e aberta é possível compartilhar dados atualizados sem a necessidade de replicação através de diferentes plataformas/ferramentas.
Convidamos todos a conhecer mais sobre o protocolo e para isso disponibilizamos um e-book gratuitamente e a gravação de nosso webinar sobre como Delta Sharing pode acelerar o valor para seu negócio.
Databricks fornece em sua arquitetura um ambiente de Delta Sharing gerenciado integrado com a arquitetura Lakehouse e com Unity Catalog, que complementa e facilita ainda mais a administração dos compartilhamentos criados. Para mais informações e como começar clique aqui.