Ir para o conteúdo principal

Streaming de dados

Simplifique análises em tempo real, ML e aplicações

Plataforma Databricks Lakehouse simplifica drasticamente o streaming de dados para fornecer análises em tempo real, machine learning e aplicações em uma única plataforma.

Permita que suas equipes de dados criem cargas de trabalho de streaming com as linguagens e ferramentas que já conhecem. Simplifique o desenvolvimento e as operações, automatizando os aspectos de produção associados à criação e manutenção de cargas de trabalho de dados em tempo real. Elimine silos unificando streaming e dados em batch em uma única plataforma.

Value Action

Crie pipelines e aplicações de streaming mais rapidamente

Use as linguagens e ferramentas que você já conhece com APIs unificadas para batch e streaming em SQL e Python. Coloque análisesML e aplicações em tempo real para trabalhar em toda a sua organização.

graphic

Simplifique as operações com automação de ferramentas

Implante facilmente seus pipelines em tempo real e aplicações para produção e beneficie-se do gerenciamento simplificado. Ferramentas automatizadas simplificam a orquestração de tarefas, tolerância e recuperação de falhas, verificação automática, otimização de desempenho e redimensionamento automático.

Customer Obsessed

Unifique a governança de todos os seus dados em tempo real em suas diferentes nuvens

O Unity Catalog oferece ao seu lakehouse um modelo de governança unificado para todos os seus dados em batch e streaming, facilitando a descoberta, visualização e compartilhamento de dados em tempo real.

Como funciona?

DEMarketecture

Ingestão e transformação de dados de streaming

Análises em tempo real, ML e aplicações

Ferramentas operacionais automatizadas

Mecanismo de processamento de stream de última geração

Governança e armazenamento unificados

data-ingestion

Ingestão e transformação de dados de streaming

Simplifique a ingestão de dados e o ETL para pipelines de dados de streaming com as Delta Live Tables. Aproveite uma abordagem declarativa simples para a engenharia de dados para permitir que suas equipes usem as linguagens e ferramentas que já conhecem, como SQL e Python. Crie e execute pipelines de dados em batch e streaming em um só lugar com configurações de atualização controláveis e automatizadas, economizando tempo e reduzindo a complexidade operacional. Não importa onde você planeja enviar seus dados, construir pipelines de dados de streaming na Plataforma Databricks Lakehouse garante que você não perca tempo entre dados brutos e limpos.

“Cada vez mais unidades de negócios estão usando a plataforma de maneira self-service, o que antes era impossível. Estou extremamente impressionada com o impacto positivo que a Databricks teve na Columbia.”
— Lara Minor, gerente sênior de dados empresariais, Columbia Sportswear

3-animated

Análises em tempo real, ML e aplicações

Com o streaming de dados, melhore imediatamente a precisão e capacidade de ação a partir de suas análises e IA para aproveitar todo o seu potencial. Sua empresa se beneficiará de insights em tempo real, derivados diretamente de pipelines de dados de streaming. Seja realizando Análises SQL ou Relatórios de BItreinando modelos de ML ou criando aplicações operacionais em tempo real, aproveite os dados mais recentes para obter vantagens para ficar à frente da concorrência: insights em tempo real, previsões mais precisas e tomadas de decisão mais rápidas.

“Devemos sempre fornecer os dados mais recentes e precisos aos nossos parceiros de negócios ou eles perderão confiança nos insights... A Plataforma Databricks Lakehouse tornou extremamente fácil o que antes era impossível.”
— Guillermo Roldán, diretor de arquitetura, LaLiga Tech

automated

Ferramentas operacionais automatizadas

Quando você cria e implanta pipelines de dados de streaming, a Databricks automatiza muitas das tarefas operacionais complexas necessárias para passar para a produção. A plataforma lida com processos como redimensionamento automático da infraestrutura, orquestração de dependências de pipeline, tratamento e recuperação de erros, otimização de desempenho e muito mais. O redimensionamento automático aprimorado otimiza a utilização do cluster alocando automaticamente recursos de computação para cada carga de trabalho. Esses recursos, complementados por testes automáticos de qualidade de dados e tratamento de exceções, reduzem o tempo necessário para criar e manter ferramentas operacionais para que você possa se concentrar em obter valor dos seus dados.

next-gen-stream

Mecanismo de processamento de stream de última geração

O Spark Structured Streaming é a tecnologia fundamental por trás do streaming de dados na Databricks Lakehouse Platform. Ele fornece uma API unificada para processamento em batch e streaming. A Databricks Lakehouse Platform é a melhor maneira de executar suas cargas de trabalho do Apache Spark em um serviço gerenciado com uma disponibilidade comprovada de 99,95%. Suas cargas de trabalho do Spark são ainda mais aceleradas pelo Photon, o mecanismo lakehouse de última geração compatível com as APIs do Apache Spark. Ele oferece desempenho recorde por seu custo e pode ser redimensionado automaticamente para suportar milhares de nós.

unified

Governança e armazenamento unificados

Com o streaming de dados no Databricks, você se beneficia dos componentes fundamentais da Plataforma Lakehouse — Unity Catalog e Delta Lake. Seus dados brutos são otimizados com a Delta Lake, a única estrutura de armazenamento de código aberto criada desde o início para dados em batch e streaming. O Unity Catalog inclui governança detalhada para todos os seus dados e ativos de IA com um modelo consistente para descobrir, acessar e compartilhar dados nas nuvens. O Unity Catalog também fornece suporte nativo para Delta Sharing, o primeiro protocolo aberto do setor para compartilhamento de dados fácil e seguro com outras organizações.

Integrações

Dê flexibilidade às suas equipes de dados: aproveite o Partner Connect e nosso ecossistema de parceiros de tecnologia para integrar perfeitamente ferramentas de streaming populares.

Streaming de dados

fivetran
Matillion
striim
confluent
alteryx
Arcion
fivetran
Matillion
striim
confluent
alteryx
Arcion

História de cliente

Walgreens

“Usamos a Databricks para movimentar nossos dados em alta velocidade. Com esta plataforma, aumentamos drasticamente a velocidade com que respondemos às necessidades dos nossos pacientes, seja na loja ou online. Atualmente, gerenciamos cerca de uma dúzia de iniciativas, todas baseadas em dados na Databricks.”

— Sashi Venkatesan, diretor de engenharia de produto, Walgreens
AT&T

“Agora, detectamos fraudes em tempo real. Estamos um passo à frente dos fraudadores que tentam enganar o sistema, fazer desbloqueios ilegais, bots de chamada e texto e roubo de identidade.”

— Kate Hopkins, vice-presidente, AT&T
Edmunds
Warner Bros Discovery
U.S. Department of Transportation
T Mobile
Reckitt
Edmunds
Warner Bros Discovery
U.S. Department of Transportation
T Mobile
Reckitt
Edmunds