Ir para o conteúdo principal

Fluxos de trabalho

Orquestração unificada de dados, análises e IA no Lakehouse

O Databricks Workflows é um serviço de orquestração gerenciado, totalmente integrado à Plataforma Databricks Lakehouse. O Workflows permite definir, gerenciar e monitorar facilmente fluxos de trabalho multitarefa para ETL, análises e pipelines de machine learning. Com uma ampla variedade de tipos de tarefas compatíveis, recursos de observabilidade detalhada e alta confiabilidade, suas equipes de dados podem automatizar e orquestrar melhor qualquer pipeline e aumentar a produtividade.

yipit

"Se o Databricks Workflows estivesse disponível em 2018, nem teríamos pensado em criar uma configuração personalizada do Airflow. Simplesmente usaríamos o Workflows."

— Hillevi Crognale, gerente de engenharia da YipitData
Saiba mais

graphic 6

Criação simples

Seja para data engineers, analistas de dados ou data scientists, defina fluxos de trabalho facilmente com apenas alguns cliques ou use seu IDE favorito.

graphic

Insights acionáveis

Obtenha visibilidade total de cada tarefa em execução em cada fluxo de trabalho e seja notificado imediatamente sobre problemas que exigem solução.

Icon Graphic

Confiabilidade comprovada

Um serviço de orquestração totalmente gerenciado oferece a tranquilidade de saber que seus fluxos de trabalho de produção estão funcionando. Com 99,95% de tempo de atividade, o Databricks Workflows conta com a confiança de milhares de organizações.

Como funciona?

workflows marketecture

Unificado com a Plataforma Databricks Lakehouse

Confiabilidade na produção

Monitoramento e observabilidade detalhados

Batch e streaming

Compute eficiente

Experiência de usuário perfeita

wood mackenzie

"Usar o Databricks Workflows nos permitiu incentivar a colaboração e romper as paredes entre diferentes estágios do processo. Permitiu que todos nós falássemos a mesma língua.”

— Yanyan Wu, vice-presidente de dados, Wood Mackenzie
Saiba mais

workflows

Unificado com a Plataforma Databricks Lakehouse

Ao contrário das ferramentas de orquestração externa, o Databricks Workflows está totalmente integrado à Plataforma Databricks Lakehouse. Isso significa que você obtém criação de fluxo de trabalho nativo em seu workspace e a capacidade de automatizar qualquer recurso da Lakehouse, incluindo pipelines das Delta Live Table, notebooks da Databricks e queries do Databricks SQL. Com o Unity Catalog, você obtém linhagem de dados automatizada para cada fluxo de trabalho para manter o controle de todos os seus ativos de dados em toda a organização.  

reliability at scale

Confiabilidade em escala

Todos os dias, milhares de organizações confiam no Databricks Workflows para executar milhões de cargas de trabalho de produção em AWS, Azure e GCP com 99,95% de tempo de atividade. Com uma ferramenta de orquestração totalmente gerenciada incorporada ao Databricks Lakehouse você não precisa manter, atualizar ou solucionar problemas de outra ferramenta independente para orquestração.

deep monitoring and observability

Monitoramento e observabilidade detalhados

A integração total com a Plataforma Lakehouse significa que o Databricks Workflows fornece melhor observabilidade do que qualquer ferramenta de orquestração externa. Mantenha o controle obtendo uma visão completa de cada fluxo de trabalho executado e defina notificações de falhas para alertar sua equipe por e-mail, Slack, PagerDuty ou um webhook personalizado para poder se antecipar aos problemas rapidamente e solucionar problemas antes que os consumidores de dados sejam afetados.

batch and streaming

Batch e streaming

O Databricks Workflows oferece uma solução única para orquestrar tarefas em qualquer cenário da Lakehouse. Use uma execução de fluxo de trabalho programada para trabalhos recorrentes que realizam a ingestão em lote em horários predefinidos ou implemente pipelines de dados em tempo real que executam continuamente. Você também pode configurar um fluxo de trabalho para executar quando novos dados forem disponibilizados utilizando triggers de chegada do arquivo.

efficient compute

Compute eficiente

A orquestração com o Databricks Workflows oferece melhor desempenho de preço para suas cargas de trabalho de produção automatizadas. Obtenha economias de custos significativas ao utilizar clusters de jobs automatizados que têm um custo mais baixo e só são executados quando um trabalho é agendado. Assim, você não paga por recursos não utilizados. Além disso, clusters de jobs compartilhados permitem reutilizar recursos de compute para múltiplas tarefas para você otimizar a utilização de recursos.

workflows

Experiência de usuário perfeita

Defina fluxos de trabalho em seu ambiente preferido; crie facilmente fluxos de trabalho diretamente na interface de usuário do workspace da Databricks ou usando seu IDE favorito. Defina tarefas que usem um notebook com controle de versão em um Databricks Repo ou em um repositório Git remoto e adote as práticas recomendadas de DevOps, como CI/CD.

grip

"É fácil iniciar um cluster uma vez, reutilizá-lo para todas as etapas diferentes e desligá-lo quando terminar."

— Jimmy Cooper, Cofundador e CTO, Grip
Saiba mais

Integrações

O Databricks Workflows conta com integração perfeita com os principais parceiros do setor para oferecer a flexibilidade de definir fluxos de trabalho que atendam às suas necessidades com a solução de dados de sua escolha

dbt labs logo
Arcion
Matillion
Azure Data Factory logo
apache airflow
fivetran-logo-small.svg
dbt labs logo
Arcion
Matillion
Azure Data Factory logo
apache airflow
fivetran-logo-small.svg

Perguntas frequentes

Orquestração no contexto de dados, análise e IA refere-se à automação, implantação e gerenciamento de fluxos de trabalho, como pipelines de dados ETL e treinamento de modelo de machine learning. A orquestração é uma parte importante das operações de dados e é essencial para trazer soluções de dados para a produção. A orquestração envolve o gerenciamento das dependências entre as tarefas do fluxo de trabalho e o agendamento dessas tarefas a serem executadas. A orquestração também inclui alocação de recursos de compute e monitoramento de fluxos de trabalho.

Tudo pronto para começar?