Fluxos de trabalho
Orquestração unificada de dados, análises e IA no Lakehouse
O Databricks Workflows é um serviço de orquestração gerenciado, totalmente integrado à Plataforma Databricks Lakehouse. O Workflows permite definir, gerenciar e monitorar facilmente fluxos de trabalho multitarefa para ETL, análises e pipelines de machine learning. Com uma ampla variedade de tipos de tarefas compatíveis, recursos de observabilidade detalhada e alta confiabilidade, suas equipes de dados podem automatizar e orquestrar melhor qualquer pipeline e aumentar a produtividade.
Criação simples
Seja para data engineers, analistas de dados ou data scientists, defina fluxos de trabalho facilmente com apenas alguns cliques ou use seu IDE favorito.
Insights acionáveis
Obtenha visibilidade total de cada tarefa em execução em cada fluxo de trabalho e seja notificado imediatamente sobre problemas que exigem solução.
Confiabilidade comprovada
Um serviço de orquestração totalmente gerenciado oferece a tranquilidade de saber que seus fluxos de trabalho de produção estão funcionando. Com 99,95% de tempo de atividade, o Databricks Workflows conta com a confiança de milhares de organizações.
Como funciona?
Unificado com a Plataforma Databricks Lakehouse
Confiabilidade na produção
Monitoramento e observabilidade detalhados
Batch e streaming
Compute eficiente
Experiência de usuário perfeita
Unificado com a Plataforma Databricks Lakehouse
Ao contrário das ferramentas de orquestração externa, o Databricks Workflows está totalmente integrado à Plataforma Databricks Lakehouse. Isso significa que você obtém criação de fluxo de trabalho nativo em seu workspace e a capacidade de automatizar qualquer recurso da Lakehouse, incluindo pipelines das Delta Live Table, notebooks da Databricks e queries do Databricks SQL. Com o Unity Catalog, você obtém linhagem de dados automatizada para cada fluxo de trabalho para manter o controle de todos os seus ativos de dados em toda a organização.
Confiabilidade em escala
Todos os dias, milhares de organizações confiam no Databricks Workflows para executar milhões de cargas de trabalho de produção em AWS, Azure e GCP com 99,95% de tempo de atividade. Com uma ferramenta de orquestração totalmente gerenciada incorporada ao Databricks Lakehouse você não precisa manter, atualizar ou solucionar problemas de outra ferramenta independente para orquestração.
Monitoramento e observabilidade detalhados
A integração total com a Plataforma Lakehouse significa que o Databricks Workflows fornece melhor observabilidade do que qualquer ferramenta de orquestração externa. Mantenha o controle obtendo uma visão completa de cada fluxo de trabalho executado e defina notificações de falhas para alertar sua equipe por e-mail, Slack, PagerDuty ou um webhook personalizado para poder se antecipar aos problemas rapidamente e solucionar problemas antes que os consumidores de dados sejam afetados.
Batch e streaming
O Databricks Workflows oferece uma solução única para orquestrar tarefas em qualquer cenário da Lakehouse. Use uma execução de fluxo de trabalho programada para trabalhos recorrentes que realizam a ingestão em lote em horários predefinidos ou implemente pipelines de dados em tempo real que executam continuamente. Você também pode configurar um fluxo de trabalho para executar quando novos dados forem disponibilizados utilizando triggers de chegada do arquivo.
Compute eficiente
A orquestração com o Databricks Workflows oferece melhor desempenho de preço para suas cargas de trabalho de produção automatizadas. Obtenha economias de custos significativas ao utilizar clusters de jobs automatizados que têm um custo mais baixo e só são executados quando um trabalho é agendado. Assim, você não paga por recursos não utilizados. Além disso, clusters de jobs compartilhados permitem reutilizar recursos de compute para múltiplas tarefas para você otimizar a utilização de recursos.
Experiência de usuário perfeita
Defina fluxos de trabalho em seu ambiente preferido; crie facilmente fluxos de trabalho diretamente na interface de usuário do workspace da Databricks ou usando seu IDE favorito. Defina tarefas que usem um notebook com controle de versão em um Databricks Repo ou em um repositório Git remoto e adote as práticas recomendadas de DevOps, como CI/CD.
Integrações
O Databricks Workflows conta com integração perfeita com os principais parceiros do setor para oferecer a flexibilidade de definir fluxos de trabalho que atendam às suas necessidades com a solução de dados de sua escolha
Perguntas frequentes
Orquestração no contexto de dados, análise e IA refere-se à automação, implantação e gerenciamento de fluxos de trabalho, como pipelines de dados ETL e treinamento de modelo de machine learning. A orquestração é uma parte importante das operações de dados e é essencial para trazer soluções de dados para a produção. A orquestração envolve o gerenciamento das dependências entre as tarefas do fluxo de trabalho e o agendamento dessas tarefas a serem executadas. A orquestração também inclui alocação de recursos de compute e monitoramento de fluxos de trabalho.
