Ir para o conteúdo principal

Machine Learning with Databricks - Portuguese BR

Bem-vindo ao Machine Learning com Databricks!

Este curso é a sua porta de entrada para dominar os machine learning workflows em Databricks. Mergulhe na preparação de dados, desenvolvimento de modelos, implementação e operações, orientado por instrutores especializados. Aprenda competências essenciais para exploração de dados, treino de modelos e estratégias de implementação adaptadas para Databricks. No final do curso, terá o conhecimento e a confiança para navegar por todo o ciclo de vida do machine learning na plataforma Databricks, capacitando-o a construir e implementar soluções robustas de machine learning de forma eficiente.

 

Preparação de Dados para Machine Learning

Este curso foca-se nos fundamentos da preparação de dados para machine learning utilizando Databricks. Os participantes irão aprender competências essenciais para explorar, limpar e organizar dados adaptadas a aplicações tradicionais de machine learning. Os tópicos-chave incluem visualização de dados, engenharia de recursos e estratégias ótimas de armazenamento de recursos. Através de exercícios práticos, os participantes ganharão experiência prática na preparação eficiente de datasets para machine learning dentro de Databricks. Este curso é concebido para cientistas de dados de nível associado e profissionais de machine learning e indivíduos que procuram melhorar a sua proficiência na preparação de dados, garantindo uma base sólida para a implementação bem-sucedida de modelos de machine learning.

 

Desenvolvimento de Modelos de Machine Learning

Este curso abrangente fornece um guia prático para desenvolver modelos tradicionais de aprendizagem automática em Databricks, enfatizando demonstrações práticas e fluxos de trabalho usando bibliotecas populares de ML. Os participantes irão explorar técnicas-chave de ML, incluindo regressão e clustering, aproveitando as poderosas capacidades do Databricks. O curso aborda integração com MLflow para rastreamento de modelos, Databricks Feature Store para gestão de funcionalidades e Optuna para afinação de hiperparâmetros. Além disso, os participantes aprenderão como acelerar o treino de modelos com Databricks AutoML. No final do curso, os alunos terão competências práticas e práticas para desenvolver, otimizar e implementar modelos de aprendizagem automática de forma eficiente no ambiente Databricks.

 

Implementação de Modelos de Machine Learning

Este curso foi concebido para apresentar três estratégias principais de implementação de machine learning e ilustrar a implementação de cada estratégia em Databricks. Após uma exploração dos fundamentos da implementação de modelos, o curso aprofunda a inferência em lote, oferecendo demonstrações práticas e laboratórios para utilizar um modelo em cenários de inferência em lote, juntamente com considerações para otimização de desempenho. A segunda parte do curso cobre de forma abrangente a implementação de pipelines, enquanto o segmento final foca-se na implementação em tempo real. Os participantes participarão em demonstrações práticas e laboratórios, implementando modelos com Model Serving e utilizando o Model Serving para inferência em tempo real.

 

Operações de Machine Learning

Este curso irá guiar os participantes numa exploração abrangente das operações de modelos de machine learning, com foco no MLOps e na gestão do ciclo de vida dos modelos. O segmento inicial cobre componentes essenciais do MLOps e as melhores práticas, proporcionando aos participantes uma base sólida para operacionalizar eficazmente modelos de machine learning. Na parte final do curso, iremos aprofundar os fundamentos do ciclo de vida do modelo, demonstrando como navegar nele de forma fluida usando o Model Registry em conjunto com o Unity Catalog para uma gestão eficiente dos modelos. No final do curso, os participantes terão adquirido conhecimentos práticos e uma compreensão completa dos princípios do MLOps, equipados com as competências necessárias para navegar no complexo panorama das operações de modelos de machine learning.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
16h
Prerequisites

No mínimo, deve estar familiarizado com o seguinte antes de tentar fazer este conteúdo:

• Concluiu o curso Get Started with Databricks para Machine Learning (Integração) ou possui conhecimentos fundamentais equivalentes de trabalho no ambiente Databricks.

• Proficiência intermédia em programação em Python para preparação e análise de dados.

• Compreensão básica dos fundamentos de machine learning.

• Familiaridade com os Databricks platform workflows.

• Conhecimento básico de formatos de dados e conceitos de lakehouse.

• Compreensão fundamental da exploratory data analysis e estatística básica.

• Familiaridade com a Databricks Data Intelligence Platform e operações básicas de workspace (criar clusters, executar código em notebooks, usar operações básicas de notebooks, importar repositórios do git)

• Experiência intermédia em programação com Python, incluindo bibliotecas de manipulação de dados (pandas, numpy) e trabalho com APIs (databricks-sdk, REST endpoints)

• Conhecimento básico do MLflow para acompanhamento de experimentos, registo de modelos, operações de registo de modelos e versionamento de modelos

• Compreensão dos fundamentos de machine learning, incluindo treino de modelos, avaliação, inferência em lote e conceitos de implementação em tempo real

• Experiência intermédia com o Unity Catalog para governação de dados e gestão de registos de modelos

• Familiaridade básica com conceitos de Engenharia de Recursos, incluindo tabelas de recursos, consultas de recursos e offline vs online feature stores

• Compreensão das operações do Delta Lake (criar tabelas, realizar atualizações, otimizar ficheiros e liquid clustering) e técnicas de otimização de armazenamento de dados

• Conhecimentos básicos do Apache Spark e PySpark para processamento distribuído de dados e Funções Definidas pelo Utilizador (UDFs)

• Conhecimento dos conceitos fundamentais de machine learning, MLflow tracking

• Familiaridade com o Databricks workspace e notebooks

• Conhecimento intermédio de Python

Outline

Preparação de Dados para Machine Learning

• Gestão e Exploração de Dados
• Preparação de Dados e Engenharia de Recursos
• Feature Store

 

Desenvolvimento de Modelos de Machine Learning

• Fluxo de Trabalho de Desenvolvimento de Modelos

• Afinação por Hiperparâmetros

• AutoML

 

Implementação de Modelos de Machine Learning

• Fundamentos de Implementação de Modelos

• Desdobramento em lote

• Implementação de Pipeline

• Implantação em Tempo Real e armazenamento Online

 

Operações de Machine Learning

• MLOps moderno

• Arquitetura de soluções MLOps

• Implementação e Monitorização da Solução MLOps

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Portuguese BR

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando Lakeflow Spark Declarative Pipelines em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em Spark Declarative Pipelines, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.

Os tópicos abordados incluem:

- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

- Como os Lakeflow Spark Declarative Pipelines acompanham dependências de dados em um pipeline através do gráfico de pipeline

- Configuração de recursos de compute do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.

 Em seguida, o curso apresenta as expectativas de qualidade de dados no Spark Declarative Pipelines, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

 Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe AUTO CDC INTO dentro dos Spark Declarative Pipelines para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
4h
Lab
instructor-led
Associate
Data Engineer

Advanced Data Engineering with Databricks - Portuguese BR

Este curso serve como um ponto de entrada apropriado para aprender Engenharia de Dados Avançada com Databricks. Abaixo, descreveremos cada um dos quatro módulos de quatro horas incluídos neste curso.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, descontinuando o uso de apresentações de slides nas primeiras módulo. Você pode acessar os cadernos das aulas no ambiente de laboratório Vocareum.

Advanced Techniques with Spark Declarative Pipelines

Este curso explora os Spark Declarative Pipelines (SDP) da Databricks Lakeflow para a construção de pipelines de transmissão de nível de produção. Aprenderá padrões de design avançados, aplicação robusta da qualidade de dados e integração multiplataforma, essenciais para a engenharia de lakehouses no mundo real.

Ao longo do curso, irá aprofundar técnicas modernas de ingestão e processamento de dados, dominando ferramentas como o Liquid Clustering para otimização de layout e o padrão Multiplex Streaming para eventos com esquemas mistos. No final dos módulos, saberá como lidar com confiança com a evolução de esquemas, automatizar a Change Data Capture (CDC) e garantir a integridade dos dados.

Através de aulas teóricas e demonstrações práticas, irá:

• Construir pipelines de múltiplos fluxos para ingerir dados de múltiplas fontes numa tabela Bronze unificada.

• Aplicar o algoritmo Liquid Clustering e as Expectativas de Qualidade de Dados nas camadas Prata e Ouro.

• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados multiplataforma.

• Automatizar o seguimento do histórico de SCD Tipo 2 utilizando o AUTO CDC INTO.

• Conceber pipelines de quarentena sem perda de dados para auditar e gerir registros inválidos.

Databricks Data Privacy

Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.

Databricks Performance Optimization

Neste curso, aprenderá como otimizar as cargas de trabalho e o layout físico com o Spark e o Delta Lake, bem como analisar a interface do utilizador do Spark para avaliar o desempenho e depurar aplicações. Abordaremos temas como transmissão, net clustering, data skipping, cache, photons e muito mais.

Automated Deployment with Declarative Automation Bundles

Este curso fornece uma revisão abrangente dos princípios DevOps e da sua aplicação a projetos Databricks. Começa com uma visão geral do núcleo DevOps, DataOps, continuous integration (CI), continuous deployment (CD) e testes, e explora como estes princípios podem ser aplicados aos pipelines de engenharia de dados.

O curso foca-se depois na implementação contínua dentro do processo CI/CD, examinando ferramentas como a Databricks API REST, SDK e CLI para a implementação do projeto. Vai aprender sobre os Declarative Automation Bundles (DABs) e como se encaixam no processo CI/CD. Vai aprofundar os seus componentes-chave, a estrutura de pastas e como otimizam a implementação em vários ambientes-alvo em Databricks. Também aprenderá a adicionar variáveis, modificar, validar, implementar e executar Declarative Automation Bundles para múltiplos ambientes com diferentes configurações, utilizando a Databricks CLI.

Por fim, o curso apresenta o Visual Studio Code como um Interactive Development Environment (IDE) para construir, testar e implementar Declarative Automation Bundles localmente, otimizando o seu processo de desenvolvimento. O curso conclui com uma introdução à automatização de pipelines de implementação utilizando GitHub Actions para melhorar o fluxo de trabalho CI/CD com Declarative Automation Bundles.

No final deste curso, estará equipado para automatizar implementações de projetos Databricks com Declarative Automation Bundles, aumentando a eficiência através de práticas DevOps.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.