Skip to main content

Machine Learning at Scale

In this course, you will gain theoretical and practical knowledge of Apache Spark’s architecture and its application to machine learning workloads within Databricks. You will learn when to use Spark for data preparation, model training, and deployment, while also gaining hands-on experience with Spark ML and pandas APIs on Spark. This course will introduce you to advanced concepts like hyperparameter tuning and scaling Optuna with Spark. This course will use features and concepts introduced in the associate course such as MLflow and Unity Catalog for comprehensive model packaging and governance. 

Skill Level
Professional
Duration
4h
Prerequisites

In this course, the content was developed for participants with these skills/knowledge/abilities: 

• Familiarity with the Databricks Data Intelligence Platform and basic workspace operations (create clusters, run code in notebooks, use basic notebook operations, import repos from git)

• Intermediate programming experience with Python, including data manipulation libraries (pandas, numpy) and machine learning frameworks (scikit-learn)

• Basic knowledge of Apache Spark and PySpark fundamentals, including DataFrames, transformations, and actions for distributed data processing

• Understanding of machine learning concepts, including model training, evaluation, hyperparameter tuning, and deployment workflows

• Intermediate experience with Delta Lake operations (create tables, perform updates, optimize files, time travel functionality)

• Basic familiarity with MLflow for experiment tracking, model logging, and model registry operations

• Understanding of distributed computing concepts (cluster architecture, parallelization, scalability considerations)

• Basic knowledge of SQL for data querying and manipulation within Spark environments

Outline

Machine Learning Development with Spark

• Spark Architecture Overview

• Introduction to Spark ML for Model Development

• Model Tracking and Packaging with MLflow

• Model Development with Spark


Distributed Model Tuning on Databricks

• Overview of Hyperparameter Tuning

• Scalable HPO Frameworks on Databricks 

• Hyperparameter Tuning with SparkML

• HPO with Ray Tune


Deploying Machine Learning Models with Spark

• Deployment with Spark

• Inference with Spark

• Model Deployment with Spark

• Optimization Strategies with Spark and Delta Lake

• Model Deployment with Spark


Pandas on Spark

• Scaling with Pandas APIs

• Pandas UDFs and Function APIs

• Pandas APIs

• Recap and CTA

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
Sep 01
01 PM - 05 PM (Australia/Sydney)
-
English
$750.00
Sep 01
09 AM - 01 PM (America/New_York)
-
English
$750.00
Oct 01
09 AM - 01 PM (Asia/Kolkata)
-
English
$750.00
Oct 01
09 AM - 01 PM (Europe/Paris)
-
English
$750.00
Oct 01
01 PM - 05 PM (America/New_York)
-
English
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Register now

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Register now

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Spanish

Este curso está dirigido a científicos de datos, ingenieros de machine learning y otros profesionales de datos que desean crear aplicaciones de IA generativa utilizando los frameworks más recientes y populares y las funcionalidades de Databricks.

Nota: Databricks Academy está migrando a un formato basado en notebooks para las sesiones en el aula dentro del entorno de Databricks, y deja de utilizar diapositivas para las clases. Puede acceder a los notebooks de las clases en el entorno de laboratorio de Vocareum.

A continuación, describimos cada uno de los cuatro módulos de cuatro horas incluidos en este curso.

Building RAG Agents with Agent Bricks: este curso ofrece capacitación práctica para crear agentes de recuperación utilizando Databricks Agent Bricks. Los participantes aprenderán a explorar y consultar Knowledge Assistants, analizar documentos no estructurados para convertirlos en datos estructurados mediante AI Functions, dividir texto en fragmentos (chunks) para la recuperación semántica, crear índices de Vector Search y crear Knowledge Assistants listos para producción respaldados por múltiples fuentes de conocimiento.

Building Agentic Applications on Databricks: este curso enseña a los estudiantes a crear aplicaciones agénticas de nivel de producción en Databricks. Los estudiantes aprenden a crear herramientas de agente gobernadas mediante Unity Catalog y MCP, crear sistemas de agente único y multiagente con el OpenAI Agents SDK, y aprovechar Agent Bricks y Genie para casos de uso de knowledge assistant orquestados con un agente supervisor. El curso abarca toda la progresión, desde la creación de prototipos de herramientas hasta la implementación en producción, con experiencia práctica utilizando el rastreo (tracing) de MLflow para observar la ejecución del agente.

Agent Evaluation on Databricks: este curso enseña a los estudiantes a evaluar sistemáticamente agentes de IA utilizando el framework de evaluación de MLflow, abordando los desafíos únicos de los sistemas de IA no deterministas que las pruebas de software tradicionales no pueden manejar. Los estudiantes aprenden a implementar diversos enfoques de evaluación, incluidos los jueces integrados (built-in judges) para criterios comunes como la corrección y la seguridad, los jueces basados en directrices para requisitos específicos del negocio y los jueces personalizados para necesidades especializadas. El curso abarca tanto la evaluación sin conexión utilizando conjuntos de datos (datasets) seleccionados como el monitoreo de producción en línea, con experiencia práctica utilizando las capacidades de rastreo (tracing) de MLflow para comprender los patrones de ejecución del agente y recopilar retroalimentación humana de diferentes tipos de partes interesadas. A través de demostraciones y laboratorios prácticos, los estudiantes desarrollan habilidades para crear flujos de trabajo de evaluación que impulsan mejoras continuas de calidad a lo largo del ciclo de vida de desarrollo de los agentes de IA.

Deploying and Monitoring Agent Applications on Databricks: este curso abarca el ciclo de vida completo para implementar y monitorear agentes de IA generativa en Databricks. Los participantes aprenderán a implementar agentes como Databricks Apps utilizando Declarative Automation Bundles (DABs), integrar herramientas mediante el Model Context Protocol (MCP), instrumentar agentes con MLflow Tracing y evaluar la calidad en producción utilizando scorers, jueces de múltiples turnos y evaluación en línea. A través de demos y laboratorios prácticos, los participantes adquirirán experiencia práctica en la creación, observación y monitoreo de agentes de IA de nivel de producción en la plataforma Databricks.

Paid
16h
Lab
instructor-led
Associate
Generative AI Engineer

Generative AI Engineering with Databricks - French

Ce cours s’adresse aux data scientists, aux ingénieurs en machine learning et aux autres professionnels des données qui souhaitent créer des applications d’IA générative à l’aide des frameworks les plus récents et les plus populaires et des fonctionnalités de Databricks.

Remarque : Databricks Academy passe à un format basé sur des notebooks pour les sessions en classe dans l’environnement Databricks, et n’utilise plus de diaporamas pour les cours. Vous pouvez accéder aux notebooks de cours dans l’environnement de laboratoire Vocareum.

Ci-dessous, nous décrivons chacun des quatre modules de quatre heures inclus dans ce cours.

Building RAG Agents with Agent Bricks : ce cours propose une formation pratique à la création d’agents de récupération à l’aide de Databricks Agent Bricks. Les participants apprendront à explorer et à interroger les Knowledge Assistants, à analyser des documents non structurés pour les convertir en données structurées à l’aide des AI Functions, à découper le texte en fragments (chunks) pour la récupération sémantique, à créer des index Vector Search et à créer des Knowledge Assistants prêts pour la production s’appuyant sur plusieurs sources de connaissances.

Building Agentic Applications on Databricks : ce cours enseigne aux étudiants comment créer des applications agentiques de niveau production sur Databricks. Les étudiants apprennent à créer des outils d’agent gouvernés à l’aide d’Unity Catalog et de MCP, à créer des systèmes à agent unique et multi-agents avec l’OpenAI Agents SDK, et à exploiter Agent Bricks et Genie pour des cas d’usage de knowledge assistant orchestrés avec un agent superviseur. Le cours couvre l’ensemble de la progression, du prototypage des outils au déploiement en production, avec une expérience pratique de l’utilisation du traçage (tracing) MLflow pour observer l’exécution des agents.

Agent Evaluation on Databricks : ce cours enseigne aux étudiants comment évaluer systématiquement les agents IA à l’aide du cadre d’évaluation de MLflow, en relevant les défis propres aux systèmes d’IA non déterministes que les tests logiciels traditionnels ne peuvent pas gérer. Les étudiants apprennent à mettre en œuvre diverses approches d’évaluation, notamment les juges intégrés (built-in judges) pour des critères courants tels que l’exactitude et la sécurité, les juges basés sur des directives pour des exigences propres à l’entreprise, et les juges personnalisés pour des besoins spécialisés. Le cours couvre à la fois l’évaluation hors ligne à l’aide d’ensembles de données (datasets) sélectionnés et la surveillance de la production en ligne, avec une expérience pratique de l’utilisation des capacités de traçage (tracing) de MLflow pour comprendre les schémas d’exécution des agents et recueillir les retours humains de différents types de parties prenantes. Grâce à des démonstrations et des laboratoires pratiques, les étudiants développent des compétences pour créer des flux de travail d’évaluation qui favorisent l’amélioration continue de la qualité tout au long du cycle de vie de développement des agents IA.

Deploying and Monitoring Agent Applications on Databricks : ce cours couvre le cycle de vie de bout en bout pour le déploiement et la surveillance des agents d’IA générative sur Databricks. Les participants apprendront à déployer des agents en tant que Databricks Apps à l’aide des Declarative Automation Bundles (DABs), à intégrer des outils via le Model Context Protocol (MCP), à instrumenter les agents avec MLflow Tracing, et à évaluer la qualité en production à l’aide de scorers, de juges multi-tours et de l’évaluation en ligne. Grâce à des démos et des laboratoires pratiques, les participants acquerront une expérience pratique de la création, de l’observation et de la surveillance d’agents IA de niveau production sur la plateforme Databricks.

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.