Skip to main content

Developing Applications with Apache Spark™

Master scalable data processing with Apache Spark in this hands-on course. Learn to build efficient ETL pipelines, perform advanced analytics, and optimize distributed data transformations using Spark’s DataFrame API. Explore grouping, aggregation, joins, set operations, and window functions. Work with complex data types like arrays, maps, and structs while applying best practices for performance optimization.


Languages Available: English | 日本語 | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

- Basic programming knowledge

- Familiarity with Python

- Basic understanding of SQL queries (SELECT, JOIN, GROUP BY)

- Familiarity with data processing concepts

- "Introduction to Apache Spark Course" or Previous Databricks experience required

Outline

Developing Applications with Spark

  • DataFrame API Basics
  • Demo: (Optional) Basic ETL with the DataFrame API
  • Grouping and Aggregating Data
  • Demo: Grouping and Aggregating Data
  • Lab: Grouping and Aggregating E-Commerce Data
  • Relational Operations
  • Demo: Data Relational Operations in Apache Spark
  • Working with Complex Data
  • Demo: Working with Complex Data Types in Apache Spark
  • Lab: Working with Complex Data Types in E-Commerce Data

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
Sep 10
01 PM - 05 PM (Australia/Sydney)
-
English
$750.00
Sep 10
01 PM - 05 PM (Europe/Paris)
-
English
$750.00
Sep 10
09 AM - 01 PM (America/New_York)
-
English
$750.00
Oct 08
09 AM - 01 PM (Asia/Kolkata)
-
English
$750.00
Oct 08
09 AM - 01 PM (Europe/Paris)
-
English
$750.00
Oct 08
01 PM - 05 PM (America/New_York)
-
English
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Register now

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Register now

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Spanish

Este curso está dirigido a científicos de datos, ingenieros de machine learning y otros profesionales de datos que desean crear aplicaciones de IA generativa utilizando los frameworks más recientes y populares y las funcionalidades de Databricks.

Nota: Databricks Academy está migrando a un formato basado en notebooks para las sesiones en el aula dentro del entorno de Databricks, y deja de utilizar diapositivas para las clases. Puede acceder a los notebooks de las clases en el entorno de laboratorio de Vocareum.

A continuación, describimos cada uno de los cuatro módulos de cuatro horas incluidos en este curso.

Building RAG Agents with Agent Bricks: este curso ofrece capacitación práctica para crear agentes de recuperación utilizando Databricks Agent Bricks. Los participantes aprenderán a explorar y consultar Knowledge Assistants, analizar documentos no estructurados para convertirlos en datos estructurados mediante AI Functions, dividir texto en fragmentos (chunks) para la recuperación semántica, crear índices de Vector Search y crear Knowledge Assistants listos para producción respaldados por múltiples fuentes de conocimiento.

Building Agentic Applications on Databricks: este curso enseña a los estudiantes a crear aplicaciones agénticas de nivel de producción en Databricks. Los estudiantes aprenden a crear herramientas de agente gobernadas mediante Unity Catalog y MCP, crear sistemas de agente único y multiagente con el OpenAI Agents SDK, y aprovechar Agent Bricks y Genie para casos de uso de knowledge assistant orquestados con un agente supervisor. El curso abarca toda la progresión, desde la creación de prototipos de herramientas hasta la implementación en producción, con experiencia práctica utilizando el rastreo (tracing) de MLflow para observar la ejecución del agente.

Agent Evaluation on Databricks: este curso enseña a los estudiantes a evaluar sistemáticamente agentes de IA utilizando el framework de evaluación de MLflow, abordando los desafíos únicos de los sistemas de IA no deterministas que las pruebas de software tradicionales no pueden manejar. Los estudiantes aprenden a implementar diversos enfoques de evaluación, incluidos los jueces integrados (built-in judges) para criterios comunes como la corrección y la seguridad, los jueces basados en directrices para requisitos específicos del negocio y los jueces personalizados para necesidades especializadas. El curso abarca tanto la evaluación sin conexión utilizando conjuntos de datos (datasets) seleccionados como el monitoreo de producción en línea, con experiencia práctica utilizando las capacidades de rastreo (tracing) de MLflow para comprender los patrones de ejecución del agente y recopilar retroalimentación humana de diferentes tipos de partes interesadas. A través de demostraciones y laboratorios prácticos, los estudiantes desarrollan habilidades para crear flujos de trabajo de evaluación que impulsan mejoras continuas de calidad a lo largo del ciclo de vida de desarrollo de los agentes de IA.

Deploying and Monitoring Agent Applications on Databricks: este curso abarca el ciclo de vida completo para implementar y monitorear agentes de IA generativa en Databricks. Los participantes aprenderán a implementar agentes como Databricks Apps utilizando Declarative Automation Bundles (DABs), integrar herramientas mediante el Model Context Protocol (MCP), instrumentar agentes con MLflow Tracing y evaluar la calidad en producción utilizando scorers, jueces de múltiples turnos y evaluación en línea. A través de demos y laboratorios prácticos, los participantes adquirirán experiencia práctica en la creación, observación y monitoreo de agentes de IA de nivel de producción en la plataforma Databricks.

Paid
16h
Lab
instructor-led
Associate
Generative AI Engineer

Generative AI Engineering with Databricks - French

Ce cours s’adresse aux data scientists, aux ingénieurs en machine learning et aux autres professionnels des données qui souhaitent créer des applications d’IA générative à l’aide des frameworks les plus récents et les plus populaires et des fonctionnalités de Databricks.

Remarque : Databricks Academy passe à un format basé sur des notebooks pour les sessions en classe dans l’environnement Databricks, et n’utilise plus de diaporamas pour les cours. Vous pouvez accéder aux notebooks de cours dans l’environnement de laboratoire Vocareum.

Ci-dessous, nous décrivons chacun des quatre modules de quatre heures inclus dans ce cours.

Building RAG Agents with Agent Bricks : ce cours propose une formation pratique à la création d’agents de récupération à l’aide de Databricks Agent Bricks. Les participants apprendront à explorer et à interroger les Knowledge Assistants, à analyser des documents non structurés pour les convertir en données structurées à l’aide des AI Functions, à découper le texte en fragments (chunks) pour la récupération sémantique, à créer des index Vector Search et à créer des Knowledge Assistants prêts pour la production s’appuyant sur plusieurs sources de connaissances.

Building Agentic Applications on Databricks : ce cours enseigne aux étudiants comment créer des applications agentiques de niveau production sur Databricks. Les étudiants apprennent à créer des outils d’agent gouvernés à l’aide d’Unity Catalog et de MCP, à créer des systèmes à agent unique et multi-agents avec l’OpenAI Agents SDK, et à exploiter Agent Bricks et Genie pour des cas d’usage de knowledge assistant orchestrés avec un agent superviseur. Le cours couvre l’ensemble de la progression, du prototypage des outils au déploiement en production, avec une expérience pratique de l’utilisation du traçage (tracing) MLflow pour observer l’exécution des agents.

Agent Evaluation on Databricks : ce cours enseigne aux étudiants comment évaluer systématiquement les agents IA à l’aide du cadre d’évaluation de MLflow, en relevant les défis propres aux systèmes d’IA non déterministes que les tests logiciels traditionnels ne peuvent pas gérer. Les étudiants apprennent à mettre en œuvre diverses approches d’évaluation, notamment les juges intégrés (built-in judges) pour des critères courants tels que l’exactitude et la sécurité, les juges basés sur des directives pour des exigences propres à l’entreprise, et les juges personnalisés pour des besoins spécialisés. Le cours couvre à la fois l’évaluation hors ligne à l’aide d’ensembles de données (datasets) sélectionnés et la surveillance de la production en ligne, avec une expérience pratique de l’utilisation des capacités de traçage (tracing) de MLflow pour comprendre les schémas d’exécution des agents et recueillir les retours humains de différents types de parties prenantes. Grâce à des démonstrations et des laboratoires pratiques, les étudiants développent des compétences pour créer des flux de travail d’évaluation qui favorisent l’amélioration continue de la qualité tout au long du cycle de vie de développement des agents IA.

Deploying and Monitoring Agent Applications on Databricks : ce cours couvre le cycle de vie de bout en bout pour le déploiement et la surveillance des agents d’IA générative sur Databricks. Les participants apprendront à déployer des agents en tant que Databricks Apps à l’aide des Declarative Automation Bundles (DABs), à intégrer des outils via le Model Context Protocol (MCP), à instrumenter les agents avec MLflow Tracing, et à évaluer la qualité en production à l’aide de scorers, de juges multi-tours et de l’évaluation en ligne. Grâce à des démos et des laboratoires pratiques, les participants acquerront une expérience pratique de la création, de l’observation et de la surveillance d’agents IA de niveau production sur la plateforme Databricks.

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.