Skip to main content

Databricks Data Privacy

This content provides a comprehensive guide to managing data privacy within Databricks. It covers key topics like Delta Lake architecture, regional data isolation, GDPR/CCPA compliance, and Change Data Feed (CDF) usage. Through practical demos and hands-on labs, participants learn to use Unity Catalog features for securing sensitive data and ensuring compliance, empowering them to safeguard data integrity effectively.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Professional
Duration
4h
Prerequisites

In this course, the content was developed for participants with these skills/knowledge/abilities: 

• Ability to perform basic code development tasks using the Databricks Data Engineering & Data Science workspace (create clusters, run code in notebooks, use basic notebook operations, import repos from git, etc)

• Intermediate programming experience with PySpark

• Extract data from a variety of file formats and data sources

• Apply a number of common transformations to clean data

• Reshape and manipulate complex data using advanced built-in functions

• Intermediate programming experience with Delta Lake (create tables, perform complete and incremental updates, compact files, restore previous versions etc.)

• Beginner experience configuring and scheduling data pipelines using the Lakeflow Pipelines Editor

• Beginner experience defining Apache Spark™ Declarative Pipelines using PySpark

• Ingest and process data using Auto Loader and PySpark syntax

• Process Change Data Capture feeds with APPLY CHANGES INTO syntax

Outline

1. Storing Data Securely
• Regulatory Compliance
• Data Privacy
2. Unity Catalog
• Key Concepts and Components
• Audit Your Data
• Data Isolation
• Securing Data in Unity Catalog
3. PII Data Security
• Pseudonymization & Anonymization
• Summary & Best Practices
• PII Data Security
4. Streaming Data and CDF
• Capturing Changed Data

• Deleting Data in Databricks
• Processing Records from CDF and Propagating Changes
• Propagating Changes with CDF Lab

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
Aug 19
09 AM - 01 PM (Asia/Singapore)
-
English
$750.00
Sep 09
01 PM - 05 PM (Australia/Sydney)
-
English
$750.00
Sep 09
01 PM - 05 PM (Europe/Paris)
-
English
$750.00
Sep 09
09 AM - 01 PM (America/New_York)
-
English
$750.00
Oct 14
09 AM - 01 PM (Asia/Kolkata)
-
English
$750.00
Oct 14
09 AM - 01 PM (Europe/Paris)
-
English
$750.00
Oct 14
01 PM - 05 PM (America/New_York)
-
English
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Register now

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Register now

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Spanish

Este curso está dirigido a científicos de datos, ingenieros de machine learning y otros profesionales de datos que desean crear aplicaciones de IA generativa utilizando los frameworks más recientes y populares y las funcionalidades de Databricks.

Nota: Databricks Academy está migrando a un formato basado en notebooks para las sesiones en el aula dentro del entorno de Databricks, y deja de utilizar diapositivas para las clases. Puede acceder a los notebooks de las clases en el entorno de laboratorio de Vocareum.

A continuación, describimos cada uno de los cuatro módulos de cuatro horas incluidos en este curso.

Building RAG Agents with Agent Bricks: este curso ofrece capacitación práctica para crear agentes de recuperación utilizando Databricks Agent Bricks. Los participantes aprenderán a explorar y consultar Knowledge Assistants, analizar documentos no estructurados para convertirlos en datos estructurados mediante AI Functions, dividir texto en fragmentos (chunks) para la recuperación semántica, crear índices de Vector Search y crear Knowledge Assistants listos para producción respaldados por múltiples fuentes de conocimiento.

Building Agentic Applications on Databricks: este curso enseña a los estudiantes a crear aplicaciones agénticas de nivel de producción en Databricks. Los estudiantes aprenden a crear herramientas de agente gobernadas mediante Unity Catalog y MCP, crear sistemas de agente único y multiagente con el OpenAI Agents SDK, y aprovechar Agent Bricks y Genie para casos de uso de knowledge assistant orquestados con un agente supervisor. El curso abarca toda la progresión, desde la creación de prototipos de herramientas hasta la implementación en producción, con experiencia práctica utilizando el rastreo (tracing) de MLflow para observar la ejecución del agente.

Agent Evaluation on Databricks: este curso enseña a los estudiantes a evaluar sistemáticamente agentes de IA utilizando el framework de evaluación de MLflow, abordando los desafíos únicos de los sistemas de IA no deterministas que las pruebas de software tradicionales no pueden manejar. Los estudiantes aprenden a implementar diversos enfoques de evaluación, incluidos los jueces integrados (built-in judges) para criterios comunes como la corrección y la seguridad, los jueces basados en directrices para requisitos específicos del negocio y los jueces personalizados para necesidades especializadas. El curso abarca tanto la evaluación sin conexión utilizando conjuntos de datos (datasets) seleccionados como el monitoreo de producción en línea, con experiencia práctica utilizando las capacidades de rastreo (tracing) de MLflow para comprender los patrones de ejecución del agente y recopilar retroalimentación humana de diferentes tipos de partes interesadas. A través de demostraciones y laboratorios prácticos, los estudiantes desarrollan habilidades para crear flujos de trabajo de evaluación que impulsan mejoras continuas de calidad a lo largo del ciclo de vida de desarrollo de los agentes de IA.

Deploying and Monitoring Agent Applications on Databricks: este curso abarca el ciclo de vida completo para implementar y monitorear agentes de IA generativa en Databricks. Los participantes aprenderán a implementar agentes como Databricks Apps utilizando Declarative Automation Bundles (DABs), integrar herramientas mediante el Model Context Protocol (MCP), instrumentar agentes con MLflow Tracing y evaluar la calidad en producción utilizando scorers, jueces de múltiples turnos y evaluación en línea. A través de demos y laboratorios prácticos, los participantes adquirirán experiencia práctica en la creación, observación y monitoreo de agentes de IA de nivel de producción en la plataforma Databricks.

Paid
16h
Lab
instructor-led
Associate
Generative AI Engineer

Generative AI Engineering with Databricks - French

Ce cours s’adresse aux data scientists, aux ingénieurs en machine learning et aux autres professionnels des données qui souhaitent créer des applications d’IA générative à l’aide des frameworks les plus récents et les plus populaires et des fonctionnalités de Databricks.

Remarque : Databricks Academy passe à un format basé sur des notebooks pour les sessions en classe dans l’environnement Databricks, et n’utilise plus de diaporamas pour les cours. Vous pouvez accéder aux notebooks de cours dans l’environnement de laboratoire Vocareum.

Ci-dessous, nous décrivons chacun des quatre modules de quatre heures inclus dans ce cours.

Building RAG Agents with Agent Bricks : ce cours propose une formation pratique à la création d’agents de récupération à l’aide de Databricks Agent Bricks. Les participants apprendront à explorer et à interroger les Knowledge Assistants, à analyser des documents non structurés pour les convertir en données structurées à l’aide des AI Functions, à découper le texte en fragments (chunks) pour la récupération sémantique, à créer des index Vector Search et à créer des Knowledge Assistants prêts pour la production s’appuyant sur plusieurs sources de connaissances.

Building Agentic Applications on Databricks : ce cours enseigne aux étudiants comment créer des applications agentiques de niveau production sur Databricks. Les étudiants apprennent à créer des outils d’agent gouvernés à l’aide d’Unity Catalog et de MCP, à créer des systèmes à agent unique et multi-agents avec l’OpenAI Agents SDK, et à exploiter Agent Bricks et Genie pour des cas d’usage de knowledge assistant orchestrés avec un agent superviseur. Le cours couvre l’ensemble de la progression, du prototypage des outils au déploiement en production, avec une expérience pratique de l’utilisation du traçage (tracing) MLflow pour observer l’exécution des agents.

Agent Evaluation on Databricks : ce cours enseigne aux étudiants comment évaluer systématiquement les agents IA à l’aide du cadre d’évaluation de MLflow, en relevant les défis propres aux systèmes d’IA non déterministes que les tests logiciels traditionnels ne peuvent pas gérer. Les étudiants apprennent à mettre en œuvre diverses approches d’évaluation, notamment les juges intégrés (built-in judges) pour des critères courants tels que l’exactitude et la sécurité, les juges basés sur des directives pour des exigences propres à l’entreprise, et les juges personnalisés pour des besoins spécialisés. Le cours couvre à la fois l’évaluation hors ligne à l’aide d’ensembles de données (datasets) sélectionnés et la surveillance de la production en ligne, avec une expérience pratique de l’utilisation des capacités de traçage (tracing) de MLflow pour comprendre les schémas d’exécution des agents et recueillir les retours humains de différents types de parties prenantes. Grâce à des démonstrations et des laboratoires pratiques, les étudiants développent des compétences pour créer des flux de travail d’évaluation qui favorisent l’amélioration continue de la qualité tout au long du cycle de vie de développement des agents IA.

Deploying and Monitoring Agent Applications on Databricks : ce cours couvre le cycle de vie de bout en bout pour le déploiement et la surveillance des agents d’IA générative sur Databricks. Les participants apprendront à déployer des agents en tant que Databricks Apps à l’aide des Declarative Automation Bundles (DABs), à intégrer des outils via le Model Context Protocol (MCP), à instrumenter les agents avec MLflow Tracing, et à évaluer la qualité en production à l’aide de scorers, de juges multi-tours et de l’évaluation en ligne. Grâce à des démos et des laboratoires pratiques, les participants acquerront une expérience pratique de la création, de l’observation et de la surveillance d’agents IA de niveau production sur la plateforme Databricks.

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.