Anunciando o percurso de aprendizado para engenheiros de análise da Databricks

Hoje, estamos lançando o novo Databricks Analytics Engineer Learning Pathway. Este currículo ensina como transformar dados brutos em modelos semânticos e visualizações de métricas governados e prontos para IA, a base confiável que impulsiona análises, painéis e agentes de IA no lakehouse. O pathway é feito para profissionais de SQL prontos para assumir mais responsabilidade pelos dados nos quais suas equipes confiam.

Por que a engenharia de análise está se tornando essencial

SQL sempre foi a base da análise moderna. Mas o trabalho construído sobre ele está se expandindo — para modelagem, pipelines, métricas e as camadas de dados das quais agentes e painéis agora dependem.

Análises e IA confiáveis funcionam na mesma base: dados governados, modelados e confiáveis. Construir essa base é mais difícil do que costumava ser. Os dados residem em mais fontes e alimentam mais consumidores a jusante. As equipes de dados tradicionalmente responsáveis por preparar os dados estão esgotadas. De acordo com um relatório recente da Economist Enterprise, quase dois terços das organizações dependem totalmente de engenheiros de dados para todos os aspectos da criação de pipelines, e quase metade desses engenheiros gasta a maior parte do tempo apenas configurando e corrigindo conexões de fontes de dados. Há capacidade limitada para absorver o novo trabalho. Cada vez mais, isso está caindo sobre os profissionais mais próximos do negócio: aqueles que trabalham com SQL.

Profissionais de SQL estão mais próximos do negócio e entendem as perguntas que estão sendo feitas, os dados subjacentes e as métricas com as quais as equipes se importam. A engenharia de análise é a disciplina de usar esse contexto para construir modelos, pipelines e métricas nos quais o negócio pode confiar. As ferramentas para este trabalho agora são nativas de SQL. O discernimento para usá-las bem é o que este pathway ensina.

Dentro do pathway

O Analytics Engineer Pathway consiste em cursos práticos que cobrem o kit de ferramentas completo de ETL SQL no Databricks. Comece com Fundamentos de Análise para se familiarizar com o funcionamento da análise no lakehouse. A partir daí, o restante do currículo aprofunda cada parte do conjunto de habilidades de engenharia de análise, ensinado por especialistas da Databricks e construído em torno de exemplos práticos.

1. Fundamentos de Análise: Aprenda como a análise funciona no Databricks: semântica unificada, painéis de IA/BI e Genie. Um curso introdutório de uma hora.

2. Estratégias de Modelagem de Dados: Aprenda a projetar modelos de dados que se sustentem em produção no lakehouse.

• Alinhar a organização de dados e o design do modelo com os requisitos de negócios
• Definir arquiteturas de dados usando Delta Lake e Unity Catalog
• Compreender o ciclo de vida dos produtos de dados no lakehouse
• Aplicar técnicas para integração e compartilhamento de dados

3. Construir Pipelines ETL com SQL: Aprenda a construir pipelines ETL SQL em produção com Materialized Views, Streaming Tables e Lakeflow Jobs

• Aproveitar Streaming Tables, Materialized Views e AUTO CDC para pipelines declarativos.
• Implementar ingestão e transformações incrementais na arquitetura medallion.
• Lidar com SCD Tipo 1 e Tipo 2 com AUTO CDC.
• Orquestrar pipelines usando Lakeflow Jobs e fluxos de trabalho baseados em SQL

4. Construir Modelos Semânticos com UC Metric Views: Aprenda a definir e governar métricas de negócios em SQL, e então disponibilizar números confiáveis onde quer que sejam consumidos.

• Definir e gerenciar visualizações de métricas no Unity Catalog
• Modelar métricas avançadas, incluindo medidas com janelas e semi-aditivas
• Integrar com painéis Databricks, Genie spaces e fluxos de trabalho SQL
• Aplicar práticas de governança, segurança e manutenção

5. Construir Agentes Conversacionais Confiáveis com Genie: Aprenda a projetar, implantar e melhorar continuamente os Genie spaces nos quais os usuários de negócios podem confiar.

• Configurar Genie Spaces com tabelas do Unity Catalog, SQL warehouses e benchmarks
• Curar o Knowledge Store com sinônimos, descrições e recursos de correspondência de prompts
• Codificar a lógica de negócios em SQL com expressões derivadas, joins e instruções
• Governar o acesso com permissões do Unity Catalog e políticas ABAC
• Iterar usando benchmarks, feedback do usuário e saídas observadas

6. Construir Pipelines com Lakeflow Spark Declarative Pipelines: Aprenda a construir pipelines SQL governados e de ponta a ponta usando o editor Spark Declarative Pipelines.

• Compreender streaming tables, materialized views e temporary views
• Garantir a qualidade dos dados com expectativas integradas
• Lidar com dimensões que mudam lentamente com AUTO CDC INTO
• Analisar a execução do pipeline através de logs de eventos e métricas

Cada curso está disponível em formatos autodirigidos e com instrutor. O pathway completo também está incluído em qualquer assinatura de aprendizado ativa do Databricks.

Comece Sua Jornada Hoje

O pathway de aprendizado para engenheiro de análise está disponível agora na Databricks Academy. Ao final, você estará modelando dados brutos, implantando pipelines e definindo as métricas que impulsionam tanto painéis quanto IA.

Se você lidera uma equipe, o pathway também é a maneira mais rápida de fazer com que sua equipe entregue insights nos quais os usuários de negócios confiam para tomar decisões.

Comece a explorar com Fundamentos de Análise hoje, e visite Databricks Academy para continuar desenvolvendo suas habilidades no restante do pathway.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original