Central de segurança e confiança

Suponha que você tem um engenheiro de dados que entra na Databricks e grava um notebook que transforma dados brutos no Kafka em um conjunto de dados normalizados enviado para armazenamento como Amazon S3, Azure Data Lake Storage ou Google Cloud Storage. Os seguintes passos fazem isso acontecer:

1. O engenheiro de dados autentica perfeitamente, por meio do single sign on, se desejado, para a interface do usuário da Web Databricks no plano de controle.
2. Conforme o engenheiro de dados grava o código, o navegador da web o envia para o plano de controle. As solicitações de JDBC/ODBC também seguem o mesmo caminho.
3. Quando pronto, o plano de controle cria um cluster Databricks no plano de dados e envia o código do engenheiro de dados.
4. O cluster extrai do Kafka, transforma os dados e os grava em seu armazenamento.
5. O cluster reporta o status e quaisquer saídas de volta ao plano de controle.

O engenheiro de dados não precisa se preocupar com muitos dos detalhes; basta escrever o código que a Databricks o executa.