Databricks Auto Loader (cloudfile)

O Auto Loader processa arquivos de dados novos de forma incremental e eficiente à medida que chegam no armazenamento em nuvem, sem necessidade de configuração adicional. Nesta demonstração, mostraremos como o Auto Loader funciona e abordaremos suas principais capacidades:

• Ingestão incremental e com eficiência de custo (remove listagens desnecessárias ou manipulação de estado)
• Operação simples e resiliente: não é necessário ajuste ou código manual
• Escalável para bilhões de arquivos
• A inferência de esquema e a evolução de esquema são gerenciadas automaticamente para a maioria dos formatos (CSV, JSON, Avro, imagens, etc.)

Para instalar a demonstração, obtenha uma área de trabalho gratuita do Databricks e execute os dois comandos seguintes em um notebook Python

%pip instale dbdemos

importar dbdemos
dbdemos.install('auto-loader')

Dbdemos é uma biblioteca Python que instala demonstrações completas do Databricks em seus espaços de trabalho. Dbdemos carregará e iniciará notebooks, pipelines Delta Live Tables, clusters, painéis Databricks SQL, modelos de armazém ... Veja como usar dbdemos

Dbdemos é distribuído como um projeto do GitHub.

Para mais detalhes, por favor, veja o arquivo GitHub README.md e siga a documentação.
Dbdemos é fornecido como está. Veja a Licença e Aviso para mais informações.
A Databricks não oferece suporte oficial para dbdemos e os ativos associados.
Para qualquer problema, por favor, abra um ticket e a equipe de demonstração dará uma olhada com base no melhor esforço.