Pipeline CDC con Delta

Questa demo evidenzierà come implementare un flusso CDC (change data capture) con Spark API e Delta Lake.

CDC viene tipicamente eseguito ingerendo modifiche da un sistema esterno (ERP, database SQL) con strumenti come Fivetran, Debezium, ecc.

In questa demo, ti mostreremo come ricreare la tua tabella utilizzando le informazioni CDC.

In definitiva, ti mostreremo come eseguire la scansione programmata di molteplici cartelle in arrivo e attivare N flussi (uno per ogni tabella CDC).

Notate che CDC è reso più semplice con Delta Live Tables (DLT). Vi consigliamo di provare la demo DLT CDC!

Per installare la demo, ottieni un spazio di lavoro Databricks gratuito ed esegui i seguenti due comandi in un notebook Python

%pip installa dbdemos

importa dbdemos
dbdemos.installa('cdc-pipeline')

Dbdemos è una libreria Python che installa demo complete di Databricks nei tuoi spazi di lavoro. Dbdemos caricherà e avvierà quaderni, pipeline di Delta Live Tables, cluster, cruscotti Databricks SQL, modelli di magazzino... Vedi come usare dbdemos

Dbdemos è distribuito come un progetto GitHub.

Per ulteriori dettagli, si prega di consultare il GitHub file README.md e seguire la documentazione.
Dbdemos è fornito così com'è. Consulta la Licenza e Avviso per ulteriori informazioni.
Databricks non offre supporto ufficiale per dbdemos e gli asset associati.
Per qualsiasi problema, si prega di aprire un ticket e il team di demo esaminerà la situazione nel miglior modo possibile.