Che cos'è Apache Spark?
Un motore di analisi unificato per l'elaborazione di dati distribuiti su larga scala con API in Java, Scala, Python e R per batch, streaming, ML e grafici
- Basato su dataset distribuiti resilienti (RDD) che consentono operazioni parallele in memoria fault-tolerant con valutazione lazy, offrendo miglioramenti della velocità da 10 a 100 volte superiori rispetto a Hadoop MapReduce per carichi di lavoro iterativi.
- Fornisce API DataFrame con ottimizzatore Catalyst per la pianificazione delle query e motore di esecuzione Tungsten per la gestione della memoria, supportando query SQL ed elaborazione di dati strutturati.
- Include MLlib per l'apprendimento automatico distribuito, Structured Streaming per l'elaborazione in tempo reale e GraphX per l'analisi dei grafici, tutti con lo stesso framework di esecuzione.
Che cos'è Apache Spark?
Apache Spark è un motore di analisi open-source utilizzato per carichi di lavoro Big Data. È in grado di gestire l'analisi e l'elaborazione dei dati sia in batch sia in tempo reale. Apache Spark è nato nel 2009 come progetto di ricerca presso l'Università di Berkeley, in California con l'obiettivo di trovare un modo per velocizzare l'elaborazione dei dati nei sistemi Hadoop. Apache Spark si basa su Hadoop MapReduce e ne estende il modello per utilizzarlo in modo efficiente durante altri tipi di operazioni, incluse query interattive ed elaborazione di flussi di dati. Spark offre binding nativi per i linguaggi di programmazione Java, Scala, Python e R. Inoltre, include diverse librerie per supportare la creazione di applicazioni per il machine learning [MLlib], l'elaborazione di dati in streaming [streaming Spark] e l'elaborazione di grafici [GraphX]. Apache Spark è composto da Spark Core e da una serie di librerie. Spark Core è il cuore di Apache Spark ed è responsabile della trasmissione distribuita dei task, della pianificazione e delle funzionalità di I/O. Il motore Spark Core utilizza Resilient Distributed Dataset (RDD) come tipo di dati sottostante. L'RDD è progettato in modo da nascondere la maggior parte della complessità computazionale agli utenti. Spark opera sui dati in modo intelligente; dati e partizioni vengono aggregati su un cluster di server, dove possono essere elaborati e successivamente spostati in un altro archivio di dati o eseguiti attraverso un modello analitico. Non è necessario che l'utente specifichi la destinazione dei file o le risorse di calcolo da utilizzare per archiviarli o recuperarli. 
Il playbook sull'AI agentiva per l'enterprise
Quali sono i vantaggi di Apache Spark?
Velocità
Spark velocizza l'elaborazione memorizzando i dati nella cache per riutilizzarli in più operazioni parallele. La caratteristica principale di Spark è il suo motore in-memory che aumenta la velocità di elaborazione, rendendolo fino a 100 volte più veloce di MapReduce nell'elaborazione in-memory e 10 volte più veloce in quella su disco, quando si tratta di elaborare dati su larga scala. Spark ottiene questo risultato riducendo il numero di operazioni di lettura/scrittura su disco.
Elaborazione di dati in streaming in tempo reale
Apache Spark può gestire lo streaming in tempo reale insieme all'integrazione di altri framework. Spark acquisisce i dati in piccoli batch ed esegue trasformazioni RDD su di essi.
Supporta carichi di lavoro multipli
Apache Spark può eseguire molteplici carichi di lavoro, tra cui query interattive, analisi in tempo reale, machine learning ed elaborazione di grafici. Una sola applicazione può combinare più carichi di lavoro senza soluzione di continuità.
Maggiore usabilità
La capacità di supportare diversi linguaggi di programmazione lo rende dinamico e permette di scrivere rapidamente applicazioni in Java, Scala, Python e R, offrendo una varietà di linguaggi per la creazione di applicazioni.
Analisi avanzate
Spark supporta query SQL, machine learning, elaborazione in streaming ed elaborazione di grafici.
Risorse aggiuntive
Ricevi gli ultimi articoli nella tua casella di posta
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.