Corso Online: Big Data Analytics con Python e Spark

OBIETTIVI E PROGRAMMA

Se l’analisi di grossi quantitativi di dati sta diventando sempre di più una necessità, non solo nel campo del marketing, ma anche di settori come la medicina e la diagnostica, da alcuni anni ci si sta ponendo il problema di quali siano le metodologie migliori per trarre quanta più informazione utile possibile dai grandi dataset che possono essere reperiti in vari modi su Internet (ad esempio, nel caso di analisi di social media) o fanno parte del patrimonio di un’azienda. 
Di conseguenza, anche dal lato dell’organizzazione dei dati sono nati dei framework particolari per la gestione di queste grosse quantità di dati, il più recente dei quali è Spark, che può essere utilizzato con molti linguaggi di programmazione, dei quali R è il più recente. Per questa ragione molte possibili analisi dati possono venire implementate tramite i due pacchetti per la gestione di Spark in linguaggio R, che sono SparkR e sparklyr. 

OBIETTIVI

In questo corso impareremo a lavorare con i Big Data utilizzando Spark, il framework per il calcolo distribuito più popolare al mondo, usato in produzione da giganti come Amazon, Microsoft, Oracle, Verizon e Cisco. 

PROGRAMMA

Questo corso ha una durata complessiva di 12 ore.

Cap.01 Introduzione

•          Lezione 1.1 Cosa sono i Big Data | 04:54 minuti
•          Lezione 1.2 I vantaggi dei Big Data | 06:55 minuti
•          Lezione 1.3 Le tecnologie per i Big Data- Hadoop MapReduce | 08:13 minuti
•          Lezione 1.4 Le tecnologie per i Big Data- Spark | 06:28 minuti

Cap.02 Installazione di Spark in locale con VirtualBox

•          Lezione 2.1 Usare VirtualBox per Creare una Macchina Virtuale | 06:24 minuti
•          Lezione 2.2 Installare Ubuntu sulla Macchina Virtuale | 03:59 minuti
•          Lezione 2.3 Installare Pip e Jupyter Notebook | 04:43 minuti
•          Lezione 2.4 Installare Java e Scala | 02:01 minuti
•          Lezione 2.5 Installare Spark sulla Machina Virtuale | 07:12 minuti

Cap.03 Creare una macchina virtuale AWS EC2

•          Lezione 3.1 Creare una Macchina Virtuale con AWS EC2 | 06:03 minuti
•          Lezione 3.2 Installare Spark sulla Machina Remota | 10:12 minuti

Cap.04 Creare un Cluster con AWS EMR

•          Lezione 4.1 Creazione di un Cluster con AWS EMR (Elastic Map Reduce) | 10:06 minuti

Cap.05 Utilizzare Spark con DataBricks

•          Lezione 5.1 Utilizzare Spark con DataBricks | 10:21 minuti
•          Lezione 5.2 Importare i Notebook su DataBricks | 01:53 minuti

Cap.06 Il Resilient Distributed Dataset (RDD)

•          Lezione 6.1 Introduzione al RDD | 05:03 minuti
•          Lezione 6.2 Azioni del RDD | 08:55 minuti
•          Lezione 6.3 MapReduce sul RDD | 07:57 minuti
•          Lezione 6.4 Trasformazioni sul RDD | 06:41 minuti
•          Lezione 6.5 RDD con chiave e valore | 12:52 minuti

Cap.07 Analisi di 225 Milioni di Recensioni su Amazon [Laboratorio]

•          Lezione 7.1 Procuriamoci il Dataset | 03:22 minuti
•          Lezione 7.2 Contiamo il numero di valutazioni | 05:40 minuti
•          Lezione 7.3 Contiamo il numero di libri | 02:30 minuti
•          Lezione 7.4 Contiamo il numero di valutazioni per libro | 02:55 minuti
•          Lezione 7.5 Troviamo i 10 libri più valutati | 05:58 minuti
•          Lezione 7.6 Calcoliamo la valutazione media per ogni libro | 11:49 minuti
•          Lezione 7.7 Troviamo i 10 libri con la valutazione più alta | 06:55 minuti
•          Lezione 7.8 Troviamo i 10 recensori più critici | 06:21 minuti

Cap.08 Il DataFrame

•          Lezione 8.1 Introduzione al DataFrame | 03:43 minuti
•          Lezione 8.2 Creazione di un DataFrame | 06:22 minuti
•          Lezione 8.3 Modificare lo Schema di un DataFrame | 03:36 minuti
•          Lezione 8.4 Operare su Righe e Colonne | 08:45 minuti
•          Lezione 8.5 Filtri, Aggregazione e Ordinamento | 11:57 minuti
•          Lezione 8.6 Query SQL su un DataFrame | 04:35 minuti
•          Lezione 8.7 (Opzionale) Query SQL di Selezione | 13:14 minuti

Cap.09 Analisi di 28 milioni di Recensioni di Film [Laboratorio]

•          Lezione 9.1 Procuriamoci il Dataset MovieLens | 03:00 minuti
•          Lezione 9.2 Creiamo il DataFrame | 06:18 minuti
•          Lezione 9.3 Correggiamo lo Schema | 07:24 minuti
•          Lezione 9.4 Contiamo il numero di Recensioni Totali e la Media per Utente | 04:51 minuti
•          Lezione 9.5 Troviamo l’Utente che ha Scritto piu? Recensioni | 02:21 minuti
•          Lezione 9.6 Troviamo i 10 Film che hanno ricevuto più Recensioni | 02:38 minuti
•          Lezione 9.7 Troviamo i 10 Film con le Recensioni più Positive e più Negative | 09:48 minuti
•          Lezione 9.8 Troviamo le 10 Recensioni più Recenti | 01:16 minuti
•          Lezione 9.9 Troviamo i Film più Visti ogni Anno | 13:53 minuti
•          Lezione 9.10 Aggiungiamo Titolo e Genere alla lista dei Film più Visti | 06:46 minuti

Cap.10 Time Series – Analisi delle Azioni di Apple [Laboratorio]

•          Lezione 10.1 Procuriamoci il Valore Giornaliero delle Azioni di Apple | 02:19 minuti
•          Lezione 10.2 Creiamo il DataFrame e Correggiamo lo Schema | 08:39 minuti
•          Lezione 10.3 Troviamo i Valori Massimi e Minimi | 02:39 minuti
•          Lezione 10.4 Troviamo i giorni in cui il Valore è stato inferiore ai 100 $ | 03:13 minuti
•          Lezione 10.5 Troviamo il Valore Massimo per ogni Anno | 02:38 minuti
•          Lezione 10.6 Troviamo l’Anno con i Volumi Maggiori | 01:58 minuti
•          Lezione 10.7 Calcoliamo la Variazione delle Azioni dopo il rilascio dell’iPhone | 07:26 minuti

Cap.11 Machine Learning con Spark MLlib

•          Lezione 11.1 Cosa è il Machine Learning | 05:56 minuti
•          Lezione 11.2 I problemi del Machine Learning | 04:21 minuti
•          Lezione 11.3 La Regressione Lineare e Logistica | 14:37 minuti
•          Lezione 11.4 (Opzionale) L’algoritmo Gradient Descent | 07:58 minuti
•          Lezione 11.5 Introduzione a Spark MLlib | 05:08 minuti

Cap.12 Kaggle e le sue API

•          Lezione 12.1 Introduzione a Kaggle | 03:48 minuti
•          Lezione 12.2 Creazione di un Account | 02:37 minuti
•          Lezione 12.3 Utilizzare le API di Kaggle | 02:32 minuti
•          Lezione 12.4 Scaricare un Dataset con le API | 01:56 minuti
•          Lezione 12.5 Scaricare il Dataset di una Competizione con le API | 04:12 minuti

Cap.13 Machine Learning Supervisionato – Regressione

•          Lezione 13.1 Procuriamoci il Dataset | 05:24 minuti
•          Lezione 13.2 Vettorizzazione delle Features | 04:07 minuti
•          Lezione 13.3 Applichiamo la Normalizzazione | 03:30 minuti
•          Lezione 13.4 Creare un modello di Regressione Lineare | 03:53 minuti
•          Lezione 13.5 Valutazione del Modello | 01:08 minuti
•          Lezione 13.6 Metriche – Mean Squared Error | 01:15 minuti
•          Lezione 13.7 Metriche – Root Mean Squared Error e Mean Absolute Error | 02:11 minuti
•          Lezione 13.8 Metriche – R2 – Coefficiente di Determinazione | 01:53 minuti
•          Lezione 13.9 Eseguire Predizioni con il Modello | 06:06 minuti

Cap.14 Machine Learning Supervisionato – Classificazione

•          Lezione 14.1 Procuriamoci il Dataset di Tumori al Seno | 02:12 minuti
•          Lezione 14.2 Creiamo il DataFrame | 03:25 minuti
•          Lezione 14.3 Vettorizzazione delle Features | 04:11 minuti
•          Lezione 14.4 Applichiamo la Standardizzazione | 02:27 minuti
•          Lezione 14.5 Codifichiamo il Target | 03:03 minuti
•          Lezione 14.6 Creare un Modello di Regressione Logistica | 01:47 minuti
•          Lezione 14.7 Metriche – L’Accuracy | 01:49 minuti
•          Lezione 14.8 Metriche – Precision e Recall | 02:46 minuti
•          Lezione 14.9 Testiamo il modello sulle nuove Agobiopsie | 05:13 minuti

Cap.15 Sentiment Analysis sulle Recensioni di Yelp [Laboratorio]

•          Lezione 15.1 Sentiment Analysis | 10:34 minuti
•          Lezione 15.2 Procuriamoci il Dataset | 04:00 minuti
•          Lezione 15.3 Creiamo il DataFrame | 08:01 minuti
•          Lezione 15.4 Rimuoviamo la Punteggiatura | 04:43 minuti
•          Lezione 15.5 Eseguiamo la Tokenizzazione | 01:56 minuti
•          Lezione 15.6 Rimuoviamo le Stop Words | 01:55 minuti
•          Lezione 15.7 Creiamo un modello Bag of Words | 07:46 minuti
•          Lezione 15.8 Codifichiamo il Target | 03:06 minuti
•          Lezione 15.9 Il Problema dell’Overfitting | 03:15 minuti
•          Lezione 15.10 Applichiamo la Regolarizzazione | 02:24 minuti
•          Lezione 15.11 Il Problema delle Classi Sbilanciate | 02:21 minuti
•          Lezione 15.12 Bilanciamo il DataFrame e Creiamo il Modello | 05:28 minuti
•          Lezione 15.13 Carichiamo il Dataset su un Bucket S3 | 05:00 minuti
•          Lezione 15.14 Creiamo il Cluster con EMR | 09:45 minuti
•          Lezione 15.15 Il Modello TF IDF | 03:44 minuti
•          Lezione 15.16 Cerchiamo delle Recensioni su TripAdvisor | 07:39 minuti
•          Lezione 15.17 Preprocessiamo le nuove Recensioni | 03:08 minuti
•          Lezione 15.18 Testiamo il modello sulle nuove Recensioni | 02:30 minuti

Cap.16 Spark Streaming

•          Lezione 16.1 Introduzione a Spark Streaming e al DStream | 04:26 minuti
•          Lezione 16.2 Esempio di Echo Streaming | 05:57 minuti
•          Lezione 16.3 Processare il DStream | 02:51 minuti
•          Lezione 16.4 Esempio di Monitor di Keywords | 04:27 minuti
•          Lezione 16.5 Creare uno Stato per il DStream | 05:18 minuti
•          Lezione 16.6 Salvare il DStream in una Tabella SQL Temporanea | 03:56 minuti

Cap.17 Analisi in Tempo Reale dei Tweets pubblicati su Twitter [Laboratorio]

•          Lezione 17.1 Creiamo un Account Sviluppatore su Twitter | 06:45 minuti
•          Lezione 17.2 Creiamo la nostra Twitter App | 03:23 minuti
•          Lezione 17.3 Creiamo lo Stream dei Tweets | 08:26 minuti
•          Lezione 17.4 Creiamo una Data Source Custom con un Socket | 06:55 minuti
•          Lezione 17.5 Eseguiamo lo Stream dei Tweets con Spark | 04:05 minuti
•          Lezione 17.6 Estraiamo gli Hashtags dai Tweets | 02:39 minuti
•          Lezione 17.7 Creiamo un DataFrame con gli Hashtags piu? popolari | 12:05 minuti
•          Lezione 17.8 Salviamo i Tweets in una Tabella SQL Temporanea | 04:46 minuti
•          Lezione 17.9 Mostriamo gli Hashtags in un Grafico Dinamico | 09:00 minuti
•          Lezione 17.10 (Bonus) Mostriamo gli Hashtags in un Grafico Dinamico | 04:10 minuti