L’ETL estrae e raccoglie i Dati da fonti eterogenee, li trasforma dentro “un’area di sosta” e li carica a destinazione.
Vediamo insieme quanti tipi ne esistono, quali sono i vantaggi, qual è la differenza con l’ELT ed alcuni esempi d’uso.
Cosa significa ETL?
L’acronimo ETL significa Extract, Transform and Load, ovvero, “Estrazione, Trasformazione e Caricamento”.
Si riferisce ad una pipeline – vale a dire diverse componenti software con un flusso di operazioni stabilito – che riguarda i Dati.
La pipeline ETL viene usata per raccogliere i Dati da diverse origini, trasformarli in base alle regole di business e caricarli in un archivio Dati di destinazione.
Extract
“Extract” si riferisce al processo di estrazione dei Dati da una fonte, che può essere:
- un database SQL (Structured Query Language), quindi un database relazionale, con o senza OLTP (Online Transaction Processing), l’elaborazione online delle transazioni tra i Dati
- un database NoSQL
- un comune file di testo o XML
- sistemi ERP (Enterprise Resource Planning) o CRM (Customer Relationship Management)
- una piattaforma Cloud
Transform
“Transform” si riferisce al processo di trasformazione del formato o della struttura di un dataset in quello necessario al sistema di destinazione.
I Dati estratti possono essere selezionati, normalizzati, tradotti, fonte per il calcolo di Dati derivati, “accoppiati” (join), raggruppati, aumentati.
L’obiettivo è renderli omogenei, e quindi fruibili per la Data Analytics.
Nel processo ETL tradizionale, i Dati vengono trasformati in un’”area di sosta” (staging) basata su un server separato sia dalla fonte che dalla destinazione.
Load
“Load” si riferisce al processo di caricamento dei Dati nel sistema di destinazione, o tramite riscrittura, che sostituisce i Dati precedenti, o tramite aggiornamento, che non cancella i Dati già esistenti.
A volte le tre fasi del processo vengono eseguite parallelamente, riducendo i tempi di elaborazione: Dati già estratti, mentre la prima fase non è conclusa, possono essere trasformati e caricati.
Ci sono diversi livelli di ETL che corrispondono a diversi livelli di repository:
- il primo livello conserva i Dati con il dettaglio più alto, da cui possono partire altri ETL
- il secondo livello e oltre costruisce dataset per analisi specifiche, tra cui le OLAP (On Line Analytical Processing), le elaborazioni analitiche online multidimensionali
Quali sono le caratteristiche di un ETL?
Connettività
Un ETL efficace dovrebbe connettersi a tutte le fonti Dati già utilizzate in Azienda.
Dovrebbe quindi essere dotato di connettori integrati per database, diverse applicazioni di vendita e marketing e diversi formati di file, in modo da favorire l’interoperabilità tra sistemi e lo spostamento e la trasformazione dei Dati tra la fonte e la destinazione a seconda delle esigenze.
Interfaccia facile da usare
Un’interfaccia priva di bug e facile da configurare è necessaria per ottimizzare tempi e costi di utilizzo nonché per semplificare la visualizzazione della pipeline.
Gestione degli errori
L’ETL gestisce gli errori in modo efficiente, garantendo la coerenza e la precisione dei Dati.
Inoltre, offre capacità di trasformazione dei Dati fluide ed efficienti, impedendone le perdite.
Accesso ai Dati in tempo reale
L’ETL recupera i Dati in tempo reale, per garantire aggiornamenti tempestivi rispetto ai processi in corso.
Monitoraggio incorporato
L’ETL è dotato di un sistema di monitoraggio integrato che assicura un’esecuzione fluida del processo.
Tool di ETL: le differenze tra Pipeline
Le Pipeline ETL sono classificate in base ai casi d’uso.
Quattro dei tipi più comuni sono l’elaborazione Batch, l’elaborazione in tempo reale, l’elaborazione on-premise o sul cloud, a seconda di come e dove si vogliono trasformare i Dati.
Pipeline di Elaborazione Batch
Questa tipologia di Pipeline è utilizzata principalmente per i casi d’uso tradizionali di analisi, in cui i Dati vengono periodicamente raccolti, trasformati e spostati in un Data Warehouse nel Cloud per i casi d’uso convenzionali di Business Intelligence.
Gli utenti possono mobilitare rapidamente Dati ad alto volume in un Data Lake Cloud o in un Data Warehouse e programmare i lavori per l’elaborazione con un intervento umano minimo.
Con l’elaborazione batch, gli utenti raccolgono e memorizzano i Dati durante una finestra batch, che aiuta a gestire una grande quantità di Dati e compiti ripetitivi in modo efficiente.
Pipeline di Elaborazione in Tempo Reale
Questa tipologia di Pipeline consente agli utenti di ingerire Dati strutturati e non strutturati da una vasta gamma di fonti di streaming, come IoT, dispositivi connessi, feed dei social media, Dati dei sensori e applicazioni mobili, utilizzando un sistema di messaggistica ad alta velocità che garantisce che i dati vengano acquisiti con precisione.
La trasformazione dei Dati avviene in real-time utilizzando un motore di elaborazione in tempo reale per guidare casi d’uso di analisi come il rilevamento delle frodi, la manutenzione predittiva, le campagne di marketing mirate e l’assistenza clienti proattiva.
Pipeline di Elaborazione On-Premise
Questa Pipeline può essere distribuita in loco, con aumento della sicurezza dei Dati.
Molte aziende gestiscono sistemi legacy che hanno sia i Dati che il repository configurati on-premise.
Pipeline di Elaborazione su Cloud
Queste Pipeline hanno varie applicazioni basate su Cloud, del quale sfruttano la flessibilità e l’agilità nel processo ETL.
Quali sono i vantaggi del Processo di ETL?
Workflow definito e continuo e qualità dei Dati
L’ETL prima estrae i Dati da fonti omogenee o eterogenee, poi li deposita in un’area di stoccaggio, quindi li pulisce e trasforma, infine li memorizza in un repository, generalmente un Data Warehouse.
Un flusso di lavoro ben definito e continuo che assicura Dati di alta qualità, con processi di profilazione e pulizia avanzati.
Facilità d’uso
Gli strumenti ETL, dopo aver scelto le fonti Dati, ne identificano automaticamente tipologie e formati, impostano le regole di estrazione ed elaborazione ed infine caricano i Dati nell’archivio di destinazione.
Un processo automatizzato che rende inutile la codifica in senso tradizionale, dove si deve scrivere ogni singola procedura e codice.
Resilienza Operativa
Molti Data Warehouse sono fragili durante il proprio funzionamento.
Gli strumenti ETL hanno una funzionalità di gestione degli errori integrata che aiuta i Data Analyst a sviluppare un processo ETL resiliente e ben strumentato.
Supporto nell’analisi e gestione complessa dei Dati
Gli strumenti ETL aiutano a spostare grandi volumi di Dati e trasferirli in batch.
In caso di regole e trasformazioni complicate, contribuiscono all’analisi dei Dati, alla manipolazione delle stringhe, a modifiche ed integrazioni di più set di Dati.
Visualizzazione rapida dei processi
Gli strumenti ETL sono basati su un’interfaccia grafica utente (GUI) e offrono un flusso visivo della logica del sistema.
La GUI permette di usare la funzione “drag and drop” per visualizzare il processo dei Dati.
Miglioramento della Business Intelligence
L’accesso ai Dati è più facile con gli strumenti ETL: un migliore accesso alle informazioni ha un impatto diretto sulle decisioni strategiche e operative Data-Driven.
Il dataset, con il processo ETL, viene strutturato e trasformato e l’analisi su di un singolo caso d’uso predefinito diventa stabile e veloce.
I diversi livelli di Pipeline consentono analisi raffinate e approfondite, facilmente integrabili con Machine Learning e sistemi di Intelligenza Artificiale.
Ne derivano insight che supportano il business a partire dai Dati provenienti da fonti diverse e strutturati secondo le esigenze.
Conformità agli standard GDPR e HIPAA
In un processo ETL è possibile omettere qualsiasi Dato sensibile prima di caricarlo nel sistema di destinazione.
Ciò favorisce la compliance al GDPR e all’HIPAA (Health Insurance Portability and Accountability Act).
Aumento della velocità del time-to value
L’ETL abilita il contesto e le aggregazioni di Dati, in modo che il business possa generare maggiori ricavi e risparmiare tempo, sforzi e risorse.
Il processo ETL aiuta ad aumentare il ROI e monetizzare i Dati migliorando la Business Intelligence.
Che differenza c’è tra ETL ed ELT?
ELT – Extract, Load and Trasform significa “Estrarre, Caricare e Trasformare”.
I Dati estratti, quindi, vengono immediatamente caricati nel sistema di destinazione e solo dopo trasformati per essere analizzati.
Caricamento dei Dati
Nel processo ETL, la trasformazione di grandi volumi di Dati può richiedere molto tempo all’inizio, perché necessaria al caricamento.
In ELT viene eseguita dopo – e richiede dunque poco tempo – ma può rallentare i processi di interrogazione e analisi se non c’è sufficiente potenza di elaborazione.
Il caricamento in ELT, visto che non richiede un’area di staging come in ETL, è più veloce.
Manutenzione
Sia ETL che ELT supportano i Data Warehouse, ma mentre il processo ETL esiste da decenni, l’ELT è più recente e l’ecosistema di strumenti per implementarlo è ancora in crescita.
I processi ETL che coinvolgono un server on-premise richiedono una manutenzione frequente, date le loro tabelle fisse, le scadenze fisse e l’esigenza di selezionare ripetutamente i Dati da caricare e trasformare.
Le soluzioni ELT automatizzate e basate sul cloud richiedono poca manutenzione.
L’ETL on-premises classico richiede un hardware che per l’ELT non è necessario, ed è quindi più costoso.
Conformità agli standard GDPR e HIPAA
L’ETL è più facilmente conforme agli standard GDPR e HIPAA (Health Insurance Portability and Accountability Act), perché prima del caricamento è possibile omettere qualsiasi Dato sensibile, mentre nel processo ELT vengono caricati tutti i Dati nel sistema di destinazione.
Ottimizzazione Pushdown
L’ELT consente la cosiddetta Ottimizzazione Pushdown – letteralmente “spinta verso il basso” – una tecnica di miglioramento delle prestazioni per cui l’elaborazione dei Dati viene eseguita sul database stesso lato sorgente, lato destinazione o completamente.
L’Ottimizzazione Pushdown lato sorgente analizza la mappatura dalla fonte alla destinazione e genera l’istruzione in SQL secondo questa mappatura.
L’istruzione viene eseguita sul database di origine, recupera i record e li elabora ulteriormente per inserirli e modificare il database di destinazione.
L’Ottimizzazione Pushdown lato destinazione genera l’istruzione in SQL sulla base dell’analisi della mappatura dal target alla fonte.
L’Ottimizzazione Pushdown completa avviene quando i database di origine e di destinazione sono sullo stesso sistema di gestione: a seconda della ricerca da effettuare, l’ottimizzazione sarà effettuata lato sorgente o target.
Esempi d’uso di ETL
Costruire un Data Warehouse
Il Data Warehouse è un tipo di sistema di Data Management progettato per abilitare e supportare le attività di Business Intelligence e Data Analytics.
Contiene Dati aziendali critici, ma per essere strutturato e funzionare al meglio occorre pulire, arricchire e trasformare i Dati prima di caricarli.
Occorre dunque un processo di ETL, che è uno dei passi fondamentali nella costruzione di un Data Warehouse.
Abilitare ed ottimizzare la Business Intelligence
L’ETL abilita la Business Intelligence, quindi la statistica descrittiva che rileva, classifica e sintetizza i Dati senza effettuare inferenze.
L’abilitazione avviene da qualsiasi Dato a qualsiasi latenza: l’ETL può analizzare Dati strutturati, semi-strutturati e non strutturati da più fonti, come batch, real-time e streaming.
Quando viene utilizzato con un Data Warehouse aziendale (dati a riposo), l’ETL fornisce quindi un profondo contesto storico per il Business combinando i Dati legacy con i Dati raccolti da nuove piattaforme e applicazioni.
Può ingerire e sincronizzare i Dati da varie fonti come Database o Data Warehouse on-premises, applicazioni SaaS, fonti IoT e applicazioni di streaming in un Data Lake Cloud per fornire una visione unica e consolidata del business.
I Dati di queste diverse fonti possono essere quindi spostati o visualizzati, il che rende facile analizzare e ricavare intuizioni utili da quei dati, identificare nuove opportunità e migliorare il processo decisionale e la pianificazione futura.
Abilitare il Machine Learning
Il Machine Learning è l’apprendimento automatico attraverso algoritmi artificiali che “insegnano” al sistema informatico a riconoscere pattern, ovvero schemi ricorrenti tra i Dati analizzati.
L’apprendimento automatico richiede la capacità di raccogliere, gestire e accedere a grandi quantità di Dati accurati e diversi, la capacità di creare nuove funzionalità e addestrare modelli e la capacità di distribuire, monitorare e aggiornare i modelli in produzione.
Quando si implementa una pipeline di Dati per i carichi di lavoro della Data Analytics, si dovrebbe non solo garantire che l’elaborazione e la trasformazione dei Dati siano robuste, efficienti e facili da mantenere, ma anche alimentare la pipeline di Dati con quelli più recenti, nonché essere in grado di gestire grandi volumi di Dati e la loro qualità.
L’ETL abilita il Machine Learning sia perché fornisce Dati puliti e affidabili per l’analisi, sia perché automatizza l’ETL manuale.
Infatti, l’ETL automatizza i processi di raccolta, trasformazione e consolidamento.
È usato per la pulizia dei Dati, il profiling e l’auditing, fornendo alla fine del processo Dati affidabili.
Si integra con gli strumenti di qualità dei Dati e talvolta li incorpora, come quelli utilizzati per la mappatura e il Data Lineage, ovvero la tracciatura dell’origine, della direzione e dei mutamenti dei Dati nel tempo.
L’ETL assicura quindi che i Dati grezzi ricevuti diventino affidabili e di qualità e possano fornire le informazioni pertinenti nel settore di riferimento.
Dall’ETL è più facile arrivare alla Data Analytics, che utilizza la statistica inferenziale per dedurre relazioni tra dataset eterogenei e Dati grezzi per effettuare previsioni di risultati e comportamenti.
Migrare i Dati nel Cloud
La migrazione al Cloud è un processo in cui i Dati e le applicazioni vengono spostati dalla loro sede al Cloud per una maggiore scalabilità e sicurezza.
L’ETL è comunemente usato per trasferire i Dati nel Cloud: aiuta a estrarre i Dati da diverse fonti, a trasformarli in un formato compatibile con la nuova infrastruttura e quindi a caricarli nei nuovi sistemi o in un Data Lake o Data Warehouse nel Cloud.
Uno strumento ETL rimuove i duplicati, standardizza i formati e sincronizza i dati, rendendo più facile per tutti i professionisti e gli utenti analizzare e ricavare intuizioni utili da quei Dati puliti.
Cerchi una consulenza per la tua procedura di ETL? Contattaci!
