Un data lake è un repository centralizzato che ospita i dati nella loro forma nativa e non elaborata.
È progettato per ospitare grandi quantità di dati, inclusi dati strutturati, semi-strutturati e non strutturati provenienti da varie fonti. È attrezzato per elaborare e organizzare i dati grezzi indipendentemente dalla loro dimensione e volume, offrendo elevate prestazioni di analisi e integrazione nativa.
Un data lake archivia questa grande quantità di dati grezzi in un’architettura piatta con tag di metadati e un identificatore univoco per un recupero facile e rapido. In sostanza, un data lake consente alle aziende di raccogliere qualsiasi tipo di dati da qualsiasi fonte senza doverli prima strutturare e consente loro di analizzarli utilizzando applicazioni di analisi o linguaggi come Python, SQL o R.
Data Lake per le aziende
I data lake sono enormi contenitori di dati. Facilitano la facile acquisizione e rilevabilità dei dati, insieme a una solida struttura per la creazione di report. Forniscono un’enorme quantità di contesto ai dati che archiviano, il che a sua volta consente alle organizzazioni di acquisire una comprensione più approfondita degli scenari aziendali ed eseguire esperimenti di analisi più rapidi, come l’esecuzione di machine learning (ML) sui dati provenienti dai social media.
I risultati di tali analisi aiutano le aziende a identificare opportunità e implementare strategie che a loro volta portano alla crescita della produttività e alla soddisfazione del cliente. Un data lake rende inoltre disponibili i dati a tutti i livelli, indipendentemente dalla designazione e dal livello, consentendo così un migliore processo decisionale. È scalabile e versatile.
Dal momento che i data lake forniscono una base per l’intelligenza artificiale (AI) e l’analisi, le aziende di tutti i settori lo stanno adottando per maggiori ricavi e minori rischi.
Ad esempio, le aziende che implementano il marketing omnicanale possono trovare utile un data lake poiché le loro origini dati si estendono su canali, punti di contatto e persino dati di terze parti. Questo complesso ecosistema di dati continua a crescere ogni giorno.
Perché un’organizzazione dovrebbe utilizzare un data lake?
Un data lake è più adatto per l’archiviazione di dati che non devono essere utilizzati immediatamente. Poiché non esiste uno schema predefinito, i dati conservano tutti i loro attributi originali, consentendo un’armonizzazione successiva.
I data lake stanno diventando sempre più i preferiti dalle aziende di tutti i settori perché forniscono una visione non raffinata agli analisti di dati e sono anche convenienti poiché i dati vengono elaborati solo quando se ne presenta la necessità.
Nei prossimi paragrafi scopriremo insiema alcuni degli altri motivi per cui le aziende scelgono i data lake rispetto ai data warehouse.
Dati centralizzati
I data lake forniscono un unico storage per enormi quantità di dati. Il repository centralizzato previene i silos di dati.
Maggiore qualità dell’analisi
Il formato diverso e grezzo dei dati presenti in un data lake fornisce agli analisti una qualità di analisi robusta e superiore presentando i dati nella loro forma originale. È conveniente impiegare tecniche AI/ML sui dati per ottenere importanti informazioni aziendali.
Schema in lettura
I data lake archiviano qualsiasi tipo di dati, quindi non è necessario elaborarli in alcuno schema. I dati vengono mantenuti grezzi fino a quando non sono necessari per l’analisi, che si chiama “schema in lettura”. Lo schema viene applicato solo quando i dati devono essere analizzati. Ciò consente di risparmiare sui tempi di elaborazione durante l’inserimento dei dati nei data lake.
Flessibilità
Gli utenti possono accedere ed esplorare i dati nei data lake senza spostarli in un altro sistema. Dato che gli approfondimenti e i report da un data lake possono essere estratti su base ad hoc, offre maggiore flessibilità nell’analisi dei dati.
Vantaggio competitivo
Le organizzazioni ottengono un vantaggio competitivo poiché è possibile effettuare previsioni migliori con i dati grezzi nei data lake. Gli esperimenti analitici migliorano anche l’efficienza delle decisioni aziendali.
Democrazia dei dati
Gli utenti di tutta l’organizzazione, di diversi reparti, livelli e team, possono accedere ed eseguire una serie di analisi sullo stesso set di dati.
Concetti di data lake
Ci sono alcuni concetti chiave di base che aiuteranno a comprendere l’architettura di un data lake.
Ingestione di dati
Diversi connettori sono abilitati per acquisire dati da fonti diverse e caricarli nel data lake. L’importazione può essere eseguita una sola volta, in batch o in tempo reale in cui è possibile caricare dati non strutturati, semi-strutturati e strutturati. È possibile collegare varie fonti di dati come server FTP, server Web, database o elementi IoT.
Archivio dati
Lo storage nei data lake è scalabile e quindi conveniente. Si traduce anche in un accesso più rapido.
Governance dei dati
La governance dei dati è il processo per gestire la disponibilità, l’usabilità, la sicurezza e l’integrità dei dati archiviati.
Sicurezza
Devono essere in atto protocolli di sicurezza adeguati ed efficaci per garantire che i dati siano protetti, autenticati, contabilizzati e controllati. I livelli di storage, unearthing e utilizzo nell’architettura del data lake devono essere protetti per proteggere i dati da accessi non autorizzati.
Qualità
I dati sono il luogo da cui deriva il valore aziendale, quindi la qualità dei dati è una parte essenziale dell’architettura del data lake.
Esplorazione dei dati
Come primo passo dell’analisi dei dati, l’esplorazione dei dati aiuta a identificare il set di dati corretto prima di iniziare l’analisi.
Scoperta dei dati
La fase di scoperta dei dati viene utilizzata per etichettare i dati nel tentativo di comprenderli organizzandoli e interpretandoli per ulteriori analisi.
Controllo dei dati
Il controllo dei dati tiene traccia di due modifiche principali al set di dati:
- Modifiche agli elementi del set di dati
- Registrazione del “come”, “quando” e “chi” delle modifiche apportate
Questa funzione aiuta a mantenere la conformità e a ridurre i rischi.
Derivazione dei dati
La derivazione dei dati tiene traccia del movimento dei dati, da dove hanno avuto origine, dove si sono spostati nel tempo e cosa gli è successo. Ciò facilita la risoluzione degli eventuali errori.
Insieme, tutti questi elementi aiutano i data lake a funzionare senza problemi, evolversi nel tempo e fornire l’accesso per la scoperta e l’esplorazione.
Architettura dei Data Lake
Esistono due componenti in qualsiasi data lake: storage e calcolo.
Entrambi possono essere archiviati nel cloud o in locale, il che porta a molteplici combinazioni e configurazioni. Le aziende possono scegliere di ospitare entrambi nel cloud, on-premise o optare per un modello ibrido.
L’architettura del data lake è costituita dai componenti che vediamo a seguire.
Fonti
I dati vengono inseriti in data lake da varie fonti omogenee ed eterogenee.
Le seguenti fonti vengono spesso inserite nei data lake.
- Applicazioni aziendali: applicazioni di archivio dati basate su database o file che archiviano dati transazionali e sono connesse tramite connettori, API o servizi Web per il processo di estrazione, trasformazione e caricamento (ETL)
- Data warehouse aziendale (EDW): anche i data warehouse aziendali esistenti possono essere origini per un data lake
- Documenti multipli: file flat che memorizzano dati transazionali
- Applicazioni SaaS
- Log dei dispositivi
- Sensori IoT: i flussi di dati registrati tramite sensori IoT possono anche essere collegati a data lake
Livello di elaborazione dei dati
Il livello di elaborazione dei dati contiene l’archivio dati, l’archivio dei metadati e le repliche che supportano i dati ad alta disponibilità. Questo livello è ben progettato per supportare la scalabilità, la resilienza e la sicurezza dei dati. L’amministrazione mantiene regole e configurazioni aziendali adeguate.
Destinazione e analisi
Una volta che i dati vengono elaborati attraverso il livello di elaborazione dei dati, vengono quindi inoltrati ai sistemi e alle applicazioni di destinazione tramite i connettori.
Alcune di queste destinazioni includono:
- Nuovi data warehouse aziendali creati consolidando le fonti
- Progetti di machine learning che estraggono dati grezzi per generare modelli ottimizzati a supporto di business case
- Dashboard di analisi creati per i dati presenti nei data lake
- Strumenti di visualizzazione dei dati che utilizzano i dati dei data lake per creare diagrammi e grafici analitici
Vantaggi dei data lake
I data lake sono più di un semplice storage per dati full-fidelity. Offrono un contesto che consente alle aziende non solo di avere una comprensione più profonda degli scenari aziendali, ma anche di eseguire vari esperimenti di analisi su di essi. Le aziende possono spostare facilmente i dati grezzi da diverse fonti nel data lake senza trasformarli. Questo “schema in lettura” consente di risparmiare molto tempo di elaborazione e offre agli analisti l’opportunità di accedere ai dati grezzi per una serie di casi d’uso. Un data lake garantisce anche il rispetto di altri requisiti aziendali.
Gestione dei dati semplificata
I data lake sono attrezzati per gestire grandi volumi, varietà e velocità di dati provenienti da fonti diverse.
Velocità
Poiché i dati non vengono elaborati durante l’importazione, possono essere scritti abbastanza rapidamente.
Costi di proprietà ridotti
Rispetto a un data warehouse, un data lake è notevolmente meno costoso poiché consente alle aziende di raccogliere tutti i tipi di dati da una varietà di fonti senza elaborarli.
Analytics
I dati vengono elaborati come e quando richiesto per un’analisi più rapida e approfondita. È anche più facile incorporare questi dati con applicazioni di intelligenza artificiale e machine learning.
Accessibilità tra le organizzazioni
Un data lake fornisce la “democrazia dei dati“, il che significa che gli utenti, indipendentemente dal loro livello o designazione nell’organizzazione, possono accedere e utilizzare i dati per i loro report.
Quali sfide devono affrontare i data lake?
Sebbene in teoria i data lake possano sembrare la soluzione ideale per qualsiasi azienda, ci sono alcune sfide che devono affrontare che potrebbero impedirle di mantenere tutte le promesse.
Tuttavia, ciò non significa che le organizzazioni non debbano utilizzare i data lake. Per garantire che gli utenti raccolgano tutti i vantaggi promessi, devono solo gestire e mantenere i data lake in modo corretto. Di seguito sono riportate alcune delle sfide che le organizzazioni possono affrontare quando adottano i data lake.
Costi elevati
Sebbene siano disponibili piattaforme di data lake open source, le organizzazioni devono disporre del know-how per crearle e gestirle, il che potrebbe richiedere più tempo e più risorse. L’alternativa è investire in piattaforme data lake gestite, che di solito hanno commissioni elevate.
Gestione del Data Lake
Gestire un data lake non è facile. Capire la capacità dell’infrastruttura host di supportare la scalabilità e mantenere l’integrità dei dati sono solo alcune delle preoccupazioni che emergono, indipendentemente dal fatto che un’organizzazione utilizzi una piattaforma open source o gestita.
Tempi
Ci vuole tempo affinché un data lake ingerisca grandi quantità di dati e si integri con tutti gli altri strumenti analitici per iniziare a fornire valore reale. Anche il processo di formazione delle risorse interne o di reclutamento di nuove contribuisce a tempi più lunghi.
Governance dei dati
Poiché il volume di dati è notevolmente più elevato nei data lake, il processo deve basarsi maggiormente sull’amministrazione programmatica. A meno che non venga mantenuta una governance adeguata, i data lake possono facilmente diventare paludi di dati, inaccessibili e con uno spreco di risorse. Tuttavia, una corretta governance richiede denaro e tempo.
Sicurezza
La sicurezza nei data lake basati su cloud rappresenta ancora una delle maggiori preoccupazioni per molte aziende. Sebbene nel corso degli anni siano stati introdotti livelli di protezione adeguati, l’incertezza del furto di dati è ancora una sfida affrontata dai fornitori di data lake.
Migrazione
Poiché molte aziende dispongono già di un sistema di data warehousing esistente, potrebbero non voler migrare a un sistema che non fa uso di tutti i dati strutturati che hanno accuratamente curato nel corso degli anni.
Tecnologia in crescita
Sebbene i dati stiano crescendo a un ritmo esponenziale, non sono accompagnati dai poteri computazionali dei sistemi in atto. A meno che non ci sia un modo efficiente di gestire questi dati in crescita, le aziende potrebbero finire per spendere di più per la potenza di calcolo risparmiando sui metodi di archiviazione.
Data Lake vs. data warehouse
Un data lake viene spesso confuso con un data warehouse, in quanto simili nel loro obiettivo e scopo di base, poiché,
- Entrambi memorizzano i dati da varie fonti all’interno di qualsiasi azienda
- Entrambi creano una soluzione dati one-stop che alla fine alimenta più applicazioni
Un data warehouse memorizza dati e processi e aiuta le aziende con le loro analisi. I dati memorizzati sono orientati al soggetto (inventario delle vendite, catena di fornitura, ecc.) e includono una variante temporale (giorno, mese, ecc.). Un data warehouse è in grado di combinare dati provenienti da più fonti purché abbiano una struttura dati coerente.
Un data lake, d’altra parte, può archiviare dati, indipendentemente dal formato, da più fonti ed è di natura altamente scalabile. È ideale per archiviare i dati quando non sono necessari per l’analisi o l’elaborazione immediata.
Le differenze tra loro includono:
- Acquisizione dei dati
- Conservazione dei dati
- Accessibilità all’utente
- Flessibilità
Acquisizione dei dati
I data lake sono attrezzati per acquisire dati di tutti i tipi e strutture nella loro forma originale dai loro sistemi di origine. I data warehouse possono acquisire solo informazioni strutturate organizzate in uno schema predefinito.
Conservazione dei dati
La differenza fondamentale tra un data lake e un data warehouse è il modo in cui i dati vengono archiviati in essi.
Lo schema di un data warehouse è predefinito, mentre non ce n’è uno predefinito in un data lake. Ciò significa essenzialmente che uno schema viene applicato durante la scrittura dei dati in un data warehouse. In un data warehouse si trovano solo dati elaborati e ben strutturati. Ciò garantisce un’analisi rapida, ma solo per casi d’uso specifici per i quali i dati sono stati elaborati. I dati non possono essere utilizzati per nessuno scenario che non sia stato preparato per esso.
Un data lake consente l’archiviazione dei dati nella loro forma nativa e non elaborata. Pertanto, i data lake ingeriscono i dati rapidamente e i dati vengono elaborati solo quando vengono utilizzati. Questo è noto come “schema in lettura” in contrasto con il tradizionale “schema in scrittura” utilizzato nei data warehouse. I data lake, quindi, hanno un valore aziendale più elevato poiché conservano gli attributi originali dei dati che possono essere utilizzati per eventuali casi d’uso che si presenteranno in futuro.
Accessibilità dell’utente
Poiché i dati in un data warehouse sono ben strutturati ed elaborati, gli utenti operativi, anche quelli non tecnologici, possono accedervi facilmente e lavorarci. I dati nei data lake, tuttavia, sono accessibili e utilizzabili solo da esperti che hanno una conoscenza approfondita del tipo di dati archiviati e delle loro relazioni. Questa complessità, adatta a data scientist e analisti, vieta l’accesso agli utenti operativi.
Flessibilità
Un data lake è più flessibile di un data warehouse poiché può adattarsi rapidamente ai cambiamenti ed è anche altamente scalabile. L’archiviazione nei data warehouse richiede spesso molto tempo e risorse poiché lo schema deve essere definito prima che i dati vengano scritti. Inoltre, nel caso in cui vi siano nuove esigenze in futuro, è necessario uno sforzo considerevole per apportare le modifiche necessarie.
Tra i due, i data warehouse sono una buona opzione per gli utenti operativi che cercano report e altre metriche chiave sulle prestazioni, mentre i data lake sono ideali per le aziende che cercano un’analisi approfondita dei propri dati. Tuttavia, i data lake non sempre sostituiscono i data warehouse. In alcuni scenari, un data lake può rivelarsi un’area di staging per un data warehouse.
Assunzioni e ipotesi possono essere facilmente testate sui dati in un data lake e solo le più importanti possono essere caricate in un magazzino per il processo decisionale.
Con il cloud, la scienza dei dati e le tecnologie di intelligenza artificiale oggi all’avanguardia, i data lake stanno guadagnando popolarità. La sua architettura flessibile, la capacità di contenere dati grezzi e le visualizzazioni olistiche dei modelli di dati rendono un data lake interessante per molte aziende alla ricerca di migliori insight aziendali.
