Utente:FabiorWikiTIM/Big data

Big Data è un termine adoperato per descrivere una raccolta di dati eterogenei, strutturati e non strutturati, definita in termini di volume, velocità, varietà e veridicità. Per la gestione di tale mole di dati sono richieste tecnologie e metodi analitici specifici al fine di estrarre valore per supportare differenti tipologie di analisi.

Data la complessità di una definizione univoca del termine Big Data, ne sono state proposte differenti da varie organizzazioni. Nel 2011, Teradata afferma che “Un sistema di Big Data eccede/sorpassa/supera i sistemi hardware e software comunemente usati per catturare, gestire ed elaborare i dati in un lasso di tempo ragionevole per una comunità/popolazione di utenti anche massiva.”. Un'ulteriore definizione di Big Data è stata data dal McKinsey Global Institute “Un sistema di Big Data si riferisce a dataset la cui taglia/volume è talmente grande che eccede la capacità dei sistemi di database relazionali di catturare, immagazzinare, gestire ed analizzare.”

Per poter parlare di Big Data il volume dei dati deve essere correlato alla capacità del sistema di acquisire le informazioni così come arrivano dalle differenti sorgenti dati che sono adoperate. Quindi, un sistema diventa big quando aumenta il volume dei dati ed allo stesso tempo aumenta la velocità/flusso di informazioni che il sistema deve poter acquisire e gestire per secondo. Negli ultimi due anni c'è stato un incremento del 90% dei dati prodotti nel mondo. Le aziende potrebbero arrivare a produrre Zettabyte di dati, ad esempio considerando dati provenienti da sensori, dati satellitari, finanziari, telefonici etc... .

Il progressivo aumento della dimensione dei dataset è legato alla necessità di analisi su un unico insieme di dati, con l'obiettivo di estrarre informazioni aggiuntive rispetto a quelle che si potrebbero ottenere analizzando piccole serie, con la stessa quantità totale di dati. Ad esempio, l'analisi per sondare gli "umori" dei mercati e del commercio, e quindi del trend complessivo della società e del fiume di informazioni che viaggiano e transitano attraverso Internet.

Big data rappresenta anche l'interrelazione di dati provenienti potenzialmente da fonti eterogenee, quindi non soltanto i dati strutturati, come i database, ma anche non strutturati, come immagini, email, dati GPS, informazioni prese dai social network.

Con i Big Data la mole dei dati è dell'ordine degli Zettabyte, ovvero miliardi di Terabyte. Quindi si richiede una potenza di calcolo parallelo e massivo con strumenti dedicati eseguiti su decine, centinaia o anche migliaia di server.

Definizione e Caratteristiche

Si parla di Big Data quando si ha un insieme talmente grande e complesso di dati che richiede la definizione di nuovi strumenti e metodologie per estrapolare, gestire e processare informazioni entro un tempo ragionevole. Non esiste una dimensione di riferimento, ma questa cambia sempre, poiché le macchine sono sempre più veloci e i dataset sono sempre più grandi. Secondo uno studio del 2001, l'analista Doug Laney aveva definito il modello di crescita come tridimensionale (modello delle "3V"): con il passare del tempo aumentano volume (dei dati), velocità e varietà (dei dati). In molti casi questo modello è ancora valido, nonostante nel 2012 il modello sia stato esteso ad una quarta variabile, la veridicità.

Una prima caratterizzazione venne fornita da Douglas Laney, analista di Gartner, in un suo articolo del 2001 [11], nel quale egli stabilì un modello di crescita dei dati orientato intorno tre aspetti fondamentali (modello delle "3V"):

• Volume: si riferisce alla quantità di dati (strutturati, non strutturati) generati ogni secondo. Tali dati sono generati da sorgenti eterogenee quali: sensori, log, eventi, email, social media e database tradizionali.
• Varietà: si riferisce alla differente tipologia dei dati che vengono generati, collezionati ed utilizzati. In precedenza i dati erano fortemente strutturati e la loro manipolazione veniva eseguita mediante uso di tabelle o database relazionali. Adesso i dati possono essere non strutturati, semi strutturati ( non hanno una strutturazione logica precisa, ad es: atto notarile con frasi fisse e frasi variabili) o strutturati e richiedono nuove metodologie per la loro gestione.
• Velocità: si riferisce alla velocità con cui i nuovi dati vengono generati. Non solo la velocità come speed of generation ma anche la necessità che questi dati/informazioni arrivino real time al fine di effettuare analisi su di essi.

Con l'incremento dei dati, l'IBM ha introdotto una quarta V:

• Veridicità: si riferisce all'incertezza intrinseca nei dati generati che potrebbe renderli inconsistenti e incompleti. Nei sistemi di Big Data i dati sono untrusted perché io non so se le sorgenti sono certificati.

Con il passare del tempo, ulteriori caratteristiche si sono aggiunte al modello, quali ad esempio:

• variabilità: questa caratteristica può essere un problema e si riferisce alla possibilità di inconsistenza dei dati;
• complessità: maggiore è la dimensione del dataset, maggiore è la complessità dei dati da gestire; il compito più difficile è collegare le informazioni, ed ottenerne di interessanti.

Ciclo di vita

Ciclo di vita dei Big Data

L’estrazione di conoscenza dai Big Data e l’impiego della stessa per il miglioramento delle attività decisionali sono subordinati alla definizione di processi che consentano di gestire e trasformare in modo efficiente dataset che crescono rapidamente in volume e varietà. Ogni fase di ciascun processo modifica lo stato ed il contenuto degli stessi contribuendo a convertire moli di dati ancora grezzi in valore e dunque ad arricchire il modello analitico dei dati . Tali processi costituiscono un riferimento per la scelta o la creazione di un’architettura, ovvero di una struttura logica e fisica che determina come i Big Data devono essere memorizzati, acceduti e gestiti all’interno di un organizzazione. In essa vengono specificati, inoltre, le soluzioni da mettere in campo per far fronte ai problemi che possono derivare dal trattamento dei Big Data quali ad esempio la scarsa qualità dei dati o la scalabilità delle infrastrutture, le componenti hardware e software come framework e database, il flusso delle informazioni, la privacy e la sicurezza dei dati e molto altro. I processi principali che compongono il ciclo di vita dei Big Data possono essere raggruppati in due macro-aree:

• Big Data Management: racchiude i processi e le tecnologie per l’acquisizione e la memorizzazione dei Big Data e la preparazione ed il recupero degli stessi;
• Big Data Analytics: racchiude i processi utilizzati per analizzare ed acquisire informazioni utili da grandi dataset il più velocemente possibile.

Generazione ed acquisizione

Oltre alla varietà dei formati e strutture, i Big Data presentano anche una varietà di fonti. I dati provenienti da esse sono spesso classificati in human generated, machine generated e business generated. Tra le origini di dati human generated si trovano in particolare le piattaforme di social network (Facebook, LinkedIn), blogging (Blogger, Wordpress) e micro-blogging (Twitter, Tumblr), social news (Digg, Reddit), social bookmarking (Delicious, StumbleUpon), multimedia sharing (Instagram, Flickr, YouTube), le wiki (Wikipedia), i siti di domande e risposte (Yahoo Answers), i siti di recensioni (Yelp, TripAdvisor), i portali di e-commerce (eBay, Amazon), click stream da siti Web ecc. I dati machine generated sono prodotti da sorgenti quali sensori GPS, IoT, RFID, centrali di monitoraggio di eventi meteorologici, strumenti scientifici, sistemi di High Frequency Trading dei mercati finanziari, dispositivi biomedicali e quant’altro. Infine per dati business generated si intendono tutti quei dati, human o machine generated, generati internamente ad un’azienda che registrano tutte le attività data-driven dei processi di business aziendali. Molti di essi sono dati storici memorizzati staticamente in database relazionali e che rappresentano pagamenti, ordini, dati di produzione, inventario, vendite e finanziari. La crescente produzione di questa tipologia di dati ha reso necessario l’utilizzo di tecnologie e strumenti di analisi in tempo reale affinché le aziende possano sfruttare a pieno il loro potenziale. L’acquisizione dei Big Data da questi canali d’informazione può avvenire con diverse modalità:

• Accedendo ad API messe a disposizione dai servizi Web, grazie alle quali è possibile interfacciarsi ad essi per esaminarne i contenuti. Un esempio sono le Twitter API, Facebook Graph API e le API fornite da motori di ricerca come Google e Bing;
• Utilizzando software di web scraping che eseguono operazioni di crawling, parsing ed entity extraction per la raccolta automatica di dati da documenti presenti in Internet. Il framework Apache Tika, ad esempio, automatizza tali operazioni per metadati e testo provenienti da diverse tipologie di documenti, arrivando ad identificarne persino la lingua;
• Importando i dati da database relazionali, non relazionali o da altre sorgenti con strumenti di ETL, già usati ampiamente per la movimentazione di dati in sistemi di Data Warehousing e Data Mart. Uno degli strumenti di ETL più usati nell’ottica dei Big Data è Apache Sqoop che consente di importare ed esportare grandi quantità di dati da database relazionali e non verso la piattaforma Apache Hadoop e viceversa;
• Leggendo flussi continui di dati, rapidamente generati, tramite sistemi capaci di catturare eventi, elaborarli e salvarli su un database in modo efficiente. Tra le tecnologie più diffuse ci sono Apache Flume, Apache Kafka e Microsoft StreamInsight.

In seguito all’acquisizione dalle sorgenti, i dataset sono trasferiti a sistemi di archiviazione locali o remoti attraverso mezzi di trasmissione ad alta velocità. Inoltre è fondamentale che su di essi vengano eseguite ulteriori operazioni di preprocessing, il cui scopo è filtrare i dati da informazioni ridondanti, inaccurate o incomplete al fine di aumentarne l’entropia, migliorando così l’accuratezza delle analisi e riducendo lo spazio necessario alla memorizzazione degli stessi.

Estrazione e pulizia delle informazioni

La maggior parte dei dati raccolti non sono nel formato richiesto per l'elaborazione. Ad esempio, il record di salute di un ospedale è costituito da rapporti medici, prescrizioni, letture acquisite da sensori e macchine di monitoraggio e dati di immagine come i raggi x. Non è possibile utilizzare questi dati in modo efficace quando ognuno di essi ha una propria rappresentazione. Pertanto, bisogna creare un processo di estrazione che prelevi le informazioni richieste dalla grande fonte dei dati e le rappresenti in una forma standard e strutturata pronta per l'analisi. La progettazione del processo di estrazione dipende principalmente dall'area di applicazione, ad esempio i dati che si estraggono dalla risonanza magnetica sono differenti da quelli estratti dall'immagine delle stelle. I Big Data, inoltre, possono contenere alcune informazioni false. Ad esempio, i pazienti possono nascondere intenzionalmente alcuni sintomi che possono portare il medico a diagnosticare erroneamente la loro condizione. È necessario, pertanto, utilizzare tecniche di pulizia dei dati che comprendono vincoli per il controllo della validità dei dati e modelli di errore per garantire la loro qualità.

Immagazzinamento ed Integrazione

L’immagazzinamento dei Big Data è un problema che deriva da due necessità: memorizzare ed organizzare enormi dataset non strutturati o semi-strutturati ed allo stesso tempo garantire la loro disponibilità e la capacità di interazione con essi in modo affidabile, veloce e sicuro. Per rispondere a questi bisogni è stato unito allo sviluppo di infrastrutture hardware per l’archiviazione, anche la creazione di meccanismi per la gestione di questi dati, in particolare file system distribuiti e nuove tipologie di database. L’infrastruttura a supporto dei Big Data consiste in insiemi di nodi di archiviazione ed elaborazione distribuiti in rete, connessi mediante reti di comunicazione ad alta velocità, in grado di scalare orizzontalmente ed essere configurata dinamicamente a seconda delle applicazioni. I file system distribuiti hanno il compito di fornire una visione unificata dell’infrastruttura di storage distribuita sottostante, fornendo operazioni di base per la lettura e scrittura sequenziale di grandi quantità di dati, assicurando alte prestazioni ed allo stesso tempo un adeguato livello di tolleranza ai guasti. I file system distribuiti più conosciuti sono Google File System (GFS) ed Hadoop Distributed File System (HDFS). Vari tipi di database sono stati proposti negli anni nell’intento di memorizzare, gestire ed organizzare dataset caratterizzati da grandezze, strutture e provenienze diverse. A causa della staticità delle strutture tabellari, le soluzioni basate su RDBMS si sono rivelate inadatte ai requisiti di varietà e volume propri dei Big Data. L’organizzazione logica dei dati è dunque affidata alle basi di dati NoSQL che abbandonano le restrizioni imposte dal modello relazionale e dal linguaggio SQL ma che invece possiedono caratteristiche fondamentali per i Big Data come l’essere "schemaless" e distribuite, avere una facile replicazione dei dati, eventual consistency e, non ultimo, il supporto per lo storage persistente di grandi moli di dati. Alla fase di immagazzinamento viene affiancata spesso una fase di integrazione che consiste in ulteriori elaborazioni e trasformazioni dei dati per prepararli alla successiva fase di analisi. Ciò permette di ottenere una visione unificata e normalizzata dei dati. Le operazioni che vengono svolte più frequentemente in questa fase sono l’unione di dati da database esterni ed il riconoscimento di contenuti testuali da documenti provenienti da fonti come il Web o le repository aziendali.

Modellazione e analisi

Lo scopo della fase di analisi è quello di estrarre valore in forma di conoscenza dai Big Data, esaminando gli enormi dataset a disposizione alla scoperta di correlazioni, trend, pattern ed ulteriori indici statistici nascosti nei dati. Le analisi possono essere eseguite su dati strutturati, semi-strutturati e non strutturati, tra cui:

• Analisi di testi: l’estrazione di informazioni e conoscenza a partire da testo non strutturato contenuto in documenti, email, pagine Web e post su blog e social network, nota anche come text mining, fa principalmente uso di tecniche di Natural Language Processing (NLP), machine learning ed analisi statistica. Grazie ad esse sono stati sviluppati algoritmi per il riconoscimento di argomenti (topic modeling), la ricerca delle migliori risposte ad una domanda (question answering), l’individuazione delle opinioni degli utenti su determinate notizie (opinion mining) ed altri ancora;
• Analisi di dati multimediali: la natura non strutturata di contenuti multimediali quali immagini, video ed audio, la loro dimensione, eterogeneità ed il fatto di essere prodotti molto rapidamente rendono idonea la loro trattazione con sistemi di Big Data Analytics. Algoritmi di machine learning permettono di estrarre informazioni di basso ed alto livello utili alla descrizione semantica dei file multimediali. L’annotazione automatica tramite etichette testuali (multimedia annotation) e l’estrazione di feature visive o sonore (feature extraction) sono attività alla base di algoritmi d’indicizzazione (multimedia indexing) e raccomandazione (multimedia recommendation) di questi contenuti.
• Analisi del Web: è possibile ricavare informazioni e conoscenza sui contenuti, la struttura e l’utilizzo del Web analizzando in maniera automatica pagine e collegamenti ipertestuali. L’analisi dei contenuti testuali e multimediali viene svolta facendo uso delle tecniche sopra citate. La topologia può essere ricostruita mediante algoritmi di crawling che seguono i collegamenti ipertestuali per rivelare relazioni tra pagine o siti Web. Uno degli algoritmi più noti che si ispira a tale meccanismo è il PageRank di Google. Il profiling dell’utilizzo del Web da parte di un utenza sempre più diversificata viene eseguito esaminando un numero elevato di log di server, sessioni, transazioni, ricerche e visite al fine di personalizzare le esperienze individuali degli utenti.

Le tecniche di data mining, machine learning e di analisi statistica come clustering, correlazione e regressione, vengono applicate ai Big Data mediante l’uso di modelli di programmazione e framework di elaborazione distribuita che permettono di ottenere in tempi rapidi aggregati di informazioni dai database NoSQL o da altre fonti, analogamente a ciò che accade per il linguaggio SQL con i database relazionali. Quest’ultimi vengono classificati in base alla tempestività richiesta per le analisi (real time o batch analytics) e alla possibilità di velocizzare parte delle operazioni caricando o meno i dati in memoria primaria (in memory analytics). Fra i modelli di programmazione più diffusi ci sono MapReduce, parte del framework Apache Hadoop, che permette l’elaborazione in batch ed in parallelo di grandi dataset su cluster di macchine general purpose usando l’omonimo paradigma e Google Pregel che consente di eseguire elaborazioni distribuite su enormi grafi che possono rappresentare ad esempio grafi di reti di calcolatori o delle relazioni tra gli utenti di un social network.

Interpretazione

L'interpretazione dei parametri analizzati può fornire dei suggerimenti per verificare ipotesi empiriche su fenomeni di interesse, prendere decisioni di business più efficaci, individuare nuovi mercati nei quali investire, sviluppare campagne di marketing più mirate e migliorare l’efficienza operativa.

Differenze con business intelligence

La crescente maturità del concetto dei Big Data mette in evidenza le differenze con la business intelligence, in materia di dati e del loro utilizzo:

• business intelligence utilizza la statistica descrittiva con dati ad alta densità di informazione per misurare cose, rilevare tendenze, ecc., cioè utilizza dataset limitati, dati puliti e modelli semplici;
• Big Data utilizza la statistica inferenziale e concetti di identificazione di sistemi non lineari, per dedurre leggi (regressioni, relazioni non lineari, ed effetti causali) da grandi insiemi di dati e per rivelare i rapporti, le dipendenze, e effettuare previsioni di risultati e comportamenti, cioè utilizza dataset eterogenei (non correlati tra loro), dati raw e modelli predittivi complessi.

Analisi di mercato

I Big Data sono un argomento interessante per molte aziende, le quali negli ultimi anni hanno investito su questa idea più di 15 miliardi di Dollari, finanziando lo sviluppo di software per gestione dei dati e analisi. Questo è accaduto perché le economie più forti sono molto motivate all'analisi di enormi quantità di dati: basti pensare che ci sono oltre 4,6 miliardi di smartphone attivi e circa 2 miliardi di persone hanno accesso a Internet. Vediamo come il volume dei dati in circolazione si sia evoluto:

• nel 1986 i dati erano 281 PetaBytes;
• nel 1993 i dati erano 471 PetaBytes;
• nel 2000 i dati erano 2,2 ExaBytes;
• nel 2007 i dati erano 65 ExaBytes;
• nel 2014 si prevede uno scambio di oltre 650 ExaBytes.

Modelli

Come è stato detto in precedenza, il volume di dati dei Big Data e l'ampio uso di dati non strutturati non permette l'utilizzo dei tradizionali RDBMS, che non rendono possibile archiviazione e velocità di analisi. Gli operatori di mercato utilizzano piuttosto sistemi con elevata scalabilità e soluzioni basate sulla NoSQL.

Nell'ambito della business analytics nascono nuovi modelli di rappresentazione in grado di gestire tale mole di dati con elaborazioni in parallelo dei database. Architetture di elaborazione distribuita di grandi insiemi di dati sono offerte da MapReduce di Google e dalla controparte open source Apache Hadoop. Con questo sistema le applicazioni sono separate e distribuite con nodi in parallelo e quindi eseguite in parallelo (funzione map). I risultati vengono poi raccolti e restituiti (funzione reduce).

Tecnologie utilizzate

La crescente mole di dati che vengono generati da sorgenti di dati eterogenei ha posto l'attenzione su come catturarli, archiviarli ed utilizzarli ai fini di business. In particolare, un'ulteriore sfida è database anche dalla natura di questi, che cambia di volta in volta, aumentando sempre di più di dimensione l'informazione da gestire. Il problema che si riscontra è dovuto principalmente alla difficoltà di gestirli con database tradizionali, sia in termini di costi, sia in termini di volume.

L’insieme di questi elementi ha portato allo sviluppo di nuovi modelli di elaborazione, che ha permesso alle aziende di diventare più competitive, sia attraverso una riduzione dei costi, sia perché i nuovi sistemi, sono in grado di archiviare, spostare e combinare i dati con maggiore velocità e in maniera agile.

Per poter gestire il sistema di Big Data, si adoperano sistemi che distribuiscono sia risorse che servizi.

• Architetture distribuite: utilizzo di cluster di computer connessi tra loro al fine di cooperare al raggiungimento di un obiettivo comune realizzando la scalabilità orizzontale (non verticale).
• Fault Tolerance: le architetture/piattaforme proposte devono essere progettate per essere tolleranti ai guasti, per questo le risorse sono replicate sulle differenti macchine che compongono il cluster.
• Distributed Processing: il modello di elaborazione è distribuito in modo da poter sfruttare la potenza elaborativa del cluster progettato.

Per gestire un così grande quantitativo di dati nuove metodologie sono state proposte nei seguenti campi:

• Data Mining
• Machine Learning
• Basi di dati

A supporto di queste metodologie sono state proposte le seguenti tecnologie e linguaggi di programmazione:

• Hadoop Framework (HDFS, Spark, Storm, Mout, etc.)
• NoSQL

Bibliografia

• Marc Dugain, Christophe Labbé, L'uomo nudo. La dittatura invisibile del digitale, ISBN 978-88-99438-05-0, Enrico Damiani Editore, 2016
• Alessandro Rezzani, Big data. Architettura, tecnologie e metodi per l'utilizzo di grandi basi di dati, ISBN 978-8838789892, Apogeo Education, 2013

Voci correlate

• Analisi dei dati
• Datawarehouse
• Business intelligence
• Data mining

Collegamenti esterni

• Template:Thesaurus BNCF