Ma come si fa tutto questo? I dati sono importati nel Data Lake nella loro forma originale, così come sono nei sistemi esterni. Successivamente questi dati vengono analizzati nella fase di Data Exploration e processati per essere disponibili nel formato più adeguato ai bisogni dell’azienda. “In questo processo è molto importante che tutti i dati siano documentati”, precisa Emanuele Mambelli, Head of R&D di Neodata. “In questo modo è possibile ricercare le informazioni raccolte all’interno del Data Lake”. Neodata e Valuement hanno implementato una pipeline di processing basata su Data Lake Storage, Data Factory e Synapse, lo stack di servizi Azure che permettono una gestione completa del flusso di dati e della loro trasformazione per i casi di business necessari al cliente. Questi sistemi abilitano la connessione di fonti informative eterogenee, quali file e database. La trasformazione dei dati può avvenire utilizzando le tecnologie per il processing distribuito attraverso PySpark, la versione Python di Spark. Da ultimo, tramite PowerBI, gli insights derivati dai dati possono essere resi disponibili in modalità accessibile alle diverse utenze.