In un mondo inondato di dati, la capacità di distillare intuizioni significative è come navigare in acque insidiose. Jonah Lynch, pioniere delle digital humanities e consulente freelance per le soluzioni di machine learning (AI), nonché illustre membro dell'Advisors Board di Neodata Group, si trova al timone e traccia una rotta attraverso il vasto oceano di informazioni. Come docente di statistica presso l'Università di Milano (Bicocca), Lynch combina la sua esperienza in ambito accademico con le intuizioni pratiche provenienti dalle frontiere dell'IA. Potete trovare altri suoi scritti su jonahlynch.substack.com
La sfida del sovraccarico informativo
Le buone decisioni sono il risultato di buone informazioni. Informazioni specifiche e conoscenze utilizzabili del mondo sono come le carte nautiche che permettono al capitano di una nave di aggirare i promontori, evitare le secche e gli scogli nascosti e arrivare in sicurezza al porto. Ma cosa potrebbe fare il capitano se invece di poche decine di punti pericolosi nell'acqua ci fossero centinaia di punti pericolosi. migliaia o milioni? Dovrebbe semplicemente rimanere a casa. C'è un limite alla quantità di informazioni che un essere umano può prendere in considerazione. Anche se questo limite è molto variabile, nessuno sostiene che non esista.
Per vedere questo aspetto in modo più dettagliato, consideriamo il caso di ArXiv, un sito web fondato alla Cornell University nel 1991 che ospita articoli pre-print gratuiti di diverse scienze: fisica, matematica, biologia, informatica e alcune altre. Il sito è estremamente utile per gli scienziati. Invece di dover aspettare mesi o anni prima che le riviste pubblichino gli ultimi risultati, i ricercatori possono vedere ciò che tutti gli altri nel mondo stanno scoprendo e pubblicando su base giornaliera. Gli aggiornamenti in tempo reale e il libero accesso possono accelerare notevolmente la scoperta. Siti simili esistono anche per altri settori, come PubMed per la ricerca medica.
Ma come sa chiunque abbia provato a utilizzare queste informazioni, una tale quantità di dati può essere paralizzante. Il sito arXiv ha una pagina che mostra le statistiche degli articoli pubblicati nel tempo. In tutti i domini, i numeri sono schiaccianti! Chi può leggere 60,000 articoli d'informatica ogni anno? Sono 165 articoli al giorno!
Per qualche giorno è possibile tenersi aggiornati, ma se si ha un giorno di malattia o si passa la domenica in famiglia, la quantità di informazioni che non si sono ancora lette diventa sempre più simile a quella di un tubo. L'acqua non smette di arrivare.
Certo, ci sono modi per ridurre la dimensione delle informazioni (leggere solo i titoli, solo gli abstract, solo gli articoli di revisione, solo le conclusioni... avete capito bene). Tuttavia, i tempi umani e le memorie umane sono insufficienti per gestire la quantità di informazioni disponibili. Per navigare bene, evitare i pericoli e cogliere le opportunità, queste informazioni sono importanti. Ma come si può creare una mappa che cambia continuamente, con centinaia di migliaia di nuovi dettagli ogni mese?
L'intelligenza artificiale come soluzione: Liberare la potenza delle reti neurali
L'uomo ha sviluppato una serie di modi per risolvere questo problema. Le nostre tecnologie dell'informazione comprendono la scrittura stessa, le strategie di archiviazione e le strutture bibliotecarie, le tecnologie di pubblicazione e di dibattito, tra cui conferenze, riviste e social media. La nostra biologia ha altre tecniche di riduzione delle dimensioni più antiche, come il nostro sistema limbico che, tra le altre cose, è in grado di ridurre informazioni molto complesse in poche risposte emotive di base. Ci sono buone ragioni per “trust your gut”che spesso è in grado di sintetizzare un'ampia varietà di input in modo utile, decisioni, anche se forse non sempre ottimali.
Ci sono anche buone ragioni per non fidarsi delle nostre antiche risposte emotive. Ci sono molti problemi che sono intrattabili dall'intuizione. In fisica, i livelli di verità che potevano essere intuiti dall'esperienza sensoriale ordinaria sono terminati intorno all'epoca di Newton. Dopo di allora, chi poteva intuire direttamente il funzionamento dei campi elettromagnetici, o la relatività, o la meccanica quantistica? Bisogna fidarsi della logica delle equazioni, che spesso è come orientarsi in una cantina buia come la pece. Non c'è una visuale dall'alto e si può solo procedere con cautela, passo dopo passo.
Anche nel business , non c'è spesso una intuizione disponibile e affidabile. Il momento attuale è nuovo, il campo di gioco cambia continuamente, ciò che ha funzionato in passato potrebbe non funzionare oggi. I dati arrivano da diverse fonti e vengono elaborati da team di scienziati alla ricerca di modelli che possano aiutare manager e dirigenti a tracciare il prossimo passo in avanti. Le quantità di dati, la velocità di risposta e la complessità dei macchinari utilizzati per trovare i modelli sono in continuo aumento.
Oggi si parla spesso di Intelligenza Artificiale, che di solito significa modelli linguistici di grandi dimensioni (LLMs) basate sulle reti neurali, come possibile soluzione al problema. Fin dalla loro invenzione, le reti neurali artificiali si sono dimostrate in grado di apprendere rappresentazioni di molti problemi difficili. Le architetture più recenti, istanziate in applicazioni come ChatGPT, sono notevoli per la loro capacità di trovare e replicare "creativamente" modelli nel linguaggio, cosa che solo pochi anni fa sembrava impossibile. Attualmente è in corso un'esplosione di prodotti e di ricerca e sviluppo in questo campo: ogni giorno vengono rilasciati nuovi LLM per compiti specializzati e vengono inventate nuove architetture di reti neurali, aumentando il numero di compiti che possono essere ottimizzati in questo modo. Il dibattito se questi modelli sono in grado di generalizzare dai dati, o di creare "solo" una sfumatura, ma essenzialmente un output statistico che non contiene la comprensione del mondo. In ogni caso, i progressi sono impressionanti.
Nella mia ricerca, sto sviluppando modi per sfruttare la rappresentazione ad alta dimensionalità di testo all'interno dei LLM per estrarre informazioni utili utilizzando strumenti matematici. Ad esempio, "incorporando" una grande quantità di testo in un modello linguistico, è possibile calcolare e visualizzare quali testi si raggruppano nelle stesse regioni dello spazio del modello. Queste informazioni possono essere utilizzate per creare sintesi efficaci di grandi quantità di informazionie persino di generare ipotesi su ciò che potrebbe essere scoperto nel futuro del settore, al fine di concentrare le risorse e gli investimenti in quella direzione.
La dimensione etica della conoscenza
Queste tecnologie sono un ulteriore passo avanti nel nostro cammino per osservare il mondo più da vicino e notare in modo più completo la sua struttura. Più precisamente sappiamo come è strutturato il mondo, più saremo in grado di prendere decisioni. La conoscenza ha anche una componente squisitamente etica: quanto meglio conosciamo le interrelazioni tra le cose (nell'economia e nella biosfera, per esempio), tanto meglio saremo in grado di tenere conto del costo totale delle nostre azioni. Con una conoscenza più approfondita delle interconnessioni e interdipendenze nel mondo, l'ottimizzazione per il profitto potrebbe coincidere maggiormente con l'ottimizzazione per il bene comune. Una migliore conoscenza delle debolezze della percezione e del giudizio umani, come notoriamente studiato da Kahnemann e Tversky, può guidarci nella creazione di protesi intellettuali che ci aiutino a giudicare meglio nei settori in cui la nostra natura ci delude.
Naturalmente, ciò che rimane al di fuori della nostra conoscenza continuerà a influenzarci, e anche se potessimo raggiungere una conoscenza completa della struttura del mondo, potrebbero ancora rimanere delle possibilità oscure ("Il cuore dell'uomo è ingannevole più di ogni altra cosa"., scriveva il profeta Geremia).
Quello che possiamo fare è accrescere progressivamente le nostre conoscenze e migliorare la nostra mappa del mondo. Siamo esploratori che si spingono sempre più in profondità, navigando in acque sconosciute, chiedendosi cosa ci sia oltre il prossimo promontorio o dall'altra parte dell'oceano. L'intelligenza artificiale è un nuovo strumento nel nostro viaggio, come un telescopio che ci permette di vedere più lontano e più in profondità di quanto potessimo fare prima.
Per richieste di informazioni e collaborazioni, contattate Neodata Group all'indirizzo info@neodatagroup.ai. Unisciti a noi per dare forma al futuro degli approfondimenti e dei processi decisionali basati sulle informazioni.
Jonah Lynch
Jonah Lynch, pioniere delle digital humanities e consulente freelance per le soluzioni di machine learning (AI), nonché illustre membro dell'Advisors Board di Neodata Group, si trova al timone e traccia una rotta attraverso il vasto oceano delle informazioni. In qualità di docente di statistica presso l'Università di Milano (Bicocca), Lynch combina la sua esperienza in ambito accademico con le intuizioni pratiche provenienti dalle frontiere dell'IA.
