Indice

• Il riflesso dei nostri bias
• Perché la macchina si comporta così
• Il rischio per il business che si tende a sottovalutare
• È un problema ingegneristico, e si può risolvere

Se si chiede a uno strumento di AI generativa l'immagine di un medico, con ogni probabilità si otterrà un uomo. Se si chiede un cassiere, con ogni probabilità si otterrà una donna. L'amministratore delegato che lo strumento disegnerà sarà quasi certamente un uomo, di solito bianco, di solito in giacca e cravatta. Lo strumento fa esattamente ciò per cui è stato costruito. Ha imparato da miliardi di immagini raccolte dal web e ci restituisce quel mondo con i contorni accentuati.

Un recente approfondimento di Visual Capitalist, costruito su un'infografica di NeoMam Studios a partire dai dati di Kapwing, lo ha mostrato con chiarezza per i video generati dall'AI. Il modello si è ripetuto in un'ampia gamma di professioni. I ruoli più remunerativi, come dirigenti e ingegneri, pendevano nettamente verso il maschile, mentre i ruoli meno pagati e quelli di cura venivano rappresentati molto più spesso al femminile. Per chi costruisce prodotti basati su questi strumenti, quel modello ha conseguenze concrete.

Il riflesso dei nostri bias

L'aspetto scomodo è che i modelli generativi non si limitano a riflettere gli squilibri del mondo reale: li amplificano. Bloomberg ha analizzato oltre 5.000 immagini generate da Stable Diffusion e ha scoperto che le distorsioni andavano oltre la realtà. Circa il 34% dei giudici statunitensi è donna, eppure solo il 3% delle immagini prodotte dal modello per il prompt «giudice» è stato interpretato come femminile. I prompt relativi a professioni ben pagate restituivano soprattutto volti dalla pelle più chiara, mentre prompt come «addetto ai fast food» e «assistente sociale» restituivano volti dalla pelle più scura molto più spesso di quanto suggeriscano i dati occupazionali.

La ricerca accademica va nella stessa direzione. Uno studio ha rilevato che oltre il 74% delle immagini generate da DALL-E 3 presentava un bias di genere legato alla professione. Ricerche precedenti hanno mostrato l'effetto di amplificazione in modo netto: nei dati occupazionali reali gli assistenti di volo sono donne solo con una lieve maggioranza, eppure il modello li rappresentava come donne in praticamente ogni immagine.

La sanità mostra quanto tutto ciò possa diventare specifico. Uno studio che ha generato 1.200 immagini di medici in 30 specialità ha rilevato che l'82% dei volti prodotti dall'AI era maschile, contro il 47% dell'organico reale dell'NHS, il servizio sanitario britannico. Gli strumenti non hanno prodotto alcuna immagine di donne come medici di base o chirurghe ortopediche, sovrarappresentando invece le donne in dermatologia e ostetricia.

Perché la macchina si comporta così

La causa non è misteriosa. Questi modelli vengono addestrati su enormi raccolte di testi e immagini prelevate dal web aperto, e il web porta con sé decenni di rappresentazione diseguale. Il modello impara una scorciatoia invece di una distribuzione sfumata e, al momento della generazione, ripropone quella scorciatoia con più forza di quanta ne avesse ricevuta. Il caso minoritario si riduce fino a sparire.

Brookings e altri hanno documentato quanto questo fenomeno sia costante tra strumenti e prompt diversi. La tecnologia non ha alcuna intenzione di discriminare, ma i suoi output lo fanno, ed è proprio per questo che il problema può finire in produzione senza che nessuno se ne accorga.

Il rischio per il business che si tende a sottovalutare

È facile trattare tutto ciò come un dibattito astratto sull'equità. Nella pratica, gli output circolano. Le immagini generate dall'AI alimentano già campagne pubblicitarie e presentazioni aziendali, e i video generati dall'AI stanno rapidamente prendendo la stessa strada. Ogni volta che un'azienda ricorre a una rapida immagine generata di un «leader» o di un «cliente», rischia di pubblicare lo stereotipo senza volerlo.

Qui i costi sono due. Il primo è reputazionale e legale. Il pubblico e le autorità di regolamentazione prestano sempre più attenzione a come i brand rappresentano le persone, e una libreria di immagini distorta è un rischio pronto a venire a galla. Il secondo costo è più silenzioso e più corrosivo. Quando le persone non si vedono mai rappresentate in un certo ruolo, si rafforza il messaggio che quel ruolo non appartiene loro. Uno strumento usato milioni di volte al giorno diventa una macchina che restringe l'aspetto che a una professione è concesso avere.

È un problema ingegneristico, e si può risolvere

Niente di tutto questo è un motivo per abbandonare i media generativi. È un motivo per costruirli e utilizzarli in modo responsabile, e le leve su cui agire sono ben note.

Il bias si può misurare. Invece di fidarsi degli output, i team possono generare immagini su larga scala e confrontare i risultati con i valori di riferimento del mondo reale, come hanno fatto gli studi citati, trasformando una preoccupazione vaga in un dato che si può monitorare nel tempo. I dati di addestramento e di fine-tuning possono essere selezionati e riequilibrati, così che il modello veda una gamma più completa di persone in ogni ruolo. I prompt e gli output possono essere testati prima di qualsiasi pubblicazione, con una supervisione umana per gli usi che hanno un peso rilevante. E i sistemi possono essere trasparenti sui propri limiti, segnalando quando una richiesta ricade in un ambito in cui è noto che il modello distorce i risultati.

È lo standard che ci imponiamo in Neodata. Costruire sistemi di AI per il video e i dati significa considerare l'equità come parte della qualità e non come un ripensamento, misurandola con lo stesso rigore che si applica all'accuratezza o alla velocità. Un sistema generativo che riscrive in silenzio chi appartiene a quale mestiere non è un prodotto finito, per quanto possano essere notevoli le immagini che produce.

Se la vostra organizzazione mette immagini o video generativi davanti ai clienti, vale la pena sapere che cosa quei sistemi stanno rappresentando per vostro conto. Saremo lieti di parlarne insieme.