Un bot AI che fa finti nudi di donne sta prosperando su Telegram

Un bot AI che fa finti nudi di donne sta prosperando su Telegram

Con il potere della tecnologia, le più grandi menti del mondo hanno la capacità di ottenere quasi tutto. Ma, mentre alcuni lavorano per rendere la vita più facile alle persone con disabilità o per aiutare a porre fine a una pandemia globale, altri si concentrano su una causa meno nobile: abusare e oggettivare le donne.

nella mente di jamie hewlett

Un programmatore anonimo ha lanciato l'anno scorso un'app chiamata DeepNude, che utilizzava la tecnologia deepfake per rimuovere i vestiti dalle foto di donne. Viene descritto come offrire il superpotere che hai sempre desiderato, consentendo agli utenti di caricare foto di donne (la tecnologia non funzionava sugli uomini) che poi si spogliavano e trasformavano in nudi finti credibili. Il download è costato $ 50 su vari app store.

L'app è stata messa offline poche ore dopo dal suo creatore, con un bizzarro marcia indietro. Non vogliamo fare soldi in questo modo, hanno scritto una dichiarazione . Il mondo non è ancora pronto per DeepNude.

Un anno da allora, l'app è cresciuta in modo espontenziale in popolarità e utilizzo. Il software è stato scoperto su Telegram, dove è stato impiegato come parte di un 'ecosistema deepfake', in cui sono stati creati oltre 104.000 nudi falsi di donne. L'ecosistema è incentrato su un bot AI che genera nudi su richiesta, inviando gallerie di nuove immagini a decine di migliaia di abbonati ogni giorno. I membri della chat possono effettuare richieste specifiche del bot nei suoi gruppi di messaggistica. Si ritiene che alcune delle foto ritraggano ragazze minorenni.

Sensity, una società di rilevamento deepfake, ha pubblicato i suoi risultati su questo tema in ottobre. Parlando con Dazed, Giorgio Patrini, CEO e chief scientist dell'azienda, afferma: Non abbiamo mai osservato la tecnologia DeepNude incorporata in un bot di chat prima d'ora, con il suo enorme potenziale per l'accessibilità degli utenti e la portata della produzione. In effetti, questo è singolarmente il più grande incidente di questo tipo per numero di vittime.

I ricercatori riferiscono che il numero di nudi falsi su Telegram è cresciuto del 198% tra aprile e giugno 2020. Questa statistica è in linea con la notizia che il revenge porn era in aumento durante il blocco, con casi di abuso di immagini intime che sono aumentati del 22%. quest'anno. Nel suo rapporto, Sensity ha affrontato la minaccia più ampia che le immagini 'spogliate' degli individui possono essere condivise in canali privati ​​o pubblici al di là di Telegram come parte di attacchi pubblici basati su vergogna o estorsione.

Sebbene Sensity stima che più di 104.000 donne siano state prese di mira dal bot, è probabile che il numero effettivo sia molto più alto. Ciò è dovuto alla semplicità della tecnologia. Tutto ciò che gli utenti devono fare per generare un nudo finto è inviare al bot l'immagine da loro scelta, che invierà indietro un'immagine senza vestiti, gratuitamente. Queste foto vengono poi condivise con i canali Telegram affiliati. Un sondaggio anonimo condotto in uno di questi canali ha rilevato che il 70% degli utenti proveniva da Russia, Ucraina, Bielorussia, Kazakistan e paesi dell'ex Unione Sovietica; molti hanno affermato di aver scoperto il bot dal social network russo VK.

Nessun intervento o takedown è avvenuto e, con ciò, non sappiamo chi ancora oggi possa possedere o aver condiviso le immagini create dal bot - Giorgio Patrini, Sensity

Nonostante sia stato reso pubblico con i suoi risultati quasi due mesi fa, Sensity afferma di non aver mai ricevuto una risposta da Telegram. Quei canali sono ancora attivi sulla piattaforma, continua Patrini, anche se la maggior parte sta ora evitando di pubblicizzare apertamente il bot o le sue creazioni. È importante sottolineare, tuttavia, che il bot stesso funziona ancora come prima. Non si è verificato alcun intervento o rimozione e, con ciò, non sappiamo chi ancora oggi possa possedere o aver condiviso le immagini create dal bot.

Alcuni gruppi hanno cambiato nome per evitare di essere identificati, mentre altri canali sono scomparsi completamente o sono state rimosse le immagini di nudo condivise. Come riportato da CABLATA , alla fine di ottobre, il bot è diventato inaccessibile su iPhone e iPad, che mostrava un messaggio di errore che diceva che viola le linee guida di Apple.

Patrini afferma che il bot è stato in grado di prosperare specificamente su Telegram grazie alla piattaforma che consente facilmente l'integrazione di bot e altre automazioni nelle loro chat, spiegando che il motivo principale è tecnico.

Sebbene creda che al momento si possano distinguere i nudi finti dai nudi reali, Patrini dichiara che non durerà a lungo. La tecnologia sta migliorando e sta diventando mercificata a un ritmo accelerato, continua. Non è necessario essere un ricercatore di machine learning per utilizzarlo; il software è open-source e viene fornito con tutorial e ampie comunità di sviluppatori.

Il processo di deepfake nudi diffuso su Telegram daBot AIVia Sensity

I possibili guadagni associati a questo tipo di tecnologia deepfake potrebbero anche spronare più persone ad abusarne. Le persone stanno diventando ingegnose nel capire come la tecnologia deepfake possa essere trasformata in un'opportunità di business, con una connotazione legittima o illecita, spiega Patrini. Ad esempio, il bot nella nostra indagine sta monetizzando fornendo agli utenti a pagamento una creazione più rapida di immagini senza filigrane su di esse.

Tuttavia, con il miglioramento del software deepfake, anche la tecnologia di rilevamento migliora. Patrini afferma che la tecnologia di rilevamento giocherà un ruolo più fondamentale in futuro, aiutandoci a capire ciò che vediamo e scoprendo automaticamente i deepfake online. Come le donne sono presenti 96 per cento di tutti i video deepfake, la tecnologia preventiva e reattiva per fermare la creazione di queste foto e video è vitale nella lotta in corso per l'uguaglianza di genere.

Questo è un problema che purtroppo interesserà ciascuno di noi come privati, conclude Patrini. I tratti del nostro viso possono essere rubati e riutilizzati in materiale visivo che attacca la nostra reputazione e può essere utilizzato come arma per la pubblica vergogna, il ricatto o l'estorsione.

È importante che ognuno di noi sia consapevole del fatto che qualsiasi immagine o video che pubblichiamo online può essere visibile a tutto il mondo e che i cattivi attori potrebbero utilizzarli.