TRENTO. Cyberbullismo, violenza verbale e psicologica, disinformazione, intolleranza: sono innumerevoli le forme che i discorsi d'odio (“hate speech”) assumono sui social network.

Sono spesso favoriti dall'intervento dei “bot”, software semi-automatici che promuovono sulla rete contenuti malevoli facendo leva sulle reazioni emotive degli utenti. Insomma, nel corso degli anni i social network si sono trasformati da luoghi virtuali dove incontrare i vecchi compagni di scuola, a calderone caotico di dicerie tossiche.

Le leggi contro gli insulti e la diffamazione rimangono spesso inapplicate, perché inadatte a seguire l'evoluzione vorticosa delle tecnologie. Le piattaforme social fanno poco per porre un argine al fenomeno, perché il loro modello di business si basa proprio sulla moltiplicazione dei click. E agli utenti che rimangono intrappolati non restano molti strumenti per difendersi dalle aggressioni.

Ma sullo sfondo si profilano degli alleati inaspettati: sono l'intelligenza artificiale e gli stessi bot, non troppo dissimili dalle tecnologie che hanno favorito la diffusione dei contenuti d'odio. Combattere il fuoco con il fuoco, trovare nel "veleno" l'antidoto, per generare un ambiente online più accogliente.

È questa una delle frontiere di ricerca del gruppo “digital humanities” di Fondazione Bruno Kessler, che con il progetto europeo “Kid Actions” porta in cinque scuole del Trentino (e altre tre nel resto d'Italia) il suo “algoritmo” in grado di riconoscere le parole d'odio che vengono diffuse online. I ricercatori di Fbk e gli studenti coinvolti individuano su Twitter i messaggi più violenti e li “danno in pasto” all'algoritmo in modo che l'intelligenza artificiale possa individuare gli elementi ricorrenti dei messaggi d'odio: in genere sono insulti, parolacce, espressioni razziste e discriminatorie e nei casi più gravi istigazioni al suicidio e all'autolesionismo.

Ma l'algoritmo di Fbk ha anche delle capacità predittive: è in grado di consigliare agli operatori umani quali risposte sono le migliori per “controbattere” agli odiatori digitali, in modo da portare ad una de-escalation dei toni e creare delle discussioni meno tossiche.

Per questo i ricercatori di Fbk hanno collaborato con ong attive nella promozione dei diritti civili come Amnesty, i cui attivisti si sono avvalsi dell'algoritmo per migliorare le risposte che rivolgono agli utenti violenti.

Ne abbiamo parlato con Sara Tonelli, coordinatrice dei progetti e responsabile del gruppo di lavoro “digital humanities” di Fbk: «L'intelligenza artificiale è utile come pre-filtro per individuare i contenuti violenti, ma è fondamentale l'intervento di un operatore umano, perché l'intelligenza artificiale non è in grado di distinguere i linguaggi sottili, i contesti, l'ironia e i sottintesi. Siamo ben consapevoli delle ripercussioni etiche della nostra ricerca: non vogliamo che una lettura automatica di parole prese fuori contesto causi danni a persone incolpevoli».

Dottoressa Tonelli, in cosa consiste il vostro intervento nelle scuole?

Abbiamo realizzato una piattaforma contro il cyberbullismo e l'abbiamo portata nelle classi. È un simulatore di chat, o chatbot, che consente di simulare delle conversazioni, commentare immagini e messaggi in modo non differente da quello che accade online. Rappresenta un modalità di sensibilizzare gli studenti verso un uso più consapevole del linguaggio online. Si basa su una tecnologia piuttosto semplice che però dà ai ragazzi l'opportunità di riflettere. Ma quando ci rivolgiamo ai ragazzi cercando di sensibilizzarli su questi elementi d'educazione digitale, ci sentiamo rispondere: "Perché venite da noi? Andate dai nostri genitori!". Sono gli adulti a fare spesso l'uso più improprio degli strumenti digitali. I ragazzi sanno benissimo che non è il caso di mettere online contenuti privati o che possono danneggiarli. Insomma, in merito ai giovani sono ottimista, sanno difendersi molto meglio degli adulti.

E con Amnesty come si è svolta la collaborazione?

Abbiamo cercato di potenziare la loro task force contro l'odio online, nel contesto del progetto Hater Meter. I volontari di Amnesty intervengono nelle discussioni online che mostrano i connotati dell'odio e cercano di favorire una de-escalation, gettando i semi di una contro-narrativa capace di controbattere alle argomentazioni degli "odiatori". Noi abbiamo dato il nostro contributo ad Amnesty mettendo a disposizione l'algoritmo: esso è in grado di riconoscere i discorsi d'odio e anche di suggerire le frasi di risposta più efficaci. Sarà poi l'operatore umano a scegliere quella che sarà più opportuno impiegare. In questo modo l'operatore umano può essere presente su più fronti, ottimizzando il suo intervento. L’utilizzo di chatbot basati sull’intelligenza artificiale è trasversale: è il fenomeno dei cosiddetti “bot”, generatori automatici di contenuti che, spesso con intenzioni malevole, sono programmati per generare discussioni velenose. Insomma, è un tentativo di rispondere colpo su colpo alle centrali operative che sono organizzate per diffondere odio. Teniamo presente che ormai distinguere un bot da un umano è sempre più difficile, i bot sono in grado di simulare molto bene l'intervento umano.

Come si distingue il discorso d'odio dalla semplice libertà d'espressione?

Definire cosa è il discorso d'odio è uno dei nodi che rendono questa ricerca complessa. Ci confrontiamo con le differenti legislazioni nazionali, che sono spesso formulate in epoca precedente all'introduzione dei social. Solo in Italia ad esempio è stato introdotto il reato di cyberbullismo, ma riguarda solo i minorenni e non identifica in maniera generale il fenomeno. In questa confusione, le piattaforme social attuano politiche differenti di paese in paese e non c'è un'unica risposta. Proprio per la difficoltà ad individuare i caratteri generali del discorso d'odio, ci concentriamo su quelle forme d'espressione indubitabilmente violente, come l'istigazione al suicidio e all'autolesionismo, oltre alle parole discriminanti verso intere comunità su base razziale o religiosa. Puntiamo a far lavorare bene l'algoritmo sulle parole più violente, in modo che la macchina impari a riconoscere le modalità con cui emergono queste forme d’espressione. In generale la mancanza di trasparenza delle piattaforme è un grande ostacolo per noi: tra le principali piattaforme social, solo Twitter collabora con noi fornendoci dati per la ricerca.

Quali sono i principali indicatori che si è in presenza di un discorso d'odio?

I nostri ricercatori, i nostri esperti linguistici e anche gli studenti delle scuole con cui collaboriamo, raccolgono migliaia di messaggi che esprimono le forme d'odio più evidenti. Poi "diamo in pasto" questi messaggi all'algoritmo. In questo modo l'intelligenza artificiale riesce a riconoscere gli elementi salienti e comuni a tutti i messaggi: tipicamente si tratta di parole chiave misogine, razziste, aggressive e violente. Un esempio di queste "parole chiave" sono le parolacce. Ma occorre procedere con prudenza, perché una parolaccia assume un senso discriminatorio in base al contesto in cui è pronunciata. Pensiamo alle vittime di episodi di violenza verbale che riportano gli insulti che hanno ricevuto: il rischio è che l'algoritmo si limiti a riconoscere le parole e finisca per penalizzare una persona incolpevole. Ma in ogni caso, l'utilizzo dell'algoritmo può essere un elemento molto utile per individuare i discorsi d'odio perché rappresenta una sorta di "pre-filtro" che segnala i casi problematici. A quel punto deve intervenire l'operatore umano che può comprendere il significato e l'intenzione delle parole.

Si può addestrare l'intelligenza artificiale a riconoscere i contesti sottili?

Alla macchina manca quella che viene definita "conoscenza del mondo", ovvero non riesce a cogliere i significati sottili come l’ironia o i sottintesi. Oppure non riesce ad identificare evidenti discorsi d'odio: ad esempio, se un utente scrive una frase del tipo "Ci vorrebbe il buon Adolf", un'espressione che capita di leggere online e che ha intenti chiaramente violenti e razzisti, l'algoritmo non ha modo di sapere chi è questo "Adolf" e perché l'utente lo ritiene "buono". Ma anche su questo si può lavorare. Su Twitter ad esempio, possiamo essere in grado di ricostruire non solo i messaggi pubblicati dalla singola persona, ma anche gli "ecosistemi" condivisi tra più persone che condividono tra loro messaggi violenti. Quando una persona esprime contenuti espressivi violenti, i suoi messaggi rimbalzano all'interno di una "bolla" di persone che sono soliti usare sistemi linguistici simili e noi possiamo perfezionare ulteriormente la nostra capacità di riconoscere quei messaggi d'odio anche sulla base dei significati più sottili.