Quando un algoritmo nega un prestito a una persona, blocca il profilo di un’attivista politico, o raccomanda un trattamento medico sbagliato, chi è responsabile? Questa domanda apparentemente semplice rivela una delle tensioni più importanti dell’economia digitale: la diffusione della responsabilità attraverso una catena di decisioni così complessa che identificare il “colpevole” diventa quasi impossibile.

Il Mito dell’Algoritmo Neutrale

Il primo equivoco da chiarire è che gli algoritmi non decidono “da soli”. Dietro ogni algoritmo ci sono centinaia di scelte umane, spesso invisibili a chi ne subisce gli effetti.

Quando uno sviluppatore sceglie di usare certi dati di addestramento, sta già prendendo una decisione che avrà conseguenze reali. Se addestra un modello su dati storici che contengono bias (per esempio, prestiti negati a certi gruppi demografici in passato), l’algoritmo imparerà a replicare quel bias. Se decide di usare il sesso come variabile, oppure di escluderlo, sta facendo una scelta politica travestita da scelta tecnica.

Poi ci sono le scelte sull’implementazione: quale soglia di confidenza utilizzare? Se l’algoritmo assegna un punteggio di rischio da 0 a 100, a quale valore dire “sì” o “no”? Una soglia al 60% produce decisioni diverse da una al 40%, e quella scelta riflette una preferenza su chi si vuole proteggere, il creditore (meno rischi) o il mutuatario (più opportunità).

Non esiste scelta tecnica neutrale. Ogni parametro è una decisione di valore.

La Catena Diffusa di Responsabilità

Quando l’algoritmo viene messo in produzione, la responsabilità non si concentra da nessuna parte. Si diffonde:

Gli Sviluppatori

Hanno il potere massimo nella fase di design, ma spesso non controllano come il sistema viene usato. Un team di data scientist può progettare un algoritmo attento ai bias, ma se l’azienda lo implementa in un contesto dove nessun umano lo controlla, la responsabilità dello sviluppatore diventa teorica. Inoltre, gli sviluppatori raramente vedono gli esiti concreti delle loro decisioni. Scrivono il codice e basta. Non sanno quante persone sono state danneggiate, perché quell’informazione rimane dentro l’organizzazione.

Le Aziende

Hanno la responsabilità legale, nei paesi con regolamentazione, ma spesso la diffondono attraverso contratti di licenza, disclaimer, e burocratizzazione. Decidono come monitorare l’algoritmo, se investire in audit indipendenti, come rispondere a errori sistematici. Un’azienda potrebbe sapere che il suo algoritmo discrimina certi gruppi, ma finché la discriminazione non viola apertamente una legge, potrebbe scegliere di ignorarla se correggere il bias ridurrebbe i profitti. È una scelta consapevole, spesso celata dietro il linguaggio della “impossibilità tecnica” o della “trade-off accettabile.”

Chi Implementa il Sistema

Un ufficio pubblico che adopera un algoritmo di screening per le domande di sussidio potrebbe usarlo in modo tale che nessuna domanda viene approvata senza revisione umana. Oppure potrebbe settarlo in modo che solo il 3% dei casi vede uno sguardo umano. La responsabilità di quella scelta ricade sull’organizzazione che lo implementa, non su chi ha scritto il codice.

L’Utente Finale

L’utente finale, il professionista che applica l’algoritmo nel mondo reale, si trova in una posizione paradossale: ha la responsabilità legale per la decisione, ma non ha il controllo su come l’algoritmo arriva a quella decisione.

Consideriamo un medico che usa un algoritmo di diagnostica. Secondo la legge, la responsabilità medica rimane sua, non del produttore dell’algoritmo. Ma cosa

significa questa responsabilità quando il medico non sa come funziona davvero l’algoritmo? Non ha accesso al codice, non sa su quali dati è stato addestrato, non conosce i suoi limiti statistici. Sa solo che produce un risultato.

Di fronte a questa incertezza, il medico affronta una scelta impossibile:

Se segue l’algoritmo: Se qualcosa va storto, il medico può dire “ho seguito il sistema.” Ma la legge potrebbe comunque responsabilizzarlo: “Avevi il dovere di esercitare il tuo giudizio critico, non seguire ciecamente una macchina.” E se il medico non aveva modo di capire come funzionava l’algoritmo, come avrebbe potuto esercitare quel giudizio critico?

Se non segue l’algoritmo: Se il medico ignora la raccomandazione e il paziente subisce danni, è direttamente responsabile. Avrebbe dovuto usare lo strumento disponibile. Perché ha scelto di non fidarsi?

Questo crea un’asimmetria perversa: il medico è responsabilizzato se segue l’algoritmo che non capisce e responsabilizzato se non lo segue. L’algoritmo, che non capisce nessuno (nemmeno chi l’ha costruito, nel caso di deep learning), rimane invisibile.

Lo stesso vale per altri professionisti: giudici che usano algoritmi di risk assessment per decidere condanne, ufficiali bancari che usano scoring automatico, funzionari pubblici che usano sistemi di matching per assegnazioni. Tutti loro portano la responsabilità legale per una decisione che non controllano.

Il problema si aggrava perché gli algoritmi acquisiscono un’aura di autorità “scientifica.” Se l’algoritmo dice “rischio alto,” suona come un fatto oggettivo, non come una previsione statistica costruita su assunzioni discutibili. Il professionista sente la pressione a fidarsi: “Non posso ignorare un’analisi scientifica.” Ma quella “scientificità” spesso nasconde semplicemente complessità e opacità.

Inoltre, raramente i professionisti ricevono una formazione reale su come funzionano gli algoritmi che usano. Ricevono un manuale di utilizzo, non una spiegazione dei limiti, delle assunzioni sottostanti, dei bias noti. Se l’algoritmo fallisce sistematicamente su un certo gruppo demografico, spesso il professionista non lo sa fino a quando non è troppo tardi.

C’è anche un effetto di “de-responsabilizzazione psicologica.” Se l’algoritmo ha scelto, non è stata una mia scelta arbitraria. È stata una decisione “oggettiva.” Questo può portare il professionista a mettere meno impegno nel pensiero

critico, perché la macchina ha già pensato per lui. È la “automazione della complacenza”: quando il compito è delegato a un sistema automatico, l’attenzione umana cala.

Gli Utenti Soggetti alle Decisioni

Coloro che subiscono la decisione raramente hanno voce in capitolo, ma spesso hanno il costo maggiore. E difficilmente sanno che una decisione è stata presa da un algoritmo.

Il Problema della Trasparenza

La mancanza di trasparenza rende ancora più difficile attribuire responsabilità. Se un algoritmo di credit scoring nega un mutuo a una persona, spesso lei non sa perché. L’azienda dice “secondo il nostro modello predittivo, lei rappresenta un rischio”. Ma quale modello? Come funziona? Quali variabili ha considerato? Era discriminatorio?

In molti casi, anche l’azienda non sa rispondere. Gli algoritmi di deep learning sono “scatole nere”: producono un risultato, ma è estremamente difficile spiegare perché hanno prodotto quel risultato. Se non sai come funziona il tuo algoritmo, come puoi assumerti la responsabilità dei danni che causa?

Questo crea un’asimmetria di potere: l’azienda ha il potere di decidere sulla tua vita, ma puoi contestare quella decisione solo se riesci a dimostrare che era sbagliata, il che richiede di capire come funziona, informazione che l’azienda non ti fornisce.

I Tentativi di Regolamentazione

Alcuni paesi e regioni hanno iniziato a intervenire:

L’Unione Europea con il GDPR (entrato in vigore nel 2018) ha introdotto il “diritto alla spiegazione”: se una decisione ti riguarda ed è basata su elaborazione automatica, hai diritto a una spiegazione su come è stata presa. Ma il diritto rimane largamente inapplicato.

L’AI Act dell’UE (in fase di implementazione) richiede ulteriore trasparenza e responsabilità, specialmente per i sistemi ad “alto rischio.” Per la prima volta a livello globale, stabilisce che le aziende devono valutare i danni potenziali prima di usare un algoritmo in certi ambiti, sanità, giustizia, assunzioni.

Negli USA, non esiste una normativa globale, ma alcuni stati e città hanno iniziato a richiedere “algorithmic accountability”: le aziende devono testare i loro sistemi per bias e discriminazione.

Il problema: queste normative rimangono deboli finché l’enforcement non esiste. Una legge che richiede trasparenza è inutile se nessuno verifica che le aziende la rispettino. E chi verifica? Spesso le stesse autorità che non hanno le competenze tecniche per capire un algoritmo di machine learning.

Chi Decide Davvero?

La risposta onesta è: dipende dal contesto, ed è spesso opaco.

In teoria, i decisori sono i “responsabili” legalmente: gli amministratori delegati, i board direttivi, i funzionari pubblici. Loro hanno scelto di usare l’algoritmo e come usarlo.

In pratica, il potere decisionale è nelle mani di chi scrive il codice e di chi controlla i dati. Un’azienda potrebbe credere di controllare il suo algoritmo, ma se quel controllo dipende da 3-4 ingegneri che se ne vanno, che succede? Chi conosce davvero il sistema?

La vera responsabilità sta in chi decide di non controllare. Se un’azienda sa che il suo algoritmo potrebbe avere bias e sceglie di non auditarlo, di non usare revisione umana, di non essere trasparente con gli utenti, quella è una decisione. E di quella, qualcuno dovrebbe rispondere.

Il Divario tra Potere e Responsabilità

Il problema centrale è che il potere è concentrato (pochi uomini in top management decidono di deployare), ma la responsabilità è diffusa (tutti possono dire “non era colpa mia”).

Quando un’azienda di AI dice “non siamo responsabili per come i nostri clienti usano il nostro software,” stanno dicendo che hanno il potere di vendere, ma non la responsabilità di controllare. È una situazione che farebbe ridere in qualsiasi altro contesto: “io vendo le armi, ma non sono responsabile di come le usate.”

Eppure per gli algoritmi lo accettiamo come normale.

Cosa Potrebbe Cambiare per colmare il divario fra potere e responsabilità:

Trasparenza Obbligatoria: Gli algoritmi usati in settori critici (credito, sanità, giustizia, assunzioni) dovrebbero essere auditati e spiegabili. Non “scatola nera.”

Responsabilità Collettiva Esplicita: Invece di cercare il colpevole, stabilire chiaramente la catena di responsabilità. Developer ha responsabilità su X, azienda su Y, chi implementa su Z. Che ognuno sappia esattamente che cosa deve garantire.

Diritti degli Interessati: Chi subisce una decisione algoritmica dovrebbe avere il diritto di sapere che una decisione è stata automatica, ottenere una spiegazione, contestarla e chiedere revisione umana, e ottenere risarcimento se è discriminatoria.

Skin in the Game: Chi guadagna dall’algoritmo dovrebbe rischiare se funziona male. Se il tuo modello di credit scoring discrimina certi gruppi, paga tu la multa, non la “società.”

Diversità nei Decision Maker: Le persone che decidono come costruire e deployare gli algoritmi dovrebbero rappresentare diversi background, genere, classe sociale, comunità. Altrimenti, i bias rimangono invisibili.

Conclusione: La Politica Nascosta negli Algoritmi

Alla fine, la domanda “chi decide davvero?” non è una domanda tecnica. È una domanda politica.

Gli algoritmi sono politica messa in codice. Quando una banca usa un algoritmo che nega prestiti a certi quartieri storicamente discriminati, sta facendo una scelta politica, proteggere i profitti dalla volatilità. Quando un’agenzia pubblica usa un algoritmo per identificare “genitori negligenti” senza revisione umana, sta facendo una scelta politica, ridurre il costo della burocrazia scaricando il rischio su famiglie povere.

Finché tratteremo gli algoritmi come “neutrali” e “tecnici,” continueremo a ignorare queste scelte politiche, a negarle, a nasconderle dietro un velo di complessità matematica.

Chi decide davvero? Chiunque abbia il potere di dire “mettiamo un algoritmo qui” e il privilegio di non vedere i danni che causa.

E quello finché non cambia la legge, finché non esiste trasparenza reale, finché gli algoritmi rimangono scatole nere gestite da pochi, continuerà a essere così.

Calogero Calcagno