Els algoritmes ens discriminen? Un observatori fiscalitza com els usen governs i empreses

Darrere dels efectes tòxics d'Instagram en l'autoestima de les adolescents, de la millora de la detecció de visitants amb Covid a Grècia o d'un mecanisme que ajuda a prevenir suïcidis tot detectant conductes de risc, hi ha la mateixa cosa: algoritmes.

Tant les grans tecnològiques com governs i administracions públiques es valen d'aquestes "matemàtiques que els ordinadors fan servir per prendre decisions" i que impacten en el dia a dia dels ciutadans. Ara, un observatori vol detectar les  discriminacions que causen, agreujades per la manca de transparència i de regulació.

Per exemple, un algoritme feia que Facebook suggerís veure vídeos de goril·les després de mirar clips on surten persones negres, i un altre va beneficiar els alumnes d'escoles privades en calcular les qualificacions de la selectivitat al Regne Unit.

Però què passaria si la discriminació la provoqués un algoritme que ajuda a determinar el risc de reincidència dels presos, com el que es fa servir a Catalunya, anomenat Riscanvi, o bé el que fa servir el servei d'ocupació estatal per decidir quins serveis han de rebre les persones en situació d'atur?

Un nou observatori d'algoritmes vol alertar sobre l'impacte que tenen en la vida dels ciutadans i analitzar si provoquen discriminacions socioeconòmiques, per edat o per gènere, amenaces a la privacitat o foment de la desinformació, entre molts altres efectes nocius.

La iniciativa pretén també oferir accés públic a dades sobre qui els crea, qui els fa servir o si algú els ha auditat, entre d'altres característiques, en un àmbit en què la manca de transparència en complica la fiscalització.
 

Una discriminació "involuntària"

La Policia Nacional fa servir un algoritme per detectar denúncies falses, anomenat Veripol, que podria comportar discriminació per motius socioeconòmics. El mateix pot suposar el Riscanvi, l'algoritme de la Generalitat sobre el risc de reincidència. El Ministeri de l'Interior i la Universitat Autònoma de Madrid n'han desenvolupat un sobre el llenguatge d'odi a Twitter que podria facilitar la vigilància de l'Estat tot vulnerant drets fonamentals.

Són algunes de les dades que ofereix el buscador de l'Observatori d'Algoritmes amb Impacte Social (OASI), que en recull 57 d'arreu del món, dels quals 16 s'apliquen a l'estat espanyol. Els han creat els governs però també grans empreses com Google, Facebook, Twitter, Netflix, Uber o Microsoft. Una taula amb diferents filtres permet consultar-ne totes les dades disponibles.

Si bé els tractaments mèdics que s'apliquen als hospitals públics han estat validats per estudis científics, i la despesa d'un departament del govern es pot consultar al web de Transparència, el funcionament dels algoritmes és molt més opac. Ho denuncia Gemma Galdón, fundadora d'Eticas Foundation, entitat impulsora de l'observatori:

"Tot i que hi ha mecanismes de control i auditoria d'algoritmes per garantir que la tecnologia respecti la legislació vigent i els drets fonamentals, l'administració i moltes empreses continuen fent-se el sord a les peticions de transparència de ciutadans i institucions."

Els efectes negatius dels algoritmes sovint no són intencionats, sinó provocats per la manera com funcionen. A partir d'una base de dades única, l'algorime "aprèn" a discriminar determinades coses. Aquesta base de dades sovint no representa la realitat socioeconòmica de l'entorn en què treballa, i té biaixos involuntaris que s'amplifiquen i es reprodueixen a mesura que la màquina treballa, en el que es coneix com "machine learning".

L'observatori anima a tothom qui tingui informació sobre un algoritme concret a proporcionar-la a través d'un formulari. La fundació Eticas treballa també per fer auditories a fons d'algoritmes com VioGén, del Ministeri de l'Interior, que assigna un nivell de risc en què es troben les dones víctimes de violència masclista.

El Parlament Europeu vol transparència en els algoritmes de la policia

L'ús dels algoritmes preocupa també a nivell europeu. Una resolució del Parlament comunitari aprovada aquesta setmana diu que els algoritmes haurien de ser oberts i les decisions finals les haurien de prendre humans.

El text alerta que els algoritmes predictius i el reconeixement facial poden generar desigualtats. La cambra demana que es reguli estrictament l'ús d'aquestes tecnologies, especialment per part de la policia i en control de fronteres.

Historic win for human rights! Yesterday, the EU Parliament made it clear: Artificial Intelligence must be at the service of people.

Members voted against biometric mass surveillance and discriminatory predictive policing!

Celebrate & #ReclaimYourFace!
👇https://t.co/wZRwkcTTmB pic.twitter.com/gWqgIDzudb

— Reclaim Your Face (@ReclaimYourFace) October 6, 2021

Així mateix, la resolució demana que es prohibeixi l'ús del reconeixement automàtic d'individus en espais públics i que només es vigilin aquells ciutadans que siguin sospitosos d'haver comès un crim.

Aprovada per 377 vots a favor, 248 en contra i 62 abstencions, la resolució no és vinculant però sí que pot orientar la normativa europea sobre intel·ligència artificial que prepara Brussel·les.