Treballadors de Google i OpenAI denuncien censura en voler avisar dels "greus riscos"

Treballadors actuals i extreballadors d'OpenAI i Google DeepMind han firmat una carta oberta en què demanen a les empreses que treballen en "intel·ligència artificial avançada" que facilitin la crítica pública en comptes d'establir mecanismes per censurar-la. 

Segons diuen, les empreses d'IA tenen "molta informació" que no fan pública sobre "les capacitats i els límits dels sistemes que estan desenvolupant", així com "l'adequació de les mesures protectores" i els nivells de risc que contemplen en "diferents tipus de danys potencials".

Aquests danys potencials, que en la carta oberta situen en un ventall que arriba a la potencial extinció humana, es coneixen però no es fan públics: "No creiem que es pugui confiar que els comparteixin voluntàriament."

"Aquests riscos van des de l'enquistament de les desigualtats existents,  passant per la manipulació i la desinformació, fins a la pèrdua de control de sistemes autònoms d'IA que potencialment acabin en l'extinció humana."

Es reivindiquen com l'última línia de defensa en la carrera imparable de les grans tecnològiques per desenvolupar models d'intel·ligència artificial cada cop més potents sense més sistemes de control que les "estructures de govern corporatiu fetes a mida" per a les mateixes empreses. 

"Mentre no hi hagi un control governamental efectiu sobre aquestes empreses, els treballadors actuals i els extreballadors són dels pocs que els poden fer responsables davant l'opinió pública."

Els quatre compromisos que proposen

Davant la manca de transparència i de control, i "els amplis acords de confidencialitat" que els impedeixen expressar públicament les seves preocupacions, els firmants de la carta oberta anomenada "El dret a alertar sobre la intel·ligència artificial avançada" fan una crida a les empreses perquè es comprometin en quatre principis: 

1. Que les empreses no obliguin els treballadors a firmar cap acord que els impedeixi criticar públicament l'empresa (com hauria fet OpenAI, tot amenaçant els treballadors sortints de retirar-los els drets sobre participacions de l'empresa).
    
2. Que les empreses garantiran un procés "verificablement anònim" per vehicular les preocupacions sobre potencials riscos dins de l'empresa, als reguladors i a una "organització independent adequada".
    
3. Que les empreses potenciaran i facilitaran una "cultura de crítica oberta", amb treballadors actuals i antics, tot respectant els secrets comercials i la propietat intel·lectual.
    
4. Que les empreses no prendran represàlies contra els empleats actuals i antics que comparteixen públicament informació confidencial relacionada amb el risc després que altres processos hagin fracassat.
   
    

"Temeraris" que busquen assolir l'AGI

Tal com apunta The New York Times, un dels organitzadors del grup darrere la carta oberta, l'exinvestigador d'OpenAI Daniel Kokotajlo, creu que "OpenAI està molt entusiasmada amb la construcció d'AGI (intel·ligència artificial general), i estan competint temeràriament per arribar-hi els primers".

En un interessant fil a X (Twitter), el mateix Kokotajlo explica els motius que el van portar a deixar de treballar per a OpenAI després de perdre la confiança que "l'empresa es comportaria de manera responsable en l'intent de construir intel·ligència artificial general".

1/15: In April, I resigned from OpenAI after losing confidence that the company would behave responsibly in its attempt to build artificial general intelligence — "AI systems that are generally smarter than humans." https://t.co/yzMKnZwros

— Daniel Kokotajlo (@DKokotajlo67142) June 4, 2024

La IA general, coneguda com a AGI, és un nivell teòric d'intel·ligència que permetria a un sistema artificial assolir i superar les capacitats de la intel·ligència humana i un dels objectius principals que té OpenAI, tal com el mateix CEO, Sam Altman, recorda constantment.

L'empresa defineix AGI com els "sistemes d'IA que són generalment més intel·ligents que els humans" i la seva missió, asseguren, és aconseguir que beneficiï tota la humanitat.

Kokotajlo considera que "hi ha moltes coses que no entenem sobre com funcionen aquests sistemes" i es desconeix si es "mantindran alineats amb els interessos humans a mesura que siguin més intel·ligents", és a dir, si es mantindran fidels al que els humans que els desenvolupen pretenen, especialment quan "possiblement superin la intel·ligència humana en tots els àmbits".

Mentre que alguns experts neguen que una intel·ligència artificial superior a la humana, l'AGI, sigui possible, d'altres insisteixen periòdicament que aquesta possibilitat s'ha de tenir en compte i avaluar-ne els riscos per estar preparats. 

Quin és el teu p(doom)?

En el sector de la IA, la probabilitat estimada que una intel·ligència artificial acabi superant la intel·ligència humana i suposi l'aniquilació de la nostra espècie es comparteix públicament, mig seriosament mig de broma, amb un percentatge anomenat p(doom).

L'investigador en seguretat de la IA Roman Yampolskiy diu que situa el seu p(doom) en el 99,999999% (una futura destrucció de la humanitat per part de la IA assegurada), mentre que referents com Geoffrey Hinton (un dels padrins de la IA) són més conservadors: "Diria que hi ha un 10% de probabilitats que aquestes coses aniquilin la humanitat en els pròxims 20 anys."

I am at 99.999999% https://t.co/vfe96PNbij

— Dr. Roman Yampolskiy (@romanyam) March 12, 2024

El que preocupa més ara per ara, de forma més realista i quantificable, és que només dues o tres companyies estan decidint fins on, quan i com es desenvolupen els models més avançats d'aquesta tecnologia, "amb poca supervisió governamental o gens" i deixant que siguin elles mateixes les que s'autoregulin.

Mentrestant, "els únics que estan en posició d'alertar" la societat sobre els detalls d'aquest desenvolupament, denuncia l'extreballador d'OpenAI Daniel Kokotajlo, són silenciats:

10/15: Silencing researchers and making them afraid of retaliation is dangerous when we are currently some of the only people in a position to warn the public.

— Daniel Kokotajlo (@DKokotajlo67142) June 4, 2024

15/10: Silenciar els investigadors i fer-los agafar por sobre les represàlies és perillós quan actualment som les úniques persones en condicions d'avisar la ciutadania.