(Lectura disponible en español aquí)
No, aquest no és un article duplicat de la xerrada de «Hablemos» anterior. Resulta que, l’experiència havia estat massa interessant per al temps tan curt que vam tindre… i vam decidir que calia finiquitar alguns punts d’interès en un últim debat sobre temes que potser no es van poder tocar en el «Hablemos» anterior.
Per cert, estàs cansat de la llanda negativa que li estem donant a la IA? Al final de l’article et porte bones notícies que t’interessaran.
Si ja en la xerrada anterior que era a finals de juny feia calor… imagineu-vos com de sufocants eren els carrers valencians aquest divendres 26 de juliol de 2024. Jo en particular, vaig acabar la faena cap a les 15:30 i em vaig dirigir directament a València, on vaig menjar alguna cosa lleugera (haviem fet el clàssic «esmorzar» valencià dels divendres) i no vaig poder evitar dirigir-me directament a les meravelloses i condicionades sales de Las Naves, encara que encara faltaren 2 hores per a l’inici de la xerrada.
Quina alegria em va donar trobar-me a Alex i Pasqual fent una petita assistència a una usuària de Linux Mint que estava tenint problemilles amb el seu ordinador portàtil. La màgia de Pasqual va fer que els suposats problemes desaparegueren sense tan sols haver-los pogut visualitzar. Tant de bo tots els problemes es resolgueren així…
Una boníssima notícia
Aquesta era la segona vegada que anava jo a un «Hablemos». Jo pensant que sent finals de juliol seríem 2 o 3… i resulta que va aparéixer encara més gent que en la xerrada anterior! Des d’ací, moltes gràcies a tots els assistents.
Es notava i es percebia un molt bon rotllo. Fa gust rodejar-se i discutir amb gent així de guai.
Colonialisme de dades
Personalment, em van paréixer molt interessants els punts a tractar que havia deixat Alex preparats en la convocatòria, i no vaig poder evitar arrancar la conversa amb el primer d’aquests: el colonialisme de dades i com afecta les comunitats menys privilegiades. Ací hi va haver una primera discussió respecte al significat aplicat del colonialisme a la intel·ligència artificial.
D’una banda es va proposar la postura d’alguna cosa que ja vam tocar lleugerament en el «Hablemos» anterior, un concepte que entenia el terme com la necessitat insaciable d’aquestes companyies d’obtindre dades i informació de totes parts d’Internet (i probablement de fora), fins i tot sense considerar les lleis que protegien els drets de molts d’aquests continguts.
I és veritat, que aquesta és una cara molt interessant i inquietant de les intel·ligències artificials. És sa que Google recopile tots els teus correus electrònics i missatges? Que Facebook alimente la seua IA amb les teues converses privades d’Instagram? Que Amazon faça vés-a-saber-què amb totes les dades que recopila des d’AWS…? No seria la primera vegada que veiem aquestes IAs filtrar informació privada de persones específiques; i és que penja d’un fil que aquestes xarxes neuronals tinguen un «glitch» i la facen grossa. La complexitat d’aquestes és tal que literalment escapa a les nostres capacitats de comprensió.
Tanmateix, crec que la paraula «colonialisme», i especialment al prendre-la en context amb «les comunitats menys privilegiades», semblava ser un concepte que anava fins i tot més enllà d’una necessitat «imperialista» de l’apropiació de dades.
Comunitats privilegiades i desigualtats
El «colonialisme de dades» també podia ser entès com una imposició, des d’una posició privilegiada, d’unes IA que inevitablement serien molt més capaces de generar informació rellevant cap a les comunitats que més dades tenen penjades a Internet. En resum: les societats blanques occidentals del primer món que parlen anglès.
Hem de tindre en compte, que encara que les IA han estat entrenades amb informació de tot tipus… clarament Internet està esbiaixat («sesgado» en espanyol) cap a uns temes específics on hi ha molt més contingut que altres, i les IA no deixen de ser eines que, de manera extremadament simplificada, fan una «regressió a la mitjana», i escriuran la següent paraula estadísticament més probable.
Un exemple claríssim és com les IA són capaces de generar cossos nus de dones de manera molt més ràpida i convincent que d’hòmens; o com els chatbots funcionen molt millor parlant en anglès que en català.
Si comencem a aprofundir una mica més, també veurem com les IA comencen a al·lucinar (generar informació falsa) de manera molt més senzilla quan se li pregunta sobre temes de nínxol («nicho» en espanyol), o sobre minories socials, com podria ser alguna comunitat del Congo comparat amb la ciutat de Madrid. La perillositat en aquests biaixos («sesgos» en espanyol) comença a ser clau quan posem damunt de la taula situacions que ja s’estan donant.
Us pose un parell d’exemples evidents:
- hi ha més persones negres tancades a presons als EE.UU. que les que els correspondria per ràtio de població;
- hi ha més hòmens que dones en càrrecs alts en companyies arreu del planeta.
Crec que podem estar tots d’acord en què la correlació no implica causalitat. Tanmateix, aquestes dades poden fer que una xarxa neuronal complexíssima com les de les IA modernes establisca una relació entre el color de la pell i la criminalitat, quan tots sabem que no és just ni humà posar-li «punts de criminal» a un imputat pel seu simple to de pell.
Imagina descartar un perfil d’una dona per a un lloc de treball perquè la IA en el seu entrenament va formar una relació causal entre el sexe i el càrrec. Això no és cap broma, i podem veure molts casos diferents on la IA està causant problemes; us deixe alguns exemples ací:
- Police Facial Recognition Technology Can’t Tell Black People Apart
- Why Amazon’s Automated Hiring Tool Discriminated Against Women
- Predictive policing is still racist—whatever data it uses
Enllaçant amb el «Hablemos» anterior, queda evident que cedir el poder a algoritmes d’IA té els seus claríssims problemes, i és extremadament important entendre que no poden ser fonts de veritat, ni jutges, ni botxins («verdugos» en espanyol). Es tracta d’una tecnologia que hui en dia és, en paraules de Richard Stallman, un «bullshit generator«.
I call it a «bullshit generator» because it generates output «with indifference to the truth».
Manipulació: no estem preparats
Si has d’aprendre una cosa sobre els perills de la IA és la següent: no serem capaços de distingir-la de la realitat. I hem d’afrontar-ho. Tanmateix, no vinc tant a parlar-te de com la IA es pot usar per generar desinformació, perquè quasi tota invenció es pot usar per al mal: Internet, la televisió… vaja, fins i tot la impremta ha estat utilitzada per manipular l’opinió pública.
Un dels últims punts que vam veure en aquest «Hablemos» va ser com moltes d’aquestes IA a Internet tenen un «prompt» inicial. Què és això del prompt inicial? Veus, les IA generatives llancen tot tipus d’informació en base a tot allò que hagen recopilat. Per exemple, en principi, GPT4 seria capaç d’escriure un text completament racista i ple d’insults cap a un personatge públic. Ara bé, si li demanes això a ChatGPT, probablement no et deixarà fer-ho. Per què?
Resulta que aquestes macroempreses no només són capaces d’introduir biaixos amb la informació amb la qual entrenen les seues IA; sinó també perquè, després d’entrenar-la, estableixen una sèrie de regles a aquesta IA perquè parle de certs temes, censure altres, etc. El que em resulta particularment graciós és que no ho poden fer d’una altra manera que no siga escrivint-li. Imagina’t com de còmic resulta, crear un monstre tan gran, i l’única manera de controlar-lo és «demanar-li-ho» literalment escrivint-li una carta inicial, un «prompt» inicial, perquè no parle de determinats temes, que intente oferir una visió X, Y o Z…
Aquest prompt, per descomptat, no és públic en moltíssims casos, com és el d’OpenAI. Si vas estar viu fa un any segurament t’hauràs assabentat de totes les maneres que la gent anava descobrint per «desbloquejar» a ChatGPT; per exemple, dient-li que és un joc, establint un sistema de «monedes», o en alguns casos fins i tot senzillament dient que «és per a un treball científic», i molts altres missatges que feien que ChatGPT et poguera contar com robar un banc amb tot luxe de detalls, fins que la gent d’OpenAI trobava la manera de «parxejar» això.
Doncs aquest prompt inicial no és més que un altre mecanisme de manipulació, dissenyat completament per una persona específica, perquè la IA genere resultats que es troben dins d’allò que l’empresa que hi ha darrere establisca com acceptable.
Es va comentar en la reunió alguns casos molt curiosos, fins i tot on aquest prompt inicial intentava compensar els biaixos que vèiem en la secció anterior, donant resultats completament còmics, com la IA de Google generant imatges de soldats nazis «de color» perquè el prompt inicial demanava a la IA a no generar sempre persones blanques (ja que la majoria de fotos d’entrenament són de gent blanca).
No tot és dolent en el camp de la IA
En acabar la reunió, es notava ja certa necessitat d’eixir del cercle viciós de les notícies i perills de la IA. Acabàrem amb una nota positiva, on cadascú va poder donar una pinzellada sobre el que li il·lusiona d’allò que està per vindre (o ja està ací) en aquest nou camp.
No et vaig a embolicar amb exemples, ja que és bastant probable que fem un pròxim «Hablemos» on vegem que efectivament no tot és horrible en el món de la IA, sinó que també es tracta d’una tecnologia que obri la porta a oportunitats noves, a guanyar capacitats que mai pensàvem que podríem aconseguir; i que per descomptat, existeixen intel·ligències artificials lliures i accessibles, que seran el primer pas per aconseguir que la societat no caiga de nou en les urpes del màrqueting i la manipulació.
Si t’il·lusiona alguna cosa en el futur de la IA, apunta-te-la! I vine a contar-ho en el següent «Hablemos». Si no t’il·lusiona res… vine al «Hablemos», perquè probablement eixiràs d’allí amb unes quantes idees interessants. Jo mateix tinc clar algun altre projecte que em fascina i que crec que us pot interessar moltíssim.
Fins una altra!
Aquí tienes disponible la lectura en español:
Lectura en español
Crónica del «Hablemos: els perills de les IA», segunda parte (2024-07-26)
No, este no es un artículo duplicado de la charla de «Hablemos» anterior. Resulta que, la experiencia había sido demasiado interesante para el tiempo tan corto que tuvimos… y decidimos que había que finiquitar algunos puntos de interés en un último debate sobre temas que quizás no se pudieron tocar en el «Hablemos» anterior.
Por cierto, ¿estás cansado de la chapa negativa que le estamos metiendo a la IA? Al final del artículo te traigo buenas noticias que te interesarán.
Si ya en la charla anterior que era a finales de junio hacía calor… imaginaos lo sofocantes que eran las calles valencianas este viernes 26 de julio de 2024. Yo en particular, terminé el trabajo sobre las 15:30 y me dirigí directamente a Valencia, donde comí algo ligerito (habíamos hecho el clásico «esmorzar» valenciano de los viernes) y no pude evitar dirigirme directamente a las maravillosas y acondicionadas salas de Las Naves, aunque aún faltaran 2 horas para el inicio de la charla.
Qué alegría me dió encontrarme a Alex y Pasqual haciendo una pequeña asistencia a una usuaria de Linux Mint que estaba teniendo problemillas con su ordenador porátil. La magia de Pasqual hizo que los supuestos problemas desaparecieran sin tan siquiera haberlos podido visualizar. Ojalá que todos los problemas se resuelvan así…
Una buenísima noticia
Esta era la segunda vez que acudía yo a un «Hablemos». Yo pensando que al ser finales de julio seríamos 2 o 3… ¡y resulta que apareció aún más gente que en la anterior charla! Desde aquí, muchísimas gracias a todos los asistentes.
Se notaba y percibía un muy buen rollo. Da gusto rodearse y discutir con gente así de guay.
Colonialismo de datos
Personalmente, me parecieron muy interesantes los puntos a tratar que había dejado Alex preparados en la convocatoria, y no pude evitar arrancar la conversación con el primero de estos: el colonialismo de datos y cómo afecta a las comunidades menos privilegiadas. Aquí hubo una primera discusión respecto al significado aplicado de colonialismo a la inteligencia artificial.
Por un lado se propuso la postura de algo que ya tocamos ligeramente en el «Hablemos» anterior, un concepto que entendía el término como la necesidad insaciable de estas compañías de obtener datos e información de todas partes de Internet (y probablemente de fuera), incluso sin considerar las leyes que protegían los derechos de muchos de estos contenidos.
Y es verdad, que esta es una cara muy interesante e inquietante de las inteligencias artificiales. ¿Es sano que Google recopile todos tus emails y mensajes, que Facebook alimente su IA con tus conversaciones privadas de Instagram, que Amazon haga vete-a-saber-qué con todos los datos que recopila desde AWS…? No sería la primera vez que vemos a estas IAs filtrar información privada de personas específicas; y es que pende de un hilo el que estas redes neuronales tengan un «glitch» y la líen pardísima. La complejidad de éstas es tal que literalmente escapa a nuestras capacidades de comprensión.
Sin embargo, creo que la palabra «colonialismo», y especialmente al tomarla en contexto con «las comunidades menos privilegiadas», parecía ser un concepto que iba incluso más allá de una necesidad «imperialista» de la apropiación de datos.
Comunidades privilegiadas y desigualdades
El «colonialismo de datos» también podía ser entendido como una imposición, desde una posición privilegiada, de unas IA que inevitablemente iban a ser mucho más capaces de generar información relevante hacia las comunidades que más datos tienen colgados en Internet. En resumidas cuentas: las sociedades blancas occidentales del primer mundo que hablen inglés.
Tenemos que tener en cuenta, que aunque las IA han sido entrenadas con información de todo tipo… claramente Internet está sesgado hacia unos temas específicos donde hay mucho más contenido que otros, y las IA no dejan de ser herramientas que, de manera extremadamente simplificada, hacen una «regresión a la media», y van a escribir la siguiente palabra estadísticamente más probable.
Un ejemplo clarísimo es como las IA son capaces de generar cuerpos desnudos de mujeres de forma mucho más rápida y convincente que de hombres; o cómo los chatbots funcionan mucho mejor hablando en inglés que en catalán.
Si empezamos a ahondar un poco más, también veremos como las IA empiezan a alucinar (generar información falsa) de forma mucho más sencilla cuando se le pregunta sobre temas de nicho, o sobre minorias sociales, como podría ser alguna comunidad del Congo comparado con la ciudad de Madrid. La peligrosidad en estos sesgos empieza a ser clave cuando ponemos sobre la mesa situaciones que ya se están dando.
Os pongo un par de ejemplos evidentes:
- hay más personas negras encerradas en cárceles estadounidenses que las que les corresponderia por ratio de población;
- hay más hombres que mujeres en puestos altos en compañías a lo largo y ancho del planeta.
Creo que podemos estar todos de acuerdo en que la correlación no implica causalidad. Sin embargo, estos datos pueden hacer que una red neuronal complejísima como las de las IA modernas establezca una relación entre el color de la piel y la criminalidad, cuando todos sabemos que no es justo ni humano ponerle «puntos de criminal» a un imputado por su simple tono de piel.
Imagina descartar un perfil de una mujer para un puesto de trabajo porque la IA en su entrenamiento formó una relación causal entre el sexo y el cargo. Esto no es ninguna broma, y podemos ver muchos casos diferentes donde la IA está causando problemas; os dejo algunos ejemplos aquí:
- Police Facial Recognition Technology Can’t Tell Black People Apart
- Why Amazon’s Automated Hiring Tool Discriminated Against Women
- Predictive policing is still racist—whatever data it uses
Enlazando con el «Hablemos» anterior, queda evidente que ceder el poder a algoritmos de IA tiene sus clarísimos problemas, y es extremadamente importante entender que no pueden ser fuentes de verdad, ni jueces, ni verdugos. Se trata de una tecnología que a día de hoy es, en palabras de Richard Stallman, un «bullshit generator«.
I call it a «bullshit generator» because it generates output «with indifference to the truth».
Manipulación: no estamos preparados
Si debes aprender una cosa sobre los peligros de la IA es la siguiente: no vamos a poder distinguirla de la realidad. Y debemos afrontarlo. Sin embargo, no vengo tanto a hablarte de cómo la IA se puede usar para generar desinformación, porque casi toda invención se puede usar para el mal: Internet, la televisión… vaya, hasta la imprenta ha sido utilizada para manipular la opinión pública.
Uno de los últimos puntos que vimos en este «Hablemos» fue cómo muchas de estas IA en Internet tienen un «prompt» inicial. ¿Qué es esto del prompt inicial? Verás, las IA generativas escupen todo tipo de información en base a todo aquello que hayan recopilado. Por ejemplo, en principio, GPT4 sería capaz de escribir un texto completamente racista y lleno de insultos hacia un personaje público. Ahora bien, si le pides eso a ChatGPT, probablemente no te dejará hacerlo. ¿Por qué?
Resulta que estas macroempresas no solo son capaces de introducir sesgos con la información con la que entrenan a sus IA; sino también porque, tras entrenarla, establecen una serie de reglas a esta IA para que hable de ciertas cosas, censure otras, etc. Lo que me resulta particularmente gracioso es que no lo pueden hacer de otra manera que no sea escribiéndole. Imagínate lo cómico que resulta, crear un monstruo tan grande, y la única manera de controlarlo es «pedirle» literalmente escribiéndole una carta inicial, un «prompt» inicial, para que no hable de determinados temas, que intente ofrecer una visión X, Y o Z…
Este prompt, por supuesto, no es público en muchísimos casos, como es el de OpenAI. Si estuviste vivo hace un año seguramente te habrás enterado de todas las maneras que la gente iba descubriendo para «desbloquear» a ChatGPT; por ejemplo, diciendole que es un juego, estableciendo un sistema de «monedas», o en algunos casos incluso sencillamente diciendo que «es para un trabajo científico», y muchas otros mensajes que hacían que ChatGPT te pudiera contar cómo robar un banco con todo lujo de detalles, hasta que la gente de OpenAI encontraba la manera de «parchear» eso.
Pues este prompt inicial no es más que otro mecanismo de manipulación, diseñado completamente por una persona específica, para que la IA genere resultados que se encuentren dentro de aquello que la empresa que hay detrás establezca como aceptable.
Se comentó en la reunión de casos muy curiosos incluso donde este prompt inicial intentaba compensar los sesgos que veiamos en la sección anterior, dando resultados completamente cómicos, como la IA de Google generando imágenes de soldados nazis «de color» porque el prompt inicial demandaba a la IA a no generar siempre personas blancas (ya que la mayoría de fotos de entrenamiento son de gente blanca).
No todo es malo en el campo de la IA
Al acabar la reunión, se notaba ya cierta necesidad de salir del círculo vicioso de las noticias y peligros de la IA. Acabamos con una nota positiva, donde cada uno pudo dar una pincelada sobre lo que le ilusiona de lo que está por venir (o ya está aquí) en este nuevo campo.
No te voy a liar con ejemplos, puesto que es bastante probable que hagamos un próximo «Hablemos» donde veamos que efectivamente no todo es horrible en el mundo de la IA, sino que también se trata de una tecnología que abre la puerta a oportunidades nuevas, a ganar capacidades que jamás pensábamos que podríamos alcanzar; y que por supuesto, existen inteligencias artificiales libres y accesibles, que serán el primer paso para conseguir que la sociedad no caiga de nuevo en las zarpas del marketing y la manipulación.
Si te ilusiona algo en el futuro de la IA, ¡apúntatelo! Y ven a contarlo en el siguiente «Hablemos». Si no te ilusiona nada… ven al «Hablemos», porque probablemente saldrás de ahí con unas cuantas ideas interesantes. Yo mismo tengo claro algún que otro proyecto que me fascina y que creo que os puede interesar muchísimo.
¡Hasta otra!