La intención era crear un mundo más comunicado. El resultado fue socavar las democracias, manipular los comicios, provocar genocidios, alentar la polarización, gestar terroristas, fomentar el acoso. El experto en tecnología Charles Arthur analizó el fenómeno en su nuevo libro, “Social Warming”
Por Gabriela Esquivada – Infobae
En abril de 1986 el complejo de Chernóbil consistía en cuatro reactores nucleares RBMK-1000, con otros dos en construcción, y un lago artificial con el agua para enfriarlos. El accidente del día 26 sucedió en el reactor Chernóbil 4: al menos el 5% del núcleo radiactivo fue liberado en el ambiente, una contaminación descontrolada hasta el 4 de mayo, que afectó a varias zonas de Europa; murieron todos los trabajadores y 28 de los 134 bomberos y demás personal de emergencia por las consecuencias de la radiación; se hizo una zona de contención (primero de 10 kilómetros, luego de 30) y se evacuó a más de 300.000 personas; hubo un aumento en el cáncer de tiroides infantil (5.000 casos, con 15 muertes) y las víctimas fatales vinculadas al desastre van de 4.000 a 16.000 según las estimaciones.
Si Facebook hubiera sido propietaria del complejo, el comunicado oficial podría haber dicho: “Tres de los cuatro reactores nucleares de Chernóbil no explotaron”.
Así lo comparó Charles Arthur, periodista con 30 años de especialización en tecnología, en su nuevo libro, Social Warming: The Dangerous and Polarising Effects of Social Media (Calentamiento social: los efectos peligrosos y polarizadores de las redes sociales). “Es cierto, pero ignora lo que es verdaderamente importante”.
Aludía directamente a una cita de Nick Clegg, encargado de relaciones públicas de la compañía, quien a mediados de 2020, cuando unas 1.000 empresas —y, crucialmente, algunas grandes: Pfizer, Ford, Adidas, Best Buy, Starbucks, Dunkin Donuts, LEGO, Target y Clorox— se sumaron al boicot publicitario #StopHateForProfit para condenar la falta de políticas eficaces de moderación en la plataforma.
A dos años de la crisis humanitaria de los rohinyá en Myanmar, acelerada y masificada por publicaciones violentas en la red, Facebook acababa de negarse a regular un comentario del entonces presidente de los Estados Unidos, Donald Trump, sobre los escasos saqueos que se produjeron en las gigantescas protestas contra el asesinato de un afroamericano a manos de la policía: “Cuando comienzan los saqueos, comienzan los tiros”.
Clegg había dicho que “la gran mayoría de los miles de millones de conversaciones [en Facebook] son positivas”. Tenía razón, dijo Arthur, pero el problema real era el resto de las conversaciones, el Chernóbil 4 de las conversaciones.
Las que sería muy caro (para el modelo de negocios multimillonario que esperan perpetuar las grandes tecnológicas) controlar. Porque es más barato un sistema de algoritmos que asocia a la gente según sus intereses, ignorando sus motivaciones, que tener un control adecuado de todas las conexiones posibles que existen en una red.
Neonazis y gatitos
Al comienzo del libro, el investigador británico recordó el caso de Steven Carrillo, un hombre de 32 años que conoció en Facebook a Robert Alvin Justus. Se llevaron bien, lo que confirma la eficacia de una red social para unir a personas con los mismos intereses.
El problema es que esas afinidades eran las ideas extremistas de la derecha armada sobre la necesidad de iniciar una guerra civil en los Estados Unidos; entusiasmados el uno con el otro, Carrillo y Justus decidieron salir a matar a un policía. Le tocó a David Patrick Underwood, un oficial federal destinado al área de las manifestaciones de #BlackLivesMatter en Oakland, California.
“No son aberraciones”, destacó Arthur. “Las redes sociales tienen estos resultados cuando se usan tal como se las concibió, tal como se las diseñó. Al fin y al cabo, se supone que uno se tiene que conectar con personas afines”.
Si el interés de alguien son los gatitos, su pantalla se llenará de publicaciones de amigos sobre gatitos, de amigos de los amigos que también aprecien a los gatitos; de sugerencias de amigos con gatitos, de sugerencias de páginas sobre gatitos y de sugerencias de grupos dedicados a los gatitos y de publicidad sobre productos para gatitos.
Y si el interés de alguien son contenidos sexistas, racistas o cualquier otra forma de violencia, lo mismo. El algoritmo, que es un conjunto de instrucciones, no distingue entre gatitos o neonazis, entre crochet y rifles de asalto.
Lo que importa al algoritmo es cumplir las tres reglas de las redes sociales: “La primera: consigue tantos usuarios como puedas. La segunda: no dejar escapar la atención del usuario. La tercera, que se cumple en mayor o menor medida: monetiza a esos usuarios atentos todo lo que puedas sin perder su atención”.
O, como declaró originalmente el fundador y CEO de Facebook, Mark Zuckeberg, “dar a la gente el poder de compartir y hacer el mundo más abierto y conectado”. Facilitar a los creyentes en la supremacía blanca el poder de construir comunidad. Igual que a los amantes de las suculentas.
Los efectos secundarios que eso cause no serían problemas de las redes y mucho menos de sus empresas: “La gente creó los aviones primero y luego se ocupó de la seguridad de los vuelos”, dijo Zuckerberg en 2016, algo que molestó a los ejecutivos de la aviación comercial obligados a invertir en seguridad. “Si la gente se centrara en la seguridad primero, nadie habría construido un avión”.
Como la crisis del clima
Esa es la clave del libro de Arthur: las consecuencias indeseadas de las redes sociales como YouTube (2.000 millones de usuarios) y Twitter (190 millones), aunque se concentra en la tríada de Facebook-Instagram-WhatsApp, que suma 3.000 millones de usuarios, más que la cantidad total de gente completamente vacunada contra el COVID-19 en en mundo desfigurado por la pandemia, 2.650 millones.
Social warming plantea una comparación con el calentamiento global:
Si en la década de 1890 les hubieras dicho a Gottlieb Daimler o a Rudolf Diesel que sus diseños de motores alimentados a combustible serían, en poco más de un siglo, responsables de la subida del nivel del mar, huracanes catastróficos y la migración forzosa de millones de personas, les habría costado creerte. Su intención era honesta y sencilla: querían construir máquinas eficientes que fueran utilizadas por la gente para mejorar sus vidas.
El motor de combustión moderno sólo podía ser un progreso glorioso, dada la horrible contaminación y el enorme gasto de los motores de vapor.
“Nadie quiso que sucediera esto. Todo debía mejorar, no empeorar”, abre el libro, y se puede aplicar tanto a la sociedad industrial como a la expansión de las redes sociales.
“Facebook ha estado implicada en un genocidio, Twitter se convirtió en el campo de batalla de una campaña misógina que llevó a graves amenazas y ataques en el mundo real y YouTube ha sido acusada de facilitar la radicalización primero de los yihadistas musulmanes y luego de los extremistas blancos de derecha, que procedieron a matar”, recordó Arthur.
Aunque no ignora las comparaciones de las redes con el tabaquismo, tanto por su aparente control de la ansiedad como por sus graves consecuencias sociales, al autor de Cyber Wars y Digital Wars le pareció mejor la asociación con el cambio climático porque “el efecto acumulativo es mucho más parecido al calentamiento global: omnipresente, sutil, implacable y, sobre todo, causado por nuestras propias acciones e inclinaciones”.
El calentamiento social sucede “cuando las interacciones entre personas que solían estar geográficamente separadas y rara vez expuestas a las perspectivas de las otras se unen con más frecuencia, y se mantienen alrededor de temas que las engancharán y crearán experiencias adictivas”, definió. “Sólo al mirar atrás el cambio se vuelve evidente. Sin embargo, los efectos suceden todo el tiempo. La esfera política, la democracia, los medios, la gente en la calle: afecta a todos”.
Aunque todos los eslóganes de las redes tienen que ver con la comunidad, parte central del negocio es alejar al usuario de la diversidad que encontraría en el mundo real para acercarlo, de manera cada vez más especializada, a aquello que se sabe que le interesa para mantenerlo más tiempo en la plataforma y monetizar esa permanencia. El mundo virtual está hecho a la medida de los intereses propios. El antagonismo con todo lo demás es la consecuencia; la polarización, el paso natural.
“Las sociedades funcionan mejor cuando tienen objetivos en común que unen a las personas”, recordó Arthur. Pero las redes se construyen alrededor de la división: “La dinámica de la autoselección de grupos los lleva cada vez más lejos del espacio común con otros grupos cuyas perspectivas difieren incluso muy poco. En lugar de ofrecer un medio para la unión de las sociedades, en realidad las plataformas funcionan en la dirección opuesta al brindar maneras de descubrir las diferencias”.
Eso, concluyó, es el calentamiento social: “El efecto de fondo que gradualmente, sutilmente, insistentemente hace que la gente se concentre en sus diferencias en lugar de en aquello que tiene en común”.
Apoye el comercio de su barrio: compre en Al-Qaeda
Lo gradual del proceso es relevante: “Significa que no advertimos el punto a partir del cual las cosas cambian para peor”. Pero eso sucede, inevitablemente como en el clima, en este caso por el efecto de red: “Llega un punto de inflexión cuando una plataforma crece tanto en escala que se vuelve incontrolable. Aunque la cantidad de usuarios aumenta aritméticamente, la cantidad de conexiones sociales potenciales aumenta geométricamente”.
Ilustró: las conexiones posibles crecen al cuadrado de la cantidad de usuarios: es decir que, para una red de 1.000 usuarios, agregar otros 1.000 haría que la red fuera el doble de grande pero el problema de moderación, cuatro veces más grande.
Un ejemplo de Social Warming es la competencia interna de dos sistemas de inteligencia artificial (aprendizaje de máquinas, o ML) en Facebook.
El primer sistema ML quería crear grupos, para aumentar la permanencia e interacción de usuarios a los que les interesara un tema común. Resultó tan bueno que los corredores estaban felices de intercambiar tips sobre calzado y recorridos, qué decir de los amantes del pan de masa madre; pero también los neonazis, los creyentes en la supremacía blanca y los fanáticos islámicos.
“El software no lo sabía”, explicó Arthur. “Los algoritmos no podían distinguir entre un grupo que quería reunirse para jugar a los bolos y un grupo que quería reunirse para ir a golpear la gente. Utilizando una combinación de grupos públicos, cerrados (que se pueden descubrir mediante búsqueda, pero con entrada controlada por un administrador) y secretos (sólo por invitación), los extremistas pudieron encontrar un hogar cómodo en Facebook”.
Ahí entró en acción el segundo sistema ML, para moderación. Ambos trabajaban a la vez: uno, para tratar de unir gente con ideas afines, otro para eliminar los grupos radicalizados.
En el combate, no sólo la plataforma no logró eliminar a los extremistas sino que comenzó “a autogenerar contenido terrorista y a ayudar a quien profesara aprobación por ese contenido a que encontrara otros y se conectara”, citó Social Warming una investigación de 2018. “En el combate entre los sistemas ML, la generación automática de contenidos, sumada al trabajo entusiasta de extremistas y terroristas, le llevaba la delantera al sistema de eliminación”.
El ML para crear grupos era tan bueno que “si faltaba interacción, generaba páginas de Comercios Locales”, continuó Arthur. “Para una persona que describió su experiencia laboral como ‘ex francotirador’ del grupo terrorista somalí Al Shabaab, Facebook generó automáticamente una página de Comercios Locales con todo y el logo de Isis, tomado de Wikipedia”. Creó otra “para ‘Al-Qaida en la Península Arábiga’, y combinó servicialmente las versiones en inglés y en árabe”.
El sistema ML autogeneraba luego videos de “Celebración” y “Recuerdos” con los grupos, para que pudieran compartir con sus amigos.
“Facebook fue precursor en el abandono de cualquier aporte humano para clasificar el interés probable de un contenido en particular. Esto, a su vez, abrió la puerta para que todos los efectos de la amplificación algorítmica tomaran el control”, explicó el libro el sustrato de numerosos casos como los del ejemplo. En 2016, Instagram y Twitter también se sumaron al problema de la amplificación algorítmica.
Las consecuencias del retweet
En el caso de la red de Jack Dorsey, uno de los sistemas en pie aporta a prevalencia de la indignación tuitera, tan característica de la plataforma. Aun en el caso de personas que no siguen a mucha gente o tienen pocos seguidores, impulsa el enganche llenando su pantalla de tuits que han provocado muchas respuestas, según verificó una prueba de Andi McClure a partir de un mensaje con contenido neutro.
“El algoritmo trabajaba, desesperadamente tratando de mejorar la participación”, explicó el texto. En el esfuerzo por evitar que el usuario no se quede en la red y los anunciantes desaparezcan, “llenaba sus feeds con tuits de fuera de su red”, tuits interesantes, tuits polémicos, tuits que provocaban interacciones de otros usuarios. Elegidos a partir de los intereses pasados de la cuenta, probablemente recibirían interacción de estos rezagados.
Pero el sistema también funciona para cuentas exitosas. “Twitter tiene un algoritmo diseñado de manera tal que los tuits con muchas respuestas reciben aun más respuestas”, porque su exposición se multiplica entre los usuarios de manera automática.
McClure halló un umbral: cuando un tuit recibió unas 100 respuestas ”entra en acción algún algoritmo que dice ‘¡Hay que mostrar esto a más gente!’ Y se lo muestra a más gente”. El tuit de la investigación era tabula rasa, “pero imagínate”, le dijo a Arthur, “si hubiera dicho algo político o expresado una opinión sobre una boy band”. Así, encontró, se desataban esas tormentas de indignación.
Un elemento que las facilitaba es el retuit, herramienta creada en 2009 por Chris Wetherell. Si bien mucha gente usaba atajos para citar a otros, el nuevo recurso permitió compartir contenido con un click, y esa velocidad ayudó a crear las “declaraciones-tijeras”, como llamó el psiquiatra Scott Alexander a aquellas que dividen al público en dos grupos con una antipatía mutua. Además, enganchan a las personas en argumentos interminables, porque esperan tener razón o resolverlos. Las redes ganan en engagement.
El primer gran caso fue Gamergate, una campaña de ciberacoso que comenzó en agosto de 2014 en Reddit, 4chan y 8chan, en la que se atacó a mujeres del campo de los videojuegos, entre ellas las desarrolladoras Zoë Quinn y Brianna Wu y la feminista Anita Sarkeesian.
“Gamergate se convirtió en una batalla en la que uno podía creer solo una de dos cosas”, recordó Arthur, y detalló ambas aunque el punto es, en realidad, la polarización: o una o la otra, y a muerte. En un análisis posterior, Andy Baio desmenuzó tres días de la pelea: “Hace ocho años que uso Twitter y nunca vi una conducta así”, comentó: de 316.000 tuits estudiados, el 69% eran retuits.
Wetherell —que dejó Twitter— sintió que la herramienta era en realidad un arma para la que no había defensa. Poco cambió para él cuando en abril de 2015 la plataforma agregó una nueva opción, retuitear con cita, o QT: para él, “cada vez que compartimos sin contexto nos arriesgamos a que una idea huérfana caiga en manos de una familia malvada”.
Para Arthur, en cambio, el QT marcó una diferencia, y una negativa: si antes el retuit implicaba apoyo, ahora se podía citar con un comentario negativo arriba, y de pronto ese uso se expandió como un incendio. “En la práctica se convirtió en una herramienta para ridiculizar e inducir el efecto de ataque colectivo sobre la persona citada”, explicó.
YouTube en la espiral descontrolada
En 2016 la socióloga Zeynep Tufekci buscaba en YouTube citas de Trump para un artículo académico. Para el algoritmo, era una persona interesada en Trump. Y como sabía qué videos miraban las personas que miraban videos el entonces candidato presidencial, le ofreció sus recomendaciones, que comenzaban una detrás de la otra gracias a la función autoplay.
“Tufekci vio con asombro cómo las recomendaciones pasaban a berrinches de creyentes en la supremacía blanca y luego a la negación del Holocausto”, describió Arthur.
El fenómeno había comenzado en agosto de 2012: Eric Myerson, encargado de la comunicación a los creadores de contenido, anunció que el ranking de la plataforma daría importancia a los videos según el tiempo que la gente los mirase. Aquellos videos que retuvieran a los usuarios hasta el final serían promovidos, aquellos que se abandonaran a los pocos minutos no.
Gracias al cambio, implementado por un sistema ML de Google, en 2016 los usuarios de YouTube miraban más de 1.000 millones de horas diarias, 10 veces más que cuatro años antes.
“Según la lógica de recomendación del sistema, los videos que interesaban a la gente que pasaba mucho tiempo en el sitio debían ser los videos que también atraerían a todos los visitantes casuales”, analizó Social Warming. “Lo que los ingenieros no habían tomado en cuenta es qué clase de personas mira muchos videos hasta el final”.
Así, lo que en la vida real sería una persona obsesiva o adicta, para el algoritmo era un usuario hiperenganchado, es decir, la persona ideal.
Había, además, un extraño efecto de distorsión: alguien podía empezar por una charla TED y llegar a una teoría conspirativa sobre los ataques del 11 de septiembre de 2001. Al problema original, “quejas sobre jóvenes radicalizados por predicadores del extremismo islámico”, se le sumó que cualquier contenido derivaba a perspectivas extremas. Alguien buscaba una noticia y terminaba con una recomendación de videos racistas; alguien buscaba un tutorial para empezar a hacer ejercicio y acababa con una recomendación de ultramaratones.
“Parece que nunca eres lo suficientemente hardcore para el algoritmo de recomendación de YouTube”, escribió Tufekci en el artículo “El gran radicalizador”.
Guillaume Chaslot, quien había dejado Google tras la aplicación del sistema ML que permitió el crecimiento de YouTube, hizo un estudio sobre los efectos del algoritmo. “Si buscabas ‘¿Es real el calentamiento global?’, un 25% de los resultados de Google y un 15% de los de YouTube decían erróneamente que era un engaño. Pero en las recomendaciones de YouTube la cifra para un usuario registrado era más cercana al 70%”, contó. La diferencia era obvia: “Las recomendaciones intentan que te quedes mirando, no necesariamente responder tu pregunta”.
La lógica del sistema —citó el libro a Evan Williams, creador de Blogger— es que si una persona mira un accidente de autos en su camino, querrá ver más, y le llenará el camino de accidentes y tratará de provocarlos. En cambio, un ser humano, si bien no puede resistir mirar, probablemente cambiará de ruta si advierte que en esa que usa constantemente hay accidentes.
Regular contra el calentamiento social
El libro dedicó un capítulo al genocidio de los rohinyá en Myanmar, no sólo porque es “el peor escenario” —como tituló Arthur la sección— sino porque muestra lo que pasa cuando a una población digitalmente iletrada se la expone aceleradamente a las redes. Eso importa porque si se achica la brecha tecnológica será precisamente sobre grupos humanos similares en eso.
Cuando una tarjeta SIM pasó de salir USD 2.000 a costar USD 2 en solo dos años, la compra de teléfonos móviles trepó al cielo (en 2016 alcanzó al 80% de los habitantes) y la penetración de Facebook se hizo universal, ya que la empresa negoció con los prestadores de telefonía que su red no consumiría datos y los puntos de venta entregaban los teléfonos con cuentas ya creadas, ya que casi nadie tenía correo electrónico. En la vida real esto significó que la gente no entendía la diferencia entre Facebook e internet.
Si algo salía en Facebook era no sólo noticia, porque nadie accedía a medios digitales, sino verdad, porque el país salía de años de prensa controlada. El “me gusta” se usaba como un reconocimiento de haber leído, no se entendía como manifestación de agrado, pero al llegar a 4.000 likes el algoritmo multiplicaba la exposición de mensajes como “los musulmanes planean volar un templo budista”.
De los moderadores humanos, sólo uno conocía efectivamente el idioma birmano, pero trabajaba —a horas de diferencia, en Dublín, donde está la oficina internacional de Facebook— en una máquina que no decodificaba los símbolos del idioma así que no le podía hacer alertas automáticas. Reuters probó el sistema de traducción en 2017: lo que en birmano decía “maten a todos los kalar [un insulto para llamar a los rohinyá] que vean en Myanmar, no debe quedar uno”, en inglés era “No debería tener un arcoiris en Myanmar”.
El resto es historia: 25.000 muertos en sucesivos ataques —los más graves comenzaron en 2018— y 725.000 desplazados, hasta la fecha.
Social Warming analiza los efectos graves de las plataformas sociales en el voto del Brexit en el Reino Unido y las elecciones presidenciales en los Estados Unidos en 2016, con detalles sobre los intereses económicos por los cuales la redes sociales pueden cobrar dinero para manipular el voto en distritos claves y albergar operaciones de inteligencia como la injerencia rusa en el ascenso de Trump.
Con gran habilidad, Arthur echa abajo las pretensiones de defensa del libre discurso de las grandes tecnológicas en otro capítulo, sobre la pandemia, donde documenta cómo intervinieron contra la desinformación, a diferencia de lo que hicieron con las democracias en numerosos países para recoger miles de millones en publicidad electoral. Cuando hay consecuencias legales —argumentó— los CEOs se avienen a cumplir: Alemania multó el discurso violento en 2017 y hoy uno de cada seis moderadores de Facebook trabaja en ese país.
El libro concluye con un llamado a la regulación para que, en primer lugar, se limite el uso malicioso haciendo que compartir el contenido sea menos fácil que un click, y sobre todo se considere una condición básica: “Para que un sistema —cualquier sistema— sea viable tiene que poder afrontar la complejidad de su entorno. Y si no puede hacerlo, es inviable”, citó una derivación de una ley cibernética.
Desde su perspectiva, Facebook y Google no son viables. Su propuesta consiste en dividirlas en redes con un máximo de tamaño. No es muy distinto de lo que sucede con los medios de comunicación: hay un límite a la cantidad que se puede concentrar.
“¿Qué pasaría si Facebook y Google no existieran, y alguien propusiera que se les diera a dos corporaciones el control efectivo sobre la comunicación y el conocimiento globales?”, citó un trabajo sobre competencia regulada. “No suena muy deseable”, concluyó.