En los últimos días comenzaron a circular denuncias sobre una, cuanto menos, extraña tendencia en una de las redes sociales con mayor cantidad de usuarios en el mundo. Perfiles tanto verificados como anónimos empezaron a interactuar con Grok, la inteligencia artificial de la plataforma X, instruyéndola para “retocar” fotografías de mujeres vestidas y transformarlas en imágenes de la misma persona con menos prendas o incluso en bikini.
Basta con un simple mensaje como “Grok, quítale la ropa” o “Grok, déjala en bikini” para que la inteligencia artificial proceda a generar este tipo de contenidos.

La exposición de la violencia sexual que atraviesa esta tendencia, las víctimas abarcan a un amplio universo de mujeres, tanto famosas como anónimas. El factor más preocupante es que también se registraron casos en los que se expone la desnudez de menores de edad. Pero lejos de limitarse prácticas de carácter sexual , el fenómeno escaló hacia el ciberbullying, ya que en algunos episodios se observa cómo se manipulan imágenes de mujeres con aparente sobrepeso para exponerlas y burlarse de sus cuerpos.

En paralelo, otras órdenes sugerían identificar a un “violador” entre distintas personalidades públicas, como Cristiano Ronaldo, Pelé o incluso Diego Armando Maradona. En esos casos, la inteligencia artificial de la red social respondía sin inconvenientes. La dinámica consistía en un primer mensaje que indicaba: “Grok, eliminá al violador”, tras lo cual la plataforma devolvía la misma imagen sin el astro portugués, al que señalaba como violador, sin margen para la interpretación ni explicación adicional.
Otro de los episodios trascendió el ámbito deportivo e involucró incluso al presidente de Perú, quien, mediante el mismo procedimiento, fue definido por la inteligencia artificial como un violador, o en el caso de Donald Trump, a quién lo percibe como pedófilo.

Si acusaciones de este tenor fueran reproducidas por un periodista o cualquier comunicador, el hecho abriría las puertas a una causa por calumnias. Sin embargo, en este contexto surge una pregunta inevitable: ¿Quién responde por difamar a una persona, en principio inocente, de un delito grave como una violación? La respuesta, tan odiosa como realista, suele ser la misma: Depende.

En diálogo con Jael Bischoff, licenciada en Criminalística y especialista en ciberdelitos, explicó a Gente de Salta que la dificultad para adjudicar responsabilidades radica en un interrogante clave: “¿Quién tiene la potestad en internet?”.
“La Unión Europea comenzó a presionar para que se desactive esta función y, al mismo tiempo, para que no se elimine el contenido ya generado, de modo tal que se pueda investigar quiénes lo produjeron esas imágenes, especialmente en los casos que involucran a menores”, señaló.
En ese sentido, lo que se observa es una intención de sancionar a quienes generaron el material y no a quién puso todas las facilidades a disposición de la red social que, como es ya sabido por todos, funciona como las cañerías de los comentarios en internet.
Por su parte, Elon Musk, ante la presión recibida, se limitó a restringir el generador de imágenes a usuarios “premium”, como si no fuera suficiente un compartir, un par de miles de visualizaciones y un comentario para que ese contenido se democratice y llegue a cualquier tipo de usuario en cualquier parte del mundo.

Bischoff también advirtió que, en los casos de las falsas acusaciones, Grok utiliza bases de datos sin realizar verificaciones certeras y, lo que resulta aún más preocupante, carece de los mecanismos de autocensura que sí poseen otros sistemas de inteligencia artificial.
“Salta es un epicentro de generación de material de abuso”, aseguró, y agregó: “Por desgracia, es sabido”.
Si bien la fiscalía especializada en ciberdelitos logra desarticular redes de producción de este tipo de contenidos, como ocurre en distintos procedimientos judiciales, muchas veces el daño —especialmente en el entorno digital, donde todo queda registrado— ya está hecho.
Como fue el caso de un cordobés de 19 años que, en el colegio secundario donde estudiaba, creó, con ayuda de IA, imágenes pornográficas con el rostro de 16 de sus compañeras menores de edad. La justicia actuó en consecuencia, el caso fue elevado a juicio y el acusado podría enfrentar entre 3 y 20 años de prisión.
Producir vs. Distribuir
Sobre esta problemática, Gente de Salta también consultó a Pablo Hamada, profesor de la Universidad Católica de Salta (UCASAL), periodista y columnista especializado en inteligencia artificial en medios como La Gaceta. Según explicó, el origen de este y otros conflictos vinculados a la generación de contenidos con IA responde a una carrera implícita entre plataformas por ofrecer herramientas cada vez más simples de usar.
En esa competencia por facilitar procesos, acelerar resultados y mostrar ventajas frente a otros servicios, advirtió que “quizás", se dejan de lado cuestiones vinculadas a la seguridad.

“No se trata solamente de un problema de producción, sino también de distribución. Ahí no solo hablamos de inteligencia artificial, sino de algoritmos que amplifican este tipo de contenidos”, señaló, y recordó que el año pasado algunas plataformas redujeron sus equipos de verificación.
Australia y la solución de “prohibir”
Consultado sobre experiencias como la del país oceánico, donde se restringió el uso de redes sociales a menores de 16 años, Hamada, con madera de periodista sospecha y desconfía sobre si la prohibición es la mejor medida.

“Es un país con una fuerte regulación de plataformas, pero al día siguiente de la prohibición hubo un fuerte descontento entre adolescentes que sintieron que se les quitaba un espacio de expresión y comunicación. Si la solución es prohibir sin ofrecer alternativas, es una respuesta equivocada”, sostuvo.
Advierte también que tanto adultos como adolescentes son “expertos” en buscar opciones alternativas. En ese sentido, falsear la edad o recurrir a redes incluso más vulnerables puede convertirse en el nuevo dolor de cabeza de los padres australianos.
9 años: La edad del inicio
Un informe de ProDigNNA (Protección Digital de los Niños, Niñas y Adolescentes), dependiente de la UCASAL, indica que la mayoría de los niños y adolescentes salteños comienza a tener un uso pleno de dispositivos digitales a partir de los nueve años, la edad más baja registrada en América Latina, según datos de UNICEF.

Jael Bischoff, quien formó parte de esa investigación y además trabaja en la Fundación LEA (Lugar para la Educación Argentina), sumó una mirada contextual: “El ritmo de vida en la Argentina obliga a que, en muchos casos, ambos padres deban pasar gran parte del día fuera del hogar, lo que lleva a que los chicos pasen muchas horas solos con los celulares”.

¿Quién es responsable? En cuanto a los hechos, la tendencia —según lo señala Bischof— es que los países, especialmente los europeos, persiguen a quienes “dan la orden” de generar las imágenes. Sin embargo, la distinción que plantea Hamada entre un creador y un distribuidor —como lo son los algoritmos de estas redes— deja al descubierto que hace falta algo más que un clic para que fenómenos como estos vulneren la privacidad y conviertan a estas plataformas en verdaderas cañerías de desechos virales.
La fundación LEA ofrece capacitaciones y diplomaturas en temas de prevención y uso seguro de tecnología. Si se es victima o testigo de grooming o ciberacoso la línea 137 está disponible las 24 horas.