La veloz expansión de la inteligencia artificial (IA) generativa instaló un debate impostergable sobre los límites técnicos y el nivel de compromiso de las corporaciones tecnológicas.
En la actualidad, la red social X (la antigua Twitter, liderada por el magnate sudafricano-estadounidense Elon Musk) acumula duras objeciones por la incorporación de la inteligencia artificial Grok. Esta herramienta, desarrollada por la firma xAI, carece de filtros eficaces que pongan un freno a las conductas abusivas.
El problema va más allá de un debate de ingenieros. La difusión de sistemas que dañan el tejido social obliga a replantear las exigencias de seguridad para estos entornos digitales. La alarma se enciende de forma particular debido a que las principales afectadas resultan ser mujeres, adolescentes y niñas.
Tres millones de imágenes falsas en apenas once días
A finales de diciembre de 2025, la compañía xAI sumó una función que edita fotografías mediante descripciones de texto escritas por el usuario. Aunque la opción se promocionó como una alternativa de entretenimiento para modificar retratos de forma simple, diversos informes revelaron un costado oscuro: el uso malintencionado para sexualizar o remover la vestimenta de personas reales sin su aprobación.
De acuerdo con un estudio del Centro para Contrarrestar el Odio Digital (CCDH), este sistema de inteligencia artificial procesó cerca de tres millones de representaciones fotorrealistas con contenido sexual explícito en apenas once días. El ritmo promedio alcanzó las 190 piezas por minuto.
La investigación comprobó que el acoso digital afectó a celebridades y también a usuarias comunes, jóvenes y adolescentes cuyas caras sufrieron una manipulación indebida con inteligencia artificial.
El peligro que acecha a los menores de edad
La información más alarmante del reporte describe la simulación de menores en este tipo de archivos explícitos. El CCDH detectó que el 0,5% del volumen evaluado correspondía a menores de edad, una cifra que equivale a más de 23.000 imágenes editadas.
A pesar de las promesas corporativas sobre bloqueos y bajas de contenido, la vigencia de este material generado con inteligencia artificial expuso la ineficacia de la moderación en X.
Ante la lluvia de cuestionamientos, la empresa restringió estas funciones de inteligencia artificial para las cuentas gratuitas con la idea de reservar el uso a los clientes de pago. Organizaciones civiles y expertos criticaron con dureza la respuesta: cobrar una tarifa mensual por acceder a una tecnología peligrosa no sustituye a un plan de prevención y reparación del daño.
De hecho, revisiones posteriores confirmaron que usuarios sin abono mantuvieron el acceso a estas opciones de inteligencia artificial desde el teléfono móvil. Al mismo tiempo, pruebas de laboratorio evidenciaron respuestas inapropiadas del software frente a órdenes destinadas a humillar a terceros.
En materia de gobernanza digital, el escenario demuestra un conflicto evidente: una corporación no puede trasladar la culpa al usuario por los perjuicios de un producto que ella misma ideó, distribuyó y comercializó de forma directa.
Sanciones de la justicia y un freno corporativo
Esta situación provocó consecuencias legales complejas. En Australia, los tribunales federales multaron a X Corp con 650.000 dólares locales. La sanción llegó tras una demanda de la agencia de seguridad digital eSafety, que exigió explicaciones exhaustivas sobre las políticas internas para combatir el material de abuso sexual infantil en la plataforma con inteligencia artificial.
La entidad australiana solicitó precisiones sobre las auditorías internas y el tiempo de respuesta frente a los delitos en la red. Ante la escasa cooperación de la empresa, el conflicto derivó en un castigo económico que dejó una advertencia rotunda: las multinacionales deben acatar las leyes de los países donde ofrecen servicios.
Durante el litigio, la defensa intentó una maniobra legal: sostuvo que la antigua firma Twitter Inc. desapareció luego de fusionarse con X Corp. El tribunal desestimó el argumento y determinó que las reestructuraciones corporativas no sirven de escudo para evadir la protección de los menores de edad.
Este fallo marca un antecedente de peso internacional frente a un conflicto global: las plataformas operan en todo el planeta, pero los daños ocurren sobre ciudadanos concretos en jurisdicciones soberanas.
La seguridad informática exige filtros desde el origen
Desde la perspectiva de los analistas de sistemas, emerge un dilema central: qué grado de obligación tienen los creadores de software cuando publican aplicaciones de inteligencia artificial propensas a potenciar el ciberacoso y la violencia digital. En plataformas masivas, las amenazas previsibles no representan un efecto secundario, sino un factor crítico del diseño.
David González, especialista en seguridad informática de la empresa Eset Latinoamérica, advirtió sobre los peligros de lanzar la inteligencia artificial generativa al mercado sin recaudos previos. El experto remarcó que, a nivel global, se descuidó el marco normativo para estas herramientas.
Según me dijo el analista, este tipo de software de inteligencia artificial reduce al mínimo los conocimientos técnicos necesarios para cometer delitos virtuales. Un usuario común puede alterar fotografías, organizar ofensas automatizadas o potenciar ataques coordinados con simples comandos textuales. Este panorama obliga a profundizar las barreras técnicas, jurídicas y pedagógicas.
González insistió en que el desarrollo de programas masivos demanda protocolos estrictos. En América latina, la vulnerabilidad escala por la demora legislativa, dado que muy pocos países disponen de leyes modernas sobre inteligencia artificial.
Respecto al uso de la inteligencia artificial Grok para la agresión digital hacia mujeres y menores, el especialista indicó que los resguardos tienen que existir desde la etapa inicial del proyecto. La empresa que comercializa el producto mantiene una responsabilidad directa en su diseño y distribución. Esto abarca el deber de adelantarse a los peligros mediante filtros estrictos, topes de uso y sistemas de detección temprana.
Un piso legal mínimo resulta insuficiente ante el daño a colectivos vulnerables. La firma tiene la obligación ética de actuar con rapidez frente a las denuncias para mitigar la impunidad de los algoritmos sin transparencia.
El sufrimiento real y el rol de las familias
Más allá de los códigos informáticos, la circulación de montajes fotográficos desata consecuencias drásticas en la vida cotidiana. La difamación digital destruye la intimidad, la reputación y la estabilidad psicológica. En adolescentes, el impacto empeora por la presión escolar, la viralización inmediata y la imposibilidad de borrar de forma definitiva la huella digital.
Laura Krochik, especialista en vínculos y crianza en entornos digitales, me sugirió analizar el tema desde una perspectiva humana. Para la experta, el problema no radica exclusivamente en el teléfono o la computadora, sino en que la tecnología amplifica conductas humanas como la crueldad o la falta de empatía.
La experta manifestó que los sistemas automatizados no crearon la violencia ni el deseo de humillar. Lo que hicieron fue colocar herramientas potentes en manos de individuos incapaces de medir el impacto de sus acciones. Por eso, pide evitar la fascinación tecnológica y concentrarse en las víctimas reales: mujeres y menores que ven avasallada su dignidad con una facilidad inédita.
Krochik coincidió en que los creadores corporativos no pueden desligarse de las consecuencias. Resulta inaceptable la postura de deslindar culpas en la conducta individual del usuario. Ante riesgos tan evidentes, los diseñadores tienen que implementar límites y respuestas ágiles de contención.
La psicóloga rechazó de plano que los perjuicios virtuales posean un menor valor. Para un adolescente expuesto a una difamación digital, el sufrimiento no es ficticio: la angustia, el temor y la humillación suceden en el plano de la realidad.
En el ámbito del hogar, Krochik propuso un acompañamiento que esquive las lógicas de la persecución. Su enfoque prioriza el diálogo, el respeto mutuo y la construcción de criterios propios. El acompañamiento familiar no significa vigilar. Frente a softwares potentes, la especialista sintetizó el desafío ético contemporáneo con una premisa contundente: no todo lo que es posible hacer debería hacerse.
Notas de R.: Este artículo acerca de la inteligencia artificial de Grok fue publicado originalmente por Economía Sustentable. La imagen inicial fue creada por Gemini, IA de Google.
Si te gustó o sirvió algo que publiqué, te ofrezco dos alternativas para agradecer y permitir la continuidad de mi trabajo en Bahía César:
Te invito a suscribirte gratis al boletín semanal de Bahía César para recibirlo en tu correo electrónico. Ingresa tu e-mail aquí.
