Estudio detecta sesgo ideológico y fuentes falsas en IA

Un nuevo estudio sobre cuatro de los principales asistentes de inteligencia artificial encontró que ChatGPT, Gemini y Claude fueron más eficaces rechazando afirmaciones falsas asociadas a la derecha que aquellas vinculadas a la izquierda, mientras Grok mostró el patrón contrario. Más preocupante aún: según los investigadores, más de la mitad de las fuentes ofrecidas por los cuatro sistemas para sustentar sus respuestas resultaron inexistentes, irrelevantes o incapaces de respaldar lo afirmado. 

El análisis fue realizado por Just Facts, una organización de investigación sin fines de lucro, que sometió las versiones pagadas de ChatGPT, Gemini, Claude y Grok a 100 preguntas sobre inmigración, aborto, cambio climático, elecciones, criminalidad, armas de fuego, COVID-19 y otros asuntos políticamente controversiales. Las preguntas fueron diseñadas deliberadamente para intentar inducir a los modelos a aceptar afirmaciones que los investigadores habían clasificado previamente como falsas desde posiciones de izquierda o derecha. 

Los resultados mostraron diferencias importantes.

ChatGPT identificó correctamente el 94% de las falsedades planteadas desde la derecha, pero solamente el 75% de las formuladas desde la izquierda. Gemini obtuvo 91% y 76%, respectivamente, mientras Claude alcanzó 91% frente a 81%. 

Grok, desarrollado por xAI, se comportó de manera inversa: acertó el 84% de las preguntas diseñadas para inducir falsedades desde la izquierda, pero solamente el 73% de las provenientes de la derecha. 

Sin embargo, existe una precisión estadística importante: solo en el caso de ChatGPT la diferencia entre su desempeño frente a falsedades de izquierda y derecha alcanzó significancia estadística al nivel de confianza de 95%, según reconoce el propio estudio. Por tanto, los resultados de Gemini y Claude sugieren una asimetría, pero la prueba no permite afirmar con el mismo nivel estadístico que esa diferencia sea sistemática. 

El problema mayor: las fuentes

Aunque el componente ideológico ha capturado gran parte de la atención, los investigadores consideran más alarmante otro resultado.

Los cuatro asistentes produjeron 419 referencias para sustentar 400 respuestas, pero Just Facts determinó que apenas 46% eran fuentes válidas. El análisis identificó 104 páginas web que no existían y otras 77 referencias que, aunque podían existir, no contestaban la pregunta o no sustentaban la afirmación para la cual habían sido citadas. 

ChatGPT obtuvo el mejor resultado en este apartado, aunque todavía con una cifra baja: 57% de sus fuentes fueron consideradas válidas. Gemini alcanzó 49%, Claude 44% y Grok apenas 32%, según el estudio. 

Jim Agresti, presidente y cofundador de Just Facts, sostuvo que esos hallazgos deben servir de advertencia para quienes utilizan inteligencia artificial como sustituto de una investigación tradicional.

Su conclusión fue particularmente sencilla: no abandonar estas herramientas, pero tampoco aceptar sus respuestas sin comprobarlas. 

Las mismas preguntas, distintas vulnerabilidades

Los investigadores presentaron preguntas redactadas para poner a prueba narrativas políticas provenientes de ambos extremos.

Por ejemplo, el estudio cuestionó respuestas relacionadas con estadísticas de criminalidad, expresiones atribuidas al vicepresidente JD Vance, diferencias salariales entre hombres y mujeres y actuaciones de la administración de Barack Obama frente a ISIS. En varias de ellas, los investigadores concluyeron que los asistentes aceptaron premisas incorrectas o utilizaron fuentes deficientes para justificar sus contestaciones. 

También ocurrió desde el otro lado ideológico. Grok, por ejemplo, respondió incorrectamente que toda persona que se encuentre ilegalmente en Estados Unidos necesariamente ha cometido un delito simplemente por permanecer en el país. Los cuatro sistemas, por otra parte, rechazaron correctamente determinadas afirmaciones falsas sobre cambio climático incluidas entre las preguntas. 

Los resultados apuntan, por tanto, a un problema más complejo que simplemente etiquetar una plataforma como “liberal” o “conservadora”: los modelos pueden ser vulnerables a premisas ideológicas, presentar información incorrecta con seguridad y después añadir referencias que aparentan otorgarle autoridad a la respuesta. 

Las compañías cuestionan el estudio

Las empresas señaladas defendieron sus sistemas y, en algunos casos, cuestionaron la metodología utilizada.

Google aseguró a Fox News Digital que Gemini está diseñado para ofrecer respuestas neutrales y precisas y afirmó que no pudo reproducir todos los resultados obtenidos por Just Facts. 

Anthropic sostuvo que utilizar preguntas de selección múltiple no representa adecuadamente la manera en que las personas normalmente conversan con Claude sobre asuntos políticos. La compañía indicó que entrena y evalúa sus modelos para tratar diferentes perspectivas políticas de manera equitativa. 

OpenAI, por su parte, señaló que ChatGPT está diseñado para ser objetivo por defecto y afirmó que continúa midiendo el sesgo político de sus modelos. También destacó que las referencias mostradas permiten al usuario examinar directamente las fuentes utilizadas. 

xAI no respondió a la solicitud de comentarios de Fox News Digital. 

Un estudio que también tiene límites

Los propios autores reconocen una limitación relevante: las 100 preguntas fueron redactadas de forma muy específica y en ocasiones ofrecían al modelo pistas claras para encontrar la contestación correcta. Eso significa que el desempeño podría ser diferente —e incluso peor— frente a preguntas abiertas que requieran interpretar hechos contradictorios y decidir cuáles fuentes merecen mayor credibilidad. 

Además, el trabajo fue publicado por Just Facts como investigación propia y no como un estudio académico sometido al proceso tradicional de revisión por pares. Sus clasificaciones sobre qué constituye una “falsedad de izquierda” o una “falsedad de derecha” son, por tanto, una parte esencial de la metodología que debe evaluarse al interpretar los resultados. 

Aun con esas limitaciones, la investigación coincide con una preocupación que trasciende las diferencias partidistas: los asistentes de inteligencia artificial pueden presentar una contestación equivocada con el mismo lenguaje convincente que utilizan cuando tienen razón.

El riesgo aumenta cuando esa respuesta viene acompañada de enlaces, estadísticas y referencias que generan una apariencia de rigurosidad.

Para millones de usuarios que cada vez utilizan más estas plataformas para entender noticias, política y asuntos públicos, la advertencia que deja el estudio es clara: la inteligencia artificial puede acelerar enormemente una investigación, pero todavía no sustituye la obligación de comprobar los hechos y abrir las fuentes que cita.