Atención con esto. Un reciente estudio demostró que en un 60% de respuestas sobre citas de estudios científicos se equivocaron los chatbot. Aparentemente, la Inteligencia Artificial no quiere asumir que no sabe o que sabe a medias. Responde con una seguridad que la lleva a cometer muchos errores.
Por Lucas Fornerón
Las inteligencias artificiales de generación de texto, o chatbot, han ganado notable popularidad en el ámbito público. Desde su estallido en los años 2022-2023, esta tecnología supo atravesar todo tipo de prejuicios e instalarse en la vida cotidiana de las personas. Hoy día es una de las innovaciones tecnológicas más populares y competitivas en el mercado.
Muchas personas eligen buscar información a través de Inteligencia Artificial (IA) porque resulta mucho más rápido que un buscador tradicional de Google. Esas herramientas comparan en segundos cientos de publicaciones y ofrecen una respuesta resumida, según lo que cada persona pregunte. No es de sorprender que cuando hagamos una búsqueda en Google aparezca una respuesta de Gemini; ocurre lo mismo con las últimas versiones de WhatsApp.
La IA está en todos lados
Antecedentes: ¿Pueden pensar las máquinas?
Si bien muchas personas piensan que la Inteligencia Artificial (IA) es una tecnología muy reciente, esa afirmación no es del todo correcta. Según Data Scientist, el término fue acuñado por primera vez en 1956, en la conferencia de Dartmouth, por el informático estadounidense John McCarthy.
En 1940, dos neurólogos computacionales estadounidenses, Warren McCulloch y Walter Pitts, crearon un modelo matemático de red neuronal, el cual sentó las bases para el desarrollo posterior de la IA.
Hay pensamientos acerca de IA que se remontan al año 1950, con el artículo titulado “Computing Machinery and Intelligence”, del científico inglés Alan Turing. En dicho documento, el autor se hace la pregunta: ¿pueden pensar las máquinas?
En 1959, Arthur Samuel desarrolló uno de los primeros programas de aprendizaje automático, o “machine learning”. Estos programas eran capaces de jugar al ajedrez de manera intuitiva a través de los conocimientos que se adquirían partida tras partida. Hoy son una rama importante de la IA.
Lea más: Inteligencia artificial en la educación ¿agranda o acorta la brecha?
Desde estos acontecimientos hasta la actualidad, la IA no estuvo estancada, pero recién en los últimos años cobró relevancia mundial, tal vez, por dos motivos: que Geoffrey Hinton, Yann LeCun, Yoshua Bengio y Demis Hassabis consiguieron desarrollar herramientas basadas en modelos matemáticos para reproducir el funcionamiento del cerebro en un ordenador -lo cual les valió el Premio Princesa de Asturias de Investigación Científica y Técnica el 2022-, y el lanzamiento y veloz popularidad de ChatGPT en 2023, una IA generativa de texto interactivo, o chatbot, creada por la empresa OpenAI.
¿Se puede confiar en la información de las IA?
Al día existen tantas herramientas IA de generación de texto, y otras que se encuentran en desarrollo, que es difícil escoger una para depositar la confianza, para utilizarla cotidianamente sin temor a mal informarse.
Un estudio publicado en Columbia Journalism Review (CJR), el 6 de marzo de este año, realizado por Klaudia Jaźwińska y Aisvarya Chandrasekar, de Universidad Columbia de New York, busca esclarecer algunos aspectos de esta incógnita que atraviesa a gran parte de la sociedad moderna. El libro se titula “La Inteligencia artificial tiene un problema de citas”. En el mismo, se comprobó la eficiencia de 8 herramientas de generación de texto. A través de un método científico clasificaron sus resultados y establecieron una comparativa.
Entre las herramientas puestas a prueba se encuentran, por supuesto, la emblemática ChatGPT, propiedad del magnate sudafricano Elon Musk y el estadounidense Sam Altman, y las firmas que prometen ser su competencia directa: Deepseek, de origen chino, y Gemini, desarrollado por Google. A muchas personas puede sorprender que ninguna de estas sea la IA más confiable en los resultados de las muestras.
Lea más: De golpe, China emerge como un gran jugador en Inteligencia Artificial
En dicho estudio se somete a las herramientas en una serie de 200 preguntas sobre artículos científicos comprobados. En la tabla se puede apreciar una clasificación de las respuestas de cada herramienta: en verde las correctas, en verde claro las parcialmente correctas, en rojo claro las parcialmente incorrectas, en rojo las incorrectas y en gris las preguntas que no fueron respondidas. Del lado superior las fuentes seguras consultadas por cada herramienta y del lado inferior las fuentes inseguras.
Las IA no quieren reconocer que no saben
Según el estudio pudo constatar que, por lo general, los chatbots dan una respuesta a pesar de no conocer la respuesta correcta, salvo Copilot, que se negó a responder la mayoría de las preguntas.
“La mayoría de las herramientas que probamos presentaron respuestas inexactas con una seguridad alarmante, y rara vez reconocieron lagunas de conocimiento. ChatGPT, por ejemplo, identificó incorrectamente 134 artículos, pero solo mostró falta de confianza en quince de sus doscientas respuestas y nunca se negó a responder”, expresa el artículo.
Las versiones gratuitas son casi tan buenas como las versiones pagas
Otro hallazgo fue que las versiones gratuitas de las herramientas presentan prácticamente la misma eficiencia que sus versiones pagas o premium.
“Se podría asumir que los modelos premium, como Perplexity Pro ($20/mes) o Grok 3 ($40/mes), son más confiables que sus contrapartes gratuitas, dado su mayor costo y supuestas ventajas computacionales. Sin embargo, nuestras pruebas mostraron que, si bien ambos respondieron más indicaciones correctamente que sus equivalentes gratuitos, paradójicamente también mostraron tasas de error más altas”, se afirma en el mismo.
La IA más confiable no es la más conocida
Uno de los hallazgos más llamativos fue que Perplexity demuestra mayor fiabilidad en sus resultados que el resto del grupo; por encima de empresas con mucho mayor renombre. Esto puede atribuirse a que sus fundadores -Aravind Srinivas (CEO), Denis Yarats (CTO), Johnny Ho (Director de Estrategia) y Andy Konwinski- trabajaron previamente en empresas como OpenAI, Meta y Quora. Pero las otras firmas supieron posicionarse mejor en el público.
La IA en el ámbito informativo
En otro estudio, realizado por Félix M. Simon y publicado por la CJR el 6 de febrero del 2024, se reflexiona sobre el impacto que tendrá la IA en las noticias y el ámbito público:
“Es fácil asumir que las nuevas tecnologías están destinadas a marcar una gran diferencia en nuestras vidas o en ciertas industrias, especialmente cuando la maquinaria publicitaria está a pleno rendimiento”, afirmó el autor, concluyendo que la IA constituye una reestructuración de las noticias y que su impacto en la opinión pública dependerá de los matices del contexto en que se vaya desarrollando.