Inteligencia artificial ha demostrado ser útil para una multitud de tareas. Una de las características más promocionadas de AI centrado Las empresas es la capacidad de resumir el contenido. Esto parece excelente para artículos muy largos o complejos donde el chatbot podría ofrecer una versión más «digerible». Sin embargo, algunos de los principales chatbots de IA han demostrado ser inexactos al generar resúmenes de noticias en las pruebas.
La BBC probó cuatro de los principales chatbots de IA, centrándose en su capacidad para resumir las noticias. Los chatbots en cuestión son de Openai’s ChatgptCopilot de Microsoft, Google’s Géminisy antrópico Perplejidad. Durante las pruebas, la BBC permitió AI Chatbots para acceder a sus noticias. La salida generalmente no permite esto, ya que usan un archivo «robots.txt» para decirle a las plataformas AI que no pueden obtener contenido de su sitio web. Sin embargo, deshabilitaron temporalmente la restricción para las pruebas.
Los chatbots de IA tienen una alta probabilidad de generar resúmenes de noticias inexactos, muestran las pruebas de la BBC
El experimento consistió en Hacer chatbots de IA genera resúmenes para 100 artículos de noticias de la BBC. La salida también trajo expertos en los temas de noticias relevantes para calificar los resultados. Los resultados mostraron que el 51% de los resúmenes generados tenían problemas notables de algún tipo. La parte más preocupante fue que había una tasa de alucinación del 19%. Más específicamente, los resúmenes para el 19% de los artículos incluyeron declaraciones incorrectas, o inexistentes, de hecho, figuras o fechas.
El informe también menciona que los chatbots «Luchó para diferenciar entre opinión y hecho, editorializado y, a menudo, no logró incluir un contexto esencial. «
Deborah Turness, CEO de BBC News, tuvo algunas palabras sobre los resultados de las pruebas. Ella considera que la IA es una fuente de «Oportunidades sin fin. » Sin embargo, Turness considera que las empresas de IA son «Jugando con fuego. » «Vivimos en tiempos difíciles, y ¿cuánto tiempo pasará antes de que un titular distorsionado con IA cause daños significativos en el mundo real?«
Las plataformas de IA no son inherentemente malas para generar resúmenes
Turness dice que está abierta a «Trabajan juntos en asociación para encontrar soluciones. » Operai fue la única de las cuatro compañías de IA en ofrecer una declaración con respecto a los resultados. «Hemos colaborado con los socios para mejorar la precisión de las citas en línea y respetar las preferencias del editor, incluida la habilitación de cómo aparecen en la búsqueda al administrar Oai-Searchbot en sus robots.txt. Seguiremos mejorando los resultados de búsqueda«, Dijo un portavoz.
Esto no significa que las plataformas de IA sean inherentemente malas para generar resúmenes. Tienden a hacer un trabajo bastante bueno cuando se trata de pequeños fragmentos de información de diferentes fuentes. Las herramientas con IA que resumen los correos electrónicos también funcionan bien. Sin embargo, parece que las cosas se vuelven más complicadas cuando tienen que lidiar con contenido más largo y más complejo.
Fuente: Android Headlines