Los resúmenes de IA de Google generan respuestas erróneas con exceso de confianza

¿Has buscado algo en Google recientemente y te has encontrado con un pequeño logotipo de diamante sobre palabras que aparecen como por arte de magia? Los resúmenes de IA de Google, que combinan los modelos de lenguaje Gemini (responsables de generar las respuestas) con la Generación Aumentada por Recuperación (que obtiene la información relevante), prometen hacer que el motor de búsqueda de Google sea aún más rápido y fácil de usar. En teoría, es una mejora significativa para un producto ya impresionante.

Sin embargo, el proceso de creación de estos resúmenes consta de dos pasos, lo que puede generar problemas cuando hay una desconexión entre la recuperación de información y la generación de texto. Aunque la información recuperada puede ser precisa, la IA a veces realiza saltos erróneos y llega a conclusiones extrañas al elaborar el resumen. Estas respuestas, presentadas con excesiva confianza, han llevado a una pérdida de confianza en la herramienta, lo que plantea desafíos para Google en la mejora de la precisión de sus resúmenes de IA.