El lunes 6 de febrero Google anunció "Bard", su propia inteligencia artificial conversacional experimental, que tiene la intención de integrar dentro del buscador de Google. Ahora, se ha revelado que durante su presentación, la IA dio una respuesta "inexacta" en una demostración de la compañía para ver sus capacidades.
La respuesta incorrecta fue vista inicialmente por New Scientist y por Reuters, quienes informaron sobre un GIF donde se pueden ver las respuestas de Bard a la pregunta: "¿Qué nuevos descubrimientos del telescopio espacial James Webb (JWST) puedo contarle a mi hijo de 9 años?".
Bard dio tres puntos en su respuesta, diciendo en la última que el JWST tomó las primeras fotografías de un planeta fuera de nuestro propio sistema solar. Sin embargo, Grant Tremblay, del Centro Harvard-Smithsonian de Astrofísica, reveló que esto no es cierto.
El astrofísico comentó en una publicación de Twitter que la primera imagen de un planeta fuera de nuestro sistema solar en realidad fue tomada por el Very Large Telescope (VLT) en el 2004, usando óptica adaptativa.
Not to be a ~well, actually~ jerk, and I'm sure Bard will be impressive, but for the record: JWST did not take "the very first image of a planet outside our solar system".
— Grant Tremblay (@astrogrant) February 7, 2023
the first image was instead done by Chauvin et al. (2004) with the VLT/NACO using adaptive optics. https://t.co/bSBb5TOeUW pic.twitter.com/KnrZ1SSz7h
Para complementar, el astrónomo Bruce Machintosh, director de los Observatorios de la Universidad de California y parte del equipo que tomó las primeras imágenes de exoplanetas, también escribió al respecto, pues al ser alguien que capturó imágenes de estos 14 años antes de que se lanzara el JWST, "parece que (Bard) necesita encontrar un mejor ejemplo".
La estadística importa más que la veracidad
New Scientist también recoge las declaraciones de Carissa Véliz, una profesora de la Universidad de Oxford, quien comenta que esto es evidencia de que el uso de chatbots de IA como este para dar resultados en búsquedas web está dándose "demasiado rápido", aumentando las posibilidades de crear información errónea a gran escala.
Véliz también detalla que este es un ejemplo claro del peligro que representa el confiar totalmente en los modelos de IA cuando la precisión es importante, pues muestra la debilidad más importante de los sistemas estadísticos, mismos que están diseñados para dar respuestas "plausibles y no veraces".
La profesora en la Facultad de Filosofía y el Instituto de Ética en IA incluso comenta que actualmente "no estamos preparados para lo que viene", ya que las empresas se están apresurando en desarrollar o implementar ciertos tipos de sistemas por un interés financiero de ser las primeras en hacerlo sin analizar bien las consecuencias, como lo muestra el ejemplo.
Aceptando posibles errores
En el caso de Microsoft con su nuevo Bing impulsado por IA, la compañía ha aceptado que es posible que se produzcan sorpresas y errores, en un descargo de responsabilidad por la empresa, por lo que es necesario verificar los hechos y compartir comentarios de los resultados para "aprender y mejorar".
Eso sí, a pesar de que Google no ha dado comentarios a ninguno de los dos medios sobre esta información incorrecta, durante la presentación del miércoles 8 de febrero donde habló sobre la implementación de IA en otros de sus productos, la compañía abordó el proceso que tendrá Bard.
Actualmente su IA es "menos potente" de forma intencional, aunque irá mejorando conforme se hagan más pruebas, y su acceso está limitado a los verificadores de confianza para conocer sus capacidades.
Además, Google también aceptó que hay preguntas que no tienen una única respuesta válida (algo diferente a confundir información), lo que clasifican como "NORA" (No One Right Answer), mismo que permite contestar a preguntas como: ¿Qué constelación es la mejor a ver cuando quiera observar estrellas, o ¿Cuál es el mejor momento del año para contemplarlas?, lo que arrojará una serie de resultados que pondrán en contexto al usuario.
También la empresa ha revelado que tanto los comentarios externos como sus propias pruebas internas, servirán para asegurarse de que las respuestas de Bard alcancen un "alto nivel de calidad, seguridad y solidez" en la información del mundo real, por lo que aún falta ver cómo terminan de ajustar a su IA para que sea capaz de mostrar contenidos reales y no solo el que parezca más adecuado.
La postura íntegra de Google en la presentación de Bard es la siguiente:
“Esto destaca la importancia de un proceso de prueba riguroso, algo que estamos iniciando esta semana con nuestro programa Trusted Tester. Combinaremos los comentarios externos con nuestras propias pruebas internas para asegurarnos de que las respuestas de Bard alcancen un alto nivel de calidad, seguridad y solidez en la información del mundo real”.
Imagen: cottonbro studio
