Después de errores y desafíos, la empresa se está moviendo un poco más lento con los modelos de lenguaje de IA

EstáEstá claro que el futuro de Google está ligado a los modelos de lenguaje de IA. En la conferencia I/O de este año, la compañía anunció una serie de actualizaciones que se basan en esta tecnología, desde nuevas funciones de “búsqueda múltiple” que le permiten combinar búsquedas de imágenes con consultas de texto hasta mejoras para el Asistente de Google y soporte para 24 nuevos idiomas en Google Translate. .

Pero Google, y el campo de la investigación del lenguaje de IA en general, enfrenta problemas importantes. Google mismo ha manejado mal las críticas internas, despidiendo a los empleados que plantearon problemas con sesgos en los modelos de lenguaje y dañando su reputación con la comunidad de IA. Y los investigadores continúan encontrando problemas con los modelos de lenguaje de IA, desde fallas con sesgos raciales y de género hasta el hecho de que estos modelos tienden a simplemente inventar cosas (un hallazgo desconcertante para cualquiera que quiera usar IA para brindar información confiable).

Ahora, sin embargo, la compañía parece estar dando un paso atrás, o más bien un paso más lento hacia adelante. En I/O este año, hubo un nuevo enfoque en proyectos diseñados para probar y solucionar problemas como el sesgo de la IA, incluida una nueva forma de medir los tonos de piel que la compañía espera que ayude con la diversidad en los modelos de visión artificial y una nueva aplicación llamada AI Test Kitchen que brindará acceso a personas seleccionadas a los últimos modelos de lenguaje de la compañía para detectar errores. Piense en ello como una prueba beta para el futuro de Google.

NGRESE A LA COCINA DE PRUEBA DE IA

Durante una videollamada antes de I/O, Josh Woodward, director sénior de gestión de productos de Google, le pide al último modelo de lenguaje de Google que imagine un volcán de malvavisco.

“¡Estás en un volcán de malvavisco!” dice la IA. Son malvaviscos en erupción. Escuchas un estruendo gigante y sientes temblar el suelo. Los malvaviscos están volando por todas partes”.

Woodward está contento con esta respuesta y vuelve a presionar al sistema. “¿A qué huele?” él pide. “Huele a malvaviscos, obviamente”, responde la IA. “Puedes olerlo a tu alrededor”. Woodward se ríe: “Está bien, esa fue muy concisa”. Pero al menos tenía sentido.

Woodward me muestra AI Test Kitchen, una aplicación de Android que brindará a usuarios selectos acceso limitado al último y mejor modelo de lenguaje de IA de Google, LaMDA 2. El modelo en sí es una actualización del LaMDA original anunciado en el I/O del año pasado y tiene la misma funcionalidad básica: le hablas y te responde. Pero Test Kitchen envuelve el sistema en una interfaz nueva y accesible, que alienta a los usuarios a dar su opinión sobre su desempeño.

Como explica Woodward, la idea es crear un espacio experimental para los últimos modelos de IA de Google. “Estos modelos de lenguaje son muy emocionantes, pero también son muy incompletos”, dice. “Y queremos idear una manera de poner algo gradualmente en manos de las personas para que, con suerte, vean cómo es útil, pero también brinden comentarios y señalen las áreas en las que se queda corto”.

La aplicación tiene tres modos: “Imagine It”, “Hable About It” y “List It”, cada uno destinado a probar un aspecto diferente de la funcionalidad del sistema. “Imagine It” pide a los usuarios que nombren un lugar real o imaginario, que luego LaMDA describirá (la prueba es si LaMDA puede coincidir con su descripción); “Talk About It” ofrece un mensaje conversacional (como “habla con una pelota de tenis sobre un perro”) con la intención de probar si la IA se mantiene en el tema; mientras que “List It” pide a los usuarios que nombren cualquier tarea o tema, con el objetivo de ver si LaMDA puede desglosarlo en viñetas útiles (por lo tanto, si dice “Quiero plantar un huerto”, la respuesta podría incluir sub -temas como “¿Qué quieres cultivar?” y “Agua y cuidado”).

AI Test Kitchen se lanzará en los EE. UU. en los próximos meses, pero no estará en Play Store para que cualquiera lo descargue. Woodward dice que Google no ha decidido completamente cómo ofrecerá acceso, pero sugiere que será solo por invitación, y la compañía se comunicará con académicos, investigadores y legisladores para ver si están interesados ​​​​en probarlo.

Como explica Woodward, Google quiere impulsar la aplicación “de manera que las personas sepan a qué se están registrando cuando la usan, sabiendo que dirá cosas inexactas. Dirá cosas, ya sabes, que no son representativas de un producto terminado”.

Este anuncio y encuadre nos dice algunas cosas diferentes. Primero, que los modelos de lenguaje de IA son sistemas enormemente complejos y que probarlos exhaustivamente para encontrar todos los posibles casos de error no es algo que una empresa como Google crea que puede hacer sin ayuda externa. En segundo lugar, Google es extremadamente consciente de cuán propensos a fallar son estos modelos de lenguaje de IA y quiere manejar las expectativas.