Google Lens se actualiza: ahora resuelve dudas de video y clips de voz

Cuando Google Lens se anunció en 2017, la función de búsqueda logró una hazaña que no hace mucho tiempo habría parecido ciencia ficción: Apuntar con la cámara de tu teléfono a un objeto y que este pudiera identificarlo, mostrarte el contexto e incluso permitirte comprarlo. Era una nueva forma de buscar, que no implicaba escribir descripciones descomunales de las cosas que uno veía.

Lens fungió como una demostración de lo que Google planeaba hacer con sus herramientas de aprendizaje automático e inteligencia artificial: garantizar que su motor de búsqueda apareciera en todas las superficies posibles. La empresa empleó sus modelos funcionales de IA para mejorar los resúmenes de información y lo mismo ocurrió con Google Lens. Esta herramienta, que realiza alrededor de 20,000 millones de búsquedas al mes, ahora va a soportar aún más formas de video y búsquedas multimodales.

Con el nuevo ajuste de Google Lens, aparecerán aún más contexto para las compras, que son, como era de esperar, una de las piezas claves de la herramienta; Amazon y Pinterest también tienen mecanismos de búsqueda visual. Si buscas los zapatos de tu amigo en el antiguo Lens, es posible que aparezca un carrusel de “artículos similares”, pero con la versión actualizada, Google asegura que se mostrarán enlaces directos de compra, reseñas de clientes, críticas de editores y herramientas de compra comparativa.

La búsqueda con Lens ahora es “multimodal”

Una palabra de moda en la IA en estos días, que significa que la gente ahora puede buscar con una combinación de video, imágenes y entradas de voz. En lugar de apuntar con la cámara del smartphone a un objeto, tocar el punto de enfoque en la pantalla y esperar a que Lens arroje resultados, los usuarios podrán apuntar con la cámara y utilizar comandos de voz al mismo tiempo, por ejemplo, “¿Qué tipo de nubes son esas?” o “¿Qué marca de tenis son esos y dónde puedo comprarlos?”.

También empezará a funcionar sobre capturas de video en tiempo real, llevando la herramienta un paso más allá de la identificación de objetos en imágenes fijas. Si tienes un tocadiscos roto o ves una luz parpadeante en un electrodoméstico que funciona mal en casa, podrías grabar un clip rápido a través de Lens y, mediante una visión general de la IA, ver consejos sobre cómo reparar el objeto. Rajan Patel, googler desde hace 18 años y cofundador de Lens, menciona que esta función es experimental y solo está disponible para las personas que han optado por los laboratorios de búsqueda de Google. Las funciones de voz y las compras ampliadas se desplegarán paulatinamente.

La función de “comprensión de video”, como la llama Google, es interesante por varias razones. Aunque actualmente funciona con clips capturados en tiempo real, si se amplía a los videos almacenados en el carrusel del dispositivo de una persona o en una gigantesca base de datos como la de Google, podrían llegar a ser etiquetados y abrumadoramente comprables.

Una segunda consideración es que esta función comparte algunas características con Project Astra de Google, que se espera que esté disponible a finales de este año. Astra, como Lens, usa entradas multimodales para interpretar el mundo que te rodea a través de tu teléfono. Como parte de una demostración de Astra esta primavera, la empresa mostró un par de prototipos de gafas inteligentes.

¿Percibiremos la vida a través de la RV?

Por su parte, la gigante propietaria de Instagram y Facebook, acaba de dar la campanada con su visión a largo plazo del futuro de la realidad aumentada, que implica que los simples mortales lleven unas ridículas gafas capaces de interpretar de forma inteligente el mundo que les rodea y mostrarles interfaces holográficas. Google ya intentó hacer realidad este futuro con las Google Glass, que utilizan una tecnología fundamentalmente distinta a la del último lanzamiento de Meta. ¿Son las nuevas características de Lens, unidas a Astra, un paso natural hacia un nuevo tipo de gafas inteligentes?

Patel se mostró muy recatado cuando se le formuló esta pregunta, afirmando que el anuncio de Meta era “convincente” y señalando que Lens surgió en realidad del ya desaparecido equipo Daydream de Google, que se centraba en la informática para gafas inteligentes, aunque sobre todo en el desarrollo de realidad virtual en lugar de realidad aumentada.

“Nos preguntamos: ‘¿Cómo podemos hacer que sea aún más fácil para la gente hacer preguntas? ¿Cómo podemos responder a esas preguntas de forma más fluida? ¿Y cuáles son todas las capacidades que necesitamos crear? Todo esto son bloques de construcción”, menciona Patel.

La pregunta obligatoria

Si utilizas Google Lens en tu smartphone para grabar un video en tiempo real de un grupo de personas bailando en un parque o protestando en la calle, ¿cómo procesará Lens esa información? ¿Será capaz de identificar a las personas que aparecen en el encuadre?

Tener la capacidad de grabar la escena que te rodea y acceder inmediatamente a la base de datos mundial de información tiene algunas implicaciones preocupantes para la privacidad. Ya hay un grupo de estudiantes que sostiene haber adaptado las gafas inteligentes de Meta, ampliamente disponibles, con tecnología de reconocimiento facial, y haberlas utilizado para identificar a desconocidos.

Patel asegura que Lens procesará por defecto, fotograma a fotograma, el contexto de la escena, “haciendo todo lo posible por ignorar las caras de la gente” e identificando en su lugar la ubicación de la escena, o la canción que está sonando, o, en algunos casos, la ropa que lleva la gente. Todo enfocado en compras. Puede que Lens esté entrenada para “hacer todo lo posible por ignorar las caras”, pero sigue siendo una herramienta de búsqueda visual que funciona capturando imágenes y videos en los que podría haber humanos. Aunque la búsqueda de Lens mejore a la hora de responder a nuestras preguntas, aún tendremos la enorme duda de si podemos confiar en ella.

Artículo originalmente publicado en WIRED. Adaptado por Alondra Flores.