Las gafas AR con redes de IA multimodal obtienen financiación del creador de Pokémon GO

Brilliant Labs presenta sus nuevas gafas de realidad aumentada: Frame

En una semana en la que los entusiastas de los gadgets de todo el mundo están encantados con Vision Pro, una joven y valiente empresa intenta hacerse un hueco para su dispositivo de realidad aumentada, que tiene una forma completamente diferente a la de Apple. Hoy, la startup de Singapur Brilliant Labs anunció su nuevo producto, Frame, un par de gafas livianas de realidad aumentada impulsadas por un asistente de inteligencia artificial multimodal llamado Noa. Las gafas han captado la atención y la inversión de John Hanke, director ejecutivo de Niantic, la plataforma de realidad aumentada detrás de juegos como Pokémon GO. Brilliant Labs se negó a revelar la cantidad de financiación recibida de Hanke.

En una demostración en video vista por TechCrunch, uno de los fundadores de Brilliant Labs le pidió a Noa que se presentara usando la voz. Después de aproximadamente tres segundos, el agente generó y proyectó una respuesta de texto en las lentes. Además de los comandos de voz, Noa es capaz de realizar procesamiento visual, generación de imágenes y traducción, gracias al puñado de modelos de IA que ha integrado: el motor de búsqueda conversacional Perplexity AI; el modelo texto-imagen Stable Diffusion de la empresa Stability AI; El último modelo de generación de texto de OpenAI, GPT4; y el sistema de reconocimiento de voz Whisper. Las lentes de montura tienen una resolución de 640 x 400 para mostrar vídeos y fotografías.

Con estas características, un usuario que compra en un centro comercial puede pedirle a Noa que consulte los precios online de un par de zapatos que está mirando a través de Frame, por ejemplo. “El futuro de la interacción entre humanos y IA cobrará vida en dispositivos portátiles innovadores, y estoy muy emocionado de poder llevar el motor de respuesta en tiempo real de Perplexity a Brilliant Labs Frames”, dijo Aravind Srinivas, director ejecutivo y fundador de Perplexity. en un comunicado de prensa.

Gafas abiertas e innovadoras.

La pregunta es si Frame será lo suficientemente receptivo como para que cualquiera de sus respuestas generadas por IA sea útil. Los dispositivos habilitados para Bluetooth de Brilliant Labs hoy en día dependen de un teléfono inteligente para acceder a diferentes modelos de IA. Al final, sin embargo, los fundadores quieren prescindir del teléfono host e integrar modelos ligeros de aprendizaje automático directamente en las gafas.

Frame se lanzó después del producto inaugural de Brilliant Labs, Monocle, un dispositivo AR de lente única que atrajo seguidores leales en la comunidad de código abierto debido a su programabilidad y asequibilidad. Un grupo de estudiantes de Stanford incluso convirtió el dispositivo en un asistente de citas que hacía sugerencias en tiempo real sobre qué decirle a su cita.

Frame seguirá siendo de código abierto como su predecesor, lo que significa que los desarrolladores tendrán acceso a recursos que incluyen documentación viva, una base de código fuente abierto y esquemas de hardware. También podrán ajustar la configuración de los modelos de IA compatibles con Noa.

Un homenaje a los grandes personajes de la historia.

A diferencia del voluminoso Vision Pro, Frame está diseñado para el uso diario y viene con lentes recetados. Con un peso de 39 gramos y una gruesa montura redonda de plástico de nailon, las gafas son, según la empresa, un “tributo a las innovaciones e ideas revolucionarias introducidas por figuras históricas como John Lennon, Steve Jobs y Gandhi”. » Frame estará disponible para pedidos anticipados a partir de hoy y tendrá un costo de $349, el mismo precio que Monocle. Los dispositivos comenzarán a enviarse en abril.

Desde su creación en 2019, Brilliant Labs ha logrado atraer a un grupo notable de inversores ángeles. En junio pasado, informamos sobre su inversión de $3 millones de Brendan Iribe, cofundador de Oculus; Adam Cheyer, cofundador de Siri; Eric Migicovsky, fundador de Pebble y ex socio de Y Combinator; Y de otros. La nueva inyección de capital de Hanke eleva la financiación total de la empresa a 6 millones de dólares.

Fuente: www.bing.com