Lo que aprendimos de la demostración de la nueva API de profundidad de Google

Prepárate para una actualización: a principios de diciembre, Google reveló su Depth API, una nueva funcionalidad que llega a ARCore y que permite que los objetos virtuales y los entornos del mundo real jueguen mejor juntos, permitiendo experiencias de realidad mixta más convincentes e inmersivas. Una forma demostrable en que Depth API logra esto es habilitando la oclusión, o la ilusión de que los objetos virtuales se obstruyen detrás de los del mundo real.

La oclusión convincente ha sido históricamente difícil de lograr, aunque Google ha preparado un vídeo con demostraciones de la nueva API que muestran sus características. Una de esas demostraciones, que reta al usuario a una lucha virtual por la comida contra un robot chef que levita, se desarrolló en colaboración con MediaMonks.

Lo emocionante de la API de profundidad es su capacidad para comprender el entorno del usuario a una velocidad y con una facilidad sin precedentes. "El mapa de profundidad de la API se actualiza en tiempo real, lo que permite a las aplicaciones de realidad aumentada conocer las superficies sin necesidad de realizar complejos pasos de escaneado", explica Samuel Snider-Held, tecnólogo creativo de MediaMonks. Esto permite no sólo la oclusión antes mencionada, sino también la imitación de la física en tiempo real. En nuestra pelea virtual de comida contra el robot renderizado con RA, la oclusión forma parte de la diversión; los usuarios pueden deleitarse con las salpicaduras digitales de comida sobre los objetos que les rodean sin preocuparse de la limpieza".

Los cimientos de una realidad aumentada más inmersiva

¿Cómo funciona la API de profundidad y qué la diferencia de otros métodos de oclusión? "La Depth API utiliza un enfoque denominado 'profundidad a partir del movimiento', en el que ARCore determina las distancias a los objetos detectando las variaciones entre los fotogramas de la imagen mientras la cámara se mueve", explica Snider-Held. "El resultado es un mapa de profundidad de alta resolución que se actualiza en tiempo real, lo que permite al dispositivo comprender mejor dónde están los objetos en relación con los demás y a qué distancia se encuentran del usuario."

La API de profundidad está basada en software, por lo que no requiere hardware nuevo para los usuarios con dispositivos habilitados para ARCore una vez que se lance públicamente. Mientras que la oclusión suficiente aumenta significativamente la verosimilitud de los objetos virtuales, sigue una serie de actualizaciones incrementales que se construyen unas sobre otras para permitir experiencias inmersivas más realistas. Justo el año pasado, el mismo año en que debutó ARCore, Google lanzó su API de estimación de iluminación, que ilumina los objetos virtuales para que coincidan con las condiciones de iluminación existentes en el mundo real, incluidos los reflejos de luz, las sombras, el sombreado y mucho más.

Desde entonces, una función llamada Cloud Anchors permite a varios usuarios ver los mismos objetos virtuales anclados en un entorno específico. Es la función clave que impulsa el modo multijugador de Pharos AR, una experiencia de realidad aumentada que realizamos en colaboración con Childish Gambino, Wolf + Rothstein, Google y Unity, y que sirvió como demostración de facto de lo que Cloud Anchors es capaz de hacer para activar experiencias de realidad mixta totalmente nuevas.

"Tenemos los conocimientos técnicos y creativos para utilizar estas nuevas tecnologías, entender por qué son importantes y por qué son increíbles", afirma Snider-Held. "No nos asusta enfrentarnos a tecnologías que aún están en pañales, y podemos hacerlo con rapidez con el respaldo de nuestro equipo creativo"

Una forma ágil de mapear la profundidad

La API de profundidad no era la primera vez que MediaMonks experimentaba con la oclusión o la conciencia espacial en la realidad aumentada. Anteriormente, habíamos experimentado con otras soluciones contemporáneas para la oclusión, como 6D.ai, que crea una malla 3D invisible de un entorno. El resultado de este método es similar al que se consigue con Depth API, pero la ejecución es diferente; traducir un entorno en una malla 3D con 6D.ai es más rápido con varias cámaras, mientras que Depth API simplemente mide la profundidad en tiempo real sin necesidad de escanear y reconstruir todo un entorno.

Del mismo modo, Tango -el proyecto skunkworks de Google que fue una especie de precursor de ARCore- permitía una conciencia especial a través de nubes de puntos. "Cuando teníamos Tango de antes, usaba algo similar a un sensor de profundidad Kinect", dice Snider-Held. "Tomabas las nubes de puntos que obtenías de eso y reconstruías la profundidad, pero la nueva Depth API usa una sola cámara"

En esencia, lograr la oclusión con una sola cámara que escanea el entorno en tiempo real ofrece un salto en la facilidad de uso, y la pone al alcance de los usuarios en su dispositivo móvil actual. "Si logramos una oclusión correcta, la sensación será más cercana al mundo real. La forma en que lo están haciendo es interesante, con una sola cámara", dice Snider-Held.

Añadir profundidad a las experiencias creativas

La Depth API está abriendo invitaciones a colaboradores y aún no está lista para su lanzamiento público, pero supone un gran paso para renderizar escenas más creíbles en tiempo real. "Es otro peldaño para alcanzar los tipos de experiencias de RA que estamos imaginando", dice Snider-Held. "Podemos hacer estos proyectos sin salvedades"

Por ejemplo, un problema habitual a la hora de renderizar escenas en realidad aumentada es que muchos usuarios no disponen de espacios lo suficientemente amplios como para renderizar objetos grandes o espacios virtuales extensos. Los equipos creativos podrían evitarlo renderizando objetos en miniatura, tal vez limitados a un tablero de mesa. "Con la API de profundidad, podemos elegir renderizar objetos sólo dentro del espacio disponible", explica Snider-Held. "Nos permite a nosotros y a nuestros clientes sentirnos más cómodos a la hora de crear estas experiencias más inmersivas"

A medida que las marcas anticipan cómo podrían utilizar algunas de las características más novedosas de la tecnología de realidad mixta en rápida evolución, pueden beneficiarse de un socio creativo y de producción que pueda poner ideas sobre la mesa, implementándolas rápidamente con conciencia de las oportunidades y desafíos actuales. "Aportamos pensamiento creativo a la tecnología, con lo que podemos hacer dada nuestra experiencia técnica, pero también con cosas como arte conceptual, animación y más", dice Snider-Held. "No nos asustan las nuevas tecnologías, y no solo las entendemos, sino que realmente podemos hacer algo divertido e ingenioso para demostrar por qué la gente las querría"