O que aprendemos com a demonstração do novo API de profundidade do Google

Prepare-se para uma atualização: no início de dezembro, o Google revelou sua API de Profundidade, uma nova funcionalidade chegando ao ARCore que permite que objetos virtuais e ambientes do mundo real joguem melhor juntos, permitindo experiências mais convincentes e imersivas de realidade mista. Uma maneira demonstrável de que a Depth API consegue isso é permitindo a oclusão, ou a ilusão de que objetos virtuais estão ficando obstruídos atrás de objetos do mundo real.

A oclusão convincente tem sido historicamente difícil de ser alcançada, embora o Google tenha montado um vídeo retratando demonstrações da nova API que mostram suas características. Uma dessas demos, que desafia o usuário a uma luta virtual contra um robô cozinheiro levitante, foi desenvolvida em colaboração com a MediaMonks.

O que é empolgante na API de Profundidade é sua capacidade de entender o ambiente do usuário a uma velocidade e facilidade sem precedentes. "O mapa de profundidade da API é atualizado em tempo real, permitindo que os aplicativos AR estejam cientes das superfícies sem etapas de escaneamento complexas", diz Samuel Snider-Held, Tecnólogo Criativo da MediaMonks. Isto permite não apenas a oclusão, como mencionado acima, mas também a mímica da física em tempo real. Para nossa luta virtual contra o robô AR-rendered, faltar é parte da diversão; os usuários podem se deliciar com as lascas digitais de comida nos objetos ao seu redor sem se preocupar com a limpeza.

Os blocos de construção para AR mais imersivo

Como funciona o API de profundidade, e o que o diferencia de outros métodos de oclusão? "O Depth API utiliza uma abordagem chamada 'profundidade do movimento', na qual o ARCore determina as distâncias aos objetos detectando variações entre os quadros de imagem enquanto a câmera está em movimento", diz Snider-Held. "O resultado é um mapa de profundidade de alta resolução que é atualizado em tempo real, permitindo ao dispositivo entender melhor onde os objetos estão em relação uns aos outros e a que distância eles estão do usuário"

O API de profundidade é baseado em software, não requerendo nenhum novo hardware para usuários com dispositivos habilitados para ARC, uma vez que ele é lançado publicamente. Enquanto a oclusão suficiente aumenta significativamente a verosimilhança dos objetos virtuais, ela segue uma série de atualizações incrementais que se baseiam umas nas outras para permitir experiências imersivas mais realistas. Apenas no ano passado - o mesmo ano em que o ARCore debuted-Google lançou sua API Lighting Estimation, que ilumina objetos virtuais para corresponder às condições de iluminação existentes no cenário do mundo real, incluindo reflexos de luz, sombras, sombreamento e muito mais.

Desde então, um recurso chamado Nuvem de Âncoras permite que vários usuários visualizem os mesmos objetos virtuais ancorados em um ambiente específico. É a principal característica que alimenta o modo multiplayer de Pharos AR, uma experiência de realidade aumentada que fizemos em colaboração com Childish Gambino, Wolf + Rothstein, Google e Unity - que por sua vez serviu como uma demonstração de fato do que o Cloud Anchors é capaz de ativar experiências de realidade mista inteiramente novas.

"Temos o know-how criativo e técnico para usar estas novas tecnologias, entender por que elas são importantes e por que elas são fantásticas", diz Snider-Held. "Não temos medo de assumir tecnologia que ainda está na infância, e podemos fazê-lo com uma rápida reviravolta com o apoio de nossa equipe criativa"

Uma forma simplificada de mapear a profundidade

O API de profundidade não foi a primeira vez que a MediaMonks conseguiu experimentar a oclusão ou a consciência espacial com realidade aumentada. Anteriormente, tivemos que experimentar outras soluções contemporâneas de oclusão, como o 6D.ai, que cria uma malha 3D invisível de um ambiente. O resultado deste método é semelhante ao que é alcançado com o Depth API, mas a execução é diferente; traduzir um ambiente em uma malha 3D com 6D.ai é mais rápido com várias câmeras, enquanto o Depth API simplesmente mede a profundidade em tempo real sem a necessidade de escanear e reconstruir um ambiente inteiro.

Da mesma forma, o projeto Tango-Google skunkworks, que foi uma espécie de precursor do ARCore-enabled consciência especial através de nuvens de pontos "Quando tínhamos Tango de antes, ele usava algo semelhante a um sensor de profundidade Kinect", diz Snider-Held. "Você pegaria as nuvens de pontos que obteria a partir disso e reconstruiria a profundidade, mas o novo API de profundidade usa apenas uma única câmera"

Em essência, alcançar a oclusão com uma única câmera escaneando o ambiente em tempo real oferece um salto na facilidade de uso, e a torna amplamente disponível para os usuários em seu dispositivo móvel atual. "Se pudermos ocluir corretamente, isso o faz sentir-se mais cimentado ao mundo real". A maneira como eles estão fazendo isso é interessante, com uma única câmera", diz Snider-Held.

Adicionando profundidade às experiências criativas

A API de profundidade está atualmente abrindo convites para colaboradores e ainda não está pronta para um lançamento público, mas serve como um grande passo para tornar as cenas mais credíveis em tempo real. "É mais um passo para alcançar os tipos de experiências AR que estamos imaginando", diz Snider-Held. "Podemos fazer estes projetos sem ressalvas"

Por exemplo, um desafio consistente na renderização de cenas no AR é que muitos usuários simplesmente não possuem espaços vivos suficientemente grandes para renderizar grandes objetos ou espaços virtuais expansivos. Equipes criativas contornariam isto renderizando objetos em miniatura - talvez apenas contidos em uma mesa. "Com a API de profundidade, podemos escolher renderizar somente objetos dentro do espaço disponível", diz Snider-Held. "Isso nos permite e a nossos clientes se sentirem mais confortáveis em tornar estas experiências mais imersivas"

Como as marcas antecipam como podem utilizar algumas das mais novas características da tecnologia de realidade mista de evolução rápida, elas se beneficiam de parceiros criativos e de produção que podem trazer idéias para a mesa, implementando-as rapidamente com consciência das oportunidades e desafios atuais. "Trazemos o pensamento criativo para a tecnologia, com o que podemos fazer dada nossa experiência técnica, mas também com coisas como arte conceitual, animação e muito mais", diz Snider-Held. "Não nos afastamos da nova tecnologia, e não apenas a entendemos, mas podemos realmente fazer algo divertido e inventivo para demonstrar por que as pessoas o desejariam"