Como sujar nossas mãos com o rastreamento manual VR

Engrossado na realidade virtual, você está cercado por objetos digitais, fantásticos, cada um implorando para que você alcance e toque. Mas até recentemente, a maioria das interações em fones de ouvido VR convencionais ainda se limitavam ao uso de um controlador. Para algumas experiências, o controlador apresenta uma desconexão entre o que as pessoas sentem em suas mãos versus o que vêem na tela - pelo menos até recentemente.

No mês passado, a Oculus lançou seu SDK de rastreamento manual para o Oculus Quest, permitindo que as pessoas usem suas mãos para navegar pelos menus e aplicações que suportam o novo SDK. Embora a atualização não se destine a substituir os controladores, ela aumenta a sensação de presença dos usuários dentro do espaço virtual ao esbater ainda mais as barreiras entre real e virtual, apresentando novas oportunidades criativas para as marcas que estão ansiosas para oferecer conteúdo assistivo no meio emergente. "A tangibilidade no digital sempre foi equiparada a um clique do mouse ou de uma tecla, mas agora está se tornando ainda mais física, mais como uma experiência real", diz Geert Eichhorn, Diretor de Inovação da MediaMonks.

Esta ilusão de realidade é intrigante para Seth van het Kaar, Monge da Unidade na MediaMonks. "Uma coisa que VR demonstrou através da experiência e da pesquisa é que nossos olhos se sobrepõem aos nossos outros sentidos", diz ele. "Então, se eu parecer estar colocando minha mão em um balde de água fria em VR, eu terei o efeito placebo de sentir frio". Através da criatividade, você pode usar isso a seu favor"

Explorando as oportunidades criativas apresentadas pelo SDK, van het Kaar serviu como desenvolvedor em uma equipe de monges experimentando o rastreamento manual para desenvolver um protótipo de trabalho que pudesse tirar o melhor proveito da nova interface. Eis o que a equipe aprendeu durante o processo.

Encontre Oportunidades para Obter a Mão

"Semelhante a como o desenvolvimento da voz como interface levou as marcas a emular a conversa humana da forma mais natural possível, precisamos fazer com que essas experiências sejam o mais intuitivas possível, já que você está usando suas mãos reais", diz Eichhorn. Como parte do MediaMonks Labs, nossa equipe de pesquisa e inovação, ele não está focado em usar a tecnologia mais recente por causa disso, mas sim em encontrar a aplicação real e o valor que ela tem para os usuários finais".

Tentando identificar que tipo de experiência se beneficiaria melhor com esta nova contribuição, a equipe se perguntou: que atividades são muito trabalhosas e exigem o uso cuidadoso das mãos? O barbear fazia sentido: "É algo difícil para jovens adultos e adolescentes que estão apenas aprendendo a usar esses dispositivos", diz Eichhorn. "E muitas pessoas ainda se enganam, como ir contra o grão" É também um caso de uso intrigante, pois o barbear requer um elemento de precisão, colocando à prova a usabilidade do rastreamento manual.

Ao praticar o grooming em VR usando as próprias mãos, os usuários seriam capazes de experimentar diferentes ferramentas e técnicas sem se preocupar em mexer no próprio cabelo. Assim, a equipe pegou nossa mascote de monge careca e abençoou-o com uma cabeça de cabelo, convidando os usuários do Oculus Quest a fazer a barba e aparar o cabelo em uma experiência inspirada na linha de brinquedos "Crazy Cuts" da Play-Doh.

Comece com Algo Familiar

Interagir com as mãos é incrivelmente intuitivo; é uma das primeiras formas de interagirmos com o mundo como crianças. Mas isso não significa que qualquer experiência de rastreamento manual seja inerentemente mais fácil de usar ou projetar; experimentar qualquer novo modo de interação requer que se liberte de quaisquer noções pré-concebidas sobre design. No caso de rastreamento manual, como se organiza uma série de opções dentro de uma experiência sem o uso de botões físicos (e, neste caso, sem feedback tácito)?

Para superar o desafio, a equipe usou gestos manuais comuns como ponto de partida - por exemplo, aqueles usados em pedra/papel/tesoura - para servir como uma metáfora intuitiva para a interação. "O Oculus pode rastrear a diferença entre as pontas dos dedos, então se eu imitar tesouras com elas, isso é uma interação engraçada", diz van het Kaar. "No aplicativo, você pode selecionar a tesoura e agora você é como Edward Mãos de Tesoura", um personagem de filme fictício cujas mãos feitas de tesoura lhe dão um sucesso selvagem como cabeleireiro.

Ir além das limitações e restrições criativas

Em seus experimentos com o SDK, a equipe se estabeleceu em um par de aprendizados que poderiam se aplicar às experiências subseqüentes do Oculus Quest ativadas manualmente. Em primeiro lugar, há o passar do desafio sentido em qualquer ambiente VR: a locomoção, ou a relação e (des)sincronização entre os movimentos do corpo e os de seu avatar virtual.

Sem feedback tácito, o que deve acontecer quando a mão do usuário entra em contato com um objeto virtual: ele deve se mover através do objeto, ou o objeto deve bloquear seu movimento muito como na realidade? Embora esta última opção possa fazer sentido no papel, o fato de os usuários ainda poderem mover sua mão física enquanto a virtual permanece estacionária pode resultar em confusão. A equipe ultrapassou o desafio deixando os usuários empurrarem livremente os objetos virtuais - por exemplo, o modelo de monge que eles raspam - que se encaixa novamente no lugar uma vez liberado (o que soa como uma interação divertida por direito próprio).

A forma como o Hand Tracking SDK detecta as mãos também apresentou um desafio: ele procura a forma de uma mão contra um fundo, de modo que perde o rastreamento uma vez que duas delas se sobrepõem. "Você não pode colocar um menu na palma de sua mão e bater uma opção nele, ou interagir com um objeto virtual no pulso, por exemplo", diz van het Kaar. Para contornar este desafio, um menu flutua ao lado da mão do usuário. Embora isto não permita um feedback tácito selecionando opções contra o próprio corpo, esta configuração atenua o risco de perder o rastreamento ao ter as mãos sobrepostas.

A aplicação destes aprendizados nos permite desenvolver experiências cada vez mais realistas na realidade ampliada. Desde brincar com o rastreamento de mãos em RV até demonstrar como a oclusão transforma as experiências em AR, nossa equipe de fabricantes se dedica a experimentar continuamente novas tecnologias, encontrando seus casos de uso mais relevantes e estabelecendo melhores práticas para as marcas e nossos parceiros. Como as barreiras continuam a quebrar entre o físico e o virtual, será emocionante ver que tipos de experiências digitais totalmente novas emergem.