Manos a la obra con el seguimiento de manos en RV

Cuando estás inmerso en la realidad virtual, te rodean objetos digitales fantásticos que te piden que los toques. Pero hasta hace poco, la mayor parte de la interacción en los cascos de RV convencionales se limitaba al uso de un mando. Para algunas experiencias, el mando supone una desconexión entre lo que se siente en las manos y lo que se ve en la pantalla, al menos hasta hace poco.

El mes pasado, Oculus lanzó su SDK de seguimiento de manos para Oculus Quest, que permite utilizar las manos para navegar por los menús y las aplicaciones compatibles con el nuevo SDK. Aunque la actualización no pretende sustituir directamente a los controladores, mejora la sensación de presencia de los usuarios en el espacio virtual al difuminar aún más las barreras entre lo real y lo virtual, lo que presenta nuevas oportunidades creativas para las marcas que están dispuestas a ofrecer contenidos de asistencia en este medio emergente. "La tangibilidad en digital siempre se ha equiparado al clic de un ratón o una tecla, pero ahora se está convirtiendo en algo aún más físico, más parecido a una experiencia real", afirma Geert Eichhorn, Director de Innovación de MediaMonks.

Esta ilusión de realidad intriga a Seth van het Kaar, Unity Monk de MediaMonks. "Una cosa que la RV ha demostrado a través de la experiencia y la investigación es que nuestros ojos anulan nuestros otros sentidos", afirma. "Así, si en la RV parece que meto la mano en un cubo de agua fría, se produce el efecto placebo de que la siento fría. A través de la creatividad, puedes utilizar eso a tu favor"

Para explorar las oportunidades creativas que ofrece el SDK, van het Kaar trabajó como desarrollador en un equipo de monjes que experimentaban con el seguimiento de las manos para desarrollar un prototipo funcional que pudiera sacar el máximo partido de la nueva interfaz. Esto es lo que el equipo aprendió en el proceso.

Busca oportunidades para ponerte manos a la obra

"Al igual que el desarrollo de la voz como interfaz ha llevado a las marcas a emular la conversación humana de la forma más natural posible, tenemos que hacer que estas experiencias sean lo más intuitivas posible, como si estuvieras usando tus propias manos", dice Eichhorn. Como parte de MediaMonks Labs, nuestro equipo de investigación e innovación, no se centra en utilizar la última tecnología porque sí, sino en encontrar la aplicación en el mundo real y el valor que tiene para los usuarios finales.

Tratando de identificar qué tipo de experiencia se beneficiaría más de esta nueva aportación, el equipo se preguntó: ¿qué actividades son muy diestras y requieren un uso cuidadoso de las manos? Afeitarse tenía sentido: "Es algo difícil para los adultos jóvenes y los adolescentes que están aprendiendo a usar estos dispositivos", dice Eichhorn. "Y mucha gente sigue haciendo las cosas mal, como ir a contrapelo" También es un caso de uso interesante, ya que el afeitado requiere un elemento de precisión que pone a prueba la facilidad de uso del seguimiento manual.

Practicando la peluquería en RV con las propias manos, los usuarios podrían probar distintas herramientas y técnicas sin preocuparse de estropear su propio pelo. Así que el equipo cogió a nuestro monje calvo y le puso pelo en la cabeza, invitando a los usuarios de Oculus Quest a afeitarle y recortarle el pelo en una experiencia inspirada en la línea de juguetes "Crazy Cuts" de Play-Doh.

Empezar con algo familiar

Interactuar con las manos es increíblemente intuitivo; es una de las primeras formas que tenemos de relacionarnos con el mundo cuando somos bebés. Pero eso no significa que cualquier experiencia de seguimiento manual sea intrínsecamente más fácil de usar o diseñar; experimentar con cualquier nuevo modo de interacción requiere liberarse de cualquier idea preconcebida sobre el diseño. En el caso del seguimiento manual, ¿cómo se organiza una serie de opciones dentro de una experiencia sin el uso de botones físicos (y en este caso, sin retroalimentación háptica)?

Para superar el reto, el equipo utilizó gestos manuales comunes como punto de partida -por ejemplo, los utilizados en piedra, papel o tijera- para que sirvieran de metáfora intuitiva de la interacción. "Las Oculus pueden rastrear la diferencia entre las yemas de los dedos, así que si imito unas tijeras con ellos, es una interacción divertida", dice van het Kaar. "En la aplicación, puedes seleccionar las tijeras y ahora eres como Eduardo Manostijeras", un personaje cinematográfico de ficción cuyas manos hechas de tijeras le proporcionan un éxito salvaje como peluquero.

Ir más allá de las limitaciones y las restricciones creativas

En sus experimentos con el SDK, el equipo extrajo un par de conclusiones que podrían aplicarse a posteriores experiencias Oculus Quest activadas con la mano. En primer lugar, hay que superar el reto que supone cualquier entorno de RV: la locomoción, es decir, la relación y (des)sincronización entre los movimientos corporales de una persona y los de su avatar virtual.

Sin retroalimentación háptica, ¿qué debe ocurrir cuando la mano del usuario entra en contacto con un objeto virtual: debe moverse a través del objeto o éste debe bloquear su movimiento como lo haría en la realidad? Aunque esta última opción podría tener sentido sobre el papel, el hecho de que los usuarios pudieran seguir moviendo su mano física mientras la virtual permanece inmóvil podría dar lugar a confusión. El equipo superó el reto permitiendo a los usuarios empujar objetos virtuales libremente -por ejemplo, el modelo de monje que se afeita-, que vuelven a su sitio una vez liberados (lo que parece una interacción divertida de por sí).

La forma en que Hand Tracking SDK detecta las manos también supuso un reto: busca la forma de una mano sobre un fondo, por lo que pierde el seguimiento en cuanto dos de ellas se superponen. "No se puede colocar un menú en la palma de la mano y pulsar una opción, ni interactuar con un objeto virtual en la muñeca, por ejemplo", explica van het Kaar. Para solucionar este problema, el menú flota junto a la mano del usuario. Aunque esto no permite la retroalimentación táctil al seleccionar opciones contra el propio cuerpo, esta configuración mitiga el riesgo de perder el seguimiento al superponerse las manos.

Dedicar tiempo a experimentar y aplicar estos conocimientos nos permite desarrollar experiencias cada vez más realistas en realidad extendida. Desde jugar con el seguimiento de las manos en RV hasta demostrar cómo la oclusión transforma las experiencias en RA, nuestro equipo de creadores se dedica a experimentar continuamente con nuevas tecnologías, encontrar sus casos de uso más relevantes y establecer las mejores prácticas para las marcas y nuestros socios. A medida que sigan derribándose las barreras entre lo físico y lo virtual, será emocionante ver qué tipos de experiencias digitales totalmente nuevas surgen.