Virtualización en movimiento con captura de movimiento

Estos conocimientos se plasman en boletines, podcasts e informes,el más reciente de los cuales trata sobre la captura de movimiento y las formas en que puede integrarse en diversos flujos de trabajo de producción de contenidos. Debido a la creciente influencia de la captura de movimiento en la experiencia digital, la investigación de Labs.Monks sobre la tecnología ilustra cómo el equipo se conecta a diferentes categorías y talentos para desbloquear nuevas innovaciones.

Captura de movimiento en el momento

La tecnología digital ha pasado de ser el lugar al que se acude para comprar una entrada de concierto a ser el lugar al que se acude para asistir al concierto. Y a medida que las experiencias en el metaverso siguen ilustrando este concepto, crece la necesidad de soluciones que cierren la brecha entre el mundo físico y el virtual, como Vtubers expresivos, eventos en directo protagonizados por personajes virtuales, bailes y saludos adquiribles para avatares y mucho más. Y lo que todos estos ejemplos tienen en común es que se activan mediante captura de movimiento.

La tecnología de captura de movimiento graba las acciones humanas para representar digitalmente el movimiento en vivo. Adopta muchas formas: trajes equipados con varios acelerómetros (la misma tecnología que le dice a tu teléfono si lo sostienes o cómo lo sostienes), bolas o puntos de seguimiento en el cuerpo basados en cámaras y seguimiento basado en cámaras impulsado por inteligencia artificial (como un filtro de Snapchat). Con tantas formas de grabar el movimiento en tiempo real, el mocap es ahora más asequible y accesible que nunca, y tiene aplicaciones de gran alcance en la creación de contenidos y experiencias digitales.

Conscientes de las diferentes formas en que el mocap puede influir en los flujos de trabajo de MediaMonks, los Labs.Monks han experimentado con el traje Xsens MVN Link para comprender mejor su precisión en la detección de movimientos finos. Esto se plasmó en un prototipo de experiencia de RV en la que los usuarios pueden tocar un instrumento digital simplemente moviendo el cuerpo. Lo aprendido con esta experiencia ayudará a los Labs.Monks a ayudar a otros equipos interesados en utilizar mocap.

Producción virtual optimizada

La historia de la captura de movimiento está relacionada con la historia del cine, desde la rotoscopia manual en la animación tradicional hasta la encarnación digital de Gollum por parte de un actor en El Señor de los Anillos, entre otras. Así que no es de extrañar que uno de los usos más obvios del mocap sea la producción virtual, que elimina la necesidad de rodar delante de una pantalla verde en un gran estudio.

"Para uno de nuestros clientes, estamos haciendo un tipo de montaje híbrido que mezcla captura offline, VFX y animación", explica Cas de Brouwer, Jefe de Postproducción. "Acabamos haciendo mucha rotoscopia para añadir la animación, pero con la captura de movimiento podemos sacar mucho partido" Con la producción de sobremesa, por ejemplo, los datos de movimiento capturados con una cámara montada en un brazo robótico pueden transferirse a Adobe After Effects para añadir objetos virtuales y animaciones alineadas con la perspectiva de la cámara.

Patrick Staud, Jefe de Tecnología Creativa, ya ha experimentado con la producción virtual mejorada con mocap para clientes del sector del automóvil, por ejemplo, utilizando mocap en preproducción para capturar los movimientos de los actores y reflejarlos en la superficie del coche en postproducción. Pero la tecnología puede tener un mayor impacto en entornos totalmente virtuales.

Nuevas eficiencias en la animación

La animación puede beneficiarse considerablemente de la eficiencia que ofrece la captura de movimientos. La animación como capacidad es a menudo la línea a través de la cual se producen experiencias digitales que van desde contenidos originales a entornos metaversales inmersivos. Y aunque la animación dibujada o manipulada manualmente no va a desaparecer -el medio se nutre de la exageración y la estilización que produce mejor la mano de un artista que la verosimilitud-, en algunos casos es fundamental imitar de cerca los gestos.

Así ocurrió en una actuación virtual protagonizada por Post Malone que ayudamos a animar para celebrar el 25 aniversario de Pokémon. Los movimientos del cantante se trasladaron al entorno virtual mediante captura de movimiento. "Con los eventos en vivo en suspenso, esta fue una gran oportunidad para utilizar la captura de movimiento para crear una experiencia animada para atraer a nuestra audiencia", dice Jessica Norton, Productora Ejecutiva, Experiential en Media.Monks.

El director de Animation.Monks, Thymo van der Vlies, señala que era fundamental representar a Post Malone de forma realista, a pesar de su aspecto estilizado: "Como es una celebridad, hay que captar sus movimientos exactos; por ejemplo, sujeta el micrófono de una forma muy concreta", explica. "El uso de la captura de movimiento supone un gran ahorro de tiempo si necesitamos capturar movimientos realistas"

Esta misma necesidad lo hace útil para la investigación y la visualización previa: "Para uno de nuestros proyectos, una parte divertida del proceso fue que teníamos animadores que se filmaban unos a otros cayéndose para capturar cómo eran los movimientos", dice Van der Vlies.

Los eventos inmersivos en directo combinan fantasía y realidad

La animación y la producción virtual se unen para crear experiencias en directo protagonizadas por personajes virtuales con los que se puede interactuar en tiempo real. "Estamos creando imágenes de una forma que en el pasado llevaría meses de trabajo de posproducción, y ahora son en directo", afirma el Director de Soluciones Creativas Lewis Smithingham, que recientemente trabajó con captura de movimiento para llevar a un personaje animado a las tres dimensiones por primera vez durante un evento en directo. "El público tiene un listón de calidad más alto que nunca, y estas herramientas nos permiten ofrecérselo en directo"

Además de romper los límites entre fantasía y realidad, la captura de movimiento utilizada en un evento en directo también puede unir tiempo y espacio. Los actores pueden ser grabados en lugares distintos y reunidos digitalmente, una solución para trabajar con las restricciones de la pandemia en curso, así como con las apretadas agendas de los talentos. La conectividad como la banda ultraancha 5G y la computación multiacceso pueden reducir el procesamiento in situ y la latencia para garantizar que los actores puedan interactuar entre sí -y con el público- en tiempo real, independientemente de la ubicación.

Hacia la innovación futura

Los usos de la captura de movimientos son de gran alcance, y los Labs.Monks siguen experimentando y buscando formas de integrar la tecnología en nuestros diversos flujos de trabajo de producción. Al mismo tiempo, el equipo está dispuesto a prever futuras innovaciones y sus aplicaciones prácticas. "Labs tiene la oportunidad de asumir más riesgos que otros equipos", dice Eichhorn. "Somos un poco más flexibles y tenemos recursos para experimentar con cosas. Podemos averiguar si algo es viable sin tener que invertir demasiados recursos"

Su enfoque de conectar la experimentación con la colaboración para equipos de categorías -incluidas automoción, moda y deportes-ha sido crucial para mantener a nuestra gente y a nuestros clientes en la vanguardia de la tecnología. A medida que la virtualización siga dando forma a nuevas maneras de interactuar y participar digitalmente, los Labs.Monks seguirán conectando ideas y experiencia en la materia en este espacio.