Colocando a virtualização em movimento com motion capture

Estes insights são comunicados em forma de newsletters, podcasts e relatórios. O mais recente deles apresenta a captura de movimento, ou motion capture (mocap), e as formas de conectá-la a uma variedade de workflows de produção de conteúdo. Devido à crescente influência da captura de movimento sobre a experiência digital, a pesquisa da Labs.Monks sobre a tecnologia ilustra como a equipe se conecta em diferentes categorias e talentos para descobrir inovações.

Captura de movimento na atualidade

O digital foi do lugar onde você compra ingressos para um show, ao lugar onde você assiste ao show. Conforme as experiências no metaverso continuam ilustrando esse conceito, há uma necessidade crescente por soluções que preencham a lacuna entre os mundos físicos e virtual — como Vtubers com expressões faciais, eventos ao vivo com personagens virtuais, danças e saudações para avatares e muito mais. E o que todos esses exemplos têm em comum? São ativados por captura de movimento.

A tecnologia de captura de movimento registra as ações dos humanos para representar o movimento ao vivo de maneira digital. Ela assume diversas formas: trajes equipados com vários acelerômetros (a mesma tecnologia que diz se ou como você está segurando seu telefone), bolas ou pontos de rastreamento baseados em câmeras no corpo e rastreamento baseado em câmeras alimentado por inteligência artificial (como um filtro do Snapchat). Com tantas formas de registrar movimento em tempo real, o mocap tornou-se mais acessível do que nunca e vastamente aplicável na construção de conteúdo e experiências digitais.

Percebendo as diferentes maneiras como a mocap pode impactar os fluxos de trabalho na MediaMonks, os Labs.Monks experimentaram o traje MVN Link da Xsens para entender melhor sua precisão na detecção de movimentos finos. Isso ganhou forma em um protótipo de experiência VR no qual os usuários podiam tocar um instrumento digital simplesmente movendo seu corpo. O aprendizado com essa experiência irá ajudar os Labs.Monks a auxiliar outras equipes interessadas em usar a captura de movimento.
 

Produção virtual simplificada

A história da captura de movimento está relacionada à história do cinema, desde as filmagens de rotoscopia à mão, na animação tradicional, até a encarnação digital de Gollum em "O Senhor dos Anéis" e muito mais. Portanto, não é de se surpreender que um dos usos mais óbvios da captura de movimento seja na produção virtual, eliminando a necessidade de filmar em frente a uma tela verde dentro de um grande ambiente de estúdio.

“Para um de nossos clientes, estamos fazendo um tipo híbrido de edição que mistura captura off-line, VFX e animação”, diz Cas de Brouwer, Diretor de Pós-Produção “Acabamos fazendo muita rotoscopia para adicionar à animação. Mas, com a captura de movimento, podemos nos beneficiar muito mais.” Com a produção de vídeos culinários, por exemplo, os dados de movimento capturados de uma câmera robótica acoplada a um braço podem ser transferidos ao Adobe After Effects para adicionar objetos virtuais e animações alinhadas à perspectiva da câmera.

Patrick Staud, Chief Creative Technologist, já experimentou a produção virtual aprimorada de mocap para clientes automotivos — por exemplo, usando mocap na pré-produção para capturar os movimentos dos atores e depois refleti-los na superfície do carro na pós-produção. Mas a tecnologia pode ter um impacto ainda maior em ambientes totalmente virtuais.
 

Novas eficiências em animação

 Quando se trata das eficiências possibilitadas pela captura de movimento, a animação pode se beneficiar se forma significativa. Frequentemente, a animação é o meio utilizado para produzir experiências digitais que vão de conteúdo original a ambientes imersivos no metaverso. E, embora a animação desenhada manualmente ou esquelética (também chamada de rigging) ainda tenham o seu valor — o formato é caracterizado pelo exagero e pela estilização, melhor produzida pelas mãos de um artista do que pela verossimilhança —, em alguns casos, imitar minuciosamente os maneirismos é fundamental.

Exemplo disso foi uma performance virtual de Post Malone, que ajudamos a animar em celebração ao 25º aniversário do Pokémon. Os movimentos do cantor eram traduzidos no ambiente virtual pela mocap. “Com eventos ao vivo temporariamente suspensos, essa foi uma ótima oportunidade de usar a captura de movimento para criar uma experiência animada e envolver o nosso público”, comenta Jessica Norton, Produtora Executiva de Experiências na Media.Monks.

O Diretor da Animation.Monks, Thymo van der Vlies, observa o quanto foi crucial representar Post Malone de forma realista, apesar do visual estilizado: “Como ele é uma celebridade, é importante capturar seus movimentos exatos; por exemplo, ele segura o microfone de uma maneira muito específica”, explica. “O uso da captura de movimento economiza muito tempo quando queremos captar movimentos realistas.” 

A mesma necessidade torna a tecnologia útil para pesquisa e pré-visualização: “Para um de nossos projetos, uma parte divertida do processo foi quando nossos animadores filmaram uns aos outros caindo para analisar o movimento em detalhes”, conta Van der Vlies.

Eventos imersivos ao vivo misturam fantasia e realidade

Animação e produção virtual se unem para criar experiências ao vivo com personagens virtuais que podem interagir com as pessoas em tempo real. “Estamos criando imagens de maneiras que, algum tempo atrás, levariam meses de pós-produção — e agora são criadas ao vivo”, diz o Diretor de Soluções Criativas, Lewis Smithingham, que trabalhou recentemente com a captura de movimento para trazer um personagem animado em 3D pela primeira vez durante um evento ao vivo. “O público está mais exigente do que nunca com a qualidade, e essas ferramentas nos permitem entregar isso ao vivo.”

Além de romper os limites entre fantasia e realidade, a captura de movimento usada em cenários de eventos ao vivo também pode conectar tempo e espaço. Os atores podem ser gravados em locais separados e reunidos digitalmente — uma solução para se trabalhar não só com as restrições da pandemia, como também com as agendas movimentadas das celebridades. Conectividades como banda ultralarga 5G e computação de borda de multiacesso podem reduzir o processamento e a latência no local para garantir que os atores possam interagir um com o outro — e com o público — em tempo real, não importa onde estejam.

Rumo à inovação no futuro

Os usos da captura de movimento são abrangentes e a Labs.Monks continua experimentando e descobrindo formas de integrar a tecnologia aos nossos diversos fluxos de produção. Ao mesmo tempo, a equipe está interessada em prever futuras inovações e suas aplicações práticas. “A Labs tem a oportunidade de correr mais riscos do que outras equipes”, diz Eichhorn. “Somos um pouco mais flexíveis e temos os recursos para experimentar. Podemos descobrir se algo é viável sem precisar investir muitos recursos.”

Sua abordagem de conectar a experimentação com a colaboração de equipes específicas para cada categoria — incluindo automotiva, moda e esportes — tem sido crucial para manter nossos colaboradores e clientes na vanguarda da tecnologia. À medida que a virtualização continua criando novas maneiras de interagir e participar digitalmente, a Labs.Monks continuará conectando insights e conhecimentos sobre o assunto nesse espaço.