Um olhar Frame a Frame sobre como a AI gera criatividade

A produção impressionante de IA generativa tem levado alguns a expressar preocupações sobre se seu sustento está em risco. A criatividade, afinal de contas, há muito tempo é considerada uma habilidade estritamente humana.

Mas os criativos não estão prestes a perder seus empregos para os senhores robots que podem girar cordas de texto em ouro pixelado. Pelo contrário, estas ferramentas - que dependem da contribuição humana e de algum nível de aptidão artística para realmente brilhar - estão desbloqueando o potencial criativo e ajudando as pessoas a dar vida a seus conceitos de novas maneiras. Esta perspectiva levou os Labs.Monks, nossa equipe de pesquisa e desenvolvimento, a explorar como a inteligência artificial generativa pode melhorar o trabalho de nossas equipes e de nossos clientes.

"Temos brincado com esta tecnologia por um tempo, e depois que ela começou a ter tendências, temos recebido cada vez mais perguntas sobre ela", diz Geert Eichhorn, Diretor de Inovação e Chefe de Laboratórios. Por exemplo: muito pode ser dito sobre o futuro da criação de conteúdo auxiliado pela IA, mas como as ferramentas de hoje poderiam se integrar em uma linha de produção atual?

Procurando uma resposta, os Labs.Monks colaboraram com animadores e ilustradores de nossa equipe para desenvolver um protótipo de fluxo de produção que mistura métodos tradicionais de animação com tecnologia de ponta em IA. O resultado é um trailer de filme animado feito usando uma fração do tempo e dos recursos que uma animação típica, quadro a quadro, de sua duração exigiria.

Aprenda a viver com o algoritmo.

A Ancestor Saga é um projeto lateral animado em 2D focado em uma questão central: e se as pessoas da Era Viking percebessem que estavam vivendo em uma simulação? Depois de aprender que seu propósito na vida é entreter os deuses, será que eles aceitarão sua nova realidade, ou porão um fim ao mundo, trazendo Ragnarök?

O tema pode parecer familiar a qualquer um que tente dar sentido ao mundo cada vez mais algorítmico em que nos encontramos de repente. "Queríamos contar uma história que pudesse se integrar com a tecnologia que estamos usando: mundos virtuais e pessoas virtuais", diz Samuel Snider-Held, Tecnólogo Criativo. O Diretor Criativo Associado Joan Llabata leva este pensamento mais longe, citando alguns dos desafios enfrentados quando humanos e IA não se conectam bem. "Há algum espaço onde precisamos encontrar a melhor maneira de nos comunicarmos com a máquina de forma eficaz", diz ele.

Quando se usa IA generativa, é melhor uma abordagem sob medida.

Esse desafio de fazer com que humanos e IA joguem bem demonstra a necessidade de uma equipe como os Labs.Monks para experimentar as ferramentas que estão disponíveis. Enquanto as ferramentas de prateleira são ótimas para capacitar os criadores individuais, integrá-las às tubulações da equipe requer uma solução mais personalizada.

A IA é projetada para realizar tarefas específicas muito, muito bem. Projetos que envolvem múltiplas capacidades e fases requerem um fluxo de trabalho que possa integrar uma variedade de IA generativa para cumprir diferentes objetivos ao longo de todo o processo. Com um projeto de animação, isto significa se conectar à concepção criativa, storyboarding, som e, é claro, animar o visual.

Em nosso caso, diz Snider-Held, "Queríamos explorar como a IA poderia nos permitir fazer o trabalho que realmente queremos fazer, mesmo que o tempo ou o orçamento não estejam lá" Ele descobriu que enquanto nossa equipe de animação adora animação clássica, quadro a quadro, o método é frequentemente negligenciado porque é mais lento de produzir e menos econômico do que outras formas de animação.

Agora a equipe tinha um objetivo claro: orquestrar um fluxo de trabalho baseado em IA que pudesse produzir uma animação quadro a quadro em tempo recorde, sem comprometer a qualidade. Eles se inspiraram no rotoscoping, um método utilizado por animadores como Ralph Baskhi, no qual um artista traça imagens sobre imagens existentes. Esta tarefa de traduzir uma gravação existente de um estilo para outro era ideal para a IA generativa imagem-a-imagem. Além disso, a equipe usou a tecnologia de IA para desenvolver desenhos de fundo e ler a locução da animação.

A IA generativa não é um afastamento radical da tradição.

A equipe começou gravando um modelo de personagem 3D em um cenário virtual, capturando uma variedade de poses para que um ilustrador pudesse traçar. Estas imagens foram então usadas para treinar o modelo de IA sobre como desenhar o personagem em diferentes movimentos. "Se você desenha cerca de cinco quadros, você tem o suficiente para ensinar uma rede neural a pintar os outros", diz Snider-Held, observando que é importante selecionar quadros que são diferentes uns dos outros para que a IA possa captar várias formas, formas e poses.

Além de rotoscopiar a produção virtual, a equipe também experimentou com imagens de estoque de ação ao vivo. Sendo capaz de usar dois tipos diferentes de material de fonte visual cozido com flexibilidade extra no processo; as equipes poderiam misturar e combinar os diferentes métodos de acordo com suas necessidades ou habilidades específicas. Criaturas fantásticas podem ser capturadas mais facilmente na produção virtual, enquanto uma equipe sem capacidade de animar movimentos realistas pode preferir usar filme de ação ao vivo como base. "Você obtém melhor atuação a partir de filmagens versus um modelo 3D, mas a saída visual é, em última análise, a mesma", diz Snider-Held.

Assim como esse processo emulava a rotoscopia clássica à mão, outras formas de integrar IA seguiram um processo de animação tradicional, embora com algumas etapas adicionais aqui e ali. Por exemplo, a fase de storyboarding é importante para visualizar quais tipos de imagens ou animações são necessárias para uma seqüência específica. Além de refletir sobre isso, a equipe também planejou que tipos de IA seriam melhores para gerar esta ou aquela filmagem.

O uso de Stable Diffusion - um tipo de IA generativa que traduz uma mensagem de texto em uma imagem - permitiu que a equipe criasse um grande volume de fundos que eles poderiam trocar para dentro e para fora para testar a sua aparência. "Você pode explorar muito nesta fase", diz Snider-Held.

Quanto ao desenvolvimento de fundos em particular, "É como descrever a foto que você quer para um diretor de fotografia", diz Llabata. Ele foi capaz de testar centenas de ambientes diferentes, ângulos de câmera, estilos artísticos, iluminação e muito mais, tudo com relativa facilidade.

Desbloquear eficiências e ganhos de longo prazo.

As conclusões acima talvez sejam o maior ganho que um fluxo de trabalho generativo alimentado por IA pode proporcionar: maior flexibilidade durante toda a vida de um projeto criativo. Ser capaz de gerar 60 quadros em um minuto - mais do que um quadro em 60 minutos - torna incrivelmente fácil girar ou mudar as coisas em um piscar de olhos.

Também não requer uma configuração sofisticada de hardware, tornando a criação de conteúdo acessível a equipes de todos os tamanhos. "Você não precisa de um servidor gigante ou de computação em nuvem", diz Eichhorn. "Um PC de jogo razoavelmente bom pode produzir ativos como cenários de fundo rapidamente" Ainda assim, usos mais complexos de IA como rotoscoping podem exigir mais potência.

A flexibilidade destravada pela integração de IA generativa no pipeline de uma equipe continua a pagar dividendos além da vida útil de um único projeto. "Se você tem um projeto cujo escopo é realmente grande, o esforço e o dinheiro que você gastou nessa P&D é composto em valor ao longo do tempo", diz Snider-Held, observando que quer uma marca queira fazer 10 animações ou 30, os passos para estabelecer uma fundação alimentada por IA serão mais ou menos os mesmos.

Experimente encontrar uma abordagem que atenda às suas necessidades.

Ferramentas como a difusão estável não são destinadas a substituir as do campo criativo. "Uma IA não conseguirá nada por si só", diz Llabata. Em vez disso, estes produtos darão às equipes a capacidade de perseguir projetos mais ambiciosos com menos restrições de tempo e orçamento. Basta considerar o quanto a criação do trailer da Ancestor Saga segue um processo de animação tradicional, apenas com mais eficiências cozidas.

Tal flexibilidade proporcionada pela IA generativa pode ir muito além da animação tradicional.

Qualquer que seja seu caso de uso de IA generativa, entenda que enquanto construir ferramentas a partir do zero pode ser um desafio, o resultado é extremamente poderoso. "Nossa abordagem é que, se uma ferramenta pronta para uso for suficientemente madura, use-a". Caso contrário, crie-a você mesmo", diz Snider-Held. Além de garantir que uma ferramenta seja calibrada para suas necessidades específicas, as equipes que seguem o caminho personalizado também estarão melhor preparadas para a prova futura, já que a tecnologia continua a evoluir em um ritmo rápido.

Então, você acha que está pronto para explorar o que a IA generativa significa para seu campo? Saiba mais sobre as entradas e saídas da tecnologia no último Relatório dos Laboratórios, explorando a rápida evolução da criação digital.