La AI generativa potencia la creatividad fotograma a fotograma

La impresionante producción de la IA generativa ha llevado a algunos a preocuparse por si su sustento está en peligro. Al fin y al cabo, la creatividad se ha considerado durante mucho tiempo una habilidad estrictamente humana.

Pero los creativos no van a perder su trabajo a manos de robots que pueden convertir cadenas de texto en oro pixelado. Al contrario, estas herramientas -que dependen de la aportación humana y de cierto nivel de aptitud artística para brillar- están liberando el potencial creativo y ayudando a la gente a dar vida a sus conceptos de nuevas maneras. Esta perspectiva llevó a Labs.Monks, nuestro equipo de investigación y desarrollo, a explorar cómo la IA generativa puede mejorar el trabajo de nuestros equipos y clientes.

"Llevamos un tiempo jugando con esta tecnología y, desde que empezó a ponerse de moda, cada vez recibimos más preguntas al respecto", afirma Geert Eichhorn, Director de Innovación y Jefe de Labs. Por ejemplo: se puede hablar mucho del futuro de la creación de contenidos con ayuda de la IA, pero ¿cómo podrían integrarse las herramientas actuales en un proceso de producción actual?

En busca de una respuesta, los Labs.Monks colaboraron con animadores e ilustradores de nuestro equipo para desarrollar un prototipo de flujo de trabajo de producción que combina métodos de animación tradicionales con tecnología de IA de vanguardia. El resultado es un tráiler animado realizado con una fracción del tiempo y los recursos que requeriría una animación fotograma a fotograma de su longitud.

Aprende a vivir con el algoritmo.

Ancestor Saga es un proyecto paralelo de animación en 2D centrado en una cuestión central: ¿qué pasaría si los habitantes de la Era Vikinga se dieran cuenta de que viven en una simulación? Tras enterarse de que su propósito en la vida es entretener a los dioses, ¿aceptarán su nueva realidad o pondrán fin al mundo provocando el Ragnarök?

El tema puede resultar familiar a cualquiera que intente dar sentido al mundo cada vez más algorítmico en el que nos encontramos de repente. "Queríamos contar una historia que pudiera integrarse con la tecnología que utilizamos: mundos virtuales y personas virtuales", explica Samuel Snider-Held, tecnólogo creativo. Joan Llabata, Director Creativo Asociado, va más allá y menciona algunos de los retos a los que se enfrentan los humanos y la IA cuando no acaban de conectar. "Hay un espacio en el que tenemos que encontrar la mejor manera de comunicarnos con la máquina de forma eficaz", afirma.

Cuando se utiliza IA generativa, lo mejor es un enfoque a medida.

El reto de conseguir que los humanos y la IA se lleven bien demuestra la necesidad de que un equipo como Labs.Monks experimente con las herramientas disponibles. Aunque las herramientas estándar son estupendas para potenciar a los creadores individuales, integrarlas en los procesos de un equipo requiere una solución más personalizada.

La IA está diseñada para realizar tareas específicas muy, muy bien. Los proyectos que implican múltiples capacidades y fases requieren un flujo de trabajo que pueda integrar una variedad de IA generativa para cumplir diferentes objetivos. En un proyecto de animación, esto significa integrar la concepción creativa, el guión gráfico, el sonido y, por supuesto, la animación visual.

En nuestro caso, dice Snider-Held, "queríamos explorar cómo la IA podría permitirnos hacer el trabajo que realmente queremos hacer, aunque no dispongamos de tiempo o presupuesto" Descubrió que, aunque a nuestro equipo de animación le encanta la animación clásica fotograma a fotograma, a menudo se pasa por alto este método porque es más lento de producir y menos rentable que otras formas de animar.

Ahora el equipo tenía un objetivo claro: orquestar un flujo de trabajo basado en IA que pudiera producir una animación fotograma a fotograma en tiempo récord, sin comprometer la calidad. Se inspiraron en la rotoscopia, un método utilizado por animadores como Ralph Baskhi, en el que un artista traza imágenes sobre un metraje existente. Esta tarea de trasladar una grabación existente de un estilo a otro era ideal para la IA generativa imagen a imagen. Además, el equipo utilizó tecnología de IA para desarrollar diseños de fondo y leer la voz en off de la animación.

La IA generativa no es una ruptura radical con la tradición.

El equipo empezó grabando un modelo de personaje en 3D en un entorno virtual, capturando una variedad de poses para que un ilustrador trazara sobre ellas. Estos elementos visuales se utilizaron después para entrenar al modelo de IA sobre cómo dibujar al personaje en diferentes movimientos. "Si dibujas unos cinco fotogramas, tienes suficientes para enseñar a una red neuronal a pintar los demás", dice Snider-Held, señalando que es importante seleccionar fotogramas que sean diferentes entre sí para que la IA pueda captar varias formas, figuras y poses.

Además de rotoscopiar la producción virtual, el equipo también experimentó con material de archivo de acción real. La posibilidad de utilizar dos tipos distintos de material visual aportó más flexibilidad al proceso; los equipos podían combinar los distintos métodos según sus necesidades o capacidades específicas. Las criaturas fantásticas pueden capturarse más fácilmente en la producción virtual, mientras que un equipo con poca capacidad para animar movimientos realistas puede preferir utilizar una película de acción real como base. "Se obtiene una mejor actuación con el metraje que con un modelo 3D, pero el resultado visual es el mismo", afirma Snider-Held.

Al igual que ese proceso emulaba la rotoscopia clásica a mano, otras formas de integrar la IA seguían un proceso de animación tradicional, aunque con algunos pasos adicionales aquí y allá. Por ejemplo, la fase de storyboard es importante para visualizar qué tipos de planos o animaciones se necesitan para una secuencia concreta. Además de reflexionar sobre ello, el equipo también planificó qué tipos de IA serían los mejores para generar tal o cual plano.

El uso de Stable Diffusion -un tipo de IA generativa que traduce una indicación de texto en una imagen- permitió al equipo crear un gran volumen de fondos que podían intercambiar para probar cómo quedaban. "En esta fase se pueden explorar muchas cosas", afirma Snider-Held.

En cuanto al desarrollo de fondos en particular, "es como describir la toma que quieres a un director de fotografía", dice Llabata. Pudo probar cientos de entornos diferentes, ángulos de cámara, estilos artísticos, iluminación y mucho más, todo con relativa facilidad.

Desbloquear eficiencias y ganancias a largo plazo.

Las conclusiones anteriores apuntan quizás a la mayor ventaja que puede ofrecer un flujo de trabajo generativo basado en IA: una mayor flexibilidad a lo largo de la vida de un proyecto creativo. Ser capaz de generar 60 fotogramas en un minuto, en lugar de un fotograma en 60 minutos, hace que sea increíblemente fácil pivotar o cambiar las cosas en un abrir y cerrar de ojos.

Tampoco requiere una configuración de hardware sofisticada, lo que pone la creación de contenidos al alcance de equipos de todos los tamaños. "No hace falta un servidor gigante ni computación en nube", dice Eichhorn. "Un PC de juegos razonablemente bueno puede producir activos como telones de fondo rápidamente" Sin embargo, los usos más complejos de la IA, como la rotoscopia, pueden requerir más potencia.

La flexibilidad que ofrece la integración de la IA generativa en el proceso de trabajo de un equipo sigue reportando beneficios más allá de la vida de un solo proyecto. "Si tienes un proyecto de gran envergadura, el esfuerzo y el dinero invertidos en I+D se multiplican a lo largo del tiempo", afirma Snider-Held, y señala que tanto si una marca quiere hacer 10 animaciones como 30, los pasos para sentar las bases de la IA serán prácticamente los mismos.

Experimenta para encontrar un enfoque que se adapte a tus necesidades.

Herramientas como la difusión estable no están pensadas para sustituir a los creativos. "Una IA no conseguirá nada por sí sola", afirma Llabata. En cambio, estos productos darán a los equipos la capacidad de perseguir proyectos más ambiciosos con menos limitaciones de tiempo y presupuesto. No hay más que ver cómo la creación del tráiler de Ancestor Saga sigue de cerca un proceso de animación tradicional, sólo que con más eficiencias incorporadas.

La flexibilidad que ofrece la IA generativa puede ir mucho más allá de la animación tradicional.

Sea cual sea su caso de uso de la IA generativa, comprenda que, aunque crear herramientas desde cero puede ser un reto, el resultado es extremadamente potente. "Nuestro planteamiento es que si una herramienta estándar está suficientemente madura, hay que utilizarla. Si no, créala tú mismo", afirma Snider-Held. Además de asegurarse de que la herramienta se adapta a sus necesidades específicas, los equipos que opten por la vía de la creación a medida estarán mejor preparados para adaptarse al futuro, ya que la tecnología sigue evolucionando a un ritmo vertiginoso.

Entonces, ¿cree que está preparado para explorar lo que la IA generativa significa para su campo? Obtenga más información sobre los entresijos de la tecnología en el último informe de Labs que explora la rápida evolución de la creación digital.