Virtualización de objetos del mundo real en espectáculos en directo

Angélica: ¡Hola a todos! Bienvenidos a Scrap The Manual, un podcast en el que provocamos momentos "ajá" a través de debates sobre tecnología, creatividad, experimentación y cómo todo ello funciona conjuntamente para abordar retos culturales y empresariales. Me llamo Angélica.

Rushali: Y yo me llamo Rushali. Ambas somos tecnólogas creativas de Labs.Monks, un grupo de innovación dentro de Media.Monks cuyo objetivo es dirigir e impulsar soluciones globales centradas en la evolución de la tecnología y el diseño.

Angélica: Hoy tenemos un nuevo segmento llamado "¿Cómo lo hacemos?", en el que damos a nuestra audiencia un vistazo a la vida cotidiana en Labs y abrimos la oportunidad a nuestros oyentes de presentar ideas o proyectos. Y averiguamos cómo podemos hacerlo realidad. Empezaremos explorando la idea en sí, los componentes que la hacen única y cómo podría desarrollarse más, seguido de una comprobación de viabilidad. Y si actualmente no es factible, ¿cómo podemos conseguirlo?

Lo que nos lleva a la idea de hoy, presentada por Maria Biryukova, que trabaja con nosotros en nuestro departamento de Experiencias. María, ¿qué idea tienes hoy para nosotros?

Maria: Hace poco estuve jugando con una aplicación que te permite escanear en 3D cualquier objeto de tu entorno. Y pensé: ¿y si pudiera escanear cualquier cosa que tenga a mi alrededor, por ejemplo este micrófono, cargarlo en directo y ver cómo cobra vida en el escenario XR durante el espectáculo en directo?

Angélica: Impresionante, gracias María por presentar esta idea. Es un reto creativo increíble y hay muchos elementos muy buenos. Lo que más me gusta de esta idea, y es algo que personalmente me apasiona, es la mezcla del mundo físico con el mundo digital, porque ahí es donde ocurre mucha magia.

Ahí es donde, cuando apareció por primera vez la RA, la gente decía: "Vaya, ¿qué es esto que aparece justo delante de mí?" O en la realidad virtual, cuando introdujeron estos escaneos del mundo real en las primeras versiones de los cascos de cartón de Google, fue como "¡Guau! No puedo creer que esto esté aquí"

Así que esto toca la fisicalidad de un objeto real que existe en el mundo real... alguien es capaz de escanearlo y luego llevarlo a una escena virtual. Así que hay un trascender donde están esas líneas, que ya son bastante borrosas para empezar. Y esta idea sigue desdibujándolas, pero creo que en el buen sentido, y de forma que los invitados y los que forman parte de la experiencia puedan tener un papel en el que vayan más allá de ser un observador pasivo, para ser un participante activo en ellas.

Vemos esto un poco con WAVE, donde tienen un espacio virtual y la gente es capaz de ir a este concierto virtual y esencialmente pagar como $ 5 para tener un poco de corazón se lanza a la cabeza de Justin Bieber. Con amor, por supuesto, pero usted consigue el punto. Donde este, lo lleva un paso más allá diciendo: "Bueno, ¿qué pasa si hay algo en mi entorno?"

Así que tal vez hay un objeto que tal vez pertenece a la serie de una manera particular. Digamos que es como un oso de peluche. Y todas las personas que tienen osos de peluche en todo el mundo pueden escanear su oso de peluche y ponerlo en este entorno. Así que son como, "Oh, ese es mi oso de peluche." Similar a cuando la gente está en la pantalla gigante durante los eventos deportivos y son como, "Hey, esa es mi cara ahí arriba." Y luego se vuelven locos con eso. Así que permite una interacción más bidireccional, lo que está muy bien aquí.

Sí. Esa es la parte que me parece interesante. A medida que crecemos en este mundo donde el contenido generado por el usuario es extremadamente útil y empezamos a caminar en el mundo del metaverso, escanear y obtener objetos 3D que te pertenecen personalmente -o una cosa de arcilla de cerámica, o una olla que hiciste tú mismo- y ser capaz de llevarlo al mundo virtual va a ser una de las cosas más importantes. Porque ahora mismo, en Instagram, TikTok o cualquiera de las otras plataformas sociales, la mayoría de las veces generamos contenido en 2D, o contenido textual, o audio, pero no hemos explorado la generación y el intercambio de contenido en 3D extremadamente rápido como hacemos con las fotos y los vídeos en Instagram. Así que hablamos del "por qué" Está claro que es un tema interesante, y está claro que es una idea interesante. Entremos en el "qué"

Angélica: Sí. Por lo que oímos sobre esta idea, tenemos el escaneado del objeto, que se conectará con el escaneado 3D y la fotogrametría, que podemos profundizar un poco en las diferencias entre los dos tipos diferentes de tecnologías. Y luego, cuando el escaneado se incorpora al entorno, ¿se limpia? ¿Actúa como su propio modelo 3D sin ningún artefacto del entorno en el que se escaneó originalmente? Y una parte de eso es también la composición. Así que hay que asegurarse de que el objeto no parezca un gran rayo de sol cuando el evento es muy tenebroso y oscuro. Tiene que encajar en la escena en la que está.

Y estamos escuchando moderación de contenidos, en términos de asegurarse de que cuando los invitados de cualquier tipo se vuelven un poco más inmaduros de lo que la ocasión requiere, que filtra esas situaciones para asegurarse de que el objeto que necesita ser escaneado en el medio ambiente es el correcto.

Rushali: Absolutamente. Lo interesante de tu recorrido por los distintos componentes es la forma en que se conjuga esta idea: es tan instantánea y en tiempo real que tenemos que desglosar cómo hacerlo de forma dinámica.

Angélica: Sí. Y creo que esa es posiblemente la parte más difícil, aparte del aspecto de la moderación del contenido. Usemos la fotogrametría como ejemplo. La fotogrametría es el proceso de tomar múltiples fotografías de un objeto desde tantos lados como sea posible. Un ejemplo de ello es la API de captura de objetos de Apple. Sólo tienes que tomar un montón de fotos. Hace lo suyo, lo procesa, piensa en ello. Y al cabo de cierto tiempo (a veces es rápido, a veces no... depende de la calidad que necesite), genera un modelo 3D basado en esas fotos.

Rushali: Sí. Lo que quería añadir sobre la fotogrametría, que usted ha descrito muy bien, es que en los últimos cinco años la fotogrametría ha pasado de ser algo muy básico a algo increíblemente bello con gran rapidez. Y una de las principales razones de ello es que la capacidad de detección de profundidad se ha hecho muy accesible.

Imaginemos que alguien se coloca sobre una plataforma giratoria y toma fotografías desde todos los ángulos, y que nosotros giramos la plataforma muy despacio y acabamos teniendo unas 48.000 fotografías para unirlas y crear este objeto en 3D. Pero una gran pieza que falta en este rompecabezas es la idea de profundidad. ¿El brazo de esta persona está más lejos o más cerca? Y cuando entra la información de profundidad, de repente se vuelve mucho más evolucionado tener un objeto 3D con esa información de profundidad. Así que los iPhones que tienen una cámara de detección de profundidad, más cerca del año pasado y el año anterior a ese, realmente han mejorado las capacidades.

Angélica: Sí, ese es un buen punto. Hay una aplicación que llevaba mucho tiempo haciendo este proceso personalizado que requiere mucho tiempo. Pero cuando Apple lanzó la API de captura de objetos, dijeron: "Oye, en realidad, vamos a renovar toda nuestra aplicación usando esta API" E incluso dicen que es una mejor experiencia para los usuarios de iPhone debido a la combinación de la API de Captura de Objetos y el aprovechamiento de las cámaras súper mejoradas que ahora están saliendo de sólo un teléfono.

Usuarios de Android, no estáis fuera de peligro. Algunos teléfonos Samsung, como el Samsung 20 y superiores, tienen una función integrada en el software del teléfono que permite realizar el mismo proceso que acabo de mencionar sobre un osito de peluche.

Hay una prueba en línea donde alguien tiene un oso de peluche a la izquierda de una habitación, lo escanean y luego son capaces de hacer una nube de puntos de la zona a su alrededor. Así que podrían decir: "Bueno, esta es la habitación. Aquí es donde están las paredes. Aquí es donde está el suelo" Y luego pegar ese objeto en particular que acaban de escanear en la otra esquina de la habitación y fijarlo o guardarlo. Así que si salen de la aplicación, vuelven a entrar, pueden cargarlo, y ese objeto virtual sigue en el mismo lugar debido a la nube de puntos que escanea su habitación, su habitación física, y lo ponen justo donde estaba. Es como tener una contraparte física y una contraparte digital. Las cámaras mejoradas no se limitan a los iPhone. Esta experiencia es posible porque las cámaras Samsung también mejoran con el tiempo.

El proceso que acabo de explicar sobre el osito de peluche, la nube de puntos y su colocación en un entorno... es un gran ejemplo de escaneado 3D, en el que puedes moverte alrededor del objeto, pero no se trata necesariamente de hacer un montón de fotos y unirlas para crear un modelo 3D. La parte de escaneado 3D es un poco más dinámica. Pero es bastante sensible a la luz. Así que, por ejemplo, si estás en una zona muy soleada, será más difícil obtener un modelo 3D de mayor calidad. Así que hay que tener en cuenta que el entorno es la clave. La fotogrametría también, pero el escaneado 3D es especialmente sensible a esto.

Rushali: Así que niños, nada de sobreexponer amablemente..

Angélica: ...de fotos. Sí

Aunque, ese proceso de escaneado puede llevar algún tiempo y puede variar en términos de fidelidad. Y además, ese modelo 3D puede ser bastante voluminoso. Puede ser un archivo de gran tamaño. Así que entonces es cuando estamos entrando en la conversación de tener este ser subido a la nube y descargar parte de ese almacenamiento allí. No se trata de reforzar el teléfono del usuario, sino de que vaya a otro sitio y el programa pueda canalizarlo en la experiencia, después de la parte de moderación del contenido, por supuesto.

Rushali: Has sacado un gran punto aquí también, porque una gran, gran, gran parte de esto es también Internet rápido al final del día porque los archivos 3D son archivos pesados. Son archivos que contienen mucha información sobre las texturas.

Cuantos más polígonos hay, más pesados son los archivos. Toda esa parte dramática de los gráficos entra en juego y te vas a quedar atascado si no tienes un internet extremadamente rápido. Y yo *guiño, guiño* creo que el 5G está implicado en esta situación.

Angélica: Sí, seguro. 5G es definitivamente un punto de contención en los Estados Unidos en este momento, porque se están convirtiendo a ese proceso, que está afectando a la aviación y la FAA y otras cosas por el estilo. Sí, las posibilidades de la 5G son enormes, pero aún quedan cosas por resolver.

Rushali: Este es el panorama del escaneado 3D y la fotogrametría. Y ahora mismo tenemos aplicaciones que, casi en tiempo real, pueden ofrecerte un escaneado 3D de un objeto en su aplicación. Pero la siguiente parte es la integración de esta función concreta con un espectáculo en vivo o un ecosistema virtual, o introducirla en un metaverso. ¿Cómo cree que será?

Angélica: Esto implicará unos cuantos componentes diferentes. Uno: el almacenamiento en la nube, o un servidor de algún tipo que pueda almacenar, no sólo el escaneado de una persona, sino los escaneados de varias personas. Y yo podría ver fácilmente una situación de sobrecarga en la que si le dices a un público de Beliebers, "Oye, quiero que escanees algo."

Ellos dicen, "¡Está bien!" Y tienes 20.000 escaneos que ahora tienes que cribar dinámicamente y subirlos a la nube para poder incluirlos en la experiencia. Puedo anticipar una gran sobrecarga.

Rushali: Has dado en el clavo. En un concierto hay entre 20.000 y 50.000 personas entre el público. Y todos están escaneando algo que ya han escaneado o que escanearán en directo. Será mejor que tengas un montón de servidores allí para procesar todos estos datos que te están arrojando. Imagina hacer esta actividad, escanear un objeto y mostrarlo en un programa en directo. Puedo imaginar al 100% que alguien va a escanear algo inapropiado. Y como esto es en tiempo real, va a ser transmitido en un programa en vivo. Lo que nos lleva a la idea de la curación y la idea de la moderación.

Angélica: Porque los adultos también pueden ser niños.

Rushali: Sí, absolutamente. Si no hay moderación... resulta que ahora hay un gran [producto para adultos] en medio de tu concierto. ¿Y qué vas a hacer al respecto?

Angélica: Sí, exactamente. Vale, ya hemos hablado de que existen muchas plataformas diferentes que permiten el escaneado 3D o el aspecto fotogramétrico de escanear un objeto y crear una versión virtual del mismo, además de otras consideraciones.

Ahora entramos en... ¿cómo lo hacemos? Aquí es donde exploramos las formas de dar vida a la idea, la tecnología en la que podemos profundizar un poco más y algunas cosas a tener en cuenta de cara al futuro. Una cosa que surge inmediatamente (hemos hablado mucho de escanear) es ¿cómo lo escanean? Hay un montón de aplicaciones que son de código abierto que permiten una aplicación personalizada para habilitar el aspecto de captura de objetos de la misma. Hablamos de Apple, pero también hay un poco que se ha implementado dentro de ARCore, y esto cobra vida con las cámaras LiDAR. Es algo que requeriría mucho trabajo personalizado para poder hacerlo desde cero. Tendríamos que confiar en algunas API de código abierto para, al menos, conseguir la infraestructura, de modo que pudiéramos ahorrar mucho tiempo y asegurarnos de que la app que se crea se hace en un corto periodo de tiempo. Porque eso es lo que tiende a suceder con muchas de estas ideas geniales es que la gente dice: "Quiero esta idea realmente impresionante, pero en unos tres meses, o quiero esta idea impresionante ayer"

Rushali: Quiero señalar que muchas de estas tecnologías han llegado en los últimos años. Si tuvieras que hacer esta idea hace cinco años, probablemente no tendrías acceso a las API de captura de objetos, que ahora están muy avanzadas porque pueden aprovechar la capacidad de las cámaras y los sensores de profundidad. Así que hacer esto en los tiempos que corren es mucho más factible, sorprendentemente.

Y si tuviera que pensar en cómo hacer esto, la primera mitad es básicamente replicar una aplicación como Qlone. Y lo que hace es utilizar una de las API de captura de objetos, pero también aprovechar ciertas bibliotecas de detección de profundidad y crear ese objeto 3D.

La otra parte de este sistema sería: ahora que tengo este objeto, tengo que ponerlo en un entorno. Y esa es la gran incógnita. ¿Vamos a crear nuestro propio entorno o se va a integrar en una plataforma como Roblox o Decentraland? ¿Cuál es el ecosistema en el que vivimos? Eso hay que definirlo.

Angélica: Sí, porque cada una de estas plataformas tiene sus propias posibilidades para permitir esta forma de obtener modelos 3D de forma dinámica y en directo. La respuesta fácil, y digo "fácil" con toda la razón del mundo, es hacerlo a medida, porque se puede controlar más ese entorno que tener que trabajar con una plataforma que tiene sus propias reglas.

Lo aprendimos durante el prototipo del metaverso de Roblox, en el que queríamos incluir ciertas características, pero las restricciones de la plataforma nos impedían hacerlo.

Así que ese sería un factor realmente clave a la hora de determinar: ¿utilizamos una plataforma preexistente o creamos un entorno a medida en el que podamos controlar mucho más esos factores?

Rushali: Sí. Y mientras hablabas de las partes del ecosistema, se me ocurrió algo. Estamos hablando de escanear objetos en 3D, como, sobre la marcha lo más rápido posible. Y pueden no salir muy bien. Puede que no sean precisos. La gente podría no tener la mejor iluminación. La gente podría no tener las manos más firmes porque se necesitan manos firmes cuando se escanean objetos en 3D. Y otro aspecto que creo que debería tener en cuenta cuando se trata de cómo hacer esto es utilizar un poco de aprendizaje automático para poder predecir qué partes del escaneado 3D se han escaneado correctamente o incorrectamente para mejorar la calidad del escaneado 3D.

Así que en mi cabeza, este es un proceso de varios pasos: averiguar cómo capturar objetos y obtener esa información a través de las API disponibles por ARCore o ARKit (cualquiera que sea), traer el objeto y ejecutarlo a través de un algoritmo de aprendizaje automático para ver si es la mejor calidad, y luego traerlo al ecosistema. No es por complicarlo, pero siento que este es el tipo de cosas en las que se puede utilizar el aprendizaje automático.

Angélica: Sí, definitivamente. Y algo que sería interesante tener en cuenta es que el aspecto dinámico de escanear algo y luego llevarlo al directo es la parte clave en todo esto. Pero también es lo más complicado y lo que más depende de la tecnología, porque hay poco tiempo para hacer muchos procesos diferentes.

Una cosa que yo recomendaría es: ¿tiene que ser en tiempo real? ¿Puede ser algo que se haga con unas horas de antelación? Digamos que hay un evento de Coachella realmente impresionante en el que tenemos una combinación de un avatar digital influyente de algún tipo compartiendo el escenario con el artista en directo. Y para los miembros VIP, si escanean un objeto antes del espectáculo, podrán tener esos objetos realmente renderizados en la escena.

Esto hace varias cosas. Una: disminuye la cantidad de potencia de procesamiento que se necesita porque sólo está disponible para un grupo más pequeño de personas. Así que se vuelve más manejable. Dos: permite más tiempo para procesar esos modelos con mayor calidad. Y tres: moderación del contenido. Asegurarse de que lo que se escaneó es algo que realmente encajaría en el programa.

Y hay un poco más de un ir y venir. Porque es una experiencia VIP, podrías decir: "Hey, así que la exploración no salió tan bien." Estoy de acuerdo con usted, Rushali, que la aplicación de aprendizaje automático ayudaría en la asistencia a este proceso. Así que tal vez tenerlo un poco de tiempo antes de la experiencia real en sí aliviaría parte del procesamiento más pesado y el uso más pesado que puede causar algunas preocupaciones cuando se hace en vivo.

Rushali: Y para añadir algo más, yo diría que esta experiencia (si tuviéramos que hacerla hoy en 2022) probablemente sería algo parecido a esto: tomas la entrada al principio de un espectáculo en directo, y utilizas la salida hacia el final del mismo. Así que tienes esas dos horas para hacer todo el proceso de moderación, para hacer todo el proceso de pasarlo por el control de calidad. Todos estos pasos que tienen que suceder en el medio.

Además, hay una gran cantidad de transferencias de datos sucediendo también. También hay que renderizar cosas al mismo tiempo, y esto es algo complicado de hacer en tiempo real hoy en día. Tienes que hacerlo con soluciones creativas, con respecto a cómo lo haces. Y no con respecto a las tecnologías que utilizas, porque las tecnologías actuales tienen ciertas limitaciones.

Angélica: Sí, y la tecnología cambia. Por eso la idea es clave, porque quizá no sea perfectamente factible hoy, pero podría serlo dentro de unos años. O incluso antes, no sabemos lo que está pasando detrás de la cortina de muchas de las empresas FAANG. Cualquier día podrían aparecer nuevas soluciones que permitan aliviar mucho más algunos de estos puntos dolorosos del proceso.

Así que hemos hablado sobre el aspecto dinámico de la misma. Hemos hablado de la exploración en sí, pero hay algunas cosas a tener en cuenta, ya sea para los que escanean un objeto. ¿Qué cosas pueden ayudar a obtener un escaneado limpio?

Lo básico es evitar la iluminación directa. Así que no lo ilumines con la luz del teatro, porque la imagen saldrá borrosa. Una iluminación uniforme es muy importante, así como evitar los objetos brillantes. Aunque son muy bonitos, no se traducen muy bien en modelos fiables porque la luz se reflejará en ellos.

Esas son sólo algunas, y definitivamente hay otras, pero esas son algunas de las cosas que durante este proceso serían parte de las instrucciones cuando los usuarios estén escaneando esto. Después del escaneo, como he mencionado, hay algunos artefactos que podrían estar dentro del propio escaneo. Así que un proceso de limpieza automático sería realmente útil aquí, o tiene que hacerse manualmente. La parte manual llevaría mucho más tiempo, lo que perjudicaría su viabilidad. Y ahí es también donde tal vez el aspecto de aprendizaje automático podría ayudar con eso.

Y luego, además de la limpieza, estaría la composición, asegurándose de que parece natural dentro del entorno. Así que todas esas cosas tendrían que hacerse como una combinación de un proceso automatizado o un proceso manual. En el caso de los modelos finales que se incluyan en el espectáculo, podría ser un proceso más manual para garantizar que la iluminación se adapte a la ocasión. Y si seguimos el camino que has mencionado, es decir, hacerlo al principio del espectáculo, entonces tenemos un montón de tiempo (y digo un montón, en realidad son dos horas, siendo optimistas) para hacer todos estos procesos que requieren mucho tiempo y asegurarnos de que son relevantes al final del espectáculo.

También hemos hablado mucho de la moderación. Hay muchas formas diferentes de moderación, pero se centra principalmente en imagen, texto y vídeo. Hay un artículo de la Universidad A&M de Texas que explora la moderación de objetos 3D, sobre todo para evitar que aparezcan modelos 3D NSFW (no aptos para el trabajo) cuando los profesores sólo quieren que sus alumnos busquen modelos para imprimir en 3D. Ese es realmente el origen de este artículo. Y sugirieron diferentes maneras de llevar a cabo el proceso de aprendizaje de la moderación, que mencionan es el aprendizaje aumentado humano-en-bucle. Pero no siempre es fiable. Este es un espacio exploratorio en el que no hay muchas soluciones concretas. Así que esto sería una de las cosas más pesadas de implementar, simplemente mirando todo el ecosistema del concepto de lo que necesitaría ser implementado.

Rushali: Sí, si tuviera que añadir una forma más sostenible. Y cuando digo sostenible, quiero decir, no con respecto al planeta, porque este proyecto no es en absoluto sostenible, teniendo en cuenta que hay grandes cantidades de datos que se transfieren. Pero volviendo a lo de hacer más sostenible el proceso de moderación, siempre se puede abrir a la comunidad. Así, los asistentes al concierto deciden lo que se publica. Tal vez haya un sistema de votación, o tal vez haya una IA automatizada que pueda detectar si alguien ha subido algo inapropiado. Hay diferentes enfoques dentro de la moderación que usted podría tomar. Pero para el prototipo, vamos a decir: sin moderación porque estamos discutiendo, "¿Cómo hacemos esto?" Y simplificarlo es una forma de llegar a un prototipo.

Angélica: Correcto, o podría ser una moderación manual.

Rushali: Sí, sí.

Angélica: Lo cual ayudaría, pero necesitarías tener el equipo preparado para el proceso de moderación del mismo. Y podría ser para un grupo más pequeño de personas.

Así que podría ser para una audiencia de, digamos 50 personas. Eso es mucho más pequeño de una audiencia a tener que tamizar a través de las exploraciones que se hacen frente a una multitud de 20.000 personas. Definitivamente tendría que ser un proceso automatizado si tiene que hacerse en un corto espacio de tiempo.

En conclusión, lo que hemos aprendido es que esta idea es factible... pero con algunas advertencias. Advertencias relativas al grado de dinamismo que debe tener la exploración. ¿Tiene que ser realmente en tiempo real o podría ser algo que puede tener lugar en el transcurso de unas pocas horas, o tal vez incluso unos pocos días o unas pocas semanas? Eso lo hace más o menos factible en función de los requisitos que haya que cumplir.

La otra es pensar en la limpieza, en asegurarse de que el escaneado encaja con el entorno, de que queda bien, todo ese tipo de cosas. El aspecto de la moderación para asegurarse de que los objetos que se cargan se adaptan a lo que hay que implementar. Así que si decimos: "Oye, queremos osos de peluche en la experiencia", pero alguien sube una naranja. Probablemente no queremos que la naranja, por lo que hay un poco de detección de objetos allí.

Bueno, eso es todo. Gracias a todos por escuchar Scrap The Manual y gracias, María, por enviar la pregunta que hemos respondido hoy aquí. Asegúrese de revisar nuestras notas del programa para obtener más información y referencias de las cosas que hemos mencionado aquí. Y si te gusta lo que oyes, suscríbete y compártelo. Puedes encontrarnos en Spotify, Apple Podcasts y dondequiera que obtengas tus podcasts.

Rushali: Y si quieres sugerirnos temas, ideas para segmentos o comentarios en general, no dudes en enviarnos un correo electrónico a scrapthemanual@mediamonks.com. Si desea asociarse con Media.Monks Labs, no dude en ponerse en contacto con nosotros a través de allí también.

Angélica: Hasta la próxima..

Rushali: Gracias