¿Qué es lo 'Nex' para la industria de los juegos inmersivos?

Una plataforma de juegos con sede en San Francisco ha desarrollado una asociación estelar de juegos inmersivos con Sky Live

Última edición: 3 de agosto de 2023

Demond Cureton

A medida que la industria del juego eclipsa al sector cinematográfico y cinematográfico, las empresas de juegos están aprovechando sus tecnologías para crear experiencias inmersivas de siguiente nivel.

Empresas como Meta, holoride, Improbable, Steam, Sony y muchas otras han comenzado a aprovechar sus tecnologías de juegos serias para lograrlo. Con sus soluciones innovadoras, cada vez más empresas y sus bases de clientes han ingresado a las tecnologías emergentes a través de plataformas de realidad mixta (MR).

Comúnmente utilizada para crear contenido 3D en tiempo real (RT3D), la captura de movimiento (mocap) se ha convertido rápidamente en un pilar del mercado de realidad extendida (XR), empleada en los últimos auriculares.

Utilizando sus cámaras orientadas hacia adelante, seguimiento de manos y ojos y de 3 a 6 grados de vuelo (DoF), los auriculares más populares del mundo han empleado herramientas de captura de movimiento para aumentar la inmersión del usuario.

Una empresa veterana en la industria de la visión por computadora y los juegos mocap ha compartido sus historias de éxito con un enfoque novedoso y más simple.

XR Today tiene el placer de entrevistarDavid Lee, cofundador y director ejecutivo de Nex Team Inc. . En nuestra discusión, exploramos el auge de las tecnologías inmersivas de captura de movimiento para la industria del juego.

También examinamos las soluciones de juegos mocap Nex Playground de su empresa, su kit de desarrollo de movimiento (MDK) basado en Unity y su asociación con Sky Live.

David Lee : Nuestro viaje comenzó en 2017 después de que quisimos crear captura de movimiento usando las cámaras de los teléfonos. Esto tuvo lugar en torno al lanzamiento del chip A12 Bionic de Apple. Apple también lanzó CoreML, que básicamente simplificó la forma en que se ejecutan los modelos de aprendizaje automático en dispositivos móviles.

Un avance rápido hasta el día de hoy, y ese nivel de potencia de procesamiento se encuentra en un número cada vez mayor de procesadores de sistema en un chip (SoC).

Los SoC emblemáticos ahora tienen esas capacidades y las aprovechan para mocap básico y seguimiento de movimiento en dispositivos. Nex los utiliza de forma eficaz en sus cuadros de configuración, donde el fotograma de la cámara, capturado en el dispositivo, se envía a la unidad de procesamiento neuronal (NPU). Aquí es donde el análisis de aprendizaje automático (ML) extrae la postura del cuerpo y podemos capturar el movimiento de un usuario.

Posteriormente, esto se pasa al motor del juego para dibujar cuadros que respondan a él. Así es como podemos interpretar los movimientos del usuario en la pantalla, permitiendo a los jugadores interactuar con el contenido.

Hemos estado trabajando con esto durante bastante tiempo y hemos integrado el conjunto de tecnologías en nuestro kit de desarrollo de movimiento (MDK). Tenemos dos kits desarrollados en el motor de juegos Unity y cuentan con seguimiento de movimiento a través de una única cámara RGB.

Esto implementa la capacidad de captura de movimiento en sistemas operativos como Android, que se ejecuta en dispositivos Nex Playground. También contamos con aceleración de hardware, que aprovecha las capacidades subyacentes del SoC para impulsar la inferencia de aprendizaje automático para modelos de pose. También contiene muchas herramientas para crear juegos de movimiento más fácilmente.

Nosotros mismos utilizamos el MDK y compartimos nuestra estrategia con estudios externos que crean videojuegos para Nex Playground. Algunas de las tecnologías se construyen internamente y otras también provienen de asociaciones.

David Lee : Sky Live es una cámara interactiva para nuestras cámaras de TV interactivas Sky Glass. Los televisores comenzaron a enviarse el año pasado y nuestras cámaras interactivas se lanzaron en junio pasado.

Estos cuentan con chips SoC avanzados que procesan 30 cuadros por segundo para extraer movimiento. Esta es la tecnología central que permite a las personas crear experiencias basadas en el movimiento.

En general, el dispositivo tiene cuatro casos de uso principales: videoconferencia, visualización de llamadas grabadas, visualización de programas conectados y, por último, juegos en movimiento y seguimiento del estado físico para obtener información sobre los entrenamientos.

Nex es básicamente un importante socio de juegos en movimiento de Sky, y de las 27 experiencias que se incluyen con el lanzamiento, Nex es responsable de 17 de esas experiencias.

Esto funciona con un socio más allá del streaming al llevar experiencias interactivas a las salas de estar de las personas. También nos ayudará a ampliar la forma en que distribuimos juegos a hogares y consumidores en el mercado del Reino Unido.

David Lee : Recuerde que los juegos mocap no son nuevos y existen desde hace mucho tiempo. Puedes contar la Nintendo Wii, Microsoft Kinect y la Nintendo Switch también continúa lo que empezamos.

A diferencia de los sistemas de juego que tenemos ante nosotros, [no] requerimos auriculares, sensores en el cuerpo ni sistemas de cámaras más complejos. En cambio, queremos construir un futuro en el que los televisores y las cajas de configuración, o un hardware más simple como Nex Playground, tengan la capacidad de permitir a las personas jugar juegos en movimiento, listos para su adopción masiva.

Se podría decir que imaginamos que se acerca el momento del iPhone para el ecosistema de cajas de configuración de TV, donde los casos de uso para ellos se expandirían más allá de la transmisión de contenido unilateral, pero con la cámara siendo altamente interactiva.

Ya existe un creciente interés por estas experiencias y diferentes fabricantes están entrando al mercado con sus propias tecnologías. Somos sólo uno de los entrantes al mercado con un dispositivo con cámara que puede ir a cualquier parte.

¡Estamos emocionados de lanzar finalmente nuestro avance de @starrigame en Steam! ¡Prepárate para las nuevas escenas de juegos, atuendos, personajes y canciones que llegarán con nuestro lanzamiento de Steam este otoño! ➡️ ¡Añádenos a tu lista de deseos ahora! https://t.co/FjcHYAF6jl #starri #movetomusic #steam pic.twitter.com/ZRkCGjufGI

– Nex (@nexmotiongames) 21 de julio de 2023

Hemos enviado nuestros juegos a dispositivos móviles durante los últimos años después de lanzar nuestro primer juego de Steam. Sin embargo, observamos que las mejores experiencias de juego se dan en el salón, en los espacios comunes donde se reúne la familia para divertirse.

Nuestra empresa tiene como objetivo convertir el tiempo frente a la pantalla en tiempo de juego activo, transformando las salas de estar en parques infantiles.

David Lee : Nuevamente, el MDK se basa en Unity, donde los desarrolladores pueden descargar el complemento de Unity. Aquí pueden acceder a todo el conjunto de funciones de las herramientas MDK.

Trabajamos con desarrolladores con experiencia con el motor de juegos Unity, brindándoles facilidad de uso para nuestro MDK.

Aquellos interesados ​​en crear juegos para Nex Playground pueden contactarnos directamente y firmar un acuerdo de confidencialidad (NDA), donde luego compartiremos el MDK con ellos.

Algunos crean su primer juego en unos pocos meses y podemos exhibirlo rápidamente para mostrárselo a otros jugadores en la Game Developers Conference (GDC).

Depende de la capacidad de los desarrolladores del juego y de si pueden tener algo en funcionamiento rápidamente. Sin embargo, aunque comenzar es fácil, el ciclo normal de desarrollo de juegos para diferentes estudios opera en diferentes líneas de tiempo. Todo esto depende de la profundidad, la compresibilidad y otros factores relacionados con el juego y sus desarrolladores.

Algunos desarrolladores trajeron sus experiencias de realidad virtual y les resultó bastante fácil trasladarlas a Nex Playground. Otros innovarían e imaginarían nuevas formas de juego que antes eran imposibles, sorprendiéndonos. Ha sido un viaje increíble para Nex trabajar con desarrolladores externos para comenzar a incorporar juegos al ecosistema.

David Lee : Nuestro MDK ya admite la implementación de juegos en movimiento en teléfonos, tabletas, Mac, PC y otros. Sin embargo, entendemos que la televisión sigue siendo la mejor experiencia, por lo que seguimos agregando más soporte para ellos, incluido Sky Live.

Además de admitir Nex Playground, que es hardware dedicado, lo agregamos para Apple tvOS 17. Esto ocurrió en la Conferencia Mundial de Desarrolladores (WWDC) de Apple 2023, donde la compañía agregó soporte de cámara de continuidad para tvOS.

Estamos viendo que todas estas plataformas habilitadas para cámaras son un objetivo importante para los juegos mocap. Esto nos permitirá construir un ecosistema de juegos para el usuario final. Estamos creando servicios para agrupar o integrar en dispositivos como Sky Live, Nex Playground y otros.

De esa manera, podemos seguir mejorando las capacidades de nuestro MDK, admitir más plataformas y mejorar nuestro kit. Esto facilitará la creación de juegos y alentará a los desarrolladores a incorporarlos a la plataforma para crear experiencias inmersivas.

También queremos incorporar la propiedad intelectual (PI), validando la plataforma y ampliándola según nuestra estrategia general. Junto con nuestra distribución, desarrollo, propiedad intelectual y otros socios, nos permiten trasladar colectivamente esas experiencias realmente atractivas para los consumidores.