Apple Vision Pro ¿Qué novedades aporta al 3D?

Apple Vision Pro es el dispositivo totalmente nuevo que Apple traerá el año que viene. Este dispositivo es a la vez algo ya visto en otros dispositivos, pero también algo totalmente nuevo.

Básicamente, Apple Vision Pro es un dispositivo de RA (Realidad Aumentada), pero fabricado con tecnología de RV (Realidad Virtual) muy avanzada. De este modo pueden evitar todos los grandes inconvenientes que limitan los visores AR para liberar todo su potencial, convirtiéndolo en el mejor visor AR. En cualquier momento, el dispositivo puede convertirse en el mejor casco de RV, puede ser cualquiera de los dos, o mezclar ambos conceptos, es el dispositivo de Realidad Mixta definitivo.

Como las HoloLens 2 (el visor de RA más avanzado hasta ahora), el visor presenta un interfaz por encima del mundo real. Pero la interfaz de Vision Pro es más plana que la de HoloLens, y utiliza principalmente interfaces 2d, los iconos tienen capas de profundidad, pero básicamente siguen siendo 2d. Las primeras HoloLens ya tenían una interfaz 3D completa, que utilizaba iconos y herramientas 3D, presentados en un lienzo en ángulo, en lugar de completamente planos. En Vision Pro, el usuario puede mover el lienzo de cada App hacia los lados, y girará un poco, pero seguirán siendo planos. En cambio, utilizan el 3D para proyectar sombras e iluminación realistas en la habitación.

Al ser un casco de RV en su núcleo, ofrecen la posibilidad de sustituir el mundo real y ganar inmersión con el simple giro de una corona digital. Esto permite elegir cuánto mundo virtual o real quieres ver.

La interacción con las aplicaciones se realiza con la voz, el seguimiento ocular y gestos en el aire con los dedos. Mirar los iconos o las opciones de la interfaz los amplía ligeramente o los resalta. Las primeras pruebas prácticas muestran una experiencia fluida, el seguimiento ocular y los gestos son intuitivos, y la interfaz funciona con una fluidez impresionante para ser un prototipo (la mayoría de los expertos dicen que debe funcionar a 120 Hz), no hay ningún signo de retardo en las interacciones.

El dispositivo es lo suficientemente inteligente como para detectar cuándo otra persona está a la vista, interactuando contigo. En ese momento, una pantalla lenticular 3D multivista externa (sí, una pantalla 3D fuera del dispositivo), muestra a la otra persona los ojos del usuario en 3D. La gente pensará que está viendo tus ojos reales a través de un cristal, pero están viendo una pantalla 3D. Esperemos que también utilicen esta pantalla 3D sin gafas para otras indicaciones mientras se usa el dispositivo (como iconos 3D o emojis, o avisos seleccionables del tipo «no molestar»).

La función EyeSight permite al usuario interactuar con la otra persona de forma natural sin tener que quitarse las gafas. Cuando alguien se acerca a ti para darte algo, la interfaz desaparece alrededor de esa persona. Todo es automático.

La posibilidad de ver el mundo real en una resolución sin precedentes permite utilizar teclados reales con el sistema o interactuar con otras pantallas como la de tu smartphone, sin tener ningún problema para leer textos pequeños. Lo primero que notas cuando te pones el visor es la impresionante resolución, mucho mejor que la de cualquier otro. La imagen se muestra sin ninguna latencia y todo se ve nítido, definido, suave y claro. Cuando miras un ordenador Mac, los programas saltan automáticamente de la pantalla y llenan el mundo real para interactuar mejor con ellos. Pero, a diferencia de las HoloLens, la interfaz es la misma, no mejora las posibilidades del ordenador. La interacción también funciona con el iPhone y el iPad, pero no sabemos qué aspecto tendrá.

El casco permite capturar fotos y vídeos espaciales, y Apple dice que Vision Pro es su primera cámara 3D, pero no es cierto: tienen cámaras 3D TrueDepth integradas en muchos dispositivos Apple. Y puedes capturar imágenes con mapa de profundidad con las cámaras traseras de la mayoría de los modelos de iPhone, incluso grabando vídeos en modo ProRes. También hemos utilizado el iPhone 11 Pro como cámara 3D tradicional de dos lentes casi desde su lanzamiento. La gente que ha probado la cámara 3D de Vision Pro ha dicho que el vídeo espacial tiene un aspecto increíble.

Además de los medios espaciales, puedes ver fotos panorámicas de tu iPhone en modo inmersivo (¿en 3D?). Pero no mencionaron nada sobre las fotos capturadas en modo retrato, que contienen un mapa de profundidad para reconstruir la profundidad de la imagen (numerosas Apps de iPhone ya usan esta información 3D), es extraño que la propia Apple no lo haga. Por lo menos, Leia confirmó que trabajará para llevar las fotos LIF 3D del ecosistema Leia al Vision Pro (quizá incluso LeiaLink podría hacer el trabajo de pasar fotos con profundidad del iPhone al Vision Pro).

Asimismo, también es extraño que las llamadas FaceTime sólo funcionen en 3D con otros usuarios de Vision Pro, pero no con usuarios con cámara TrueDepth. Las primeras impresiones de FaceTime en 3D son tan convincentes como los vídeos espaciales. El sistema utiliza un escaneado previo de tu cara, y luego aplican tus expresiones en tiempo real a ese modelo.
Los dispositivos Apple utilizan cámaras frontales TrueDepth desde hace años, por lo que, técnicamente, podrían enviar la imagen 3D de esos dispositivos a cualquier llamada FaceTime.

Las imágenes y vídeos espaciales aparecen dentro de una ventana cuadrada (redimensionable), pero parece que no puedes llenar todo el espacio con ellos como puedes hacer con las panorámicas.

Hablemos de las películas. Puedes ver una película y tu habitación aparecerá más oscura junto con reflejos realistas de las imágenes de la película, como si hubiera una pantalla real en tu habitación. O puedes sustituir totalmente tu entorno por uno virtual simplemente utilizando la corona digital para ajustar cuánto se ven los entornos real y virtual.

Ahora, lo importante. Con Vision Pro, podrás ver películas en 3D con «una profundidad increíble y un movimiento nítido»[…] Lo explicaban mientras mostraban imágenes de Avatar: El Sentido del Agua. Así que, al parecer, por fin podremos ver Avatar 2 en 3D (¿y HFR?) en casa.

Más allá del vídeo tradicional, mostraron Apple Immersive Video (grabaciones 3D 8K de 180 grados con Audio Espacial) NBA, fútbol, conciertos, documentales, etc. Este contenido específico para Vision Pro permite, por ejemplo, una pantalla gigante con un entorno jurásico en tu pared, de la que aparece un dinosaurio y entra en tu habitación, todo en 3D estereoscópico, por supuesto.

Luego mencionaron los juegos, con 100 juegos Apple Arcade disponibles para el lanzamiento, desgraciadamente parece que son 2d. Esperemos que los desarrolladores puedan hacer que los juegos se muestren en 3D en la pantalla virtual, en lugar de jugar en una pantalla virtual 2d. Los juegos se pueden jugar con mandos, como la Xbox y los mandos DualSense.

Ajeno al segmento que habla de películas en 3D, Disney presentó su App Disney+ para Vision Pro. Pero en lugar de ofrecer sus contenidos en 3D, han optado por añadir elementos adicionales (y muy distractivos) al programa que estás viendo. Si estás viendo un contenido en 2d, y empiezan a añadir elementos y entornos 3D fuera del contenido, el espectador prestará más atención a esas distracciones en lugar de ver realmente la película/serie.

Si tan sólo utilizaran el nuevo Leia Media SDK del que hablamos en nuestro artículo anterior… Podrían poner instantáneamente sus programas en 3D, en lugar de añadir distracciones 3D. Disney ni siquiera menciona nada sobre su catálogo de películas en 3D… Un engaño total. Menos mal que Apple nos traerá películas en 3D a través de su tienda.

El dispositivo incorpora dos pantallas micro OLED +4K con 64 veces más densidad que la pantalla retina del iPhone. Eso son 24 millones de píxeles, el triple de resolución que los actuales visores de RV. El sonido también es 3D, el audio espacial tiene en cuenta tu entorno en la habitación, utilizando el trazado de rayos de audio, haciendo que el sonido sea realista según tu habitación. Todas las cámaras y sensores están alimentados por dos procesadores, un potente y ya conocido M2, y un nuevo procesador R1 especializado en procesar todos los datos espaciales en 12 milisegundos, por lo que las interacciones no tendrán ningún retardo.

Todo es privado en el dispositivo, el reconocimiento del iris podrá autenticar al usuario igual que lo hace FaceID; Y al igual que FaceID, toda la información se almacena de forma segura sólo en el dispositivo. No se envía información a ningún servidor. Ninguna App puede acceder a tus datos biométricos, ni capturar o mapear tu habitación. Todo se procesa localmente, y ninguna App tiene acceso a los datos captados por los sensores y cámaras; pueden trabajar sin conocer el entorno real que está procesando el dispositivo. Los sitios web ni siquiera saben dónde estás mirando hasta que pulsas virtualmente un botón (los usuarios de Chrome y Windows son rastreados hasta por los movimientos del ratón).

El sistema operativo está diseñado desde cero, y se llama VisionOS, que gestiona datos en tiempo real, audio espacial, motor 3D multiaplicación y marcos espaciales, junto con el renderizador foveated y el marco tradicional de iOS. Los desarrolladores pueden utilizar las herramientas de desarrollo existentes de Apple: SwiftUI, XCode, ARKit, RealityKit y el nuevo Reality Composer Pro (que permite simular entornos), así como Unity (con acceso a todas las funciones). Los terceros también pueden utilizar el formato Apple Spatial Video.

Algunos ejemplos de uso son, por supuesto, la visualización de modelos 3D animados e interactivos (pero a gran escala), una versión espacial de Djay utilizando mezcladores 3D y botones 3D para efectos, o un planetario virtual en el techo de la habitación.

El lanzamiento está previsto para principios de 12024 (calendario holoceno), así que aún hay tiempo para mejorar las cosas, pero tenemos sentimientos encontrados sobre lo que ofrece. El propósito de esta costosa primera generación es dejar tiempo a los desarrolladores para que creen un buen ecosistema de Apps y soluciones, mientras Apple trabaja para mejorar el tamaño, el peso, la batería y, sobre todo, el precio, para las sucesivas generaciones.

Nuestra conclusión es optimista, pero deberían aprovechar aún más la información 3D que ya procesan sus dispositivos. Deberían utilizar los mapas de profundidad de las fotos en modo retrato y las cámaras TrueDepth, las interfaces deberían ser realmente espaciales y utilizar objetos 3D. Otra buena adición obvia sería utilizar la información poligonal de los videojuegos para renderizarlos en 3D estereoscópico, o utilizar una segunda cámara (Unity ya es capaz de ambas cosas).

Ahora es la oportunidad para que Microsoft aproveche su ecosistema totalmente 3D para HoloLens, incluso desde las primeras HoloLens hay muy pocos elementos 2d en el sistema, la mayoría de las cosas se renderizan en 3D. Microsoft podría presentar unas HoloLens 3 revolucionarias, convirtiendo su hardware de RA en un casco de RV de alta resolución, de modo que puedan igualar las posibilidades del hardware de Apple, pero con su perfeccionado ecosistema 3D: son pioneros, las primeras HoloLens aparecieron hace 13 años, y sus interfaces ya utilizaban más elementos 3D que las nuevas Vision Pro.

De este modo, habrá una guerra amistosa entre las dos plataformas, y los usuarios se beneficiarán de los esfuerzos de las dos marcas por intentar ser mejor que la otra. Los dispositivos Android también intentarán entrar en esa guerra (con mejores enfoques que los visores actuales, ya obsoletos tras esta presentación)

Los datos de este artículo se han recopilado cuidadosamente a partir tanto de datos oficiales como de varias impresiones de primera mano de conocidos expertos en el XR, que ya han probado el dispositivo.