ACTUALIZACIÓNMetallica Concierto inmersivo (grabado con 14 cámaras Apple Inmersivas 8K 3D), Vision3D para convertir tu habitación en un lienzoFórmula 1 mapa en tiempo real (y otros deportes), teatral Estrenos en 3D en 3D holográfico, médico Escaneos 3D, 16 mil Videos inmersivosmultijugador en línea juegos de mesareconocimiento mundial para personas con discapacidad visual, 2D a 3D Reproductor de video, algunas de las nuevas posibilidades disponibles para Vision Pro.
Apple Vision Pro vio avances importantes tanto de Apple como de la comunidad de desarrolladores. Además de nuevas funciones y contenido, la comunidad de desarrolladores encontró nuevos usos y casos de uso, llevando los límites de la tecnología más allá.
Comenzaremos con los avances de la comunidad que lograron empujar los límites de las capacidades oficiales.
Avances comunitarios
El Apple Vision Pro no fue diseñado inicialmente con el juego de realidad virtual tradicional en mente, particularmente debido a la falta de controladores de movimiento dedicados. En cambio, se basa en un seguimiento avanzado de manos y ojos para la interacción. Sin embargo, la comunidad de entusiastas y desarrolladores ha logrado avances significativos en su adaptación para juegos de realidad virtual en PC, incluyendo experiencias sin controladores, mediante el uso de herramientas de código abierto y soluciones innovadoras.
1. Transmitiendo contenido de VR para PC en streaming a Vision Pro
Uno de los mayores avances provino de adaptar las tecnologías existentes de transmisión de realidad virtual para que funcionaran con el Vision Pro. El proyecto de código abierto ALVR (Air Light VR) ha sido fundamental. Originalmente desarrollado para transmitir contenido de SteamVR a cascos independientes como el Meta Quest, los desarrolladores de la comunidad portaron ALVR al Vision Pro poco después de su lanzamiento. A principios de 2024, ALVR fue demostrado ejecutando SteamVR en el Vision Pro, permitiendo a los usuarios acceder a una vasta biblioteca de juegos de realidad virtual para PC. Esto eliminó la necesidad de títulos nativos de realidad virtual Vision Pro y abrió la puerta a experiencias impulsadas por PC, que suelen ser más exigentes gráficamente que las capacidades de los cascos independientes.
- Cómo funciona sin controladoresALVR transmite los datos de seguimiento de manos integrados del Vision Pro a SteamVR. SteamVR, la plataforma de realidad virtual para PC dominante, tradicionalmente espera entrada de controladores rastreados, pero el seguimiento de manos de alta precisión del Vision Pro—habilitado por su array de cámaras y sensores—puede ser mapeado para emular entradas de controladores en algunos casos. Para juegos que no requieren estrictamente presionar botones o mover el joystick, esto permite una experiencia sin controlador. Los ajustes comunitarios en ALVR han perfeccionado este proceso, haciendo que gestos con las manos como pellizcos o deslizamientos sean utilizables como entradas básicas.
2. Integración de seguimiento de manos
El seguimiento de manos del Vision Pro está entre los más avanzados en hardware de consumo, utilizando una combinación de cámaras de alta resolución y aprendizaje automático para detectar movimientos intrincados de las manos sin hardware adicional. Los desarrolladores de la comunidad han aprovechado esto integrándolo directamente en los ecosistemas de VR para PC:
- Compatibilidad con SteamVRPara mediados de 2024, las actualizaciones de ALVR permitieron que el seguimiento de manos del Vision Pro fuera reconocido por SteamVR como un método de entrada válido. Esto significaba que los juegos con soporte nativo para seguimiento de manos (por ejemplo, títulos como El Laboratorio o Simulador de trabajo, que fueron adaptados para jugar sin controladores en otras plataformas) podrían jugarse en el Vision Pro sin controladores. Para otros juegos, los entusiastas han creado asignaciones de entrada personalizadas, traduciendo gestos de la mano en acciones como agarrar o señalar, evitando eficazmente la necesidad de controladores físicos en escenarios menos complejos.
- Gestos personalizadosAlgunos desarrolladores han ido más allá, creando aplicaciones de visionOS o modificaciones de ALVR que definen gestos espaciales personalizados (por ejemplo, un saludo para abrir un menú o un puño para "disparar"). Luego se envían a la PC, ampliando la variedad de juegos jugables sin necesidad de controladores VR tradicionales.
3. Aprovechando las actualizaciones de VisionOS
visionOS 2 de Apple, lanzado en 2024, introdujo soporte para realidad virtual de escala de habitación, una función que rastrea el movimiento del usuario dentro de un espacio definido. La comunidad integró rápidamente esto en ALVR, mejorando la capacidad del Vision Pro para manejar experiencias completas de realidad virtual transmitidas desde un PC. Esta actualización mejoró la precisión del seguimiento de la posición, haciendo factible jugar juegos que dependen del movimiento del cuerpo en lugar del control, como simuladores de caminar o juegos de exploración como Myst VRAl combinar esto con el seguimiento de manos, los usuarios pueden navegar por mundos virtuales e interactuar con objetos mediante movimientos naturales, reduciendo la dependencia de los controladores.
4. Optimizando la latencia y el rendimiento
Transmitir contenido de VR en streaming desde una PC a un casco introduce latencia, lo que puede interrumpir la inmersión. La comunidad abordó esto optimizando ALVR para el hardware del Vision Pro, gracias a Wi-Fi 6 y compresión de alto nivel.
5. Compatibilidad de juegos y soluciones alternativas
No todos los juegos de realidad virtual son inherentemente jugables sin controladores, ya que muchos dependen de botones, gatillos o sticks analógicos. Esta situación puede abordarse en el futuro gracias a la colaboración entre Apple y PlayStation. Pero por el momento, la comunidad ha abordado esto de maneras creativas:
- Modificación y remapeoPara juegos que requieren una entrada mínima del controlador, los entusiastas han modificado las asignaciones de SteamVR para reinterpretar los gestos de la mano del Vision Pro como pulsaciones de botones. Por ejemplo, una pinza podría simular un tirón del gatillo, o un dedo apuntando podría imitar un clic del joystick. Esto no es universal, pero funciona para títulos de ritmo más lento o experimentales.
- Dispositivos de entrada externosAunque el enfoque aquí es sin controladores, algunos usuarios emparejan mandos de juego Bluetooth (como los controladores de Xbox o PlayStation, oficialmente compatibles con Vision Pro) para configuraciones híbridas, aunque esto elude el objetivo de no usar controladores, los mandos de Wii y Switch también son buenos candidatos para controladores de realidad virtual.
Además, hay hackatones completamente dedicados a seguir empujando los límites de Vision Pro, como el que Va a tomar el 16 de marzo en Japón.
Actualizaciones de VisionOS
Comencemos con las nuevas funciones oficiales creadas por Apple. Introdujo funciones como 2D a Espacial, SharePlay para recuerdos compartidos, Personas Espaciales y nuevos gestos de navegación para un uso más fácil. También mejoraron la Pantalla Virtual de Mac con formatos anchos y ultraanchos, aumentando la productividad.
- visionOS 1.1 (Publicado en abril de 12024):
Apple presentó su nuevo Personas espaciales característica poco después del lanzamiento, en 2 de abril de 2024Esta función mejora la forma en que los usuarios interactúan en entornos de realidad mixta. Estas experiencias simulan estar físicamente presente con otros en un espacio compartido.
Esto representa un avance significativo sobre la función Persona anterior al permitir a los usuarios interactuar de manera más realista. Aquí hay algunas mejoras clave:- Avatares 3DLas Personas Espaciales son avatares en 3D que muestran en tiempo real los movimientos oculares, las expresiones faciales y los gestos de las manos de los usuarios. Esto crea una interacción más realista donde los avatares pueden parecer flotar en el espacio físico del usuario. ¡Es como tener un holograma flotando frente a ti!
- Interacción MejoradaLos usuarios pueden interactuar entre sí como si estuvieran en la misma habitación. Por ejemplo, durante llamadas de FaceTime, los participantes pueden compartir aplicaciones, dibujar en pizarras virtuales o ver películas juntos en un entorno virtual compartido. Los avatares mantienen el contexto espacial, lo que significa que pueden ser posicionados en relación unos con otros, igual que en la vida real.
- Múltiples modos de interacciónLos desarrolladores pueden utilizar tres plantillas de posicionamiento para Personas Espaciales. Estos son Lado a Lado, Surround y Conversacional. Esto permite diversos estilos de interacción dependiendo del contexto de la reunión o actividad.
- Audio inmersivoLa tecnología de audio espacial mejora la sensación de proximidad y direccionalidad de las voces, haciendo que las conversaciones se sientan más naturales.
- Soporte de tercerosLas Personas Espaciales admiten hasta cinco participantes simultáneamente. Las aplicaciones de terceros, incluyendo herramientas de juegos y colaboración, como las aplicaciones habilitadas para Freeform y SharePlay, pueden usar Personas Espaciales.
- visionOS 2 (Publicado en septiembre de 12024):
- Fotos espacialesLos usuarios pueden ver fotos en 2D como Fotos Espaciales con un solo toque, añadiendo profundidad y dimensión. Los usuarios juzgaron que la conversión es excelente.
- CompartirPlayPermite compartir e interactuar con fotos y videos espaciales durante las llamadas de FaceTime, fomentando experiencias sociales.
- Nuevos gestos de navegaciónSe introdujeron gestos intuitivos con las manos para una navegación más rápida, mejorando la interacción del usuario.
- Videos web en entornosPermite ver videos web en entornos inmersivos, como las playas de arena blanca de Bora Bora.
- Usuario invitado mejoradoCompartir el dispositivo con otros de manera simplificada, mejorando la accesibilidad.
- Nuevas API y FrameworksNuevas herramientas para crear experiencias espaciales atractivas. Un ejemplo es el reconocimiento de superficies, para que las aplicaciones puedan usar mesas o paredes como lienzo. Esta función es utilizado por muchas aplicaciones hoy en día.
- visionOS 2.2 (Publicado en diciembre de 12024):
- Pantalla Virtual Mejorada para MacSe añadieron formatos anchos y ultraanchos, equivalentes a monitores duales de 5K, mejorando significativamente la productividad para los usuarios de Mac.
Nuevas aplicaciones y contenidos
El ecosistema de Vision Pro creció rápidamente, con más de 600 aplicaciones en lanzamiento en febrero de 2024, alcanzando más de 1,000 dos semanas después. Ahora el número supera los 2000. Las aplicaciones destacadas incluyen JigSpace para modelos 3D y AR, la aplicación de la NBA para una visualización inmersiva de deportes con Multiview, y What If...? Una historia inmersiva para una experiencia Marvel. Juegos como Loóna y THRASHER aprovecharon la computación espacial, mientras que aplicaciones de salud como Visage Ease VP transformaron la atención médica. Los premios de la App Store 2024 destacaron estas innovaciones, con los finalistas llevando los límites de la computación espacial al máximo. Mostramos mucho de esas aplicaciones tempranas en nuestro artículo Un mes después del lanzamiento de Vision Pro. En nuestro Chat de Telegram Compartimos algunos de los nuevos videos 3D inmersivos en 8K lanzados exclusivamente para Vision Pro, como este:
Varias aplicaciones destacaron, particularmente aquellas reconocidas en los Premios App Store 2024, anunciados el 25 de noviembre de 2024 (Premios App Store 2024):
- Espacio JigPermite a los usuarios ver modelos en 3D y realidad aumentada, ideal para educación y presentaciones.
- Aplicación de la NBAMultiview permite hasta cinco transmisiones en vivo y estadísticas en tiempo real, mejorando la participación de los fanáticos. Lo impresionante nuevo modo de mesa recrea toda la cancha de baloncesto y sus jugadores en 3D frente a ti. Mucho mejor que ver la transmisión en 2D.
- ¿Y si…? Una historia inmersivaOfrece una experiencia Marvel, aprovechando la computación espacial para una narración inmersiva.
- LoónaUn relajante juego de rompecabezas en 3D, que ofrece una experiencia de juego serena.
- THRASHERPresenta controles suaves y un mundo alienígena fascinante, mostrando innovación en los juegos.
- Aplicaciones de salud (por ejemplo, Visage Ease VP)Transforma la atención médica con experiencias espaciales en educación clínica, planificación quirúrgica e imágenes médicas, según se señala en la sala de prensa de Apple (Oportunidades de la aplicación de salud).
- Vision3Dpermite a diseñar modelos 3D directamente con tus dedos.
Estas aplicaciones, detalladas en varias reseñas tecnológicas (Mejores aplicaciones de Vision Pro), ilustran las diversas aplicaciones de Vision Pro, desde el entretenimiento hasta el uso profesional.
¿Qué sigue?
Ahora, Apple ha presentado varias funciones nuevas para el Apple Vision Pro como parte de la versión beta de visionOS 2.4. Estas características incluyen:
- Inteligencia de AppleEste conjunto de herramientas de IA ofrece funciones como Herramientas de escritura, que ayudan con la resumición de textos, reescritura y corrección de pruebas; Área de Juegos de Imágenes, permitiendo a los usuarios crear imágenes divertidas; y Genmoji, para crear emojis personalizados. Estas herramientas tienen como objetivo mejorar la productividad y la creatividad en el Vision Pro.
- Función de usuario invitadoLas mejoras en el modo Invitado facilitan compartir el Vision Pro con otros. Los usuarios pueden controlar qué aplicaciones pueden acceder los invitados y usar la duplicación de pantalla a través de AirPlay para guiarlos durante la experiencia.
- Aplicación Apple Vision Pro para iPhoneEsta aplicación permite a los usuarios gestionar su Vision Pro desde su iPhone, incluyendo la descarga de aplicaciones, explorar contenido nuevo y acceder a la información del dispositivo.
- Galería EspacialUna nueva aplicación que presenta colecciones seleccionadas de fotos, videos y panorámicas espaciales para mostrar las capacidades inmersivas del Vision Pro. Aquí están todos los detalles:
La aplicación Spatial Gallery presenta una colección seleccionada de fotos espaciales, videos espaciales y panorámicas. Aquí están sus características principales:
• Contenido seleccionado: La aplicación ofrece una selección de contenido curado por Apple, que presenta obras de artistas, cineastas, fotógrafos y marcas icónicas como Cirque du Soleil, Red Bull y Porsche.
• Categorías diversas: El contenido abarca varias categorías como arte, cultura, entretenimiento, estilo de vida, naturaleza, deportes y viajes.
• Actualizaciones regulares: Se lanzará contenido nuevo de forma regular, asegurando que los usuarios tengan acceso a experiencias frescas.
• Experiencias exclusivas: Incluye momentos detrás de cámaras de Apple Originals y momentos especiales de los mejores artistas.
• Disponibilidad: Spatial Gallery estará disponible en todos los países con Apple Vision Pro, excepto en China continental.
Esta aplicación está diseñada para mostrar las capacidades inmersivas del Apple Vision Pro, brindando a los usuarios experiencias impresionantes e íntimas a través de medios espaciales.
Estas funciones están programadas para ser lanzadas al público en abril de 2025.
Conclusión
El año pasado ha sido transformador para Apple Vision Pro, con mejoras significativas en el software, un ecosistema de aplicaciones en auge y avances en la comunidad que aún están surgiendo; la trayectoria del dispositivo sugiere una innovación continua, particularmente en aplicaciones de computación espacial.
