New Spatial/Immersive cameras and new contents. New features and new possibilities in VisionOS 2

{:en}

UPDATE: VisionOS is now compatible with WebXR and it’s enabled by default.

Apple introduced new features on the WWDC24 for Vision Pro, among some impressive privacy-friendly AI features

Vision Pro has been on the market for less than a half year, but in that time the number of native Apps increased from 600 to 2000. Immersive 3D content is becoming even more impressive, and it promises an engaging future for our homes when the technology can arrive to the mass-market.

Added to the existing Spatial Photos (which you can also take with an iPhone 15 Pro / Max), now, you can convert existing regular images to Spatial with Apple depth awareness AI (already working locally on any iPhone, allowing to instantly separate a subject from the background on a photo). Similar to ImmersityAI (formerly known as Leiapix) and 3DFan, but differently to our ProMa Master tablet, you’ll need to push a button on each image to do so.

Moreover, you will be able to share the viewing experience with another friend with Vision Pro thanks to SharePlay, all while viewing their natural representation of the other person as a Hologram: their Spatial Persona.

These Personas improved on a regular basis almost every month since the launch. There’s more accurate skin tones and vibrant clothing colors. Hand movements are more fluid and natural. This view of your loved ones is becoming the most impressive and human feature of this piece of high-end technology.

In visionOS 2, Quick Look lets you anchor objects to a surface and move them — so now you can do things like preview how a piece of furniture looks in your room. You can even change the color or materials right before your eyes.

About Spatial Videos, now Final Cut Pro can edit this format (there’s no mention regarding if it will support real-time stereoscopic viewing during the production on any device). You can see other video editors that support Stereoscopic 3D Production and real-time stereoscopic 3D visualization here.

New cameras

There’s announcement of new Stereoscopic/Spatial cameras:

The popular Canon EOS R7 will get a 3D Lens allowing to capture Spatial Video even in low light conditions. Exactly what you can do with your current mirrorless DSLR camera if you get our 3D Lens.

In an even more professional line, there’s Blackmagic Design cameras for Apple Immersive Video. Featuring 8K 180 3D recording. Of course, DaVinci Resolve Studio can edit Spatial Videos among other Stereoscopic 3D formats.

Other announcements were new Immersive Videos available to watch, including extreme sports from Red Bull and a short called Submerged, from Oscar winner director Edward Berger.

Developers

For developers, there are some API additions:

• Volumetric APIs: Create apps with richer spatial experiences that take full advantage of depth and space and can run side by side with other apps in the Shared Space. Volumes can now have a fixed or dynamic scale, so when the 3D object moves away from the user it either appears constant in size or gets smaller as it moves away. And ornaments can now be affixed to volumes.
• TabletopKit: This new framework allows for easy development of collaborative experiences centered around a table by handling the manipulation of cards and pieces, establishing placement and layout, and defining game boards.
• World recognition: Capabilities for fidelity of scene understanding have been greatly extended. Planes can now be detected in all orientations and allow anchoring objects on surfaces in your surroundings. Room Anchors consider the user’s surroundings on a per-room basis. And the new Object Tracking API for visionOS lets you attach content to individual objects around the user.

Apple Vision Pro will be available in more countries: China, Japan, Singapore, Australia, Canada, France, Germany, and United Kingdom this summer, in as much as a month.

{:}{:es}

ACTUALIZACIÓN: VisionOS ahora es compatible con WebXR y está habilitado por defecto

Apple presentó nuevas funciones en la WWDC24 para Vision Pro, entre algunas impresionantes funciones de IA respetuosas con la privacidad

Vision Pro lleva en el mercado menos de 6 meses, pero en ese tiempo el número de Apps nativas ha pasado de 600 a 2000. El contenido 3D inmersivo es cada vez más impresionante, y promete un futuro atractivo para nuestros hogares cuando la tecnología pueda llegar al mercado de masas.

Añadido a las Fotos Espaciales existentes (que también puedes capturar con un iPhone 15 Pro / Max), ahora, puedes convertir imágenes normales existentes en espaciales con la conciencia de profundidad de la IA de Apple (que ya funciona localmente en cualquier iPhone, permitiendo separar instantáneamente un sujeto del fondo en una foto). Similar a ImmersityAI (antes conocida como Leiapix) y 3DFan, pero a diferencia de nuestra ProMa Master tablet, tendrás que pulsar un botón en cada imagen para hacerlo.

Además, podrás compartir la experiencia de visionado con otro amigo con Vision Pro gracias a SharePlay, todo ello mientras ves su representación natural como un holograma: su Spatial Persona.

Estas Personas mejoran regularmente casi todos los meses desde el lanzamiento. Los tonos de piel son más precisos y los colores de la ropa más vivos. Los movimientos de las manos son más fluidos y naturales. Esta visión de tus seres queridos se está convirtiendo en la característica más impresionante y humana de esta pieza de alta tecnología.

En visionOS 2, Quick Look te permite anclar objetos a una superficie y moverlos, por lo que ahora puedes hacer cosas como previsualizar el aspecto de un mueble en tu habitación. Incluso puedes cambiar el color o los materiales delante de tus ojos.

En cuanto a los vídeos espaciales, ahora Final Cut Pro puede editar este formato (no se menciona si soportará la visualización estereoscópica en tiempo real en algún dispositivo 3D). Puedes ver otros editores de vídeo que soportan Producción 3D Estereoscópica y visualización 3D estereoscópica en tiempo real aquí.

Nuevas cámaras

También se anunciaron nuevas cámaras estereoscópicas/espaciales:

La popular Canon EOS R7 recibirá una lente 3D que permitirá capturar vídeo espacial incluso en condiciones de poca luz. Exactamente, lo que puedes hacer con tu actual cámara DSLR sin espejo si compras nuestra Lente 3D para cámaras DSLR.

En una línea aún más profesional, están las cámaras Blackmagic Design para Apple Immersive Video. Ofrecen grabación en 8K 180 3D. Por supuesto, DaVinci Resolve Studio puede editar Vídeos Espaciales entre otros formatos 3D estereoscópicos.

También se anunciaron nuevos vídeos inmersivos, entre ellos uno de deportes extremos de Red Bull y un corto titulado Submerged, del director Edward Berger, ganador de un Oscar.

Para desarrolladores

Para los desarrolladores, se han añadido algunas API:

• Volumetric APIs: Cree aplicaciones con experiencias espaciales más ricas que aprovechen al máximo la profundidad y el espacio y que puedan ejecutarse en paralelo con otras aplicaciones en el espacio compartido. Ahora los volúmenes pueden tener una escala fija o dinámica, de modo que cuando el objeto 3D se aleja del usuario su tamaño parece constante o se reduce a medida que se aleja. Y ahora se pueden fijar adornos a los volúmenes.
• TabletopKit: Este nuevo marco permite desarrollar fácilmente experiencias de colaboración en torno a una mesa mediante la manipulación de cartas y fichas, el establecimiento de la colocación y la disposición, y la definición de los tableros de juego.
• Reconocimiento del mundo: Se han ampliado considerablemente las capacidades de fidelidad de comprensión de la escena. Las superficies planas pueden detectarse ahora en todas las orientaciones y permiten anclar objetos en superficies del entorno. Los anclajes de habitación tienen en cuenta el entorno del usuario en cada habitación. Y la nueva API de seguimiento de objetos para visionOS permite adjuntar contenido a objetos individuales alrededor del usuario.

Apple Vision Pro estará disponible en más países: China, Japón, Singapur, Australia, Canadá, Francia, Alemania y Reino Unido este verano, en menos de un mes.

{:}