Por qué el iPhone es el mejor dispositivo 3D aunque no tenga pantalla 3D

ACTUALIZACIÓN 2: Ahora con nuestra pantalla Espacial para iPhone, el iPhone ya es imbatible, sin necesidad de tener una pantalla 3D externa o Apple Vision Pro.

ACTUALIZACIÓN: ahora más actualizaciones, esta vez a las capacidades de RA con ARKit 6, mejorando la conciencia de profundidad del entorno, y a disposición de los desarrolladores y sus Apps. Ejemplo escaneando una casa entera en segundos.

No es un secreto, el iPhone se ha convertido en el principal dispositivo para hacer fotos y vídeos en 3D. La excelente calidad de las cámaras, el gran modo nocturno y la función Live Photos, permiten hacer impresionantes pares estéreo de forma más fácil que con otros dispositivos; Hay algunas otras características que ni siquiera son posibles para los dispositivos Android (ni siquiera con aplicaciones de terceros). Pero con la actualización de iOS 16, esta afirmación se vuelve más contundente.

Pero empecemos con las funciones y cosas que ya se podían hacer, sin la versión 16 de iOS.

En primer lugar, en el iPhone, las aplicaciones pueden utilizar dos lentes a la vez para capturar fotos y vídeos en 3D como una cámara 3D. Con i3DMovieCam, puedes hacer fotos/grabar vídeos en tiempo real en varios formatos 3D, (o transmitir a un PC como una webcam 3D). Obtendrás archivos 3D que se ajustarán perfectamente al formato 16:9 de cualquier pantalla 3D. Puedes ajustar el paralaje fácilmente sin necesidad de una pantalla estereoscópica, por lo que puedes alinear las imágenes según la distancia del sujeto antes de empezar a capturar. Te recomendamos que compruebes la ayuda de la App para saber cómo se pueden controlar los resultados antes de empezar a grabar. El desarrollador intentó hacer la misma App para Android, solamente para descubrir que es imposible, el SDK de Android no permite de ninguna manera usar dos cámaras a la vez, ni siquiera para previsualizar las imágenes.

Como muchos de vosotros ya sabéis, las fotos hechas en el modo Retrato, almacenan información de profundidad. El uso oficial de este modo es añadir bokeh y cambiar el enfoque de la imagen, pero para nosotros los entusiastas del 3D esto nos permite darle mejores usos. Stereo Photo Maker puede hacer uso del mapa de profundidad de estas imágenes para editar y generar una imagen 3D estándar o verla en Looking Glass, para no hablar de la herramienta oficial del Looking Glass para ver las fotos del modo retrato del iPhone como hologramas, o incluso hacer hologramas animados. Los propietarios de un Lume Pad también pueden importar estas imágenes a su tableta para verlas en el formato Lightfield 4V. Hay que tener en cuenta que hacer fotos directamente en 3D debería producir mejores resultados que las fotos en modo retrato, aunque la cámara TrueDepth de los iPhones está entre las mejores disponibles para crear fotos con mapas de profundidad.

Ahora las cosas se ponen más interesantes. Algunas aplicaciones utilizan estos mapas de profundidad de una forma que parece magia. Permiten literalmente añadir iluminación virtual de estudio a la imagen en cualquier posición del espacio, de manera que puedes iluminar tu sujeto desde ángulos diferentes a los de la foto original. Puedes tener un sistema de iluminación profesional virtual con sólo posicionar luces en el espacio 3d con las propiedades que quieras: dirección, brillo, tamaño, color, etc. Y estas luces crearán sombras realistas en consecuencia con la posición de los objetos en el espacio. Puedes utilizar estas increíbles características con aplicaciones como Focos o Apollo.

Las funciones de RA del iPhone también están entre las mejores del sector, incluso los modelos sin LiDAR consiguen una buena precisión en el cálculo de la profundidad del espacio real, por lo que las aplicaciones de RA funcionan casi a la perfección. Y con el sensor LiDAR de los últimos modelos permite escanear perfectamente en 3D cualquier cosa, o tomar medidas al instante para generar automáticamente un mapa CAD de una habitación; entre otros usos sorprendentes, como grabar vídeo con profundidad, en el que puedes eliminar el fondo o añadir CGI y modelos 3d después en tu editor de vídeo favorito, más rápido que Michael Bay añadiendo explosiones en post a su última película.

Estamos bastante seguros de que todas estas características están dando forma al futuro de las gafas de Realidad Mixta, como las rumoreadas Apple Glasses.

Y con la presentación de iOS 16, el uso de la profundidad y volumen se vuelve más exhaustivo. Con iOS 16 se puede usar el sujeto principal de las fotos para cubrir ligeramente la hora en la pantalla de bloqueo, si son fotos en modo Retrato lo hará automáticamente, pero en caso de fotos sin medición de profundidad se usa inteligencia artificial, una IA al menos tan buena como la de Leia y sus conversores 2d-4V.

Pero hay una nueva característica que es increíble: puedes arrastrar un sujeto en una foto y soltarlo en otra App, y ese sujeto aparecerá instantáneamente sin ningún fondo; ahorrándote varios minutos de edición si quisieras hacerlo manualmente, y con más precisión que usando el ratón o el dedo para dibujar los bordes del sujeto que quieres aislar.

¿Recuerdas las aplicaciones que añaden luces virtuales a tus fotos? Con las próximas actualizaciones, podrás utilizar el iPhone como cámara web para tu Mac y cambiar dinámicamente la iluminación virtual mientras realizas una conferencia. Pero, por supuesto, nosotros preferimos usar NDI HX Capture para transmitir la imagen SBS de i3DMovieCam a pantalla completa a cualquier PC o Mac, una webcam 3D es mucho mejor que una webcam normal con iluminación virtual 🙂

Apple Maps cuenta ahora con una vista realista en 3d, una nueva y bonita vista esquemática en 3d, y la vista de alrededor que parece una imagen en 360 2d, pero que al desplazarse se ve cómo los objetos más cercanos bloquean a los más lejanos; las tres características se basan en escaneos en 3d del mundo real. Otra característica -ya presente desde hace algunos años-, es la función Memoji 3d, que utiliza la cámara TrueDepth en tiempo real; Para terminar, hubo un pequeño detalle en la presentación: un fondo de pantalla de bloqueo de la Tierra que gira en 3d a otro ángulo cuando desbloqueas la pantalla.

Imagina que Apple introdujera una pantalla estereoscópica sin gafas en un nuevo iPhone. Eso sería un dispositivo increíble, y un sueño para nosotros.

Todas estas bondades 3d están diseñadas para usar volumen y reconocimiento espacial en todo, así que cuando Apple lance por fin sus gafas de Realidad Mixta/Aumentada, ya tendrán un ecosistema funcionando que no necesita crear todo desde cero.

Pero, ¿y si, además de proyectar objetos 3D y capas de información en el mundo real, aumentan la pantalla del iPhone con sus Apple Glasses? Podrían hacer que las imágenes en 3D salieran de la pantalla del iPhone, sin bloquear el mundo real. No sería sin gafas, pero también sería genial.

Con gafas o sin ellas, el ecosistema iPhone necesita urgentemente visualización estereoscópica para culminar todas las posibilidades de sus tecnologías 3d.