UPDATE 2: Sample of MKV video file using MK3D metadata. Non-3D devices will play them in 2d, but 3D devices and software will play them in 3D at full quality per eye! Jump to more details.
TABLE OF CONTENTS:
3D PHOTOS: Using high quality formats since XIX century. But we need to use better distribution methods
At the beginning of the Digital 3D era, 3D video was very difficult to use due to the power processing needed for video and not having good file standards to store, view and manage. Shortly after, new proper standards were developed, but people had learned to use the first temporary formats with serious compromises on the quality and ignored the new full quality 3D standards. Half-SBS was a temporary solution, both images were encoded on the same space that on a 2d version, that introduced three inconveniences, not usable for 2d users, less quality, and having to expand the image to make it usable.
Luckily, with 3D photos there were no limitations of power processing or storage space, so people started using Full-SBS, which quality of images doesn’t get reduced, just as all stereographers are doing in paper since the XIX century, but there’s still a problem with Full-SBS: when sharing the images to people without 3D screen, they will see two images, and that forces them to zoom in if they want to appreciate them better, so people not using 3D screens doesn’t like these images and won’t preserve in their library or share them even if they like it, and if they still want to save or share they need to do additional work to crop the images (or zoom in every time they want to watch them). Also, 3D devices and Apps doesn’t detect them as 3D files, so you have to manually activate the 3D every time, making them inconvenient.
Then, the Fuji W series 3D cameras came with a new format for 3D pictures: MPO. A new standard for photography was born (used also for other brands like Panasonic). As the MPO initials say (Multi Picture Object), this is not only useful for 3D photos, but it also can include more images (maybe even storing all the 4 views of Leia devices 4V images instead using depth maps, solving two problems in a row: depth problems with smoke/transparencies and losing the depth metadata when copying/sharing the file). At launch, the .mpo extension was hardly recognized by programs, but even then, you could force opening them and images loaded successfully. Now, more than 10 years later, MPO extension is recognized like any JPG on almost all programs and devices, not need to have a 3D device, you can open and send an MPO file even on famous messaging Apps on any device, and you will watch in the first stored image like it were another JPG file.
This means, that regular people even not interested in 3D, can browse, watch, and store MPO files, and share them like any other 2d file, but when they distribute or store the file, inside there’s still one image for each eye, so if someone with a 3D display receives an MPO, he/she can watch it in 3D no matter how many times were shared by 2d users. On the future, maybe even one of these 2d users will get a 3D display eventually, and then suddenly they will already have some 3D images that they were previously watching in 2d.
Click/Touch the below thumbnail to open an MPO image, your browser should show an apparently 2d image, but even if the browser doesn’t support 3D images, you can save it and open to watch in 3D on a 3D device or on an App/program supporting 3D images. Both 2d and 3D users can enjoy the image in their way; in the best version available for their display.
With MPO both 2d users and 3D users will see the best version of the image available for their screen. Plain or with depth. But JPG standard quality is very old. What if we use an even better standard to allow, not only more quality, but also more possibilities? Well, that standard already exists, it can store various versions of the same photo, videos and other complementary data to have more possibilities to do special things than if you use regular JPG. That is the HEIF format that is widely used by Apple on their devices: more quality in less space, motion (Live Photos) so you can have lots of retake/effects/editing possibilities after the photo is already taken, and other exciting things that you can do with them later in the same shutter press than if you shoot in regular JPG.
But HEIF files are not as widely supported as MPO, even with all his advantages, after 5 years the adoption is very basic, programs only support them for visualization, no editing or using the additional data and metadata (except for the iOS default Photo App, that is an example of possibilities, unfortunately almost nobody knows that power with an iPhone at their hands). The possibilities are endless, and without inconveniences except for the current lack of compatibility, but this will be solved over years, as modern operating systems and some programs/Apps are starting to recognize them. This means that HEIF will be a great replacement for MPO in the future.
3D VIDEO: We already have the proper formats and tools. Stop using sloppy solutions
What about video? With video, things are more complicated. Because the Half-SBS was so widely used, that some new devices instead supporting it for compatibility reasons, they rely on that format as the only way to see 3D videos, forgiving all the other better formats (Half-SBS is the format with the less quality). Some people like Top-Bottom (Over/Under) because they say there’s -slightly- more quality, but it has the same problems as Half-SBS and is not supported for every 3D display, so losing compatibility for only slightly more quality is not worth to even consider it as an alternative. Even Full-SBS is hardly supported by modern new devices. And is basically a better quality version of Half-SBS that only require a minimal change to the existing program routines applied to enlarge Half-SBS images, it should be an easy modification for the programmers/engineers of the Apps/Devices to add Full-SBS to their devices.
Youtube: For encoding files with 3D metadata for YouTube check the 4th update of this article.
But even Full-SBS is not the ideal format, it has the same inconveniences for 2d users than SBS photos. Fortunately, there’s a format that solve this: Frame interleaved, also known as Frame Sequential, and there are also video formats with dual channel that stores both images in full quality. Unfortunately, for some reason, new devices/Apps are not using them. It is the format used by 3D Blu-Rays. It preserves all quality on both eyes, so basically is twice the resolution than 2d, and when properly encoded it can be used by 2d users exactly like any other 2d video. Even better, because the frame interleaved format is stored as it were double frames per second, the compression algorithms only need to store changes between the two frames the same way any other movie is stored by calculating changes from key frames.
MK3D is a regular .mkv video file but with two views inside, one for each eye, and metadata indicating the 3D disposition*. MKV allows storing two video tracks at full quality in a single video file. Regular devices and players will play them normally; but 3D devices and programs will recognize the additional video stream and play the video in 3D at full quality. Same quality per eye than 2d. Just like MPO does.
You can use MKVToolNix GUI to encode 3D videos or pairs in this format, MKVmerge to join two video tracks*, or MakeMKV to extract 3D tracks from 3D Blu-Ray discs without quality loss. The file extension should be .mkv, otherwise the same file couldn’t be used for both 2d and 3D, therefore losing one of its major advantages.
*MKV file container contains theStereoModefield on the metadata of the file, set to the right format
For that reason 3D Blu-Rays doesn’t need much more additional storage than 2d Blu-ray versions, the disc store the same full key frames than 2d version and only need to store additional frame changes for the other eye (yes, when you watch any movie, almost all the images you see are not stored, but calculated in real time from only a few stored key frames). And can solve also inherent differences of light/white balance between the lenses for each eye.
Frame-packing (not to be confused with Frame Sequential) is another way to send Frame interleaved/Frame Sequential to a 3D display, as it translates into frame interleaved through the HDMI cable to the display. Though it occupies double file size for storage than frame interleaved, so we recommend to use directly Frame Interleaved.
Click here for technical tips for encoding Frame-Sequential video on standard MP4 video file.
h.264 can store SEI messages (per frame side data, *.mp4, *.mkv). Some codecs store stereoscopic identification data at every frame. This technically allows switching from mono to stereo3d within the same stream. FFmpeg provides this information in the form of AVStereo3D structure. Inserting Stereoscopic metadata with FFmpeg
So, storing movies as frame interleaved have even more advantages than MPO for photo files, there’s no need to support a new format and the file size is not much bigger than 2d version, having the same full quality per eye than 2d version. The reason that this format is used only by 3D Blu-rays having that many advantages is a mystery to me. And to make things worse, instead of supporting the best format, many new devices only support the format with the worst quality. That makes me wonder how 3D have survived so many years. We could have only 1 version of a movie or video with both the 3D and 2d versions, and 2d users will not notice any difference and 3D users will get the full experience. This could also be applied to streaming services like YouTube and Prime Video/Netflix/Disney+/etc.
But wait… Yeah! I know! In the past I have been arguing that Vudu are discarding millions of 3D devices because they likely use frame interleaved format, and now I’m saying everybody should use frame interleaved. Why I changed my mind? Because now I see that the real problem is caused by the brands releasing 3D devices that only support the bad old format of the beginnings of Digital 3D era, instead of supporting the existing perfect 3D format (same quality per eye than 2d version). I was in a fight with the wrong enemies. Vudu is doing the right thing: offering great quality 3D movies in the best available format, but brands are making devices that are anchoring us to the past, I often see 3D enthusiasts replacing their 3DTV (some even 4K 3DTV) for a regular 4K TV, just because a lot of 3D content simply is encoded in bad formats and for them 4K seems too superior compared. Half-SBS should be unacceptable in the 4K era. Imagine streaming services offering 4K 3D frame interleaved content, that’s 4K per eye. And existing 4K 3DTVs and projectors will support it, doesn’t need a new standard, it already exists. You could enjoy today, right now, the same quality than 4K 2d but in 3D in your 4K 3DTV or 3D projector, the content providers just need to start using frame interleave.
We have the tools, but it seems brands and some users are locked in the past. We need to use the best 3D available, instead of using the compromise past solutions of the very beginning of Digital 3D era. Evolving to the right formats, 3D will have a future.
We have great 3D formats, but the few new 3D devices/services we receive, only use bad and inconvenient formats that impede the spread of 3D everywhere, when it could be spread even by 2d users.
If you know brands making devices relying only on old formats, suggest and urge them to embrace the future of 3D, instead of repeating the same limiting features that are blocking the possibilities and scope of 3D.
We have the power to influence brands when making new devices. Let’s use our voices to help them to make 3D ubiquitous.
{:}{:es}ACTUALIZACIÓN 3: Desde la aparición de este artículo hace unos años, han salido formatos con características aún mejores y soportados por cada vez más dispositivos, por lo tanto, actualizamos el artículo para sustituir todo lo dicho por el estándar de fotos y vídeos Espaciales de Apple. HEIF para fotos y MV-HEVC para vídeos. Los cuales se pueden usar también por usuarios sin pantalla 3D y sin ver imágenes dobles, y con información extendida —sin limitarse únicamente a incluir una imagen para cada ojo— para los usuarios de pantallas 3D.
ACTUALIZACIÓN 2: Ejemplo de muestra de vídeo MKV con metadatos MK3D. Los dispositivos que no sean 3D lo reproducirán en 2d, pero los dispositivos y programas 3D ¡los reproducirán en 3D con la misma calidad por ojo que la versión 2d! Ir directamente a los detalles.
TABLA DE CONTENIDOS:
- Usando formatos para mejorar la distribución de imágenes 3D.
- Usemos de una vez los formatos apropiados para vídeo 3D. Punto.
FOTOS 3D: Guardándolas en buena calidad desde el siglo XIX. Pero necesitamos usar formatos mejores para su distribución
Al principio de la era del 3D digital, el vídeo 3D era muy difícil de utilizar debido a la potencia de procesamiento necesaria para el vídeo y a que no se disponía de buenos estándares de archivo para almacenar, visualizar y gestionar los archivos. Poco después, se desarrollaron nuevos estándares adecuados, pero la gente ya había aprendido a usar los primeros formatos temporales con serios compromisos en la calidad e ignoraba los nuevos estándares de calidad completa en 3D. Half-SBS era una solución temporal, ambas imágenes se codificaban en el mismo espacio que en una versión 2d, eso introducía tres inconvenientes, no ser utilizable para los usuarios de 2d, menos calidad, y tener que estirar la imagen para hacerla utilizable.
Por suerte, con las fotos en 3D no había limitaciones de potencia de procesamiento ni de espacio de almacenamiento, así que la gente empezó a utilizar el Full-SBS, cuya calidad de imágenes no se ve reducida, tal y como hacen todos los estereógrafos en papel desde el siglo XIX, pero sigue habiendo un problema con el Full-SBS: cuando se comparten las imágenes con personas sin pantalla 3D, verán dos imágenes, y eso les obliga a ampliarlas si quieren apreciarlas mejor, por lo que a las personas que no usan pantallas 3D no les gustan estas imágenes y no las conservarán en su biblioteca ni las compartirán aunque les gusten, y si aun así quieren guardarlas o compartirlas tienen que hacer un trabajo adicional para recortar las imágenes (o ampliarlas cada vez que quieran verlas). Además, los dispositivos y aplicaciones 3D no los detectan como archivos 3D, por lo que hay que activar manualmente el 3D cada vez, lo que los hace incómodos.
Entoces, aparecieron las cámaras Fuji W series, las cuales vinieron con un nuevo formato para fotografías 3D: MPO. Un nuevo estándar para la fotografía había nacido (usado también por otras marcas como Panasonic). Como las siglas MPO dicen (Multi Picture Object), esto no solamente es útil para las fotos en 3D, sino que también puede incluir más imágenes (tal vez incluso almacenar las 4 imágenes 4V de los dispositivos Leia en lugar de utilizar mapas de profundidad, lo que solucionaría dos problemas de golpe: problemas de profundidad con humo/transparencias y perder los metadatos de profundidad al copiar/compartir el archivo). En su lanzamiento, la extensión .mpo apenas era reconocida por los programas, pero incluso entonces, se podía forzar su apertura y las imágenes se cargaban con éxito. Ahora, más de 10 años después, la extensión MPO es reconocida como cualquier JPG en casi todos los programas y dispositivos, no es necesario tener un dispositivo 3D, se puede abrir y enviar un archivo MPO incluso en las famosas Apps de mensajería en cualquier dispositivo, y se verá en la primera imagen almacenada como si fuera otro archivo JPG.
Esto quiere decir, que cualquier persona, incluso la que no está interesada en el 3D, puede navegar, ver y almacenar archivos MPO, y compartirlos como cualquier otro archivo 2d, pero cuando distribuyan o almacenen el archivo, en su interior seguirá habiendo una imagen para cada ojo, por lo que si alguien con una pantalla 3D recibe un MPO, podrá verlo en 3D sin importar cuántas veces lo hayan compartido usuarios 2d. En el futuro, puede que incluso uno de estos usuarios 2d consiga una pantalla 3D con el tiempo, y entonces, de repente, ya tendrán algunas imágenes 3D que antes veían en 2d.
Haga clic/toque la miniatura de abajo para abrir una imagen MPO, su navegador debería mostrar una imagen aparentemente 2d, pero incluso si el navegador no soporta imágenes 3D, puede guardarla y abrirla para verla en 3D en un dispositivo 3D o en una App/programa que soporte imágenes 3D. Tanto los usuarios de 2d como de 3D pueden disfrutar de la imagen a su manera; en la mejor versión disponible para su pantalla.
Con MPO, tanto los usuarios 2d como los 3D verán la mejor versión de la imagen disponible para su pantalla. Plano o con profundidad. Pero la calidad del estándar JPG es muy antigua. ¿Y si utilizamos un estándar aún mejor que permita, no sólo más calidad, sino también más posibilidades? Pues bien, ese estándar ya existe, puede almacenar varias versiones de la misma foto, vídeos y otros datos complementarios para tener más posibilidades de hacer cosas especiales que si se emplea el JPG normal. Ese es el formato HEIF que es ampliamente usado por Apple en sus dispositivos: más calidad en menos espacio, movimiento (Live Photos) para que puedas tener un montón de posibilidades de retocar/efectos/edición después de que la foto ya esté tomada, y otras cosas interesantes que puedes hacer con ellas después en la misma pulsación del obturador que si disparas en JPG normal.
Pero los archivos HEIF no están tan soportados como el formato MPO, aún con todas sus ventajas, después de 5 años la adopción es muy básica, los programas sólo las soportan para su visualización, nada de edición o uso de los datos y metadatos adicionales (salvo la App de fotos por defecto de iOS, que es un ejemplo de posibilidades, lamentablemente casi nadie conoce ese poder con un iPhone en sus manos). Las posibilidades son infinitas, y sin inconvenientes, salvo la actual falta de compatibilidad, pero esto se irá solucionando con el paso de los años, ya que los sistemas operativos modernos y algunos programas/Apps están empezando a reconocerlos. Esto significa que el HEIF será un gran sustituto del MPO en el futuro.
VÍDEOS 3D: Dejemos de usar soluciones chapuceras y usemos los excelentes formatos que tenemos disponibles
¿Y qué pasa con el vídeo? Con el vídeo, las cosas son más complicadas. Debido a que el Half-SBS fue tan utilizado, que algunos dispositivos nuevos, en vez de soportarlo únicamente por razones de compatibilidad, depende únicamente de ese formato como la única manera de ver videos en 3D, ignorando por completo todos los demás formatos que son mucho mejores (el Half-SBS es el formato con menos calidad). A algunas personas les gusta el formato Top-Bottom (Over/Under o Arriba/Abajo) porque dicen que tiene -ligeramente- más calidad, pero tiene los mismos problemas que Half-SBS y no es compatible con todas las pantallas 3D, por lo que perder compatibilidad por tan solo un poco más de calidad no vale la pena, ni tan siquiera considerarlo como una alternativa. Hasta el Full-SBS apenas es compatible con algunos nuevos dispositivos modernos. Y eso que básicamente es una versión de mejor calidad de Half-SBS que solamente requiere un cambio mínimo en las rutinas de programación existentes aplicadas para ampliar las imágenes de Half-SBS, debería ser una modificación fácil para los programadores/ingenieros de las Apps/Dispositivos para añadir Full-SBS a sus dispositivos.
YouTube: Para usar un formato de 3D nativo compatible con YouTube (así las TVs 3D lo reproducen en 3D real en alta calidad) deberías leer la 4ª actualización de nuestro YouTube tutorial.
Cómo subir apropiadamente 3D a YouTube
Pero incluso el Full-SBS no es el formato ideal, tiene los mismos inconvenientes para los usuarios de 2d que las fotos SBS. Afortunadamente, hay un formato que resuelve esto: Frame interleaved (alternancia de fotogramas), también conocido como Frame Sequential. Desafortunadamente, por alguna razón, los nuevos dispositivos/Apps no los utilizan. Y eso que es el formato utilizado por los Blu-Rays 3D. Conserva toda la calidad en ambos ojos, así que básicamente es el doble de resolución que el 2d, y cuando se codifica apropiadamente puede ser usado por usuarios 2d exactamente como cualquier otro vídeo 2d. Y lo que es mejor, como el formato de fotogramas intercalados se almacena como si fuera el doble de fotogramas por segundo, los algoritmos de compresión tan solo necesitan almacenar los cambios entre los dos fotogramas de la misma manera que se almacena cualquier otra película, calculando los cambios de los fotogramas clave.
MK3D es un archivo de vídeo .mkv normal, pero con dos vistas en su interior, una para cada ojo, y metadatos que indican la disposición del 3D*. MKV permite almacenar dos pistas de vídeo a máxima calidad en un único archivo de vídeo. Los dispositivos y reproductores normales los reproducirán normalmente; pero los dispositivos 3D y programas compatibles reconocerán la pista de vídeo adicional y reproducirán el vídeo en 3D con la máxima calidad. La misma calidad por ojo que en 2d. Al igual que hace MPO.
Puedes usar MKVToolNix GUI para condificar vídeos 3D o pares de vídeos en este formato, MKVmerge para unir dos pistas de vídeo de cada ojo*, o MakeMKV para extraer sin pérdida pistas de vídeo 3D de un disco Blu-ray. La extensión del archivo debería ser .mkv, por lo que si no, no se podría usar el mismo archivo tanto para 2d como para 3D, perdiendo así una de sus mayores ventajas.
*El contenedor del archivo MKV contiene el campoStereoModeen los metadatos del archivo, ajustado al formato correcto
Por eso los Blu-Rays 3D no necesitan mucho más almacenamiento que las versiones Blu-ray 2d, el disco almacena los mismos fotogramas clave completos que la versión 2d y únicamente necesita almacenar los cambios de fotogramas adicionales para el otro ojo (sí, cuando ves cualquier película, casi todas las imágenes que ves no están almacenadas en el disco/archivo, sino que se calculan en tiempo real a partir de solamente unos pocos fotogramas clave almacenados). Otra ventaja es que se evitan problemas de diferente iluminación y balance de blancos que se pueden dar entre las dos lentes de una cámara 3D, con lo que también ayudan a evitar mareos en algunos espectadores, evitando problemas inherentes de la captura 3D.
Frame-packing o el empaquetado de fotogramas (no confundir con Frame Sequential) es otra forma de enviar Frame interleaved/Frame Sequential a una pantalla 3D, ya que se traduce a frame interleaved a través del cable HDMI al enviarse a la pantalla. No obstante, ocupa el doble de tamaño de archivo para el almacenamiento que el intercalado de fotogramas, por lo que recomendamos no usar este formato para utilizar directamente el intercalado de fotogramas.
Haga clic aquí para obtener consejos técnicos para la codificación de vídeo Frame-Sequential en un archivo de vídeo MP4 estándar.
h.264 pueden almacenar mensajes SEI (datos laterales por fotograma, *.mp4, *.mkv). Algunos códecs almacenan datos de identificación estereoscópica en cada fotograma. Esto permite técnicamente cambiar de mono a stereo3d dentro del mismo flujo. FFmpeg proporciona esta información en forma de estructura AVStereo3D. Insertando metadatos Estereoscópicos con FFmpeg
Por lo tanto, el almacenamiento de películas con alternancia de fotogramas tiene incluso más ventajas que el MPO para los archivos de fotos, no hay necesidad de soportar un nuevo formato y el tamaño del archivo no es mucho mayor que la versión 2d, teniendo la misma calidad completa por ojo que la versión 2d. La razón por la que este formato es utilizado tan solo por los Blu-rays 3D teniendo tantas ventajas, es un misterio para mí. Y para empeorar las cosas, en lugar de admitir el mejor formato, muchos dispositivos nuevos únicamente admiten el formato de peor calidad. Eso hace que me pregunte cómo el 3D ha sobrevivido tantos años. Podríamos tener una sola versión de una película o vídeo con las versiones 3D y 2d, y los usuarios de 2d no notarían ninguna diferencia y los de 3D obtendrían la experiencia completa. Esto también podría aplicarse a los servicios de streaming como YouTube y Prime Video/Netflix/Disney+/etc.
Pero espera… ¡Sí! ¡Ya lo sé! En el pasado he argumentado que Vudu están descartando millones de dispositivos 3D porque probablemente utilicen el formato frame interleaved, y ahora digo que todo el mundo debería utilizar frame interleaved. ¿Por qué he cambiado de opinión? Porque ahora veo que el verdadero problema lo causan las marcas que lanzan dispositivos 3D que solamente soportan el viejo y malo formato de los inicios de la era 3D digital, en lugar de soportar el formato 3D perfecto existente (misma calidad por ojo que la versión 2d). Mi pelea era con los enemigos equivocados. Vudu está haciendo lo correcto: ofrecer películas 3D de gran calidad en el mejor formato disponible, pero algunas marcas están fabricando dispositivos que nos anclan al pasado, a menudo veo a entusiastas del 3D sustituir su 3DTV (algunos incluso 4K 3DTV) por un televisor 4K normal, solamente porque muchos contenidos 3D simplemente están codificados en malos formatos y para ellos el 4K parece demasiado superior en comparación. Half-SBS debería ser inaceptable en la era del 4K. Imagínate que los servicios de streaming ofrecieran contenidos 4K 3D con alternancia de fotogramas, eso es 4K por ojo. Y los televisores y proyectores 4K 3D existentes lo soportarán, no hace falta un nuevo estándar, ya existe. Podrías disfrutar hoy, ahora mismo, de la misma calidad que el 4K 2d, pero en 3D en tu televisor 4K 3D o proyector 3D, los proveedores de contenidos únicamente tendrían que empezar a utilizar el intercalado de fotogramas.
Disponemos de las herramientas, pero parece que las marcas y algunos usuarios están anclados en el pasado. Tenemos que utilizar el mejor 3D disponible, en lugar de utilizar las soluciones de compromiso del pasado del principio de la era del 3D digital. Evolucionando hacia los formatos adecuados, el 3D tendrá futuro.
Tenemos grandes formatos 3D, pero los pocos dispositivos/servicios 3D nuevos que recibimos, solamente utilizan formatos malos e inconvenientes que impiden la difusión del 3D en todas partes, cuando podría ser difundido incluso por usuarios 2d.
Si conoces marcas que fabrican dispositivos que se basan únicamente en formatos antiguos, sugiérales e ínstales a que abracen el futuro del 3D, en lugar de repetir las mismas características limitantes que están bloqueando las posibilidades y el alcance del 3D.
Tenemos el poder de influir en las marcas a la hora de fabricar nuevos dispositivos. Utilicemos nuestras voces para ayudarles a que el 3D sea omnipresente.
{:}{:ca}ACTUALITZACIÓ 2: Exemple de video MKV amb metadata MK3D. Els dispositius que no siguin 3D el reproduiran en 2d, però els dispositius i programes 3D els reproduiran en 3D amb la mateixa qualitat per ull que la versió 2d! Anar directament a més informació.
TABLA DE CONTINGUTS:
- Utilitzant formats per a millorar la distribució d’imatges 3D.
- Utilitzem d’una vegada els formats apropiats per a video 3D. Punt.
FOTOS 3D: Desant-les en bona qualitat des del segle XIX. Però hem d’utilitzar formats millors per a la seva distribució
Al començament de l’era digital 3D, el vídeo 3D era molt difícil d’utilitzar a causa de la potència de processament requerida per al vídeo i no es disposaven de bons estàndards de fitxers per emmagatzemar, visualitzar i gestionar fitxers. Poc després, es van desenvolupar nous estàndards adequats, però la gent ja havia après a emprar els primers formats temporals amb compromisos seriosos de qualitat i va ignorar els nous estàndards de qualitat completa en 3D. Half-SBS era una solució temporal, ambdues imatges es codificaven al mateix espai que en una versió 2d, que introduïa tres inconvenients, que no es podrien fer servir per usuaris 2d, és de baixa qualitat, i s’ha d’estirar la imatge per fer-la utilitzable.
Afortunadament, amb fotos 3D no hi havia limitacions en la potència de processament o l’espai d’emmagatzematge, així la gent va començar a utilitzar Full-SBS, la qualitat de la imatge no es redueix, com ho han fet tots els estereògrafs a paper des del segle XIX, però encara hi ha un problema amb Full-SBS: quan es comparteixen imatges amb persones sense pantalla 3D, veuràs dues imatges, i això els obliga a ampliar-les si volen apreciar-les millor, de manera que les persones que no utilitzen pantalles 3D no els agraden aquestes imatges i no les guardaran a la biblioteca ni les compartiran, encara que els agradi la imatge, I si encara volen guardar-les o compartir-les, han de fer treballs addicionals per retallar les imatges (o ampliar-les sempre que vulguin veure-les). A més, els dispositius i aplicacions 3D no els detecten com a fitxers 3D, de manera que heu d’activar manualment 3D cada vegada, fent-los incòmodes.
Després, van aparèixer les càmeres de la sèrie W de Fuji, que van arribar en un format nou per a fotos en 3D: MPO. Va néixer un nou estàndard per a la fotografia (també utilitzat per altres marques com Panasonic). Com diu l’acrònim MPO (Objecte multi-imatge) Això no només és útil per a fotos en 3D, també pot incloure més imatges (potser fins i tot emmagatzemar les 4 imatges 4V dels dispositius Leia en lloc d’usar mapes de profunditat, que solucionaria dos problemes d’un cop: problemes de profunditat amb fum / transparències i perdre metadades de profunditat quan copia / comparteix el fitxer). En el seu llançament, l’extensió .mpo gairebé no va ser reconeguda pels programes, però fins i tot llavors, podies forçar l’obertura i les imatges es carregaven amb èxit. Ara, més de 10 anys després, l’extensió MPO es reconeix com qualsevol JPG a gairebé tots els programes i dispositius, no cal que tingueu un dispositiu 3D; Es pot obrir un fitxer MPO i enviar-lo fins i tot a famoses aplicacions de missatges de qualsevol dispositiu, i es veurà a la primera imatge emmagatzemada com si es tractés d’un altre fitxer JPG.
Això vol dir, que qualsevol, fins i tot aquells no interessats en el 3D, pot navegar, visualitzar i emmagatzemar fitxers MPO, i compartir-los com qualsevol altre fitxer 2d, però quan distribueixen o emmagatzemen el fitxer, a dins continuarà sent una imatge per a cada ull, així si algú amb pantalla 3D rep un MPO, pot veure-ho en 3D, no importa quantes vegades l’han compartit els usuaris 2d. En el futur, fins i tot un d’aquests usuaris poden tenir una pantalla 3D amb el pas del temps i, de sobte, ja tindran algunes imatges 3D que solien veure en 2d.
Feu clic a / toqueu la miniatura de sota per obrir una imatge MPO, el navegador ha de mostrar una imatge aparentment 2d, però fins i tot si el navegador no admet imatges 3D, Podeu desar-la i obrir-la per a la visualització en 3D en un dispositiu 3D o en un programa App / que admeti imatges 3D. Tant els usuaris 2d com 3D poden gaudir de la imatge a la seva manera; en la millor versió disponible per a la pantalla.
Amb MPO, tant els usuaris 2d com 3D veuran la millor versió de la imatge disponible per a la seva pantalla. Plana o amb profunditat. Però la qualitat de l’estàndard JPG és molt antiga. Què passa si fem servir un estàndard encara millor que permeti no només més qualitat, sinó també més possibilitats? Bé, aquest estàndard ja existeix, podeu emmagatzemar diverses versions de la mateixa foto, vídeos i altres dades complementàries per tenir més possibilitats de fer coses especials que si feu servir el JPG normal. Aquest és el format HEIF que Apple utilitza àmpliament en els seus dispositius: més qualitat en menys espai, moviment (Live Photos), etc. Així, podeu tenir moltes possibilitats de fer retocs / efectes / edició després que ja s’hagi fet la foto, i altres coses interessants que podeu fer amb ells més endavant, it tot al mateix esforç de fer la foto que si la captureu en JPG normal.
Però els fitxers HEIF no són tan compatibles com el format MPO, fins i tot amb tots els seus avantatges, després de 5 anys l’adopció és molt bàsica, els programes només els admeten per veure-los, cap edició o ús de dades i metadades addicionals (excepte l’aplicació de fotos predeterminada iOS, que és un exemple de possibilitats, per desgràcia gairebé ningú no sap aquest poder amb un iPhone a les mans). Les possibilitats són infinites i sense problemes, tret de la falta actual de compatibilitat, però això es solucionarà amb els anys, ja que els sistemes operatius moderns i alguns programes / aplicacions comencen a reconèixer-los. Això vol dir que el HEIF serà un gran substitut del MPO en el futur.
VÍDEOS 3D: Deixem d’utilitzar males solucions i utilitzem els excel·lents formats i eines que tenim disponibles
I què passa amb el vídeo? Amb el vídeo, les coses són més complicades. Com que Half-SBS era tan utilitzat, alguns dispositius nous, en lloc de recolzar-lo només per raons de compatibilitat, depèn únicament d’aquest format com l’única manera de veure vídeos 3D, ignorant completament tots els altres formats molt millors (Half -SBS és el format amb la qualitat més baixa). A algunes persones els agrada el format Top-Bottom (Above/Below o Amunt / Avall) perquè diuen que té, lleugerament, més qualitat, però té els mateixos problemes que Half-SBS i no és compatible amb totes les pantalles 3D, així que no val la pena perdre compatibilitat per una mica més de qualitat, ni tan sols es pot considerar com una alternativa. Fins i tot Full-SBS gairebé no és compatible amb nous dispositius moderns. I és bàsicament una versió de Half-SBS de millor qualitat que només requereix un canvi mínim en les rutines de programació existents aplicades a les imatges Half-SBS, hauria de ser una modificació fàcil per als programadors / enginyers / dispositius d’aplicacions per afegir full-SBS als seus dispositius.
MK3D és un arxiu .mkv normal, que té dues pistes de vídeo a l’interior, i metadada indicant la seva disposició*. MKV permet emmagatzemar dues pistes de vídeo de qualitat completa en un sol fitxer de vídeo. Els dispositius i reproductors normals reproduiran en 2d; però dispositius 3D i programes reconeixeran la pista de vídeo addicional i reproduiran el vídeo en 3D amb la màxima qualitat. La mateixa qualitat per ull que en 2d. Igual que fa MPO.
Pots utilitzar MKVToolNix GUI per codificar vídeos 3D o parells de vídeos en aquest format, o MakeMKV per extreure sense pèrdua pistes de vídeo 3D d’un disc Blu-ray. L’extensió de l’arxiu deuria ser .mkv, per que si no, no es podria emprar el mateix arxiu tant per 2d com per 3D.
*El contenidor del fitxer MKV conté el campStereoModeen el fitxer de metadades, ajustat al format correcte
Però fins i tot Full-SBS no és el format ideal, té els mateixos inconvenients per a usuaris de 2d que les fotos de SBS. Afortunadament, hi ha un format que resol això: Frame interleaved (Fotogrames entrellaçats), també conegut com a Frame Sequential. Malauradament, per algun motiu, els nous dispositius / aplicacions no els utilitzen. I aquest és el format utilitzat per Blu-Rays 3D. Conserva tota la qualitat en ambdós ulls, de manera que és bàsicament el doble de la resolució de 2d i quan es codifica apropiadament poden ser utilitzats per usuaris 2d exactament com qualsevol altre vídeo 2d. I el que és millor, com el format dels fotogrames entrellaçats s’emmagatzema com si es tractés del doble dels fotogrames per segon, Els algorismes de compressió només necessiten emmagatzemar els canvis entre els dos fotogrames de la mateixa manera que s’emmagatzema qualsevol altra pel·lícula, càlcul dels canvis dels fotogrames clau. Així que Blu-Rays 3D no necessita molt més emmagatzematge que les versions de Blu-ray 2d, el disc emmagatzema els mateixos fotogrames complets que la versió 2d i només necessita emmagatzemar els canvis addicionals de fotograma per a l’altre ull (sí, quan veieu alguna pel·lícula, gairebé totes les imatges que veieu no es guarden al disc / fitxer, es calculen en temps real a partir d’uns pocs fotogrames clau emmagatzemats). Un altre avantatge és que s’eviten problemes d’il·luminació diferent i d’equilibri blanc que es poden produir entre les dues lents d’una càmera 3D, que també ajuden a evitar marejos en alguns espectadors, evitant problemes inherents a la captura en 3D.
Frame-packing o l’embalatge de fotogrames (no s’ha de confondre amb Frame Sequential) és una altra manera d’enviar Frame Interleaved / Frame Sequential a una pantalla 3D, ja que es tradueix en un fotograma entrellaçat a través del cable HDMI quan s’envia a la pantalla. Tanmateix, es necessita el doble de la mida del fitxer per emmagatzemar-lo, per la qual cosa recomanem no utilitzar aquest format per utilitzar directament la Frame Interleaved.
Feu clic aquí per obtenir consells tècnics per a la codificació de vídeo Frame-Sequential en un fitxer de vídeo MP4 estàndard.
h.264 pot emmagatzemar missatges SEI (dades laterals per fotograma, * .mp4, * .mkv). Alguns còdec emmagatzemen dades d’identificació estereoscòpiques a cada fotograma. Tècnicament, permet canviar de mono a estèreo3d dins del mateix flux. FFmpeg proporciona aquesta informació en forma d’estructura AVStereo3D. Inserint metadada estereoscòpica amb FFmpeg
Per tant, l’emmagatzematge alternatiu de pel·lícules en frame interleaved té encara més avantatges que MPO en foto, no cal suportar un format nou i la mida del fitxer no és molt més gran que la versió 2d, tenint la mateixa qualitat completa per ull que la versió 2d. El motiu pel qual aquest format només l’utilitzin els blu-rays 3D amb tants avantatges és un misteri per a mi. I per empitjorar, en lloc d’admetre el millor format, molts nous dispositius només admeten el format de pitjor qualitat. Això em fa preguntar-me com ha sobreviscut el 3D tants anys. Podríem tenir una versió única d’una pel·lícula o vídeo amb les versions 3D i 2d, i els usuaris de 2d no notarien cap diferència i els usuaris de 3D obtindrien l’experiència sencera. Això també podria aplicar-se a serveis de reproducció en línia com YouTube i Prime Video/Netflix/Disney+/etc.
Però espera … Sí! Ja ho sé! En el passat ho he defensat Vudu està descartant milions de dispositius 3D perquè probablement utilitzen frame interleaved, i ara dic que tothom hauria d’utilitzar el marc entrellaçat. Per què he canviat d’opinió? Perquè ara veig que el veritable problema és causat per marques que llancen dispositius 3D que només admeten el format antic i dolent dels primers temps de l’era digital 3D, en lloc de donar suport al format 3D perfecte existent (la mateixa qualitat per ull que la versió 2d ). La meva lluita va ser amb els enemics equivocats. Vudus està fent les coses ben fetes: oferint pel·lícules en 3D d’alta qualitat en el millor format disponible, però algunes marques estan fent dispositius que ens ancoren al passat, Sovint veig que els aficionats al 3D substitueixen el seu 3DTV (alguns fins i tot 4K 3DTV) per una televisió normal de 4K, només perquè molts continguts 3D es codifiquen simplement en formats dolents i per a ells 4K sembla massa superior en comparació. El Half-SBS hauria de ser inacceptable en l’era 4K. Imagineu-vos que els serveis de streaming oferien contingut 4K 3D amb fotogrames alterns, és a dir, 4K per ull. I les televisions i projectors existents 4K 3D funcionarien directament, no cal cap estàndard nou, ja existeix. Podríeu gaudir de la mateixa qualitat del 4K 2d, però en 3D al vostre projector o TV 3D 4K, els proveïdors de contingut només haurien de començar a utilitzar Frame Sequential.
Tenim les eines, però sembla que les marques i alguns usuaris han estat ancorats en el passat. Hem d’utilitzar el millor 3D disponible, en lloc d’utilitzar solucions de compromís passades del començament de l’era digital 3D. Avançant cap als formats adequats, el 3D tindrà futur.
Tenim excel·lents formats 3D, però els pocs nous dispositius / serveis 3D que rebem només utilitzen formats dolents i inconvenients que impedeixen la difusió del 3D a tot arreu, quan fins i tot es podrien emetre per a usuaris 2d.
Si coneixeu marques que formen dispositius que es basen únicament en formats més antics, exigiu i reclameu que abracin el futur del 3D, en lloc de repetir les mateixes característiques limitants que bloquegen les possibilitats i l’abast del 3D.
Tenim el poder d’influir en les marques a l’hora de fer nous dispositius. Utilitzem les nostres veus per ajudar a fer que el 3D sigui omnipresent.
{:}
