VR: Volymetrinen video

Kustannustehokas volymetrinen video yhdistelemällä Sonyn Kinect-kameroiden syvyysdataa RGB-kuvaan.

Tiimi: Markku Mastomäki/Yle, Delicode Oy
Julkaistu 22.8.2017

MITÄ YRITIMME SELVITTÄÄ?

Tarkoituksena oli kokeilla sisällöntuotannon konseptointia ja toteutusta yhdistelemällä video- ja syvyyskameramateriaalia ulkokehältä sisäänpäin kuvattuna, ns. 360° outside-in sisällöiksi (vertaa tällä hetkellä tyypillisempi "inside-out" 360° kuvaus). Samalla kokeillaan myös toteutuksen esitystapaa HMD:llä (käyttöliittymä ja leikkaus), kokemuksellisuutta (tarinankerronta) sekä kokonaisuuden teknistä toteutusta.

Onnistuneeksi kokeiluksi sovittiin usealla (3+) syvyyskameralla yhtäaikaisesti kuvattu, yhteen parsittu sisältö joka on leikattu (HMD-laseja käyttävälle) katselijalleen mielekkääseen muotoon demonstraatioon valittuun HMD-laitteeseen (sovittiin kohteeksi HTC Vive, mahdollisuuksien mukaan muut) sopivalla käyttöliittymällä. 

MIKSI SE ON MERKITYKSELLISTÄ?

Volymetrinen video on monen asiantuntijan mielestä virtuaalikerronnan seuraava iso murros. Kyseisen teknologian avulla voimme kuvata kolmiulotteisia 360-videoita, joissa kokija pystyy astumaan sisään ehkä joka livenä kuvattavaan kokemukseen. Tämä mahdollistaa aivan uudenlaista kerrontaa ja on tällä hetkellä yksi VR-kentän kuumimpia tutkimus- ja keityskohteita. 

Toistaiseksi volymetrista videota on mahdollista tuottaa Microsoftin omassa datastudiossa Kaliforniassa sekä niin ikään kalifornialaisen 8i-yrityksen vastaavalla teknologialla. Molemmat vaihtoehdot ovat erittäin kalliita. Mikäli pääsemme kokeilemaan Kinectin kaltaisen kuluttajaelektroniikan varaan rakennetulla prototyypillä volymetrisen videon avaamia tarinankerronnallisia mahdollisuuksia, olemme valmiimpia ottamaan haltuun edistyneemmän teknologian kun se kypsyy ja kehittyy hintatasoltaan järkeväksi.

MITÄ KÄYTÄNNÖSSÄ TEIMME?

Projektin kuvaukset toteutettiin YLE Studio 1:ssä 28.-29. Maaliskuuta 2017. Sonyn Kinect-kamerat ja RGB-kamerat kiinnitettiin toisiinsa tiukasti Jouni Weckmannin suunnitteleman kiinnityslaitteen avulla. Kiinnityksen tehtävänä oli estää 12mm objektilla varustetun DSLR-kameran ja Kinectin kuvauslaitteiston liikkeet suhteessa toisiinsa. Kiinnityksen jälkeen suoritettiin laitteiden välinen kalibraatio jossa DSLR:stä tuleva RGB-kuva kalibroitiin Kinectistä tulevaan syvyyskuvaan.

Delicode on kehittänyt omaa RGBD (RGB+depth) -tiedostoformaattia. Formaatti sisältää kaiken sensorin nauhoittaman datan sekä erillisen kuvakohtaisen metadatan (esim. kuvakohtainen kello). Delicode tutki myös projektin aikana useamman päivän ajan mahdollisuutta ennustaa ja manipuloida PC:seen kiinnitetyn Kinect for XBOX One –laitteen vaihetta ohjelmallisesti (onnistunut vaiheen ennustaminen ja muokkaus korvaisi osaltaan taustoissakin mainittua, sensorilaitteista puuttuvaa ns. genlock –ominaisuutta). Alustavasti lupaavista tuloksista huolimatta lopullisen vastauksen saaminen vaatii lisätutkimusta ja näin ollen vaiheen ennustamisen testaaminen jää seuraavaan projektiin.

Ensimmäisenä kuvauspäivänä nauhoitettiin materiaalia Suomalaisen Phantom (Tommi Toivonen, Hanna Toivonen) elektroduon kanssa. Toisena kuvauspäivänä kuvattavina kävivät tanssijat Satu Lähdeoja ja Teemu Korjuslommi sekä pariakrobaatit Jenni Lehtinen ja Sasu Peistola.

Jälkituotanto aloitettiin kehittämällä kokonaan uusi syvyyskuvien käsittelyyn ja manuaaliseen synkronointiin tarkoitettu ohjelmistokirjasto. Kirjasto mahdollistaa kuvatun materiaalin jälkikäsittelyn ja useamman RGBD-tiedoston yhtäaikaisen, synkronoidun, käsittelyn. Kirjasto integroitiin osaksi työtä helpottavaa työkalua. Kirjastoa hyödyntävään työkaluun kehitettiin myös automaattiset ja manuaaliset suodattimet hälyn (noise filters) poistoon.

Projektin luonteen takia Delicode päätti käyttää kehitysympäristönä laajaa suosiota VR-pelinkehittäjien keskuudessa nauttivaa Unity-pelimoottoria. Valmiin pelimoottorin tarjoamat oikopolut mahdollistivat nopean jälkituotannon ja visuaalisten ideoiden nopean kustannustehokkaan toteutuksen.  

MITÄ OPIMME?

Syvyysdatan kaappaaminen ja kolmiulotteisen kuvan sen päälle luominen onnistuu myös kuluttajaelektroniikalla. Ihan mutkatonta se ei ole ja tällä hetkellä tyydyttävä lopputulos edellyttää hyvin tarkkaan mietittyä valaistusta ja paljon käsityötä.  

Tavoiteltaessa demoa useammalla kohdelaitteella myös Unityn laaja tuki eri VR-katselulaitteille (HMD, head mounted display) puolsi kyseisen pelimoottorin käyttöä projektissa. Kun kuvattu materiaali saatiin Unityyn, huomattiin että syvyysmateriaalin tallentamiseen käytetty pakkausalgoritmi oli asetettu liian aggressiiviseksi. Ongelmat johtivat tarkkuuden tarpeettomaan heikkenemiseen syvyysinformaatiossa. Artifaktien poistaminen pakatusta kuvasta olisi teoreettisesti mahdollista, mutta koska lopputulos ei todennäköisesti silti vastaisi todellisuutta, päätettiin asiaa olla korjaamatta tässä demossa.

Delicoden kirjoittama tarkempi raportti kokeilun toteutuksesta löytyy täältä.

Lopputuotoksena syntynyt musiikkivideo on tarkoitus julkaista lopullisessa muodossaan useammalla VR-alustalla vuoden 2017 aikana.

HTC Vive (Windows PC) ja Gear VR (Android) versiot kokeilusta julkaistaan sopivana ajankohtana kuluvan vuoden aikana.