VR handlar om att ändra filmskapande för evigt här är hur

Hollywood pratar om virtuell verklighet. Vid Oculus Connect-konferensen förra månaden talade en hel panel av Hollywoodaluminium om tekniken och det är applikationer inom filmskapande.

Samtidigt börjar tunga hitter i branschen väga in. James Cameron hatar det. David Attenborough gör en dokumentär om det. Den senaste (utmärkta) filmen Interstellar hade en VR-upplevelse som främjar den.

Virtuell verklighet är ett nytt sätt att kommunicera med din tittare, och många med bakgrund i traditionell filmskapning hittar möjligheterna spännande. Virtuell verklighet, snarare än att bara ge ett fönster till en ny värld, gör det möjligt för regissörer att ta kontroll över hela världen runt betraktaren.

Vad kan du göra med en VR-kamera?

Det tar inte mycket fantasi att bli glada över tanken på VR-kameror. Filmskapare kunde bokstavligen få publiken ansikte mot ansikte med sina karaktärer och fördjupa dem i spektakulära, bisarra världar. Fotografer kan fånga hela scenerna, frusna i tid, för att bli perused av någon, var som helst i världen.

Dokumentärer kan ta publiken till platser som de annars aldrig skulle kunna besöka. De kunde skicka en VR-kamera till botten av havet och låta tittare stå mitt i den sjunkna balsalen i Titanic. Naturdokumentärer kan manipulera tid och utrymme, sätta användare bland myror storleken på hundar, eller bygga nedsänkta tidsförloppssekvenser. NASA kunde montera en VR-kamera på en Mars-rover och låta miljoner människor stå på den röda planeten.

Det finns naturligtvis också mer vardagliga applikationer:

En av nycklarna till konsumentens VR-framgång kommer att vara stereoskopiska panoramakattvideor.

- John Carmack (@ID_AA_Carmack) 6 november 2014

Live VR-video kan också vara mycket övertygande. Sportspel skulle kunna delta i fjärrkontroll, VR-kameror skulle ge alla domstolen sittplatser. Även turism kan vara virtuell.

Användare kan hyra en enkel telepresence robot (kanske en Segway med en VR-kamera som sitter på styren), och pilotera den runt, var som helst i världen. Segway skulle strömma sin video tillbaka live, så att turister kan praktiskt taget “teleport” själva över hela världen för att utforska var som helst. Det verkar säkert säga att VR kommer att förändra världen Varför virtuell verklighetsteknik kommer att blåsa ditt sinne om 5 år Varför virtuell verklighetsteknik kommer att blåsa ditt sinne om 5 år Framtiden för den virtuella verkligheten innefattar huvud-, ögon- och expressionsspårning, simulerad beröring , och mycket mera. Dessa fantastiska tekniker kommer att vara tillgängliga för dig om 5 år eller mindre. Läs mer .

VR-filmskapande har dock många utmaningar. Hur kan regissörer flytta kameran medan tittaren är bekväm? Hur skärmar regissörerna filmen utan att disorientera tittaren? Hur ser de till att tittaren tittar i rätt riktning för att fånga viktiga plothändelser? Närbilderna är till och med meningsfulla?

Kanske är de största problemen dock praktiska: hur spelar du in innehåll för virtuell verklighet? Rendering av levande VR-innehåll för spel är beräkningsintensivt men konceptuellt enkelt. Inspelning av verkliga livet ställer däremot några allvarliga utmaningar.

Panoramakamera

Den enklaste lösningen (och den enda mest använda en för tillfället) är enkel panorama videoinspelning. I det här systemet används en boll med konventionella kameror för att spela in video i alla riktningar, och resultaten sys ihop med programvara för att skapa en sömlös videosekvens. 5 Tips för att ta panoramabilder med din smartphone 5 tips för att ta panoramabilder med din smartphone Panoramabilder av fantastiska landskap ser nästan alltid underbara ut, men de kan vara extremt svåra att skapa. Med hjälp av en smartphone finns det olika tekniker och knep som du kan använda för att få de bästa resultaten. Läs mer e med din telefon, men spelad samtidigt i videoformat. Processens resultat ser något ut så här:

Detta är enkelt och billigt. Du kan förbeställa en panoramakamera för cirka $ 700, men det har begränsningar. Det viktigaste är brist på djup: Panoramaerna görs på en oändligt stor sfär, så parallaxen mellan dina ögon är noll, även för delar av bilden som verkligen borde ha djup, som en person som står bredvid dig.

Trots denna brist är erfarenheten från panoramavideo fortfarande överraskande cool, särskilt för innehåll som sker på avstånd (flygfotografering är ett bra exempel). För ungefär en vecka sedan byggde jag en Oculus Rift-app som gör en virtuell cockpit inne i videon ovan, och resultaten är övertygande: det känns som att åka i en ubåt omgiven av havssköldpaddor storleken på små byggnader.

Tänk på den här typen av VR-innehåll som en personlig super-IMAX-teater där du står upphängd mitt i en stor sfärisk skärm. Platsen för sfärisk video är redan något som är omöjligt med traditionella filmverktyg. Även med sina begränsningar är det förmodligen det som VR-videon kommer att se ut i den närmaste framtiden. Richard Attenboroughs dokumentär (“Skottets erövring“) skjuts i detta format.

Stereo Panoramakamera

Låt oss säga en regissör är olycklig med begränsningen av monoskopiska panoramabilder. En uppenbar förlängning av tekniken är att ta fram 3D-teknik sida vid sida. Old-Time Fun: Hur man gör 3D-bilder för att se med inga glasögon Old-Time Fun: Hur man gör 3D-bilder för att se med inga glasögon tror det eller inte, du behöver inte egentligen 3D-glasögon för att uppleva övertygande realistiska 3D-bilder (eller filmer). Du behöver bara göra dig själv “Eyed”. I huvudsak tittar du på två bilder, och med avsiktligt ... Läs mer. För att göra detta behöver hårdvaran två parallella kameror som vetter mot varje riktning, motsatt av cirka 6,3 cm. Sedan använder kameran programvara för att sy samman två panoramabilder: en för vänstra ögat och en till höger. Skillnaden mellan dem skapar djupets illusion. Produkter som stöder denna erfarenhet är tillgängliga, även om de är dyra ($ 995, plus kostnaden för tio GoPro-kameror).

I ett försök att göra denna typ av innehåll mer vanligt, meddelade Samsung nyligen “Projektet bortom”, en VR stereo panoramakamera för Oculus-Samsung Gear VR mobil headset. Den nuvarande prototypen har formfaktorn för en liten puck och använder 17 HD-kameror och gör en gigapixel per sekund av data.

Vid 30 bilder per sekund fungerar det till panoramabilder som är cirka 15 megapixlar per öga, eller cirka 50 000 pixlar per öga per visuell grad. Prissättning är fortfarande något av ett mysterium, och Samsung betonar att detta inte är ett färdigt projekt. Du kan se deras förhandsgranskningsvideo nedan.

Stereospanor är klart en bättre upplevelse än sina monoskopiska bröder - stora saker ser stora ut, små saker ser små ut, föremål har djup och position och det känns mycket mer som att vara där. Med detta sagt är erfarenheten fortfarande långt ifrån perfekt. Som John Carmack beskriver i sin Oculus Connect-keynote, har stereo panorama många problem.

“... stereoskopiska panoramabilder, oavsett om de fortfarande är eller videoklipp, är absolut ett hack. Det finns - vi vet vad som är rätt och det här är inte rätt. Vad de slutar göra är att du har skivor tagna från flera kameror, så rakt framåt är det rätt stereo för en paravis och då är det här rätt. Men det betyder att om du tittar på vad som var rätt för ögonen här men du tittar på ögonen på ögat här är det definitivt inte rätt. Det är inte rätt skillnad för ögonen.

Och då är det ännu värre om du vrider ditt huvud som det här [rullar huvudet], det blir alldeles dåligt, för det är upprättat bara för ögonen rakt framåt. Så det här var en intressant sak. Vi har saker där vi i princip vet att det kan förgiftas, det kan vara en väldigt dålig upplevelse om personer du spenderar mycket tid slouched över. [...]

Det här är tekniska problem som kanske kan lösas av bättre hårdvara. Det finns emellertid ett djupare problem: vad händer när du rör dig? Panoramaerna för båda ögonen är fortfarande gjorda i oändlighet: fysiskt rörande ditt huvud kommer att resultera i den illamående känslan att världen rör sig med dig, särskilt om det finns föremål nära dig. Det finns inget enkelt sätt att ta reda på hur en stereoskopisk bild skulle se ut ur en ny synvinkel.

Trots dessa begränsningar är stereo-panorama-erfarenheter fortfarande övertygande. Gear VR-plattformen kommer att fokusera på dessa typer av erfarenheter, eftersom de kan skapas med modern maskinvara och visas utan att beskatta maskinens renderingskapacitet. Stereospanor kommer förmodligen vara guldstandarden för VR-innehållsproduktion, åtminstone de närmaste åren.

Djupskameror

Ett alternativ till att fånga två sida vid sida bilder (som med traditionella 3D-filmer) är att fånga vad som kallas djupbilder: en enda bild som tagits från ett enda perspektiv, som innehåller en extra färgkanal som lagrar avståndet från linsen av den aktuella pixeln.

Om du har det kan programvara simulera virtuella kameror som visar bilden från nya perspektiv, var noga med att alltid ha en ny, korrekt bild från varje öga. Det är möjligt att generera panoramabilder på djup som möjliggör naturlig huvudrörelse och rotation på ett sätt som inte är möjligt med stereo panorama. Det finns några tekniker du kan använda för att fånga dessa djupbilder.

Flygtid

Den version av den här tekniken som du förmodligen är mest bekant med är den som används i Kinect. Kinect V2 (den version som medföljer Xbox One) bygger på vad som är känt som en tidskamera.

Teorin här är enkel: kamerakameror är infraröda kameror som kan spela in inte bara där ljus slår på sensorn, men när ljus slår på sensorn med en precision på några mikrosekunder. Detta är kopplat till en färgvideokamera och ett infrarött stråljus. I början av varje ram blinkar IR-strålen och belyser scenen väldigt kort. Genom att bestämma hur lång tid det tar för varje pixel att observera blixten kan kameran härleda sig från ljusets hastighet hur långt bort varje pixel är från kameran.

Denna teknik är enormt kraftfull. Hackers har gjort några otroliga saker 5 Microsoft Xbox Kinect Hacks som kommer att blåsa ditt sinne 5 Microsoft Xbox Kinect Hacks som kommer att blåsa ditt sinne Läs mer med det. Genom att använda flera Kinects i en överlappande konfiguration kan det vara möjligt att skapa en panorama av en scen med ett exakt djupvärde för varje bildpunkt, vilket kan göras i virtuell verklighet för att skapa en fördjupad upplevelse med korrekt djup.

För att få en bild av de olika resultaten som detta tillvägagångssätt producerar, kolla in den här videon som visar utsignalen från bara Kinect V2 djupkamera.

Detta är en högkvalitativ djupbild - mycket detaljer, rena kanter och inte för mycket ljud. Det finns dock vissa begränsningar: den största varningen är att Kinect i detta exempel spelar in en inomhusplats med noggrant kontrollerade ljusförhållanden.

I verkliga scenarier (och särskilt utomhus) kan omgivande IR-störningar från direkt och indirekt solljus och glödande ljuskällor försämra noggrannheten. Det finns också ett mer grundläggande problem, vilket är den tiden av flygkameror beror på aktiv belysning. Det sätter några hårda gränser för hur långt de kan se. De klarar inte heller bra med transparenta och reflekterande ytor. Och eftersom djupupplösningen är begränsad av tidpunktens noggrannhet är kamerakameror inte särskilt användbara för att spela in små objekt, vilket gör att man inte kan spela med skalan.

Light Field

En annan teknik för att fånga djup bilder kallas "light field" fotografering Lytro Light Field Camera: Snap Happy eller Photo Gimmick? Lytro Light Field Camera: Snap Happy eller Photo Gimmick? Beskriven av en anställd som "den första stora förändringen i fotografering sedan fotografering har uppfunnits" är Lytro Light Field-kameran verkligen en revolutionerande enhet. Kameran skakar upp saker genom att ersätta mycket av den tunga ... Läs mer .

Så här fungerar det: i konventionell fotografi fokuserar kameralinsen inkommande ljus på en sensor. Varje element i sensorn registrerar mängden ljus som slår på det. Lätta fältkameror använder en speciell sensor, där varje “pixel” är faktiskt en liten lins med många sensorer under den. Detta gör det möjligt för kameran att mäta inte bara hur mycket ljus som träffar varje pixel, men också den vinkel som ljuset kommer in på.

Detta är användbart av några anledningar. Den enklaste applikationen är att genom att ändra hur det här stora "ljusfältet" samplas kan slutanvändare omfokusera ett fotografi efter det att det har tagits. Applikationen som är intressant för VR, är att lätta fältkameror också är bildkamera! Vinkeln på det inkommande ljuset från ett objekt är en funktion av hur långt objektet kommer från linsen i förhållande till bländarens storlek. Långa föremål producerar ljus som är nästan vinkelrätt mot linsen. Mycket nära föremål ger ljus som är nästan parallellt. Från det här är det möjligt att (mycket noggrant) bestämma djupkartan för en bild.

Du kan se några resultat från en tidig ljusfältvideokamera nedan och hur bilden ser ut som omprojektion från en annan vinkel.

Eftersom det är en passiv process definieras intervallgränsen och den geografiska noggrannheten av upplösningen och storleken på bländaren, och inget annat. Det betyder att med hjälp av förstoringslinser är det möjligt att ta ljusfältdjupbilder av stort sett alla föremål i vilken skala som helst under alla förhållanden. För att få ett exempel på vad som är möjligt med större, mer exakta ljusfält, titta på den här videon, som använder flera ramar från en handhållen ljusfältkamera för att simulera ett mycket större ljusfält. Det genererar lite ganska övertygande 3D-geometri från den.

Lätta fältkameror är en mycket mindre mogen teknik än tid för flygkameror (det finns bara en ljusfältkamera på konsumentmarknaden just nu och det stöder inte videoinspelning). Med detta sagt, med mer utvecklingstid, bör lätta fältkameraer erbjuda långsammare mycket djupare videoupplevelse.

Hantera Disocclusion

Det finns ett stort problem med djupvideo som är värt att nämna: huvudrörelse. Ja, det är möjligt att återprovera djupvideor till nya perspektiv, och alla pixlar hamnar där de borde vara. Djupvideo kommer inte att göra dig sjuk. Tyvärr introducerar de ett nytt problem: disocclusion.

När du flyttar huvudet på ett sådant sätt att du tittar på en del av världen som inte syns i originalbilden eller panoramaen, får du en otäck visuell artefakt: en skugga. För att få en uppfattning om vad jag pratar om, kolla på den här videon:

I den videon hackade en programmerare Kinect för att göra en djupvideo av vad den ser i rymden. Genom att flytta den virtuella kameran reprojecterar han scenen från ett antal perspektiv.

Det är en första generation Kinect, så videofoderet är lite glitchy, men resultaten är ganska imponerande. Den största nackdelen, som blir uppenbart när han börjar vända kameran, är skuggorna i scenen. Den del av väggen bakom kroppen har ett enormt, personformat hål som klipps ut av den: den del som kameran inte kan se och saknar data för. Dessa svarta skuggor kommer att dyka upp i djup panorama så fort huvudet börjar röra sig. Så hur hanterar VR-kameror dessa hål? Tja, det finns några tillvägagångssätt för detta problem:

Fler kameror

Den enklaste lösningen är att faktiskt bara spela in sakerna runt hörnen och bakom ockluderande ytor. För att göra detta lägger du till fler kameror - mycket mer. För att ge människor möjlighet att flytta sina huvuden till en meter i vilken riktning som helst, måste kameran utökas för att skapa en 2 meter bred sfär med dubbla FOV-djupskameror, så att programvaran kan syntetisera alla synpunkter inom sfären.

Detta är det mest robusta tillvägagångssättet, men också det minst praktiska. En kamera på två meter är inte en bra bärbar steadicam, det är en installation och en dyr. Detta kan vara praktiskt för några avancerade Hollywood-produktioner, men absolut inte för de flesta verkliga applikationer. Du kan se en prototyp av den här idén nedan, implementerad i form av en live 3D-telekonferensprogram:

Scen rekonstruktion

Ett annat tillvägagångssätt är att använda en djupkamera för att kartlägga miljön innan de börjar filma och använda dessa data för att fylla i hål i de inspelade bilderna, om videon skaparen huvudsakligen spelar in några dynamiska objekt mot en statisk bakgrund. Detta kan göras automatiskt med hjälp av en teknik som heter SLAM (Simultaneous Location And Mapping), som automatiskt sammanfogar många djupbilder för att skapa en komplett 3D-karta över en scen. Resultaten ser något ut så här:

Det fungerar ganska bra men är inte lämpligt för alla situationer. Det är inte svårt att föreställa sig att försöka filma en scen på en upptagen allmän plats, där mycket av bakgrunden består av människor som rör sig och lockar varandra. Att fånga en enda statisk version av den där scenen för att enkelt fylla i hålen är inte möjlig. Vidare, för dokumentär, levande video eller nyhetsändamål kommer det inte att vara praktiskt att i förväg kartlägga miljön.

Bara gör saker upp

Den sista inställningen till problemet är att tillgripa det vanliga svaret i fall där du inte har tillräckligt med data: direkta lögner.

Inblicken här är att i verkligheten kommer tittaren inte att gå upp och försöka gå runt scenen. De kommer att sitta ner, och vad mjukvaran verkligen behöver korrigera för är små variationer i pose som orsakas av betraktaren som lutar och förskjuter i sitt säte - disocclusionsna blir helt enkelt inte så stora. Det betyder att de data som används för att fylla i hålen inte behöver vara korrekta, det måste bara se på ett rimligt sätt. De av er som har spelat med photoshops innehållsberoende bildfyllnad (eller dess konkurrenter Snapheal for Mac: Superhero Image Healer [Giveaway] Snapheal for Mac: Superhero Image Healer [Giveaway] SnapHeal for Mac ($ 14,99) är här för att spara din fotografier, och det gör ett bra jobb av den. Den här veckan kommer vi att ge bort 25 kopior av Snapheal for Mac värda totalt 375 dollar. Om ... Läs mer) vet vart det här går.

Som det visar sig har forskare kommit med några ganska bra algoritmer för att fylla i hål i levande videoströmmar i realtid. Du kan kolla in några exempel nedan:

Tänk dig att sönderdela en djupbild i lager, subtrahera dem en åt gången för att se var det finns skuggor och sedan använda dessa typer av in-paint-algoritmer för att generera rimliga bilder för att fylla i hålen.

Det här är lite svårare än enkelt 2D-målning, eftersom algoritmen också behöver göra rimliga djupvärden för hålen, men många av samma tekniker kan användas. Dessa tillvägagångssätt fungerar inte perfekt i alla situationer, men så länge som dessa artefakter är mindre påträngande än stora svarta hål i världen, räknas det fortfarande som en vinst.

Hur länge tills de är klara?

Med VR-kameror, ännu mer än andra saker, är den perfekta fienden av gott.

Även med den bästa tekniken kan pengar köpa och fotografera noggrant planerat för att minimera ocklusionsfel, resultaten skulle fortfarande vara ofullkomliga. Spekulära höjdpunkter är till exempel ljusstyrka som syns på blanka ytor, som varierar i läge beroende på huvudets position, eftersom de är beroende av att ljuset reflekteras i en mycket specifik vinkel.

Speculära höjdpunkter som spelats in även den bästa VR-videon visas som bakade vita fläckar på ytan och kommer inte att se direkt på närliggande föremål under huvudrörelse. Det är en begränsning som kommer att bli svår att komma runt. Dessutom är det svårt att fylla i ocklusionsfel i komplicerade scener med många rörliga föremål. Det gör det helt omöjligt och kommer att vara länge.

Det kommer att bli år och kanske till och med årtionden innan VR-kameror kan ge en perfekt upplevelse på samma sätt som traditionell 2D-film kan. Det är det offer du gör för att uppleva ett fundamentalt starkare medium.

Med allt som sagt kommer några riktigt coola saker att komma ner i röret den närmaste framtiden. Varje enskilt alternativ som nämns i denna artikel kan skapa genuint värdefulla erfarenheter. Samsungs meddelande om “Projektet bortom” är ett lovande tecken på saker att komma.

Oculus Rift är planerad att lanseras någon gång 2015, och försäljnings siffror i miljontals enheter verkar inte som en sträcka. Om virtuell verklighet tar av sig det verkar som om det kanske kommer en enorm mängd tekniska framsteg att hända, snabbt.

Efterfrågan på innehåll kommer att driva VR-kameror för att bli bättre och mindre och billigare att möta efterfrågan. Det kommer antagligen inte vara många år innan en enhet som kostar mindre än en ny telefon och passar i din hand, kommer att ge en övertygande, bekväm VR-inspelning av allting - och det kommer att bli väldigt väldigt coolt.

Vad skulle du göra med din egen VR-kamera? Vilken typ av innehåll är du mest glada för? Låt oss veta i kommentarerna!

Bildkrediter: Glaskoncept Via Shutterstock

Utforska mer om: Virtual Reality, Virtual World.