Võtmed kaasavõtmiseks
- Nvidia tutvustas hiljuti tehnikat, mis muudab 2D-fotod vaid sekunditega 3D-stseenideks.
- Meetod kasutab arvuti võimsust, et ligikaudselt hinnata, kuidas valgus reaalses maailmas käitub.
- Metaversum on üks valdkond, kus 3D-stseenid on kasulikud, kuna neid saab vaadata mis tahes kaamera vaatenurgast.
Nvidia uus tehisintellekti (AI) tehnoloogia võib peagi muuta 2D-fotod vaid sekunditega 3D-stseenideks, muutes ümbritsevate virtuaalsete ruumide, nagu metaversum, loomise sama triviaalseks kui tekstitöötlus.
Nvidia demonstreeris hiljuti fotomeetodit nimega Instant NeRF, mis kasutab arvutusvõimsust, et hinnata valguse käitumist reaalses maailmas. See võib muuta teie vanad fotod videomängustseeniks või seda saab kasutada robotite ja isejuhtivate autode õpetamiseks, et nad mõistaksid pärismaailma objektide suurust ja kuju.
"3D-kujutised toovad kaasa uue ümberkujundamise maailma, " rääkis Nvidia platvormil oma 3D-algoritme käitava arvutinägemisettevõtte Visionary.ai tegevjuht Oren Debbi Lifewire'ile e-posti teel antud intervjuus. "3D-d kasutades jäljendate stseeni reaalset sügavust ning muudate pildi elavamaks ja realistlikumaks. Lisaks AR/VR-ile ja tööstuskaameratele, kus 3D on väga levinud, kasutatakse seda nüüd peaaegu igas nutitelefonis ilma kasutaja isegi teab."
Mõõtmete lisamine
Esimese kiirfoto, mis tehti 75 aastat tagasi Polaroid-kaameraga, eesmärk oli jäädvustada 3D-maailm kiiresti 2D-pildina. Nüüd töötavad tehisintellekti teadlased vastupidise kallal: piltide kogu muutmine digitaalseks 3D-stseeniks sekunditega.
Pöördrenderdusena tuntud protsess kasutab tehisintellekti, et hinnata valguse käitumist reaalses maailmas, võimaldades teadlastel rekonstrueerida 3D-stseeni käputäie erinevate nurkade all tehtud 2D-piltide põhjal. Nvidia väidab, et on välja töötanud lähenemisviisi, mis täidab selle ülesande peaaegu kohe.
Nvidia kasutas seda lähenemist uue tehnoloogiaga, mida nimetatakse närvikiirguse väljadeks ehk NeRF. Ettevõte ütleb, et tulemus, nimega Instant NeRF, on seni kiireim NeRF-tehnika. Mudel vajab vaid sekundit, et treenida mõne tosina fotoga ja seejärel saab tulemuseks oleva 3D-stseeni renderdada kümnete millisekundite jooksul.
"Kui traditsioonilised 3D-esitused, nagu hulknurksed võrgud, sarnanevad vektorkujutistega, on NeRF-id nagu bitmap-kujutised: need jäädvustavad tihed alt viisi, kuidas valgus objektilt või stseenis kiirgab,“ütles David Luebke, graafikauuringute asepresident Nvidia ütles pressiteates: "Selles mõttes võib Instant NeRF olla 3D jaoks sama oluline kui digikaamerad ja JPEG-tihendamine on olnud 2D-fotograafias – see suurendab oluliselt 3D-pildistamise ja jagamise kiirust, lihtsust ja ulatust.”
Andmete kogumiseks NeRF-i söötmiseks on vaja, et närvivõrk jäädvustaks paarkümmend pilti, mis on tehtud stseeni mitmest kohast, samuti iga kaadri kaamera asukoht.
NeRF treenib stseeni rekonstrueerimiseks väikest närvivõrku, ennustades 3D-ruumi mis tahes punktist mis tahes suunas kiirgava valguse värvi.
3D üleskutse
Metaversum on üks valdkond, kus 3D-stseenid on kasulikud, kuna neid saab vaadata mis tahes kaamera vaatenurgast, ütles liitreaalsuse (AR) Perceptus Platformi asutaja Brad Quinton Lifewire'ile antud meiliintervjuus. Nii nagu me saame päriselus kõndida läbi ruumi ja näha selle sisu mitme erineva nurga alt, saame rekonstrueeritud 3D-stseeni abil ruumis praktiliselt liikuda ja vaadata seda mis tahes vaatenurgast.
"See võib olla eriti kasulik virtuaalreaalsuses kasutatavate keskkondade loomisel," ütles Quinton.
Programmid, nagu Apple'i Object Capture, kasutavad 2D-piltide seeriast virtuaalsete 3D-objektide loomiseks tehnikat, mida nimetatakse fotogrammeetriaks. 3D-mudeleid kasutatakse laialdaselt virtuaalreaalsuses ja AR-rakendustes, ennustas Quinton. Näiteks mõned tehisintellektid, nagu platvorm Perceptus AR, kasutavad 3D-mudeleid, et luua arusaamine tegelikust maailmast, mis võimaldab reaalajas AR-rakendusi.
3D-piltide kasutamine jäljendab ka stseeni reaalset sügavust ning muudab pildi elavamaks ja realistlikumaks, ütles Debbi. Bokeh-efekti (teise nimega portreerežiim või kinorežiim) loomiseks on vajalik 3D sügavuse kaardistamine. Seda tehnikat kasutatakse peaaegu kõigis nutitelefonides.
"See on juba filme filmivate professionaalsete videograafide standard ja sellest on saamas standard iga tarbija jaoks," lisas Debbi.
