NVIDIA ukázala neurónovú sieť, ktorá premieňa 2D obrázky na 3D objekty

NVIDIA spolu s odborníkmi zo Stanfordskej univerzity dokončila neurónovú sieť EG3D, ktorá je schopná generovať realistické trojrozmerné obrázky založené na plochých 2D obrázkoch.

Technológia bola preukázané na príklade portrétov ľudí a náhubkov mačiek. Vo všetkých prípadoch bol objemový obraz celkom realistický, so správnymi proporciami a bez viditeľných artefaktov.

Na vytvorenie trojrozmerného modelu neurónová sieť vygeneruje sériu dvojrozmerných obrázkov pomocou generatívnych protichodných sietí a potom na nich vytvorí 3D objekt.

Vývojári poznamenávajú, že EG3D funguje oveľa rýchlejšie a presnejšie ako analógy a nevyžaduje kolosálny výpočtový výkon – využijete ho aj na notebookoch so špičkovým hraním grafické karty. Napríklad s GeForce RTX 3090 všetko fungovalo dobre.

Neurónová sieť je už dostupná na samotestovanie – k dispozícii je zdrojový kód a návod na inštaláciu na GitHub.

V marci špecialisti NVIDIA preukázané podobnú neurónovú sieť Instant NeRF, ktorá lepí sériu 2D fotografií a dotvára obrázok do trojrozmernej scény. Volalo sa to „Polaroid budúcnosti“.