NVIDIA predstavila neurónovú sieť na generovanie videa podľa popisu
Rôzne / / April 20, 2023
Ak by ste chceli sledovať, ako Imperial stormtrooper vysáva pláž.
Spoločnosť NVIDIA oznámil nový model VideoLDM AI, ktorý vytvára krátke videá na základe textu. Bol vyvinutý v spolupráci s výskumníkmi z Cornell University.
VideoLDM berie do úvahy až 4,1 miliardy parametrov, z ktorých 2,7 miliardy je natrénovaných na videu. Vygenerované klipy môžu mať rozlíšenie až 2048 × 1280 pixelov pri 24 snímkach a môžu trvať až 4,7 sekundy.
Neurónová sieť je schopná vytvárať jednoduché scény s pár slovami v požiadavke, ako aj niečo zložitejšie. Niekoľko príkladov:
- Ohňostroje.
- Búrlivák vysáva pláž.
- Cestovateľ kráča sám v hmlistom lese pri západe slnka.
Viac príkladov je uvedených webová stránka projektu.
Táto neurónová sieť NVIDIA zatiaľ nie je vo verejnej doméne. Bol prezentovaný ako výskumný príspevok v rámci Konferencie o strojovom videní a rozpoznávaní vzorov.
Vývojári zaznamenali pôsobivý a rýchly pokrok v učení, ale nehovorili o možnej budúcnosti neurónovej siete. Dá sa však predpokladať, že čoskoro sa dočkáme plnohodnotného analógového videa stredná cesta.
Prečítajte si tiež🧐
- 10 služieb neurónovej siete na vytváranie videa
- 7 nástrojov neurónovej siete na zlepšenie kvality videa
- Runway spúšťa nový model neurónovej siete na vytváranie videí z textového popisu