Zozbierajte zoznam skladieb, nájdite skladbu uviaznutú v hlave, napíšte hru: čo dokáže umelá inteligencia s hudbou
Rôzne / / March 30, 2022
Rozpoznať kompozície
Skvelú skladbu môžete počuť kdekoľvek: v nákupnom centre, v kaviarni a dokonca aj z okna neďalekého auta, keď stojíte v dopravnej zápche. Aby ste nezmeškali neznámu pesničku, ktorá sa vám páči, stačí zapnúť aplikáciu na rozpoznávanie. Názov kompozície a meno umelca v nich dáva umelá inteligencia v priebehu niekoľkých sekúnd. Je pravda, že za takýmto rýchlym výsledkom je dôkladná príprava: ak sa chcete rýchlo naučiť melódiu, program si ju musí najskôr zapamätať. Na tento účel sa neurónové siete zavedú do obrovskej knižnice stôp a potom algoritmy prevedú zvuk na spektrogram a rozložia ho na čas, frekvenciu a intenzitu.
Anatolij Starostin
Vedúci oddelenia technologického rozvoja v spoločnosti Yandex Media Services.
Spektrogram je graf. Čas je umiestnený pozdĺž horizontálnej osi, frekvencia zvuku je umiestnená pozdĺž vertikálnej osi a jeho intenzita v určitom okamihu je vyjadrená farebne. Nízky signál je znázornený červenou lištou v spodnej časti a vysoký signál v hornej časti. Výsledkom je obrázok pozostávajúci z farebných vodorovných pruhov. Analýza takýchto obvodov pomáha rozpoznať hudbu. Pri práci so spektrogramami sa používajú rovnaké prístupy neurónových sietí ako pri analýze obrazu.
Predpokladajme, že osoba počuje pieseň v rádiu a chce poznať meno a interpreta. Rozpoznávací program vytvorí spektrogram znejúcej pasáže a odošle ho do svojej knižnice skladieb. Potom porovná „obraz“ želanej melódie so spektrogramami iných skladieb a vyberie najpresnejšiu zhodu. Umelá inteligencia zároveň rozozná melódiu aj pri vážnom rušení, ako je hluk z cesty alebo opravy v susednom byte.
Mimochodom, neurónová sieť je schopná nielen identifikovať interpreta a názov skladby uviaznutý v hlave, ale aj zhruba určiť jej žáner. K tomu sa umelá inteligencia učí hľadať vzory v rôznych hudobných štýloch. Takéto špecifické vlastnosti sú väčšinou ľudskému zraku a sluchu nedostupné. Ale vďaka strojovému učeniu je možné vypočítať hudobné žánre zo spektrogramových obrázkov.
Odporúčať skladby
Zdá sa, že nájsť „rovnakú“ skladbu, ktorá bude vyhovovať vašej nálade v miliardách skladieb sami, je takmer také nepravdepodobné, ako zamilovať sa na prvý pohľad. Ale vďaka algoritmom odporúčaní sa dokonalé zhody nestávajú tak často. Najprv umelá inteligencia hľadá ľudí s podobným vkusom a následne sa spájajú štatistické vzorce: počet označení páči sa mi, nepáči sa mi, prehratia a preskočenia konkrétnej skladby.
Anatolij Starostin
Odporúčanie piesne funguje podľa jednoduchej schémy: ak sa Vasyovi páčila skladba X a potom ju ohodnotil aj Peťa, potom keď sa Vasyovi páči Y, Peťa by mal odporučiť aj skladbu Y. Keď algoritmus potrebuje nájsť ďalšiu skladbu, vzorec sa použije na množinu potenciálnych skladieb. Najvhodnejšie pláva na vrchol.
„Studený“ obsah, nevidený v playlistoch masového poslucháča, sa šíri pomalšie. Ale vďaka neurónovým sieťam majú neznámi umelci a špecializovaná hudba stále malú šancu blikať v prúde odporúčaní. Ak zjednodušíme všetky technické nuansy, potom môžeme povedať, že v takýchto prípadoch umelá inteligencia zisťuje, ako často konkrétny používateľ počúva skladby s podobnými spektrogramami a pravidelne ho pozýva, aby sa zoznámil s novými stopy.
Mary Gu
Speváčka.
Občas hľadám inšpiráciu v odporúčaniach. Výber skladby zverím hudobnej službe, vypočujem si melódie, nájdem zaujímavé zvuky či texty. Track od neznámeho interpreta si teda môžete naozaj spontánne zamilovať. A ďalší riadok, ktorý som náhodou počul, ma môže podnietiť k vytvoreniu vlastných básní.
Neurónové siete tiež pomáhajú vytvárať výber hudby pre fitness, chôdzu alebo spánok. Editori obsahu vyberajú referenčné stopy pre algoritmy a na základe ich spektrogramov umelá inteligencia rozširuje tematické odporúčania.
vytvárať hudbu
Predtým mohli melódie vytvárať iba skladatelia. Teraz je to možné aj bez účasti hudobníkov. V roku 2020 usporiadalo Holandsko prvú súťaž Eurovision Song Contest pre neurónové siete – AI Song Contest. Vyhral Austrálčan spolupráce umelá inteligencia s koalami, rybárikmi a tasmánskymi diablami. Pieseň bola venovaná lesným požiarom zúriacim na kontinente. Zvuky zvierat boli zaznamenané v krátkych vzorkách - fragmentoch dlhých 1-2 sekundy. Algoritmus ich skombinoval s hitmi všetkých predchádzajúcich víťazov skutočnej Eurovízie, po ktorých zostavili vzorky do vlastnej melódie.
Toto nie je jediný príklad úspešného kreatívneho spojenia programátorov a neurónových sietí. V roku 2019 na záver Zimného medzinárodného festivalu umenia v Soči Štátny orchester predviedol 8-minútovú skladbu. Napísal ju skladateľ Kuzma Bodrov zo samostatných fragmentov melódií generovaných neurónovými sieťami. Dnes je tvorba hudby najperspektívnejšou oblasťou rozvoja umelej inteligencie.
Anatolij Starostin
Umelá inteligencia dokáže vytvárať hudbu tromi spôsobmi. Prvý je spojený s konštrukciou hotových „tehál“ zvuku – samplov. V tomto prípade ich algoritmus jednoducho usporiada v správnom poradí cez niekoľko zvukových stôp a elektronický aranžér zmieša hotovú stopu. Druhým spôsobom je generovanie notového záznamu. Je to ako písať pokyny pre hudobníka, aby na ňom zahral hotové dielo. A tretím spôsobom je nahrávanie „surového“ zvukového signálu. V tomto prípade samotná neurónová sieť vytvára zvukové vlny, ktoré sú podobné napríklad Mozartovi alebo Beatles.
Mimochodom, neurónové siete môžu písať aj poéziu pre piesne. Zatiaľ takéto skladby znejú dosť zvláštne, takže skladatelia by sa nemali obávať nezamestnanosti. Okrem toho je „počítačová myseľ“ bez pocitov. Nedokáže preniknúť do emocionálneho kontextu a sprostredkovať zážitky, ktoré prinútili autorov diel k tvorbe.
Mary Gu
Poézia a hudba sú predovšetkým o duši, vnútornom svete, zážitkoch, pocitoch a emóciách ľudí. Napríklad nový track “Nevyhorieť” je môj osobný príbeh, ale je aj o každom, kto si ide za snom a snaží sa pochopiť sám seba. Nemyslím si, že umelá inteligencia niekedy nahradí živého človeka v hudobnom priemysle. Ale tu môžete získať zaujímavý tandem "človek - neurónová sieť". Poznáme už desiatky príkladov, kedy umelá inteligencia pomáhala skladateľom vytvárať jedinečné melódie. V skutočnosti je to nový smer v hudobnom svete, ktorý, som si istý, bude mať v budúcnosti svojho poslucháča a publikum.
Umelá inteligencia sprístupňuje kreativitu každému a hudba jej pomáha rozvíjať sa. Aby ste pochopili, ako sa tieto dva póly zbiehajú a navzájom sa ovplyvňujú, môžete "Čísla lekcií“ od spoločnosti Yandex - „Digitálne umenie: hudba a IT“. Spolu s hrdinami komiksov sa účastníci dozvedia, ako neurónové siete rozpoznávajú a generujú stopy a aké technológie pomáhajú pri práci hudobných služieb, ktoré poznáme. Na hodine si žiaci sami skúsia uhádnuť melódiu podľa spektrogramu a zostavia si playlist s odporúčaniami.
Chcem "Čísla lekcií"
obálka: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker