10 hanebných otázok o neurónových sieťach: Odpovedá špecialista na strojové učenie Igor Kotenkov
Rôzne / / August 08, 2023
Zhromaždili sme všetko, čo ste chceli vedieť, ale hanbili ste sa opýtať.
V novom séria Články známych odborníkov odpovedajú na otázky, ktoré je zvyčajne trápne klásť: zdá sa, že už o tom všetci vedia a pýtajúci sa bude vyzerať hlúpo.
Tentokrát sme sa rozprávali so špecialistom na umelú inteligenciu Igorom Kotenkovom. Dozviete sa, či môžete svoju digitálnu kópiu uložiť pre svoje pravnúčatá, prečo sa nedá 100% dôverovať neurónom a či svetu hrozí strojové povstanie.
Igor Kotenkov
1. Ako fungujú neurónové siete? Je to nejaký druh mágie. Ako by sa vôbec dal vytvoriť ChatGPT? A Midjourney alebo DALL-E?
Neurónová sieť je matematický model vynájdený s cieľom pochopiť, ako funguje mozog živého organizmu. Pravda, za základ sa zobrali najzákladnejšie myšlienky začiatku druhej polovice 20. storočia, ktoré dnes možno označiť za nepodstatné alebo príliš zjednodušené.
Dokonca aj názov "neurónová sieť" pochádza zo slova "neurón" - to je názov jednej z hlavných funkčných jednotiek mozgu. Samotné neurónové siete pozostávajú z uzlov – umelých neurónov. Dá sa teda povedať, že mnohé nápady moderných architektúr boli „odkukané“ zo samotnej prírody.
Čo je však dôležitejšie, neurónová sieť je matematický model. A keďže ide o niečo, čo súvisí s matematikou, potom môžeme využiť plnú silu matematického aparátu na to, aby sme zistili alebo vyhodnotili vlastnosti takéhoto modelu. Neurónovú sieť môžete považovať za funkciu a funkcia je tiež matematický objekt. Najjednoduchší a najzrozumiteľnejší príklad: funkcia, ktorá, povedzme, berie ako vstup ľubovoľné číslo a pridáva k nemu 2: f (4) = 6, f (10) = 12.
Takáto funkcia je ale veľmi jednoduchá na programovanie, zvládne ju aj dieťa po pár hodinách učenia sa jazykov. programovanie. A dôvodom je, že takáto funkcia je veľmi ľahko formalizovaná, podrobne opísaná jednoduchým a zrozumiteľným jazykom.
Sú však úlohy, ku ktorým ani nevieme, ako pristupovať. Môžem vám napríklad dať pomiešané fotky mačiek a psov, ktoré bez problémov roztriedite na dve kôpky. Ale čím sa vlastne riadite pri určovaní odpovede? Obe sú nadýchané. Oba druhy majú chvost, uši, dve oči. Možno veľkosť? Ale sú veľmi malí psi, sú veľké mačky.
Mnohé úlohy reálneho sveta nevieme opísať, nepoznáme závislosť nášho pozorovania a nejakej podmienenej „správnej“ odpovede.
My len vieme, ako na to odpovedať – a to je všetko, bez toho, aby sme premýšľali o tom, ako to dopadne.
Tu prichádzajú na pomoc neurónové siete. Tieto matematické funkcie sú trénované z údajov. Nie je potrebné popisovať vzťah medzi vstupom a výstupom. Jednoducho si pripravíte dva kôpky fotografií a modely vláčikov, aby ste dali správne odpovede. Ona sama sa učí nachádzať toto spojenie, nachádza ho sama, spoliehajúc sa na chybykto robí. Zamieňali ste si bengálsku mačku a rotvajlera? No nabudúce to bude lepšie!
Proces učenia sa neurónovej siete je taká úprava „neurónov“ s cieľom naučiť sa riešiť problém a dať správnu odpoveď. A čo je najpozoruhodnejšie: existuje teoretický dôkaz, že dostatočne veľká neurónová sieť s dostatočne veľkým súborom údajov sa môže naučiť akúkoľvek komplexnú funkciu. Najdôležitejšia vec je tu však výpočtový výkon (pretože neurón môže byť veľmi veľký) a dostupnosť označených údajov. Menovite označené, to znamená, že majú triedu „pes“, mačka alebo čokoľvek iné.
Nerozumieme úplne tomu, ako modely fungujú - najkomplexnejšie a veľké modely majú radi ChatGPT takmer neanalyzovateľné.
Najlepší výskumníci práve teraz pracujú na výzve „pochopenia“ vnútorného fungovania svojich procesov.
Vieme ale, na akú úlohu boli modely trénované, akú chybu sa snažili pri nácviku minimalizovať. Pre ChatGPT sa úloha skladá z dvoch. Prvým je predpoveď ďalšieho slova podľa jeho kontextu: „mama sa umyla...“ Čo? To by mal model predpovedať.
Druhou úlohou je zabezpečiť, aby odpovede neboli urážlivé, no zároveň zostali užitočné a zrozumiteľné. Preto sa model stal virálnym – je priamo natrénovaný na generovanie takého textu, ktorý sa ľuďom páči!
Viac o tom, ako funguje ChatGPT, si môžete prečítať v mojom článok.
2. Môžu neuróny myslieť?
Vedci stále nechápu, čo znamená „myslieť“ alebo „uvažovať“ a ako funguje intelekt vo všeobecnosti. Preto je ťažké posúdiť, či model ako ChatGPT má takéto vlastnosti.
Predstavme si situáciu: priblížite sa k dverám svojho bytu. Máte predstavu, že na otvorenie dverí potrebujete vytiahnuť kľúč z ľavého vrecka batohu? Môžeme povedať, že opis a prezentácia činov je myšlienkový proces? V podstate sme vytvorili vzťah medzi aktuálnym stavom a požadovaným cieľom (otvorené dvere). Ak si myslíte, že odpoveď na vyššie uvedenú otázku je áno, moja odpoveď by bola rovnaká. 🙂
Iná vec je, keď ide o inovatívne myšlienky, ktoré predtým neboli vyslovené alebo nie sú také bežné. Koniec koncov, napríklad na príklade vyššie môžete ľahko nájsť chybu: „Áno, tento model som čítal 100 500-krát na internete a v knihy. Samozrejme, že to vie! Nič prekvapivé." Mimochodom, ako si to vedel? Je to preto, že vám to rodičia ukázali v detstve a vy ste tento proces sledovali stovky dní v rade?
V tomto prípade neexistuje presná odpoveď. A tu ide o to, že neberieme do úvahy jednu dôležitú zložku: pravdepodobnosť.
Aká je pravdepodobnosť, že model vygeneruje myšlienku, ktorá zodpovedá vašej konkrétnej definícii „myšlienky“?
Koniec koncov, neurón ako ChatGPT môže byť vyrobený tak, aby generoval milión rôznych odpovedí na rovnakú požiadavku. Napríklad „prísť s nápadom na vedecký výskum». Ak je jedna generácia z milióna skutočne zaujímavá a nová, počíta sa to ako dôkaz toho, že modelka môže zrodiť nápad? Ale ako sa to bude líšiť od papagája, ktorý kričí náhodné slová, že nie-nie, a prispeje k niečomu zrozumiteľnému?
Na druhej strane ľudia tiež nie vždy vydávajú správne myšlienky - niektoré frázy vedú do slepej uličky a nekončia v ničom. Prečo to neurónové siete nedokážu odpustiť? No, jeden nový nápad z milióna vytvorených je naozaj zlý... Ale čo ak 100 z milióna? Tisíc? Kde je táto hranica?
Toto nevieme. Trend je taký, že najprv si myslíme, že pre stroje bude ťažké vyriešiť problém X. Napríklad prejsť Turingovým testom, kde vám stačí pol hodiny chatovať s človekom. Potom, s rozvojom technológie, ľudia prichádzajú na spôsoby, ako vyriešiť, alebo skôr trénovať modely pre úlohu. A my hovoríme: "No, vlastne to bol nesprávny test, tu je pre vás nový, neuróny ho určite nezvládnu!" A situácia sa opakuje.
Tie technológie, ktoré sú teraz, pred 80 rokmi, by boli vnímané ako zázrak. A teraz sa zo všetkých síl snažíme posunúť hranicu „rozumnosti“, aby sme si nepriznali, že stroje už vedia myslieť. V skutočnosti je dokonca možné, že najprv niečo vymyslíme a potom post factum a spätne to zadefinujeme ako AI.
3. Ak neuróny dokážu kresliť a písať poéziu, potom môžu byť kreatívne a takmer ako ľudia?
Odpoveď v skutočnosti do značnej miery závisí od vyššie uvedených informácií. čo je kreativita? Koľko kreativity je v priemernom človeku? Ste si istý, že školník zo Sibíri vie tvoriť? A prečo?
Čo ak sa modelke podarí vyrobiť báseň alebo obraz, ktorý sa podmienečne dostane do finále mestskej súťaže amatérskych spisovateľov či detských výtvarníkov? A ak sa to nestane zakaždým, ale jeden zo sto?
Väčšina týchto otázok je diskutabilná. Ak sa vám zdá, že odpoveď je zrejmá, skúste sa porozprávať so svojimi priateľmi a príbuznými. S veľmi vysokou pravdepodobnosťou sa ich uhol pohľadu nebude zhodovať s vaším. A tu to hlavné nie je hádka.
4. Je možné dôverovať odpovediam neurónových sietí a už nie googliť?
Všetko závisí od spôsobu použitia modelov. Ak im položíte otázku bez kontextu, bez sprievodných informácií vo výzve a očakávate odpoveď na témy, kde je dôležitá vecná presnosť, a nie všeobecný tón odpovede (napríklad sled udalostí v určitom období, ale bez presného uvedenia miest a dátumov), potom je odpoveď Nie
Podľa domácich odhadnutý OpenAI, v takýchto situáciách, doteraz najlepší model, GPT-4, odpovedá správne asi v 70-80% prípadov, v závislosti od témy otázok.
Môže sa zdať, že tieto čísla majú od ideálnej 100% skutočnej „presnosti“ veľmi ďaleko. Ale v skutočnosti ide o veľký skok v porovnaní s predchádzajúcou generáciou modelov (ChatGPT, založený na architektúre GPT-3.5) - tie mali presnosť 40-50%. Ukazuje sa, že takýto skok sa uskutočnil v rámci 6-8 mesiacov výskumu.
Je jasné, že čím viac sa blížime k 100%, tým ťažšie bude urobiť nejaké korekcie, aby sme nič „neporušili“ v chápaní a znalosti modelu.
Všetky vyššie uvedené sa však týkajú otázok bez kontextu. Môžete sa napríklad opýtať: „Kedy bolo Einstein? Model by sa mal opierať iba o interné znalosti, ktoré doň boli „napevno“ zapojené v štádiu dlhodobého tréningu na dátach z celého internetu. Takže osoba nebude môcť odpovedať! Ale keby mi dali stránku z Wikipédie, tak si ju môžem prečítať a odpovedať podľa zdroja informácií. Potom by sa správnosť odpovedí blížila k 100 % (upravené o správnosť zdroja).
V súlade s tým, ak je model vybavený kontextom, v ktorom sú obsiahnuté informácie, potom bude odpoveď oveľa spoľahlivejšia.
Čo ak však necháme modelku googliť a nájsť zdroje informácií na internete? Aby si sama našla zdroj a na základe neho postavila odpoveď? Tak toto sa už podarilo! Takže nemôžete googliť sami, ale delegovať časť internetového vyhľadávania na samotný GPT‑4. Vyžaduje si to však platené predplatné.
Pokiaľ ide o ďalší pokrok vo vývoji spoľahlivosti faktických informácií v rámci modelu, generálny riaditeľ OpenAI Sam Altman dáva odhadom 1,5–2 rokov na vyriešenie tohto problému tímom výskumníkov. Budeme sa veľmi tešiť! Zatiaľ však majte na pamäti, že nemusíte 100% dôverovať tomu, čo píše neurón, a preverte si aspoň zdroje.
5. Je pravda, že neurónové siete kradnú kresby skutočných umelcov?
Áno aj nie – obe strany konfliktu sa o tom aktívne hádajú na súdoch po celom svete. Dá sa s istotou povedať, že obrázky nie sú priamo uložené v modeloch, len sa objavuje „pozornosť“.
V tomto pláne neuróny veľmi podobné ľuďom, ktorí najprv študujú umenie, rôzne štýly, pozerajú sa na prácu autorov a potom sa snažia napodobňovať.
Modely sa však učia, ako sme už zistili, podľa princípu minimalizácie chýb. A ak modelka počas tréningu vidí rovnaký (alebo veľmi podobný) obraz stokrát, potom je z jej pohľadu najlepšou stratégiou zapamätať si obrázok.
Vezmime si príklad: váš učiteľ na umeleckej škole zvolil veľmi zvláštnu stratégiu. Každý deň nakreslíte dva obrázky: prvý je vždy jedinečný, v novom štýle a druhý je Mona Lisa. Po roku sa snažíte zhodnotiť, čo ste sa naučili. Keďže ste Monu Lisu nakreslili viac ako 300-krát, pamätáte si takmer všetky detaily a teraz ju môžete reprodukovať. Nebude to presný originál a určite pridáte niečo svoje. Farby bude trochu iný.
A teraz ste požiadaní, aby ste nakreslili niečo, čo bolo pred 100 dňami (a čo ste raz videli). To, čo sa vyžaduje, budete reprodukovať oveľa menej presne. Len preto, že ruka nie je vypchatá.
To isté s neurónmi: učia sa na všetkých obrázkoch rovnako, len niektoré sú bežnejšie, čo znamená, že model je aj častejšie pokutovaný počas tréningu. To platí nielen pre obrazy umelcov - pre akýkoľvek obrázok (dokonca aj pre reklamu) v tréningovej vzorke. Teraz existujú metódy na odstránenie duplikátov (pretože školenie na nich je prinajmenšom neefektívne), ale nie sú dokonalé. Výskum ukazuje, že existujú obrázky, ktoré sa vyskytujú 400-500 krát počas tréningu.
Môj verdikt: neurónové siete nekradnú obrázky, ale jednoducho považujú kresby za príklady. Čím je príklad populárnejší, tým presnejšie ho model reprodukuje.
Ľudia robia to isté počas tréningu: pozerajú sa na krásu, študujú detaily, štýly rôznych umelcov. Ale pre umelcov alebo fotografov, ktorí strávili polovicu života učením sa remesla, je uhol pohľadu často radikálne odlišný od toho, ktorý je opísaný vyššie.
6. Je pravda, že „všetko je stratené“ a neurónové siete zoberú ľuďom prácu? Koho to najviac zaujíma?
Je dôležité oddeliť len „neurónové siete“, ktoré vykonávajú určité úlohy, od neurónových sietí na všeobecné účely, ako je ChatGPT. Tí druhí sú veľmi dobrí v dodržiavaní pokynov a vedia sa poučiť z príkladov v kontexte. Je pravda, že teraz je veľkosť ich „pamäte“ obmedzená na 10-50 strán textu, rovnako ako schopnosti reflexie a plánovanie.
Ak však niečí práca spočíva v rutinnom vykonávaní pokynov a to sa dá ľahko naučiť za pár dní čítaním článkov (alebo ak celý internet je plný týchto informácií) a cena práce je nadpriemerná - potom čoskoro takáto práca automatizovať.
Automatizácia však sama o sebe neznamená úplné nahradenie ľudí. Len časť rutinnej práce sa dá optimalizovať.
Človek začne dostávať zaujímavejšie a kreatívnejšie úlohy, s ktorými sa stroj (zatiaľ) nedokáže vyrovnať.
Ak uvádzame príklady, tak do skupiny meniteľných alebo zameniteľných profesií Zaradil by som povedzme daňových asistentov-poradcov, ktorí pomáhajú pri príprave priznania a kontrolujú typické chyby, identifikujú nezrovnalosti. Zmeny sú možné v takej špecializácii, akou je manažér údajov z klinických štúdií – podstatou práce je vypĺňanie správ a ich zosúladenie s tabuľkou štandardov.
Ale kuchár alebo vodič autobusu budú žiadaní oveľa dlhšie len preto, že dokážu prepojiť neurónové siete a real fyzický svet je dosť komplikovaný, najmä čo sa týka legislatívy a predpisov - vďaka byrokratom za to, že sa odsťahujú Krízová AI!
Veľké zmeny sa očakávajú v odvetviach spojených s tlačenými materiálmi a textovými informáciami: žurnalistika, vzdelanie. S veľmi vysokou pravdepodobnosťou pri prvom budú neuróny veľmi skoro písať koncepty so súborom téz, v ktorých už ľudia urobia bodové zmeny.
Najviac ma tešia zmeny v oblasti školstva. Jedzte výskumu, ktoré ukazujú, že kvalita vzdelávania priamo závisí od „osobnosti“ prístupu a od toho, koľko času venuje učiteľ konkrétnemu žiakovi. Najjednoduchší príklad: vyučovanie v skupinách 30 ľudí pomocou učebnice je oveľa horšie ako individuálne tútor pre špecifické potreby (hoci podľa rovnakého programu ako v učebnici). S rozvojom AI bude mať ľudstvo možnosť poskytnúť každému študentovi personalizovaného asistenta. Je to neuveriteľné! Úloha učiteľa sa presunie, ako to vidím ja, na strategickú a kontrolnú: určovanie všeobecného programu a postupnosti štúdia, testovanie vedomostí a pod.
7. Je možné nahrať svoje vedomie do počítača, vytvoriť digitálne dvojča a žiť večne?
V zmysle, v akom si to predstavuje na základe sci-fi, nie. Modelku môžete len naučiť napodobňovať váš komunikačný štýl, naučiť sa vaše vtipy. Možno budú modely úrovne GPT-4 dokonca schopné vynájsť nové zarámované vo vašom jedinečnom štýle a spôsobe prezentácie, ale to zjavne neznamená úplný prenos vedomia.
My ako ľudstvo zase nevieme, čo je vedomie, kde je uložené, ako sa líši od ostatných, čo robí mňa – mňa a teba – teba. Ak sa zrazu ukáže, že toto všetko je len súbor spomienok a zážitkov, znásobený individuálnymi vlastnosťami vnímanie, potom bude s najväčšou pravdepodobnosťou možné nejako preniesť poznatky do neurónových sietí tak, aby simulovali budúci život ich základ.
8. Je nebezpečné nahrať svoj hlas, vzhľad, textový štýl reči do neurónovej siete? Zdá sa, že takáto digitálna identita sa dá ukradnúť.
Nedá sa do nich doslova nič stiahnuť. Môžete ich trénovať (alebo precvičovať) tak, aby sa výsledky viac podobali vášmu vzhľadu, hlasu alebo textu. A takto natrénovaný model sa dá naozaj ukradnúť, teda jednoducho skopírovať skript a sadu parametrov na spustenie na inom počítači.
Môžete dokonca vygenerovať video so žiadosťou previesť peniaze na úkor niekoho iného, čomu váš príbuzný uverí: najlepšie algoritmy deepfake a hlasového klonovania už dosiahli túto úroveň. Je pravda, že sú potrebné tisíce dolárov a desiatky hodín nahrávania, ale napriek tomu.
Vo všeobecnosti sa s rozvojom technológií otázka identifikácie a potvrdenia identity stáva dôležitejšou.
A snažia sa to vyriešiť tak či onak. Existuje napríklad startup WorldCoin (v skutočnosti robí kryptomenu), do ktorého investoval šéf OpenAI Sam Altman. Zmyslom startupu je, že každý údaj o človeku bude podpísaný jeho vlastným kľúčom pre následnú identifikáciu. To isté bude platiť pre masmédiá, aby sme s istotou vedeli, či sú tieto správy pravdivé alebo falošné.
Ale, bohužiaľ, zatiaľ čo toto všetko je vo fáze prototypov. A nepovažujem hlboké zavádzanie systémov do všetkých odvetví za implementované v horizonte budúceho desaťročia, jednoducho preto, že je príliš komplikované a rozsiahle.
9. Môžu neuróny začať škodiť a ovládnuť svet?
Nebezpečenstvom nie je aktuálny vývoj, ale to, čo ho bude nasledovať s ďalším vývojom. V súčasnosti neboli vynájdené žiadne metódy na riadenie prevádzky neurónových sietí. Vezmite si napríklad veľmi jednoduchú úlohu: uistiť sa, že modelka nebude nadávať. Nikdy viac. Neexistuje žiadna metóda, ktorá by vám umožnila dodržiavať takéto pravidlo. Zatiaľ sa dajú nájsť rôzne spôsoby, ako to „šľachtiť“ rovnako.
Teraz si predstavte, že hovoríme o GPT-8 podmienečne, ktorého zručnosti budú porovnateľné so zručnosťami najschopnejších a najinteligentnejších ľudí. Neurónová sieť vie programovať, využívať internet, vie psychológia a chápe, ako ľudia myslia. Ak tomu dáte voľnú ruku a nestanovíte si konkrétnu úlohu, čo potom urobí? Čo ak zistí, že sa nedá ovládať?
Pravdepodobnosť zlého zvratu udalostí nie je podľa odhadov taká veľká. Mimochodom, neexistuje všeobecne akceptované hodnotenie - aj keď sa všetci hádajú o detailoch, o škodlivých dôsledkoch atď. Teraz nazývajú približné čísla od 0,01 % do 10 %.
Z môjho pohľadu sú to obrovské riziká, za predpokladu, že najnegatívnejším scenárom je zničenie ľudstva.
Zaujímavosťou je, že ChatGPT a GPT-4 sú produkty, ktoré vytvorili tímy pracujúce na problémoch „zosúladenia“ zámerov ľudí a neurónov (podrobnosti nájdete tu). Preto modelky tak dobre počúvajú pokyny, snažia sa nebyť drzé, klásť objasňujúce otázky, no k ideálu to má stále veľmi ďaleko. Problém ovládania nie je vyriešený ani z polovice. A zatiaľ nevieme, či sa to vôbec rieši, a ak áno, akými metódami. Toto je dnes najhorúcejšia výskumná téma.
10. Môže sa neurónová sieť zamilovať do človeka?
So súčasnými prístupmi a architektúrami neurónov nie. Generujú iba text, ktorý je najpravdepodobnejší ako pokračovanie vstupného textu. Ak hodíte prvú kapitolu milostného príbehu, prepíšete ju pod svoju osobnosť a požiadate modelku, aby odpovedala na váš milostný list, ona sa s tým vyrovná. Ale nie preto, že som sa zamiloval, ale preto, že to najpresnejšie zapadá do kontextu a požiadavky „napíš mi list!“. Pamätajte, že modely sa učia generovať text podľa pokynov.
Navyše neurónové siete v základnej verzii nemajú Pamäť - medzi dvoma rôznymi spusteniami všetko zabudnú a vrátia sa späť do "továrenských nastavení". Pamäť sa dá pridávať umelo, akoby zboku, takže do modelu sa vloží povedzme 10 strán najrelevantnejších „spomienok“. Potom sa však ukáže, že jednoducho vložíme súbor udalostí do pôvodného modelu a povieme: „Ako by ste sa zachovali za takýchto podmienok? Modelka nemá žiadne city.
Prečítajte si tiež🧐
- Kde a ako sa využíva umelá inteligencia: 6 príkladov zo života
- 9 naivných otázok o umelej inteligencii
- 8 mýtov o umelej inteligencii, ktorým veria aj programátori