Stanfordskí vedci zistili, že GPT-4 je časom hlúpejší
Rôzne / / July 20, 2023
Presnosť platenej verzie ChatGPT bola nižšia ako presnosť bezplatného chatbota.
Nový štúdium od vedcov zo Stanfordskej univerzity potvrdili to, na čo sa internetoví obyvatelia sťažujú už niekoľko týždňov: ChatGPT Plus, založený na GPT-4 sa skutočne stal hlúpejším – na rozdiel od GPT-3.5, ktorý spúšťa bezplatnú verziu chatbota.
Vo svojej štúdii autori porovnávali odpovede na rôzne požiadavky od chatbota na základe GPT-4 a GPT-3.5. Oni zistili, že správanie chatbota a presnosť odpovedí na niektoré požiadavky v novej verzii výrazne zhoršila.
Autori porovnávali jazykové modely GPT-4 a GPT-3.5 vydané v marci a januári. Zistili, že počas tejto doby presnosť GPT-4 výrazne klesla, zatiaľ čo presnosť GPT-3.5 sa naopak zvýšila.
Napríklad presnosť odpovede na otázku, či je 17077 prvočíslo, klesla o 95,2 %, kým GPT-3,5 naopak vzrástla zo 7,4 % na 86,8 %. V súčasných verziách oboch modelov sa tiež znížila šanca na úspešné vykonanie kódu napísaného neurónovou sieťou.
V minulosti to už urobil viceprezident OpenAI Peter Welinder odpovedal k obvineniam používateľov ChatGPT Plus:
Nie, nespravili sme GPT-4 hlúpejším. Všetko je presne naopak: každú novú verziu robíme inteligentnejšou ako tá predchádzajúca.
Teraz máme túto hypotézu: keď používate niečo aktívnejšie, začnete si všímať problémy, ktoré ste predtým nevideli.
Peter Welinder
Viceprezident produktu v OpenAI
V jednej z odpovedí na tento tweet Welinder spýtal sa poskytnúť dôkaz, že chatbot sa zhoršil. Štúdia od vedcov zo Stanfordu sa objavila 5 dní po tom - a zatiaľ neprišla žiadna odpoveď od OpenAI.
Nie je to prvýkrát, čo bol GPT-4 obvinený z poskytovania nepravdivých informácií. V marci analytici NewsGuard objavilže ChatGPT založený na GPT-4 sa dá ľahšie klamať – zatiaľ čo samotné OpenAI tvrdí 40% zvýšenie presnosti odpovedí v porovnaní s GPT-3.5. IN najmä v testoch NewsGuard bola menej pravdepodobné, že nová verzia neurónovej siete vyvráti nepravdivé informácie – vrátane nepravdivých údajov o moderných udalostiach a teóriách konšpirácie.
Prečítajte si tiež🧐
- 6 analógov ChatGPT
- James Cameron o nebezpečenstvách AI: „V roku 1984 som vás varoval, ale nepočúvali ste“
- 8 mýtov o umelej inteligencii, ktorým veria aj programátori