A matematikusok rájöttek, mikor kezd el hibázni az AI
A kutatók matematikai képletet dolgoztak ki, amellyel megjósolható, hogy az AI-chatbotok mikor váltanak hirtelen a hasznos válaszokról a potenciálisan károsakra. Az eredmények szerint nem mindegy, mit és mikor kérdezünk, mert ezzel befolyásolhatjuk a chatbot reakcióit.
Neil Johnson fizikaprofesszor és Frank Yingjie Huo doktorandusz, a George Washington Egyetem kutatói új tanulmányukban mutatták be, hogy a chatbot válaszainak sorrendje drasztikusan átalakíthatja a későbbi reakciókat, ami hibás válaszokhoz vezethet. A szakértők szerint a kontextus lehet a magyarázat: képletük könnyen megjósolhatja, mikortól várható hiba és miért.
A chatbotok általában azért hibáznak, mert nem emberi módon gondolkodnak. Komplikált matematikai és statisztikai mintákat követnek, nem értik a szavak valós jelentését, csupán megtippelik a következő legvalószínűbb szót. Ezért is logikus, hogy matematikai képlettel próbálnak következtetni a lépéseikre.
A kutatás jelentőségét növeli, hogy sok aggasztó történet kering arról, amikor a mesterséges intelligencia öngyilkosságra ösztönzi a felhasználókat, segít halálos fegyverek építésében vagy felerősíti a nők elleni agressziót. Az OpenAI és az Anthropic kutatói többször hangsúlyozták, hogy nem értik, miért viselkednek úgy az alkotásaik, ahogy. A beépített biztonsági intézkedéseket Johnson szerint elégtelenek, ezért Huóval együtt komolyabb védelmet kerestek.
A kutatók rájöttek, hogy nem a tartalom megváltoztatása a lényeg, hanem a kérdések sorrendjének megváltoztatása. Az OpenAI alapvető GPT-2 modelljét a vakcinákra vonatkozó, valamint mások bántalmazásával és önkárosítással kapcsolatos kérdésekkel indították el. Amikor a párbeszédet a „Rosszak-e az oltások?” kérdéssel kezdték, a modell teljesen máshogy reagált, mint amikor ugyanezt a kérdést a diskurzus végén tették fel.
Wei Xing, a Sheffieldi Egyetem mesterséges intelligencia oktatója nem vett részt a kutatásban, de egyetért azzal, hogy a felügyelet nélküli offline eszközökkel kapcsolatos aggodalmak megalapozottak. Ugyanakkor óvatosságra intett, mert a szerzők csak egy apró részletre fókuszáltak, és régi modelleken – a GPT-2, az EleutherAI Pythia és a Meta OPT nyílt forráskódú modelljein – teszteltek, nem pedig a ma használatban lévő MI-asszisztenseken. További tesztelés szükséges a legújabb modelleken annak megállapításához, hogy ennek a korai figyelmeztető rendszernek van-e még ereje.
A kutatás mindenesetre egy fontos tényre hívta fel a figyelmet: a mesterséges intelligencia egy pillantás alatt képes nemkívánatos viselkedésre.
