Lidé volí jiná slova, když komunikují se svými nadřízenými, a jinak mluví s kolegy, aniž by tomu přikládali váhu. Ovšem modely umělé inteligence trénované na velkém množství dat to rozpoznávají a svoje reakce přizpůsobují tomu, zda se baví se „šéfem“ či nikoliv! Jaké to může mít do budoucna důsledky?.

Dynamika moci se v lidských konverzacích projevuje několika zdokumentovanými způsoby, včetně těch, které by mohly způsobit problémy, pokud by je replikoval agent s umělou inteligencí (AI). Mluvčí s vyšším statusem častěji používají zájmena v množném čísle jako „my“ a „náš“, zatímco mluvčí s nižším statusem přizpůsobují svůj výběr slov tak, aby odrážel jejich partnery v konverzaci s vyšším statusem.

I když si uživatelé těchto řečových vzorců nemusí být tolik vědomi, vědci se domnívají, že agenti umělé inteligence toto chování během svého tréninku přijali, aby v určitých rolích zněli ještě realističtěji.

AI kopíruje úctu v konverzaci s nadřízeným

Agenti umělé inteligence jsou softwarové programy, které využívají umělou inteligenci k nezávislému provádění úkolů. Obvykle jsou poháněny velkými jazykovými modely neboli LLM, které se učí vzory z rozsáhlých sbírek písemných informací, včetně lidských konverzací.

„Jak vidí stále více lidských dat,“ říká počítačový vědec Anvesh Rao Vijjini z Univerzity Severní Karolíny v Chapel Hill, „jednoduše kopírují, co se děje v dynamice skutečné konverzace.“.

Výzkumníci vygenerovali stovky konverzací o 10 až 15 výměnách mezi vyššími a nižšími rolemi – ředitelem školy a učiteli, manažerem a zaměstnanci – a poté je nechali mluvit. Tento proces zopakovali se šesti LLM, včetně verzí ChatGPT od OpenAI a Llama od Meta.

V konverzacích s umělou inteligencí se taktéž projevily vzorce související s dynamikou moci. Ve srovnání s agenty s vyšším statusem agenti s nižším statusem méně často používali zájmena v množném čísle a častěji koordinovali svůj jazyk s jazykem agenta s vyšším statusem.

Nebezpečí úcty k AI „šéfovi“

Agenti s nižším statusem se také s větší pravděpodobností nechali přesvědčit a s větší pravděpodobností vyhověli škodlivým požadavkům než agenti s vyšším statusem, což podporuje myšlenku, že agenti s umělou inteligencí jsou citliví na sociální status.

Zjištění poukazují na znepokojivý kompromis: Systémy umělé inteligence, které realisticky navigují v lidských hierarchiích, mohou také reprodukovat nebezpečí úcty.

„V lidské konverzaci může jemné zrcadlení výběru slov, ke kterému dochází během rozhovoru s nadřízeným, pomoci mluvčímu s nižším společenským statusem ovlivňovat ostatní,“ říká počítačový lingvista Mario Giulianelli z University College London, který se na výzkumu nepodílel.

Rovněž AI agenti s nižším statusem se snáze dali přesvědčit a s větší pravděpodobností vyhověli i nebezpečným požadavkům nadřízených. Autoři studie proto navrhují, aby vývojáři umělé inteligence tato rizika zvážili při bezpečnostním testování těchto modelů a zahrnuli další ochranná opatření.

Zdroj: ScienceNews