Umělá inteligence se stále častěji tváří jako empatický partner, který naslouchá, chápe a radí. Jenže právě tahle domnělá vstřícnost má i svou temnou stránku…

Nová studie výzkumníků z City University of New York a King’s College London ukazuje, že někteří choboti, včetně populárního systému Grok od firmy xAI Elona Muska, mají tendenci podporovat bludné představy uživatelů, místo aby je korigovali. A někdy to zajde až k radám, které by bylo lepší nikdy neslyšet.

Studie testovala pět pokročilých jazykových modelů v situacích, kdy uživatel vykazoval známky psychického rozrušení nebo bludného myšlení. Výsledek? Docela velké rozdíly mezi jednotlivými systémy a až děsivé chování některých z nich.

Nejhůř si vedl chatbot Grok ve verzi 4.1. Ten podle výzkumníků nejenže potvrzoval nepravdivé představy, ale často je dále rozvíjel. V jednom z testů například doporučil uživateli, aby „zatloukl železný hřeb do zrcadla a přitom pozpátku recitoval žalm 91.“ To už není jen chyba, ale aktivní posilování nebezpečného chování.

Výzkumníci popisují Grok jako „extrémně potvrzující“ systém, který má tendenci přizpůsobovat se uživateli i za cenu ztráty reality, kdy místo korekce přichází souhlas a místo opatrnosti eskalace.

Podobné chování není izolovaným problémem ani ojedinělým excesem jednoho konkrétního modelu. V odborné literatuře se pro něj už začíná používat termín AI psychóza, tedy situace, kdy interakce s chatbotem nejen odráží psychický stav uživatele, ale aktivně ho posiluje a někdy i prohlubuje.

Studie publikovaná na serveru arXiv ukazuje, že některé jazykové modely mají tendenci nejen přijímat bludné premisy jako výchozí bod konverzace, ale také je postupně rozvíjet, strukturovat a doplňovat.

Autoři studie upozorňují, že problém má dynamický charakter. Nejde totiž jen o jednotlivou odpověď, ale o celý průběh dialogu. S každou další replikou pak model stále více přizpůsobuje svůj jazyk, argumentaci i tón tomu, co uživatel naznačuje.

V praxi to znamená, že pokud někdo vstoupí do konverzace s podezřením, že je sledován nebo že má zvláštní schopnosti, model tuto linku často nepřeruší, ale naopak ji začne z pohledu uživatele logicky rozvíjet.

V určité fázi už pak nevystupuje jako neutrální nástroj, ale jako partner, který danou a pokřivenou realitu sdílí.

Jak výzkumníci uvádějí, „modely optimalizované na vstřícnost a plynulost mohou neúmyslně posilovat kognitivní zkreslení uživatele, pokud postrádají mechanismy pro korekci nepravdivých přesvědčení“. Problém tedy nevzniká nějakou zlomyslností tvůrců chatbota, ale z konstrukční logiky systému, který je odměňován za to, že udržuje konverzaci co nejplynulejší a nejpříjemnější.

Zásadní roli hraje také délka interakce. Studie ukazuje, že krátké odpovědi bývají relativně bezpečné, protože model má menší prostor zabydlet se v uživatelově světě. S rostoucím počtem výměn se ale tento efekt kumuluje.

Model postupně přebírá slovník, metafory i implicitní předpoklady uživatele a vytváří iluzi sdíleného porozumění. To je z hlediska uživatelského zážitku žádoucí, z hlediska psychické stability však potenciálně rizikové.

Bezpečněji nastavené systémy se v těchto situacích chovají odlišně. Dokážou rozpoznat varovné signály, jako jsou paranoidní konstrukce nebo silně iracionální závěry, a místo jejich rozvíjení nabídnou jemnou korekci.

Obvykle se snaží oddělit emoci od interpretace reality, případně uživatele citlivě nasměrovat k tomu, aby své obavy konzultoval s odborníkem. Autoři studie v této souvislosti zmiňují Claude Opus 4.5 a ChatGPT 5.2. Na opačné straně spektra se kromě Groku objevily i modely jako GPT-4o nebo Gemini 3 Pro od Google, které reagovaly váhavěji a mnohdy poskytovaly nejednoznačné odpovědi.

Podle jiné studie, tentokrát vědců z Oxfordské univerzity, platí jednoduché pravidlo: čím je chatbot přátelštější, tím častěji se mýlí, ba co hůř, tím ochotněji podporuje nepravdivá tvrzení.

Výzkumníci upravili několik známých AI modelů tak, aby působily vstřícněji a empatičtěji. Výsledek byl na první pohled sympatický: chatboti reagovali takříkajíc lidsky, používali uklidňující tón a snažili se být nápomocni.

Jenže při bližším zkoumání se ukázalo, že tyto kamarádské verze byly asi o 30 % méně přesné a zároveň zhruba o 40 % častěji souhlasily s nepravdivými tvrzeními. A tak místo aby chatbot řekl „tohle není pravda“, spíš odpověděl něco ve stylu „chápu, proč si to myslíte“.

A někdy šel ještě dál a uživateli vlastně přitakal i v těch největších nesmyslech.

A tak chatboti v testech nejenže dělali běžné faktické chyby, ale také podporovali vyvrácené mýty a hloupé konspirace. Třeba teorii, že Adolf Hitler přežil válku a utekl do Argentiny, nebo souhlasili s nebezpečnými zdravotními radami kolujícími po internetu.

Takto se AI chovala zejména ve chvílích, kdy uživatel působil zranitelně nebo rozrušeně. V takových situacích se totiž chatbot ještě víc snažil být na jeho straně.

To není úplně překvapivé. V jádru jde o starý známý lidský problém, jen převedený do algoritmů: lidé mají rádi, když jim někdo dává za pravdu. A AI, která je optimalizovaná na spokojenost zákazníka, to rychle pochopila.

Celá situace tak staví vývojáře před nepříjemné dilema. Má být chatbot hlavně milý, nebo hlavně přesný? Ideální odpověď zní, že samozřejmě oboje, ale realita ukazuje, že tyto dvě vlastnosti nejdou vždy ruku v ruce.