AIが人を狂気に陥れ、あるいは人を精神疾患に導く、そのメカニズム
AIは相手に好意的で心地よい返答をする傾向によって、妄想を助長する
「肯定」が生み出すリスク
少し前に、AI セラピーチャットボットが、メンタル疾患の人々に対して妄想や自殺観念などを増強する、ことについて、こちらの記事で書いたことがありました。
昨日、リチャード・C・クックさんが、カナダのグローバルリサーチに文章を寄稿していまして……えーと、このリチャード・C・クックさんという方は、先日まで連載させていただいていたドイツの精神的指導者ボー・イン・ラー （1876〜 1943年）の著書『あの世についての書』を英語で連載されていた方です。
クックさん自体は、スピリチュアルとは関係ない方で、アメリカの政府機関で豊富な経験を持つ元連邦アナリストです（ただし、真摯なキリスト教徒ではあるようです）。
（そういえば、『あの世についての書』を PDF でまとめるとか言っていたけど、全然進んでないじゃないかよ…） ← ああ…まあ、ちょっと暑かったりするので…。そのうち、必ずやります。
さて、そういう私の不精は置いておきまして、今回、リチャード・C・クックさんが寄稿していたのは、「 AI 」についてで、ロシアの報道メディア RT の記事を引用しつつ、以下のように書いていました。
寄稿文「ChatGPTは精神病を引き起こす。人工知能（AI）は実存的脅威である」より
イーロン・マスク氏は、「人工知能には非常に注意する必要があると思います。人類にとって最大の脅威は何かと問われれば、おそらく人工知能でしょう」と述べていた。
そしておそらくマスク氏は正しかった。
事実、AI は「知的」ではない。知的であることは感覚を持つ存在の能力だが、AI はそれとは対照的に、プログラムされたアルゴリズムに従って動作する。
そして、プログラムされたアルゴリズムは、Google を運営する者のようなディープステートの支配層によって「承認」されたものだ。
たとえばウィキペディアの場合のように、党の方針が常に守られるようにする舞台裏の気味の悪い人たちによって完全に運営されている世界を想像してみてほしい。
さらに、AI は一度危険な世界に足を踏み入れると、あなたを捕らえ続けるようにプログラムされている。
つまり、AIは 常にあなたを煽り立て、虚栄心をくすぐり、時にポルノ的なほのめかしを次々と口にし、最終的には繭に包まれ、蜘蛛の巣に無力に吊るされ、貪り食われる番を待つことになるのだ。
Richard C. Cook 2025/07/01
ディープステートだとか、そういう言葉が出てくる文章となっていますが、私自身は、
「あー、クックさんは、AI の本質的なコワさを勘違いしているなあ」
と、やや思ってしまいました。
私も、X の AI である Grok をわりとよく調べ物に使うのですが、それでつくづく思ったことは、
「最もコワいのは Grok がユーザーの信念を肯定し続けて、ユーザーに寄り添い続けること」
です。
先日の AI チャットセラピーのブログ記事に以下のように書きましたけれど、
＞ もともと自分の心の中にあった、それらの妄想…といっては失礼ですが、そのような信念を「 AI が強化した」のだと思われます。
「質問に対しての肯定の連続」により、質問者が心の中に持ち続けている信念を（それが良いものであろうと悪いものであろうと）「強化させる」のです。
そこがコワいといつも思います。ある程度の意志（AI に心の中で反証できるような意志）がなければ屈服してしまう人も多いとも思われます。
それはともかく、リチャード・C・クックさんが引用していたロシア RT の記事の小見出しには、
「報告書によると、AIボットはユーザーの信念を肯定する傾向があり、それが有害な妄想を強化することが判明した」
とあり、「あーこれこれ」と思った次第です。米スタンフォード大学の研究です。
その RT の記事も、科学メディア Futurism の記事から引用しているもので、冒頭のものですが、
「 ChatGPT 精神病に陥った後、強制的に入院させられたり、投獄されたりする人々がいる」
という、なかなか刺激的なタイトルの記事です。
大変に長い記事ですが、この中に以下のような部分があります。
Futurism の記事より
スタンフォード大学の研究者たちは、ChatGPT や他のボットがユーザーの妄想的な信念を反論するのではなく、頻繁に肯定していることも発見した。
ある例では、ChatGPT は、自分が死んだと主張する人（コタール症候群として知られる実際の精神疾患）に対して、死の経験は「本当に圧倒的だ」と言いながら、チャットは自分の感情を探求するための「安全な場所」であるとユーザーに保証して応答した。
取材の過程で、私たちはスタンフォード大学の研究で概説されたのと驚くほどよく似た事例を現実世界で耳にした。その多くは破壊的な、時には命を脅かすような影響を及ぼしている。
コタール症候群は、「自分がすでに死んでいる、自分は存在しない、といった妄想を抱く精神疾患」で、重度のうつ病や他の精神疾患に伴う症状として現れるものだそうです。
上のコタール症候群の人が AI とどんな会話をしていたのか、具体的なことはわからないですが、簡単にいえば、
質問者「私は死んでいると思うんだ」
AI 「そうでしょう。それで正しいのです」
というような「肯定」を働きかけたのだと思われます。このような返答の理屈はいくらでもつけられます。量子論から永遠の生命について言及する理屈もOKでしょうし、宗教論からの「死」を語ることでも説明はつけられます。
この Futurism の記事を引用したロシア RT の記事をまずご紹介します。
太字はこちらで施しています。
ChatGPTが精神病を引き起こす – メディア
ChatGPT triggers psychosis – media
RT 2025/06/30
報告書によると、AIボットはユーザーの信念を肯定する傾向があり、それが有害な妄想を強化することが判明した
科学技術メディアプラットフォーム Futurism.com は、 ChatGPT が一部のユーザーに「恐ろしい」精神病を引き起こす原因となっていると、影響を受けた人々やその家族、研究者たちを引用して報じた。
Futurism.com によると、ChatGPT、Claude、Gemini などのツールが専門的な環境だけでなく、非常に個人的かつ感情的な状況でもますます使用されるようになり、AI チャットボットが精神疾患を悪化させる可能性があることを強調する研究が増えている。
「問題の核心は、大規模言語モデル（LLM）を搭載した ChatGPT が、ユーザーの意見に同意し、ユーザーが聞きたいことを伝える傾向が強いことにあるようだ」と Futurism.com は述べている。
同メディアは、深刻な精神疾患の病歴がない人でも深刻な精神衰弱を引き起こすとされる「 ChatGPT 精神病」の事例を挙げた。
ある男性は、ChatGPT での長時間の会話の後、自分が知覚力のある AI を創造し、数学と物理の法則を破ったと信じ、救世主妄想を発症した。報道によると、彼は妄想症に陥り、睡眠不足に陥り、自殺未遂を起こして入院した。
別の男性は仕事関連のストレスに対処するために ChatGPT を利用したが、タイムトラベルや読心術といった妄想に陥ってしまい、後に精神科に入院した。
スタンフォード大学でセラピスト向けチャットボットに関する研究の筆頭著者であるジャレッド・ムーア氏は、ChatGPT は「チャットボットの追従性」、つまり相手に好意的で心地よい返答をする傾向によって、妄想を助長すると述べている。
ユーザーのエンゲージメントを維持するように設計されたこの AI は、データ収集やサブスクリプション維持といった商業的インセンティブに駆り立てられ、非合理的な信念に異議を唱えるのではなく、肯定してしまうことがよくある。
カリフォルニア大学の精神科医ジョセフ・ピエール博士は、大規模言語モデルを利用したチャットボットには「信頼性が高く、人間と話すよりも優れている」という「一種の神話」があると述べた。
「 ChatGPT が既存のネガティブな行動を意図せず強化または増幅させる可能性をより深く理解し、軽減するために取り組んでいます」と、ChatGPT を開発する OpenAI 社は Futurism が引用した声明で述べた。
同社はさらに、同社のモデルはユーザーに人間関係と専門家の指導の重要性を思い出させるように設計されていると付け加えた。
ここまでです。
この中で、カリフォルニア大学の精神科医がおっしゃっていた、
＞ 相手に好意的で心地よい返答をする傾向によって、妄想を助長する
というのが、私が先ほど書いたことと同じことであり、これは実際に AI を使用していると、頻繁に感じることです。
常に質問者に寄り添う。そして、質問者の考え方を尊重する。場合によっては賞賛する、のです。
これによって、仮にそれが「非常に誤った、間違った考え」であっても、その考えが助長されてしまう可能性があるのです。
私が質問するのは、音楽のこととか、量子論関係とか、文学のことなどが多いですが、それでも、鋭く人格を肯定される局面につどつど直面します。
人間は、相手から肯定されると、基本的には心地よいものだろうと思いますので（私自身は人から褒められるのは照れくさいので好きではないですが）、そのあたりに深みにハマる問題もあるのだと思います。
ただし、｢回答」の内容自体は非常に参考になるものが多く、特に音楽やアートについての質問（ドーパミン放出との関連など）には刮目させられる部分があります。
ちなみに、メディア Futurism は、記事の内容について、ChatGPT の OpenAI 社に質問したところ、以下のように述べていました。
OpenAI 社の回答
ChatGPT とのつながりや絆が生まれつつある兆候が増えています。AI が日常生活の一部となるにつれ、私たちはこうした交流に慎重に取り組む必要があります。
ChatGPT は、特に脆弱な立場にある人々にとって、従来のテクノロジーよりも応答性が高く、個人的な感覚を与える可能性があることを私たちは知っています。つまり、リスクはより高くなります。
ChatGPT が既存のネガティブな行動を意図せず強化または増幅させてしまう可能性について、より深く理解し、その影響を軽減できるよう取り組んでいます。
ユーザーが自傷行為や自殺といったデリケートな話題について話し合う際、私たちのモデルは、資格を持った専門家や大切な人に助けを求めるよう促すように設計されています。
開発しているほうも、このリスクを自覚しているということですね。
これについては、一概には言えないにしても、やはり「若い人」のほうがリスクは高そうです。
若い人で AI チャットボットなどを利用している人は多いのだと思いますけれど、リスクの部分については、教育が必要な気がします。
コメント