テクニカルノート：人工知能シリーズ
その2 人工知能の幻覚
個人会員 新井 全勝
人工知能の幻覚とは
人口知能にも幻覚（hallucination、 ハルシネーション）という現象がある。
『ウィキペディア』の幻覚（人工知能）の項によると、人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象である。学習データと整合しない回答を堂々とすることから、幻覚ではなく作話という表現を好んで使う研究者もいる1）。
また別の形の「幻覚」として、人工知能が、自分が何であるかを忘れてしまい人間だと主張するケースもある1）、という。
自然言語処理の世界において、人工知能の幻覚は、「与えられたデータ(source content)からはナンセンスあるいは信じがたいコンテンツが生成されること」と定義されている1）。
OpenAI社の説明によれば、幻覚にはクローズドドメインとオープンドメインに分類される2種類が存在する。
与えられた範囲（コンテクスト）の中だけで利用可能な情報を使用するように指示されたモデルが、その範囲に存在しない情報を作ってしまう場合（例えばある新聞記事を要約せよといわれたのに、要約には記事にない情報が含まれているなど）、クローズドドメインの幻覚である。
入力された特定のコンテクストを参照せずに森羅万象について誤った情報を堂々と答える現象がオープンドメインの幻覚である1）。
幻覚の事例
1) メタ社のGalactica炎上事件
AIの幻覚に関する事件として、メタ社のGalactica炎上事件が知られている。
メタ社（Meta）は2022年11月15日、科学者の支援を目的とする新しい大規模言語モデル「ギャラクティカ（Galactica）」を公開した。だが、ギャラクティカはメタ社が期待したような大きな成果を上げることはなかった。
同モデルが出力する、偏った、誤りのある内容を科学者に指摘され、（SNSでの）3日間の激しい批判の末に、公開中止となってしまった。11月17日、メタ社はデモの公開を取りやめた2）。
批判の中には、次のようなものがあった。
- ギャラクティカの根本的な問題は、真実と虚偽を区別できない点だ。真実と虚偽を区別できることは、科学的な文章を作成するために設計された言語モデルの基本要件である。
- ある人はギャラクティカを使って、”砕いたガラスを食べることの利点 “というタイトルの架空の研究論文を投稿した。そのようなトピックについて権威のあるように聞こえるコンテンツを簡単に生成して回答してきた。
- すべてのケースで、間違っていたり、内容に偏りがあったりしたのですが、それが正しく、信頼できる内容であるかのように見えていました。これはとても危険なことだと思います（ドイツのマックス・プランク知能システム研究所のマイケル・ブラック所長）。
2) 存在しないでっちあげ現象についての問合せ
データサイエンティストのテレサ・クバッカはあえて「cycloidal inverted electromagnon」という言葉をでっちあげて、ChatGPTにこの（存在しない）現象についてたずねる実験を行った。
それに対して、ChatGPTは、もっともらしい出典をもとにもっともらしい回答を創作してきたため、クバッカは自分が偶然実在する現象を入力してしまったのかと調べざるをえなくなった1）、といっている。
3) 実在する歌詞についての問合せ
CNBCがChatGPTに「The Ballad of Dwight Fry」（アリス・クーパーの実在する曲）の歌詞についてたずねた時は、ChatGPTの回答には実際の歌詞よりもChatGPTが創作した歌詞のほうが多く含まれていた1）、といわれる。
4) 天文物理学における磁性についての問合せ
天文物理学における磁性について聞かれたときは、自分から「ブラックホールの（強力な）磁場は、そのすぐそばで働く極めて巨大な重力によって生み出されます」と回答した1）、といわれる。
5) 恐竜が文明を築いていたことの証拠を求める問合せ
恐竜が文明を築いていたことの証拠を求められたときは、恐竜の使っていた道具の化石が残っていて「石に彫刻をするなどの原始的な形態の美術さえ発展させていた恐竜もいる」と回答した1）、といわれる。
幻覚の発生する原因
幻覚を起こすことにはさまざまな原因が考えられる。
（1） データに起因する幻覚
学習したデータに基づいて情報を生成するため、学習したデータに誤りや偏りがあると、誤った情報を生成してしまう1）、３）。
（2） 学習に起因する幻覚
- モデルが以前に生成した過去の一連の文章からバイアス（先入観や偏見）が生じ、誤った情報を生成してしまう1）。
- モデルが知識を文章化する過程でバイアスが生じ、誤った情報を生成してしまう1）。
- 学習データに含まれない情報や知識について質問された場合には、正確に答えることができない。この場合に、無理に回答を生成しようとして、現実とは異なる情報を生成してしまうことがある3）。
- 異なる情報源や文脈から情報を組み合わせて新しい文章や回答を生成するため、この過程で関連性のない情報が組み合わされて、幻覚が生じることがある3）。
- OpenAI社のGPT-3のような大規模言語モデル（LLM）は、何百万もの例を学習し、単語間の統計的関係を理解することで、文章を書くことを学習する。その結果、LLMは説得力のある文書を作成することができるが、それらの文書には虚偽や潜在的に有害な固定観念が含まれていることもある。
批評家の中には、LLMを「確率的オウム」と呼ぶ者もいる。その理由は、意味を理解せずに説得力のある文章を吐き出す能力があるからだ4）、という。
チャットGPTを開発したオープンAI社のミラ・ムラティCTO （Chief Technology Officer、企業の技術分野の最高責任者）は、2023年5月、英タイムズ紙とのインタビューで次のように語っている5）。
悪用について
「規制当局は、急いで介入しなければならない。チャットGPTは事実を作り出し、悪い意図を持った利用者にいくらでも悪用される恐れがある。開発者1人でこの問題を解決することはできない」
規制が早すぎるのではないか――と問われても「まったく早くない」との見解を示した、といわれる。
参考文献
- Webサイト（幻覚 (人工知能) – Wikipedia）
- Webサイト（MIT Tech Review: メタの言語AI「ギャラクティカ」がたった3日で公開中止になった理由 (technologyreview.jp)） ウィル・ダグラス・ヘブン（Will Douglas Heaven） AI担当上級編集者
- Webサイト（GPT-4のハルシネーション（幻覚）の研究｜IT navi (note.com)）
- Webサイト（New Meta AI demo writes racist and inaccurate scientific literature, gets pulled | Ars Technica）
- Webサイト（「嘘も本物のように」なぜ？ [KWレポート] 火がついたAI開発競争 (4) 写真枚 国際ニュース：AFPBB News）
