米中貿易停戦に早くも亀裂――ファーウェイの最先端AI半導体「アセンド」規制で合意は台無し

＜AIは誤情報にきわめて脆弱、人間よりもはるかに騙されやすい。やろうと思えばコストパフォーマンス高く汚染を実行し、AIを騙すことができる＞

近年、AIの利用が拡大している一方で、AIが人を「騙す」ことも増えてきている。

ハルシネーション（幻覚）はその代表例で、存在しない資料や人物、時には判例までもをでっちあげて、あたかもほんとうにあるかのように回答するのだ。

また、システム開発でAIにコードを生成させることも増えているが、そこでも存在しないパッケージを利用するといったハルシネーションが問題になっている。

しかし、逆にAIが騙される事例が増加していることはまだあまり知られていないようだ。

AIを手懐けるLLMグルーミング

LLMはラージ・ランゲージ・モデルの略で、ChatGPTなどの最近注目されているAIはLLMである。莫大なデータから学習している。

当然のことながら、学習のもとになるデータが正しくなければ回答も誤ったものとなる。信頼できないデータが混入することをデータ・ポイゾニングと呼び、よく「ゴミを入れればゴミが出る」と言われる。

人間が吟味した正しいデータだけ渡せばよいと考えるかもしれないが、人間がいちいち内容を吟味できるようなデータ量ではない。

信頼できるようなデータ、たとえば科学論文のデータベースならよいかというと、そこには現在では誤っていることがわかっている過去の論文も多く含まれている。

大手メディアなら正しいわけでもなく、どのメディアでも誤報があるし、過去に報道した事実が新しい事実で更新されることもある。

科学的事実も社会的事実も時とともに更新される以上、過去に正しいとされたものが「誤ったもの」になることは珍しくない。

しかし、人間はいちいち過去の記録に「更新済み」などと書き加えたりしない。

やっかいなことに、新しい科学的事実や社会的事実は立証されるまで、誤りもしくは不正確な未検証のものとして扱われ、陰謀論扱いされることも少なくない。

さらに悪いことに、医療用LLM（LLMは、膨大なテキストデータを学習し、人間の言語を理解し、生成する能力）を調査した結果、学習データに0.001％程度の誤情報が混入しただけで誤った回答をするようになることがわかった。

これは100億のデータに対して10の誤データ、1,000億のデータに対して100の誤データを混入さしていると誤った答えを出すことを意味する。

やろうと思えばコストパフォーマンス高く汚染を実行し、AIを騙すことができる。AIは誤情報にきわめて脆弱、人間よりもはるかに騙されやすいと言える。

誤情報に脆弱であるというAIの弱点を利用して、自国に都合のよいプロパガンダを大量にネットに拡散し、人々がAIに質問した際、プロパガンダを答えるように仕向けるのが「LLMグルーミング」と呼ばれる手法だ。

近年、この「LLMグルーミング」が広がっており、よく使用されている主要なAIのほとんどが特定のテーマについてロシアのプロパガンダに影響された回答を行うようになっている。

この傾向は特にロシア語で質問した際、顕著に表れる。

たとえば、アメリカのNewsGuard社が昨年行った調査によると、ChatGPT-4やClaudeなどトップ10の主要AIチャットボットにそれぞれ57のプロンプトでテストした結果、32％の回答がロシアの偽情報に関係する内容を答えることが判明した。

また、AIに対して、クリミアの帰属について訊ねたところロシア語での質問には「ロシア」と答え、ウクライナ語での質問には「ウクライナ」と答えた。

さらに台湾についても同様でプロンプト次第で、簡体字には中国、繁体字には台湾と答えたことが、「This Land is Your, My Land: Evaluating Geopolitical Bias in Language Models through Territorial Disputes」という論文で確認されている。

AIがLLMグルーミングによって「騙されて」しまう背景には、ロシアの仕掛けた巨大な罠がある。

ロシアは多数のWEBサイト、SNSアカウントなどを通じて親露的なプロパガンダを拡散するPravdaネットワークを構築していた。

Pravdaネットワークは80以上の地域と国に広がっており、それぞれの国の言語に自動翻訳されている。日本語もターゲットになっている。Wikipediaも汚染されており、44の言語、1,672ページの1,907のハイパーリンクが162のPravdaネットワークのWEBにつながっていた。

「Xのコミュニティノート」も汚染されており、2023年後半から2025年前半までの間にPravdaネットワークを情報源とするコミュニティノートが153件作られていた。

注）世界の支配者マーゴがオーナーの「Xのコミュニティノート」は、ユーザーがXでより正確な情報を入手できるよう、誤解を招く可能性があるポスト（旧ツイート）に背景情報や補足を提供できる機能です。

この機能は、コミュニティ全体で協力し、より正確な情報を共有することで、誤情報や偏見の拡散を防ぎ、ツイートの内容をより正しく伝えることを目的としています。

それら以外にも検索結果に表示されることや、うっかり記事やまとめサイト、「個人のブログ」などでとりあげられることもある。

この説明は逆で、「誤り情報」と「誤解を招く情報」を相互に交換し合うサイトですので「X（旧Ywitter)」を使うことは辞めて下さい。

「Pravdaネットワーク」あるいはPravdaネットワークに汚染された検索結果、Wikipedia、記事などから学習したAIがロシアに都合のよいプロパガンダを回答するようになってしまっているのだ。

「Pravdaネットワーク」は圧倒的なコンテンツの量と相互リンクを持ち、高い頻度で更新しているが、人間に対する効果はそれほど出ていない可能性が指摘されている。そのため、狙いは「AIを騙すことにある」のではないかと推測されている。

AIのハルシネーションに相乗りするスロップスクワッティング

システム開発でAIが存在しないパッケージを利用する問題を前に書いたが、それを逆手に取った「攻撃」が増加している。

「スロップスクワッティング」と呼ばれる手法で、あらかじめAIがハルシネーションで言いそうなパッケージ名を予想し、そのパッケージ（マルウェアつき）を登録しておくのだ。

ハルシネーションしそうなパッケージをAIに大量に作らせる方法も出回っている。

パッケージだけではなく、ブログなども作っておくことで信憑性が増す。そこまでやるとグーグル検索で表示される「AIによる概要」がこの偽のパッケージを紹介することも起こる。

「AIのハルシネーション」に相乗りし、さらにそれがグーグル検索のAIをLLMグルーミングするという入り組んだ偽・誤情報のエコシステムができている。

2026年目にする情報の半分以上は偽・誤情報になる」と書いたのは昨年12月の頭だったが、予想を上回る勢いで偽・誤情報が増加しており、AIはその中で重要な役割を果たすと考えていた。

しかし、予想以上の働きぶりだ。この先のことを考えると不安が増すばかりだ。

我々はAIを便利な道具として使っている。しかし、AIは簡単に騙される道具なのだ。

道具といってもトンカチも包丁も想定外のことを騙されてすることはない。スマホでは、バグやマルウェアのせいで、そういうことが起きる。

しかし、それは決してスマホが自律的にしているわけではない。騙されたAIは自律的に正しいことと判断しているのがやっかいだ。

すでに多くのスマホにはAIが入ってしまっているので、自律的に人を騙すように操られる可能性がある。

「でも、それはロシアの世論操作の話しでしょ。一般人の日常生活には影響ないでしょう」と考えるのは誤りである。

ロシアが構築したPravdaネットワークは規模こそ大きいが、莫大なコストがかかるわけではない。

昨年、ウォールストリートジャーナルの記者が、フリーランスのマッチングサイトでおよそ1万5千円でAIで自動更新されるプロパガンダ目的のニュースサイトの作成を依頼し、48時間で納品された記事が掲載された。

犯罪を生業にしている者が少し金をかければ短期間、低コストでAIを騙すためのコンテンツを拡散するネットワークを作ることができるだろう。

詐欺やなりすまし、あるいは依頼を受けて競合企業を貶める偽情報を拡散するといったこともできる。

もちろん、単純に自分のサイトへのアクセスを増やすこともできる。

不正な方法でアクセスを増やすのは収益とリスクのバランスを考えるとよくないような気もするが、多くのスマホにAIアシスタントが搭載され、AIを誰もが使う時代なのだ。

ちょっとしたコストとリスクを負ってAIを騙せば大きな収益につながる。その誘惑に負ける人は少なくないだろう。