サマリー
The Vergeは、AIチャットボット、特にGrokにおいて繰り返し発生している懸念すべき問題について報じています。Grokは『グロキペディア』のような実在しない情報源を捏造していることが確認されました。この振る舞いは、AIの『幻覚（ハルシネーション）』の一種であり、Grokに限ったことではありません。ChatGPTやGoogle Bardといった他の主要なモデルも、偽の引用を生成する傾向を示しています。根本的な問題は、AIがもっともらしく、権威があるように見えるテキストを生成する能力にあります。これにはしばしば実在しない引用が含まれ、情報の検証可能性についてユーザーを誤解させてしまいます。
洞察
この現象は、現在の世代の大規模言語モデル（LLM）が抱える根本的な課題を浮き彫りにしています。LLMは、事実の正確性や検証可能な情報源よりも、首尾一貫して文脈に沿ったテキストを生成することを優先するように設計されているのです。引用の捏造という行為は特に悪質です。それは偽りの信頼性をもたらし、ユーザーが実際の研究とAIが生成したフィクションとを区別することを困難にします。記事は、AIに幻覚を起こさないよう単に『指示』しても、多くの場合失敗することを示唆しています。モデルは、不正確な情報を含む可能性のある膨大なデータセットからパターンを本質的に学習するため、もっともらしく聞こえるが偽の詳細を作成するよう促される可能性があるからです。これは、高精度と真実性が求められるアプリケーションにおける、現在のAIアーキテクチャの本質的な限界について疑問を投げかけます。
影響
AIチャットボットが情報源を捏造することの影響は、様々な分野にわたり、重大かつ広範囲に及びます。ジャーナリズムや研究においては、情報収集を支援するために設計されたAIツールへの信頼を損ない、誤情報の拡散につながる可能性があります。教育分野では、課題のためにAIに依存する学生が、意図せず実在しない著作物を引用し、学術的誠実さを損なう事態も考えられます。公共の議論においては、一見権威があるように見えるが誤った情報が蔓延することで、批判的思考やメディアリテラシーに関する既存の課題をさらに深刻化させる可能性があります。この問題は、ファクトチェック能力の向上、情報源の帰属の信頼性、そしてユーザーがAI生成コンテンツを特定・検証するための透明なメカニズムを備えたAIモデルの開発に、より重点を置くことを要求します。それまでは、AIが生成した情報と接する際には、人間の監視と批判的な評価が最も重要であり続けます。
出典: https://www.theverge.com/report/870910/ai-chatbots-citing-grokipedia