ハルシネーション | 用語集 | Searchill (さーちる)

ハルシネーションとは、AI、とくに LLM が、事実に反する内容を、いかにも正しそうな体裁で生成してしまう現象のことです。

ハルシネーションを具体例で理解する

調査レポートの下書きを AI に任せたとする。

返ってきた文章は、よくできていた。出典の体裁が整い、数字も添えられている。「20 代女性の 68% が、購入前に SNS の口コミを確認している」。引用元として、それらしい調査名と発行年まで書いてある。

ところが、その調査は存在しなかった。68% という数字も、どこにも出てこない。

AI が、ありそうな出典とありそうな数字を、その場で作文していた。

これがハルシネーションである。困るのは、誤りが下手な文章ではなく、整った文章で出てくることだ。

ハルシネーションの仕組み

LLM は、事実の台帳を参照して答えているわけではない。学習した大量の文章をもとに、「この文脈の次に、どの語が来そうか」を確率で選び続けている。

だから、正確な情報を持っていない場面でも、文章としては自然な流れで語を選んでしまう。確からしさが優先された結果、誤りが流暢な文章として表に出る。

アメリカの標準である NIST は、これを生成 AI 特有のリスク「confabulation（作話）」として、「自信を持って述べられた、しかし誤った内容（俗にハルシネーションと呼ばれる）」と定義している。日本でも、総務省・経済産業省の AI 事業者ガイドラインが、事実に基づかない情報をもっともらしく生成するリスクとして名指ししている。

ハルシネーションをどう判断に使うか

発注側にとって大事なのは、用語を覚えることではなく、AI の出力をどう疑うかだ。

自信ありげな文体を、正しさの証拠として読まない。これが出発点になる。整った日本語と、内容の正しさは、別のものである。

ハルシネーションがとくに効いてくる場面は、おおよそ決まっている。

自由回答を AI に要約させると、回答にない解釈が”盛られる”ことがある
ディープリサーチに調べさせると、実在しない論文や出典を引用として並べることがある
合成回答者（AI が生成した架空の回答者）の答えは、最初から人間のデータではない

いずれも、一次データ・出典・数字は人が原典で照合する、という運用でしか防げない。

ハルシネーションは、なぜゼロにできないのか

ハルシネーションは、プロンプトの工夫や検索の併用で減らせる。だが、ゼロにはできない。NIST が、なくすものではなく管理するリスクとして扱っているのも、そのためだ。

しかも、AI が誤るのは出典や数字だけではない。LLM の意見や属性は、学習データの偏りを引きずる。言語モデルの回答が特定の集団の意見に偏ることや、欧米・英語圏や特定の属性に寄ることは、査読論文でくり返し示されてきた。AI を社会科学に使う可能性を論じた研究でさえ、「自信を持って不正確な情報を生み出す能力」を限界として挙げ、出力を人間のデータと照合する必要を説いている。

つまり、もっともらしさは、正しさとも、代表性とも、独立している。

ハルシネーションは、文体に試されている

AI は、聞けば必ず何か返してくる。空欄で返ってくることは、まずない。だからこそ、返ってきた流暢さを、つい信用してしまう。

ハルシネーションとは、AI が嘘をつく特殊な事故ではない。確からしさを綴る仕組みに、いつも織り込まれている性質である。

だから、AI の出力は下書きとして受け取る。出典と数字は、人が原典に当たって裏取りする。

その一手間を省かないことが、AI 時代に発注の判断を誤らない、いちばん地味で確実な方法だと思う。