合成回答者

合成回答者とは、実在の人間に聞く代わりに、「ある属性の人」を演じさせた大規模言語モデル(LLM)の出力を回答とみなす手法、またはそうして作られた仮想の回答者のことです。シリコンサンプルとも呼ばれます。

合成回答者を具体例で理解する

新商品のパッケージ案について、消費者の反応を早く知りたいとする。

本番の調査を組む前に、AI にこう指示する。

「あなたは 30 代・都市部在住・共働きの女性です。この商品を見て、最初に感じたことを教えてください」

すると、それらしい感想がいくつも返ってくる。設問の言い回しが伝わるか、選択肢に抜けがないか。本調査に進む前の下見として、こうした出力を眺める。

ここで返ってきたのは、実在する誰かの声ではない。「30 代・都市部・共働きの女性ならこう答えそうだ」という、モデルが持っている平均像である。

これが合成回答者だ。

合成回答者の最小限の仕組み

LLM は、膨大なテキストで学習する過程で、「どんな言葉のあとに、どんな言葉が続きやすいか」という分布を覚えている。属性を指定すると、その分布の中から「その属性ならこう書きそうだ」という応答を生成する。

つまり合成回答者は、実在の対象者に質問を届けているのではない。学習データから推計した「ありそうな回答」を、その場で組み立てて返しているだけだ。

ある査読研究は、属性の経歴を細かく与えると、モデルの出力が人間集団の回答分布をある程度まで再現できることを示し、これを「アルゴリズム的忠実性」(属性を与えるほど人間集団の回答分布に似せられる度合い)と呼んだ。条件次第では、似せられる。

合成回答者をどう判断に使うか

現実的な使いどころは、外しても痛くない探索に限られる。

  • 本調査の前に、設問の言い回しや選択肢の抜けを点検する
  • 仮説を増やす。どんな反応がありうるかの当たりをつける
  • 極端な反応や見落としていた論点を、早い段階で洗い出す

別の研究も、合成回答者が人間相手の調査をすぐ置き換えることはないとしつつ、本調査を人に配る前のプリテストや欠測の補完には役立ちうる、と整理している。本番の意思決定そのものを合成回答者の声で決めるのではなく、人に聞く前の足場として使う。それが今の到達点だと思う。

合成回答者でわからないこと

合成回答者は、しばしば「人間の代わり」と誤解される。だが、ここには確かめておくべき限界が三つある。

ひとつ、人間調査の代替にはならない。ある検証研究では、ChatGPT の合成回答から出した数字の約半分が、実際の世論調査と偶然では説明しにくい差(有意差)でズレ、そのうち 3 割では方向(プラスとマイナス)まで逆だった。結果はプロンプトの言い回しや時期でも動き、同じ指示でもモデルの更新をはさむと結果が変わった例が報告されている。しかも回答のばらつきは人間より小さく出るため、少数派の幅や意見の散らばりは実際よりつぶれて見える。

ふたつ、答えは多数派に偏る。学習データの多い集団ほど精度が高く、少ない集団ほど取りこぼす。複数の研究が、LLM の意見は特定の集団からずれやすく、とくに西洋・英語圏の見方に寄ることを示している。

みっつ、本物の驚きは出てこない。合成回答者が返すのは、モデルが既に持っている分布の反復である。誰も予想しなかった反応や、まだ言葉になっていないニーズは、原理的に出にくい。

だから最も大切な線引きはひとつに尽きる。検証なしに、人間への調査の代わりにしないこと。

使う前に、確かめる一手を決めておく

合成回答者は、速くて安い。問いを打ち込めば、待たずに答えらしきものが返ってくる。この便利さは本物だ。

ただ、便利さに任せて数字だけ持ち帰ると、モデルの平均像を、そうと気づかないまま人の声として報告してしまう。だから使い始める前に、一手だけ決めておく。その出力を誰に・どこで当てて確かめるか。どれだけずれていたら手を止め、人に聞き直すか。

確かめる先を先に決めてあれば、この道具は判断を早める下見になる。決めていなければ、ただ速いだけの思い込みになる。

このページの著者 こんぺい

大手事業会社で商品企画に携わり、スタートアップではプロダクトマネージャーとして会社を立ち上げ、調査会社では立ち上げからリサーチオペレーションを築いてきました。事業をつくる現場でいつも大事だと感じるのは、作り手と使い手の想いが重なる部分をどう大きくするか、そして、いいものを届け続けるお金のめぐりをどうつくるか。その重なりを広げる力が、リサーチにはある。そう信じて、このメディアをつくっています。