回答バイアス

回答バイアスとは、設問の聞き方や回答者の心理によって、回答が本人の真意から一定の方向へ系統的に(ランダムでなく)ずれてしまう傾向の総称です。

回答バイアスを具体例で理解する

社員満足度の調査を実施したとする。記名式で、上司も結果を見るかもしれない、という前提だ。

「あなたは今の職場に満足していますか」と 5 段階で聞くと、「とても満足」「やや満足」に答えが集まり、平均は高めに出た。発注した人事は安心する。

ただ、同じ設問を匿名で配り直すと、不満の回答がはっきり増えた、ということが起こる。

人は、世間体のよい方向や、波風の立たない方向に答えてしまうことがある。本心が変わったわけではない。答え方が、状況に押されて一方へ寄っただけだ。

このズレが、回答バイアスである。

どんな方向に寄るのか

回答バイアスにはいくつかの型がある。代表的なものだけ押さえておけばいい。

ひとつは社会的望ましさ(social desirability)。世間体のよい自分を見せようとして、寄付や運動の頻度を多めに、好ましくない行動を少なめに答える傾向だ。

ふたつめは黙従傾向。「〜だと思いますか」と同意を求める形式で、内容にかかわらず「はい」側へ傾く動き。

みっつめは中心化傾向。判断を避け、無難な真ん中の選択肢へ逃げる動き。

これらの多くは、回答者がいい加減だから起きるのではない。きちんと考えれば負担が大きい設問に対し、人は「ほどほどに満足できる答え」で済ませてしまうことがある。Krosnick はこれを満足化(satisficing)と呼んだ(1991 年)。同意で済ませる、真ん中を選ぶ、というのは、その省力策の表れでもある。聞き方が答え方を作るという点で、誘導質問とも地続きの問題だ。

ランダムなズレとは違う

ここで一番大事なのは、回答バイアスが系統誤差だということだ。

回答のズレには二種類ある。ある人は高め、別の人は低め、と方向がバラバラなランダム誤差なら、回答を集めるほど打ち消し合い、平均は真の値に近づく。

だが系統誤差は、全員を同じ方向へ押す。聞き方が満足度を一律に高めるなら、千人に聞いても一万人に聞いても、得られるのは一律に高い数字だ。サンプルを増やしても消えない。むしろ、間違った数字をより自信を持って信じてしまう。

「数を集めたから正確」とは限らない。

回答バイアスの気づきにくいところ

最大の落とし穴は、偏った回答を真の値と読んでしまうことだ。

「満足が 80%」という数字は、その聞き方・その状況のもとでの 80% でしかない。匿名にすれば、あるいは選択肢を組み替えれば、別の数字になっていたかもしれない。そして厄介なことに、この偏りは集計表のどこにも書かれない。きれいなグラフになり、本心と見分けがつかなくなる。

減らす設計はある。中立な言葉を使い、賛否を対称にそろえ、同じ態度を逆向きにも聞く逆転項目を混ぜる。そして匿名性を確保する。社会的望ましさは、回答が他人に見られる状況ほど強く出ることが知られている。誰も見ていないとわかれば、見栄を張る理由は薄れる。

回答バイアスとは、本心ではなく聞き方を測ってしまう現象である

調査票を作るとき、私たちは回答者の本心を聞いているつもりでいる。

でも、答えは真空では生まれない。誰が見るか、どう問われたか、どれだけ手間がかかるか。その文脈が、答えを静かに一方へ押す。

回答バイアスが強く出るかどうかは、その場の条件で決まる。

誰に見られ、どれだけ手間がかかるか。それしだいで、本心の手前のフィルターは厚くも薄くもなる。だから設計者にできるのは、そのフィルターを自分の手で薄くしておくことだ。

このページの著者 こんぺい

大手事業会社で商品企画に携わり、スタートアップではプロダクトマネージャーとして会社を立ち上げ、調査会社では立ち上げからリサーチオペレーションを築いてきました。事業をつくる現場でいつも大事だと感じるのは、作り手と使い手の想いが重なる部分をどう大きくするか、そして、いいものを届け続けるお金のめぐりをどうつくるか。その重なりを広げる力が、リサーチにはある。そう信じて、このメディアをつくっています。