回答バイアス
回答バイアスとは、設問の聞き方や回答者の心理によって、回答が本人の真意から一定の方向へ系統的に(ランダムでなく)ずれてしまう傾向の総称です。
回答バイアスを具体例で理解する
社員満足度の調査を実施したとする。記名式で、上司も結果を見るかもしれない、という前提だ。
「あなたは今の職場に満足していますか」と 5 段階で聞くと、「とても満足」「やや満足」に答えが集まり、平均は高めに出た。発注した人事は安心する。
ただ、同じ設問を匿名で配り直すと、不満の回答がはっきり増えた、ということが起こる。
人は、世間体のよい方向や、波風の立たない方向に答えてしまうことがある。本心が変わったわけではない。答え方が、状況に押されて一方へ寄っただけだ。
このズレが、回答バイアスである。
どんな方向に寄るのか
回答バイアスにはいくつかの型がある。代表的なものだけ押さえておけばいい。
ひとつは社会的望ましさ(social desirability)。世間体のよい自分を見せようとして、寄付や運動の頻度を多めに、好ましくない行動を少なめに答える傾向だ。
ふたつめは黙従傾向。「〜だと思いますか」と同意を求める形式で、内容にかかわらず「はい」側へ傾く動き。
みっつめは中心化傾向。判断を避け、無難な真ん中の選択肢へ逃げる動き。
これらの多くは、回答者がいい加減だから起きるのではない。きちんと考えれば負担が大きい設問に対し、人は「ほどほどに満足できる答え」で済ませてしまうことがある。Krosnick はこれを満足化(satisficing)と呼んだ(1991 年)。同意で済ませる、真ん中を選ぶ、というのは、その省力策の表れでもある。聞き方が答え方を作るという点で、誘導質問とも地続きの問題だ。
ランダムなズレとは違う
ここで一番大事なのは、回答バイアスが系統誤差だということだ。
回答のズレには二種類ある。ある人は高め、別の人は低め、と方向がバラバラなランダム誤差なら、回答を集めるほど打ち消し合い、平均は真の値に近づく。
だが系統誤差は、全員を同じ方向へ押す。聞き方が満足度を一律に高めるなら、千人に聞いても一万人に聞いても、得られるのは一律に高い数字だ。サンプルを増やしても消えない。むしろ、間違った数字をより自信を持って信じてしまう。
「数を集めたから正確」とは限らない。
回答バイアスの気づきにくいところ
最大の落とし穴は、偏った回答を真の値と読んでしまうことだ。
「満足が 80%」という数字は、その聞き方・その状況のもとでの 80% でしかない。匿名にすれば、あるいは選択肢を組み替えれば、別の数字になっていたかもしれない。そして厄介なことに、この偏りは集計表のどこにも書かれない。きれいなグラフになり、本心と見分けがつかなくなる。
減らす設計はある。中立な言葉を使い、賛否を対称にそろえ、同じ態度を逆向きにも聞く逆転項目を混ぜる。そして匿名性を確保する。社会的望ましさは、回答が他人に見られる状況ほど強く出ることが知られている。誰も見ていないとわかれば、見栄を張る理由は薄れる。
回答バイアスとは、本心ではなく聞き方を測ってしまう現象である
調査票を作るとき、私たちは回答者の本心を聞いているつもりでいる。
でも、答えは真空では生まれない。誰が見るか、どう問われたか、どれだけ手間がかかるか。その文脈が、答えを静かに一方へ押す。
回答バイアスが強く出るかどうかは、その場の条件で決まる。
誰に見られ、どれだけ手間がかかるか。それしだいで、本心の手前のフィルターは厚くも薄くもなる。だから設計者にできるのは、そのフィルターを自分の手で薄くしておくことだ。