非回答バイアス

非回答バイアスとは、調査に答えた人と答えなかった人の傾向が系統的に違うために、集まった回答が母集団の実態からずれてしまう偏りのことです。

答えてくれた人の数が足りない、という話ではない。答えなかった人が、答えた人とどこか違っていて、その違いのぶんだけ結果が傾く。だから問うべきは「何人が答えたか」ではなく、「どんな人が答えなかったか」だ。

関心の高い住民だけが答えると、賛成が多く見える——それが非回答バイアス

市が、図書館の建て替えの是非を全住民に郵送でアンケートした。

返ってくる用紙を見ると、図書館をよく使う人や、まちづくりに関心の高い人ばかりが答えている。ふだん図書館に足を運ばない多数派は、そもそも封筒を開かない。

すると「建て替えに賛成」の割合は、住民全体の本当の声より高く出る。答えた人と答えなかった人が、まさに聞きたかった論点そのもので食い違っていたからだ。返ってきた回答を住民全体の標本として読んでいるのに、その標本が母集団の縮図になっていない。

非回答バイアスの大きさは、答えなかった人との差と、その人数で決まる

非回答バイアスの大きさは、大まかに二つの掛け算で決まる。

一つは、答えた人と答えなかった人が、知りたい項目でどれだけ違うか。もう一つは、答えなかった人がどれだけの割合いるか。二つのグループが違わなければ、答えなかった人が多くても偏りは小さい。逆に、答えなかった人が少数でも、その人たちが大きく違えば偏りは効いてくる。

ネット調査でパネルに配信するときも同じだ。送った相手のうち、答える人と答えない人がいて、その二つがずれているほど、返ってきた数字は傾く。

回収率の高さは、偏りの小ささを保証しない

ここが、いちばん誤解されやすいところだ。

「回収率さえ高ければ安心」と思いがちだが、そうとは限らない。回収率が高くても、答えなかった一部の人が大きく違えば偏りは残る。逆に回収率が低くても、答えた人と答えなかった人が似ていれば偏りは小さい。

Groves と Peytcheva は 2008 年、非回答バイアスを実測した 59 の研究をメタ分析し、回収率の高さと偏りの大きさのあいだにほとんど対応が見られないと報告した。回収率は、偏りの大きさを言い当てる目安にはならない。だから判断の順序は、回収率を見て安心する前に、「誰が答えなかったのか、その人たちはどう違いそうか」を問うことになる。

ウェイトバックで直せるのは、測れている属性の偏りだけ

集めたあとに補正する手はある。性年代などの構成比を母集団に合わせるウェイトバック集計だ。

ただし、これで直るのは重みづけに使った属性の偏りに限られる。「答えやすい性格の人」「その話題に関心の高い人」といった、手元で測れていない軸の偏りは、補正しても残る。非回答バイアスは、ウェイトバックで完全には消えない。

非回答バイアスとは、答えなかった人の影である

報告書に並ぶのは、答えてくれた人の声だけだ。答えなかった人は、数字のどこにも現れない。

でも、その見えない人たちこそが、結果を静かに傾けている。

非回答バイアスを気にするとは、目の前の回答者ではなく、返事をくれなかった人のほうへ一度、視線を送ることだと思う。「この数字に、答えなかった人はどう入っているのか」。報告書を開くとき、その一問を先に置いておきたい。