回収率/回答率
回収率/回答率とは、調査を依頼・接触した対象者のうち、実際に回答が得られた人の割合を示す指標です。英語では response rate。紙や郵送で「配って回収する」場面では回収率、ウェブ調査で「送って答えてもらう」場面では回答率と呼ばれることが多いが、指すものはほぼ同じだ。
配った数で割るか、届いた数で割るかで、同じ回収でも率は変わる
ある自治体が、18 歳以上の住民から 2,000 人をサンプルとして選び、アンケートを郵送したとする。
このうち 150 通が「宛先不明」で戻ってきた。実際に届いたのは 1,850 通。そして回答が返ってきたのが 520 通だった。
さて、回収率は何 % だろうか。配った 2,000 通で割れば 26%。届いた 1,850 通で割れば 28%。回収した 520 通は同じなのに、分母を変えるだけで数字が動く。
回収率は、分子(返ってきた回答数)より先に、分母を何にするかで顔つきが変わる指標だ。
回収率の大小を決めるのは、分子の回答数より分母の定義
やっていること自体は素朴だ。一人ずつ「回答が返ったか」を判定し、返った人数を数え、依頼した人数で割る。
問題は「依頼した人数」の中身である。配布した数か、実際に届いた数か、そもそも調査対象の条件に合う「適格な人」の数か(スクリーニング調査で判定するような、対象条件を満たす人だけの分母)。AAPOR(アメリカの世論調査の業界団体)が 2023 年にまとめた Standard Definitions(第 10 版)は、この分母の取り方によって回答率を RR1 から RR6 まで複数に定義している。宛先不明の扱いや、適格か不明な人をどう見積もるかで、同じ調査でも回答率は変わる。
だから回収率を見るときは、数字の前に「何を分母にした値か」を確かめる。分母がそろっていない回収率どうしは、並べて比べられない。
回収率が高くても、答えなかった人のかたよりが小さいとは限らない
いちばん誤解されやすいのが、ここだ。回収率が高い=結果が母集団をよく代表している、と思い込みやすい。
でも、この二つは別の話である。回収率は「どれだけ答えたか」を測るだけで、「答えなかった人が、答えた人とどう違うか」までは何も語らない。この、答えなかった人のかたよりを非回答バイアスと呼ぶ。
Groves が 2006 年に世帯調査を分析した研究では、回収率の高さと非回答バイアスの大きさのあいだに、中程度の相関すら見られなかった。回収率が低くても偏りの小さい調査もあれば、回収率が高いのに特定の層がごっそり抜けている調査もある。この率を下回れば必ず偏る、という安全な閾値も存在しなかった。
回収率は、母集団を代表できているかどうかの合格証ではない。
回収率は催促で動かせても、誰が答えなかったかは動かせない
この指標には、設計と分析の二つの顔がある。
設計の側では、回収率はかなり動かせる。依頼状の文面、督促(リマインド)の回数、謝礼、答える手間の少なさ——手をかけるほど数字は上がる。「回収率 30%」という値は、対象の性質だけでなく、こちらの働きかけの結果でもある。
分析の側で問うべきは、上がった数字の裏で誰が抜けたか、である。従業員サーベイを全社に配っても、忙しい現場の部署だけ回答が薄ければ、その部署の声が欠けたままの「全社の結果」になる。回収率という数字を眺めて安心せず、答えなかったのは誰かを、性別・年代・部署など分かる範囲で見にいく。かたよりの正体は、たいていそこにある。
回収率が答えるのはそこまでで、代表性はその先にある
経験の浅いうちは、回収率を高い・低いだけで受け取ってしまう。30% と聞けば、低いな、で流してしまう。
けれど、この一つの数字は、いつも二つのことを隠している。何を分母に数えた率なのか。返ってこなかった側に、誰がいるのか。
だから回収率を見たら、信じる前に一度立ち止まる。分母をそろえ、答えなかった人の顔ぶれを確かめる。回収率が答えてくれるのはそこまでで、その数字が世の中を映しているかどうかは、いつも一歩先の問いなのだ。