アンケートの質問数の目安：回答率と回答の質から決める

購入者アンケートの設計会議で、設問がふくらんでいく。「せっかく回収するなら、購入理由も、他社比較も、今後ほしい商品も聞いておこう」。誰も強くは反対しないまま、10 問だった調査票が 30 問になる。

このとき最初に壊れるのは、回収率ではありません。壊れるのは、集めた回答の中身のほうです。この記事で手に入れるのは、設問数を調査目的から逆算して削り、上限を所要時間で管理し、集まった回答の質を指標で見張る、その手順です。

やることは、管理する軸を一つ動かすことに尽きます。「何問まで聞けるか」ではなく、「回答者が最後まで答え切れる所要時間と、その回答の質」で上限を持つ。例はアパレル通販の購入者アンケートを一本、設計から確認まで持ちます。

設問を盛るほど、回答の質は先に壊れる

長い調査票で困るのは「途中でやめる人が増える」ことだと思われがちです。それも起きますが、もっと厄介なのは、最後まで答えてくれた人の回答が痩せることです。

設問数が増えると所要時間が延び、所要時間が延びると回答者の負荷が上がります。負荷が上がった回答者は、一つひとつの設問に本気で向き合う代わりに、「とりあえず通る答え」で済ませはじめる。この、最適な答えを探す労力を惜しんで手近な答えで切り上げる回答態度を satisficing（満足回答）と呼びます。心理学者の Krosnick が、回答という作業の認知的な負担への対処として整理した概念です。

満足回答は、具体的な形をとってデータに現れます。人が設問に答えるとき、頭の中では「質問を理解し、記憶を探し、判断をまとめ、選択肢に落とす」という段階を踏んでいます（Tourangeau らの回答過程モデル）。負荷が高いと、この各段でショートカットが起きる。結果として、「わからない」を選ぶ DK 回答が増え、自由回答は短くなり、同じ尺度が並ぶ設問では全部同じ選択肢を付ける直線回答が出ます。

この劣化は、実証研究でも確かめられています。Galesic と Bosnjak が web 調査で調査票の長さを変えて比べたところ、想定所要が長い版ほど回答を始める人も終える人も減り、しかも調査票の後半にある設問ほど、回答時間が短く、無回答が増え、自由回答が短く、格子状の設問での回答のばらつきが小さくなりました。後半に行くほど、答えが雑になっていくということです。

デパ地下の試食コーナーを思い浮かべてください。最初の数皿は味を吟味して選びますが、延々と続くと、終盤は「まあこれでいいか」で手が伸びる。長い調査票の後半で起きているのも、これと同じ疲れです。

だから、設問を一つ足そうとするたびに問うべきは「聞けるかどうか」ではありません。その一問が、他の設問の回答の質を落としてまで聞く価値があるかです。

目安は設問数ではなく、所要時間で持つ

上限を「20 問まで」と設問数で決めるのは、あまり役に立ちません。設問一問あたりの重さが、型によってまるで違うからです。自由回答が一問あれば、単純な二択の五問よりずっと重い。数える単位が揃っていないものに上限線を引いても、管理になりません。

代わりに、上限は所要時間で持ちます。「この調査は◯分以内」と決め、設問を足すたびにテスト回答で実測して、その分数に収まるかで判断する。分数なら、自由回答もマトリクスも二択も、同じものさしに乗ります。

では何分が目安か。ここは数理で決まる値ではなく、媒体と対象で動く書き手の目安です。購入直後の満足度のような軽い調査なら 5 分前後、負担の重い調査でも 10 分台に収める、あたりが実務の相場観です。媒体差も効きます。回答者の多くがスマートフォンなら、小さな画面のスクロールと通知による中断で離脱が増えるので、想定はさらに短めに取る。

数字で見ておきます。次の表は、アパレル通販の購入者アンケートを設問数の違う三つの版に無作為で割り当てた、サンプル用の架空データの集計です。

表 1: 設問数の版と完答率・所要時間

集計条件は、完答率が「完答者 ÷ 割付人数」、平均所要が「完答者のみの平均」です。10 問から 30 問へ増やすと、所要は約 4 分から約 14 分へ延び、完答率は 90% から 72% へ落ちました。設問数を三倍にした代償は、完答率の 18 ポイントぶんです。

読者の現場でやることは一つ。設問を組んだら、自分で一度テスト回答して所要を実測し、想定した回収率と突き合わせる。設問数を数えるより、この実測のほうが早く効きます。

仮説にひもづかない設問を、まず落とす

所要時間の上限を決めたら、次は削る作業です。削る基準は、好みでも文字数でもありません。その設問の答えを、どの意思決定に使うかを一行で書けるかどうか。書けない設問は、落とす候補です。

やり方は単純で、設問一覧に「この回答で何を決めるか」という列を足します。「サイズ表記を見直すか」「返品対応の導線を変えるか」のように、具体的な意思決定が書ける設問は残す。「なんとなく知っておきたい」しか書けない設問は、別の調査に回すか、消す。知っておくと嬉しい（nice-to-know）と、決めるのに要る（need-to-know）を、ここで仕分けます。

アパレル通販の例で言えば、調査の目的が「サイズ表記の改善可否を決める」なら、サイズ感の満足と返品の理由は need です。一方、ブランド好意度を 20 項目で細かく測るバッテリは、この意思決定には要らない。聞きたい気持ちは分かりますが、それは別建てのブランド調査の仕事です。同じ調査に相乗りさせると、所要が延びてサイズの設問の回答まで痩せます。

もう一つの基準が、一つの目的につき一つの設問にすること。同じことを角度を変えて二度聞くと、所要だけ増えて情報は増えません。なお、削ったあとに残す設問の「聞き方」の良し悪しは、この記事の範囲外です。設問文の設計はアンケートの設問文の作り方に、新商品コンセプトの受容を測る設計は姉妹記事のコンセプトテストの設計手順に譲ります。

回答の質は、所要時間と直線回答で見張る

削って短くしても、それだけでは足りません。集めた回答が本当に使えるかは、納品後にデータを見て確かめます。見張る指標は、主に次のとおりです。

• 所要時間
  • 極端に短い回答者（スピーダー）は、読まずに流した疑いがある。
• 直線回答
  • 同じ尺度が並ぶ設問で全項目に同じ選択肢を付けた回答。satisficing のいちばん見えやすい形。
• DK 率
  • 「わからない」の多発。判断を省いたサインになりうる。
• 矛盾回答
  • 前後で食い違う回答。論理チェックで拾う。

このうち直線回答は、生の回答から機械的に作れます。デモでは満足度マトリクス（サイズ感・生地・配送・価格・返品対応の 5 項目・5 件法）を使い、5 項目すべてが同じ値なら直線回答フラグを 1 にしました。集計はこのフラグを、完答者を分母にして版別に数えます。

表 2: 設問数の版と直線回答率（完答者が分母）

10 問版では 6.7% だった直線回答が、30 問版では 33.3% まで上がりました。短い版のおよそ五倍です。表 1 の所要時間と重ねると、所要が延びる版ほど満足回答が増える、という経路がそのまま見えます。

ここで注意が一つ。直線回答が出たからといって、その回答者を機械的に不良として消してはいけません。本当に全項目を同じように評価している人もいます。指標が教えるのは「この回答は確かめたほうがいい」という入り口であって、「消してよい」という結論ではない。判定の詳しい設計はストレートライナーの解説に譲ります。読者がやることは、完答者を分母に、版別・設問位置別で質指標を出し、閾値で当たりを付けてから中身を確認することです。

マトリクスは短く見えて、負荷は重い

設問数を数えるとき、いちばん間違えやすいのがマトリクス設問です。格子に畳まれているので画面上は一問に見えますが、回答者は行の数だけ判断しています。5 項目のマトリクスは、体感では五問ぶんの負荷です。

見かけの設問数で「これは短い」と判断すると、所要時間と直線回答を同時に見誤ります。マトリクスは同じ尺度が縦に積み重なるぶん、まさに直線回答が出やすい形でもある。短く見えて、質を落としやすい設問だということです。

対策は三つ。行を絞る、本当に大事な項目はマトリクスから出して単独の設問にする、途中に意味を反転させた逆転項目を混ぜて流し読みを検出する。詳しくはマトリクス設問の解説にあります。設問数を数えるときは、マトリクスの一行を一問と数えないこと。数えるのは画面の数ではなく、所要時間のほうです。

業者見積もりは、設問数と回収率の関係で検収する

調査を外注するとき、見積書には設問数と回収数が並びます。ここで確かめたいのは、業者が設問数と回収率・単価の関係をどう見込んでいるかです。この関係が曖昧なまま発注すると、長い調査票のまま配信され、完答率が想定を下回ります。そのまま業者に投げられる形にしておきます。

1. 設問数と想定所要は何分ですか。マトリクスは行数で重さを見ていますか
2. 想定完答率はいくつで、その根拠は設問数と所要のどこにありますか
3. 所要が延びた場合、単価と回収期間はどう変わりますか
4. 納品は完答のみですか、途中離脱者を含みますか。集計の分母はどちらですか
5. スピーダー・直線回答の除外基準はありますか。除外後の回収数は保証されますか

一点目と二点目が、設問数と回収の関係の核です。業者が「設問数は品質に関係ない」と言うなら、その見積もりの完答率の前提を疑ってよい。なお、そもそも何人集めれば足りるかという必要回収数の計算は、サンプルサイズの決め方の領分です。設問数の話（どれだけ聞くか）と、サンプルサイズの話（何人に聞くか）は、別々に立てて掛け合わせます。

設問数の管理が保証しないこと

最後に、この記事のやり方が保証しないことを書いておきます。

短くすれば良い、という単純な話ではありません。意思決定に要る設問まで削れば、調査は短く終わっても何も決められない。削る基準はあくまで「意思決定に使うか」であって、「短いほど偉い」ではない。所要時間の目安も、媒体・対象・報酬額で動きます。ここで挙げた 5 分・10 分台という数字は、絶対の閾値ではなく相場観です。自分の対象で、テスト回答の実測に置き換えてください。

デモの数字も、教材として作った架空の値です。現実のアパレル通販で「30 問なら完答率 72%」が成り立つわけではありません。示したのは水準ではなく、設問数を増やすと完答率・所要・直線回答が同時に動くという経路のほうです。satisficing の指標も、不良回答を疑う入り口であって、断定の道具ではありません。

覚えておくことは三つ。設問数ではなく所要時間で上限を持つこと。設問一覧に「使う意思決定」の列を足し、空欄の行を落とすこと。納品後は完答者を分母に、所要と直線回答で回答の質を見張ること。次にアンケートを組むときは、設問を足す前に一度テスト回答して、時計を見てみてください。何問聞けるかより、何分で答え切れるかのほうが、集まるデータの質を正確に言い当てます。

参考文献

• Jon A. Krosnick, “Response strategies for coping with the cognitive demands of attitude measures in surveys,” Applied Cognitive Psychology 5(3), 1991, 213–236. https://doi.org/10.1002/acp.2350050305
• Roger Tourangeau, Lance J. Rips & Kenneth Rasinski, The Psychology of Survey Response, Cambridge University Press, 2000. https://doi.org/10.1017/CBO9780511819322
• Mirta Galesic & Michael Bosnjak, “Effects of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey,” Public Opinion Quarterly 73(2), 2009, 349–360. https://doi.org/10.1093/poq/nfp031