矛盾回答を回収前に弾く。アンケートの論理チェック設計

化粧品 EC の購入者アンケートが 40 件返ってきたとします。開くと満足度は高く、数字はきれいに見える。けれど中には、10 代なのに「既婚（子どもあり）」と答えた行や、今回が初めての購入なのに年 7 回買っていると答えた行が混ざっています。

こうした矛盾回答や、全項目に同じ選択肢を付ける直線回答は、回収したあとの掃除だけでは取りこぼします。いちばん確実なのは、調査票を作る段階で論理チェックを埋め込み、何を弾くかを回収前に決めておくことです。

この記事のゴールは、低品質回答の型を見分け、設問間の整合ルールと注意チェックを調査票に仕込み、除外の基準を先に宣言して、業者から届いたデータを検収できる状態です。化粧品 EC のアンケート例で、どの行がどのルールで落ち、分母がどう動くかまで具体的に追います。

低品質回答には見分けやすい型がある

弾く前に、何を弾くのかをそろえます。実務で紛れ込む低品質・不正回答は、おおむね次の型に整理できます。

• 矛盾回答
  • 設問どうしで答えが食い違う。年齢と既婚状況、購入経験と購入回数など、両立しないはずの組み合わせが出る。
• 直線回答
  • マトリクス設問で全項目に同じ選択肢を付ける。ストレートライナーとも呼ばれ、内容を読まずに流したときに出やすい。
• 超速回答
  • 設問文を読めない速さで完了する。所要時間が想定の何分の一しかない回答。
• 注意チェック外し
  • 「この設問では 4 を選んでください」といった指示に従えていない。読んでいない証拠になる。
• コピペの自由記述
  • 意味をなさない文字列や、他の設問からの使い回し。報酬目的の流し込みで出る。

背景にあるのは、最適な答えを探す労力を惜しみ、通ればいい答えで済ませる回答態度です。調査方法論ではこれをサティスファイシング（satisficing）と呼びます（Krosnick の整理した概念です）。設問が長く単調なほど起きやすく、直線回答や超速回答はその表れとして観察されます。

型が分かれば、あとは「どの設問の組み合わせなら矛盾を検出できるか」を設計に落とすだけです。きれいに見える数字ほど、中身をあやしむ価値があります。

弾くより前に、設計で矛盾を起こさせない

論理チェックの半分は、そもそも不良回答を発生させない設計です。回収後の除外は最後の手段で、先に打てる手が 3 つあります。

分岐ロジック。 スクリーニングで対象外を先に落とします。過去 3 か月に購入した人だけを本設問に進め、非購入者には満足度を聞かない。これで「買っていないのに満足度を答える」矛盾が原理的に生まれません。対象者の絞り込みはスクリーニング調査の役割です。

必須回答。 判断に使う設問は、未回答で先に進めない設定にします。ただし全問必須は離脱を増やすので、比較軸と主要指標に絞ります。

レンジ制限。 数値入力や尺度に上限・下限を持たせます。満足度は 1〜5 以外を受け付けない、年間購入回数は非現実的な桁を弾く、といった入口の制約です。

回収後にまとめて直す作業はデータクリーニングが引き受けます。この記事が扱うのはその前で、掃除の手間そのものを減らす設計です。分岐と必須とレンジで防げる矛盾は、チェックのルールを書く前に消しておきます。

設問間の整合ルールを表にして仕込む

防ぎきれない矛盾は、設問どうしを突き合わせるルールで検出します。ここからは説明のために作った架空データを使います。化粧品 EC の購入者アンケートを想定し、以下の論理チェックを設計段階で決めておきました（表 1）。

表 1. 論理チェック仕様（ルール → 条件 → 処理）

大事なのは、条件を「設問 A の値と設問 B の値の関係」として書けることです。年齢を単独で見ても矛盾は見えませんが、ライフステージと突き合わせれば「10 代かつ既婚」は弾けます。だから設計段階で、突き合わせに使う設問を必ずペアで残しておきます。年齢を聞くなら、それと矛盾しうる状況設問も同じ調査票に置く。この対応を先に決めておくと、あとで「あの矛盾を見たいのに片方の設問がない」という事故が防げます。

自由記述の判定だけは自動化しきれません。無意味な文字列や使い回しは、機械で完全には拾えないため、フラグを立てて人が見る運用にします。

注意チェックは効くが、入れすぎると副作用が出る

注意チェック（トラップ設問）は、指示どおりに操作できるかを見る仕掛けです。「品質確認のため、この設問では 4 を選んでください」のように、内容ではなく指示への追従を試します。読み飛ばしを直接つかまえられるので効果は高い。心理学では教示操作チェック（IMC）と呼ばれ、通過しない回答者が一定の割合で出ることが報告されています。Oppenheimer らの研究では、サンプルによって 14〜46% が最初の IMC を通過しませんでした。

ただし副作用があります。あからさまなトラップは、まじめに読んでいる回答者にも「試されている」不快感を与え、以降の回答を雑にしたり離脱させたりします。数を増やすほど調査票は不自然になり、通過率だけを上げる裏技も出回っています。

だから入れ方には節度が要ります。

• 数は 1 問に絞る
  • 長い調査票の中盤に 1 つ置けば、読み飛ばしの検出には足ります。何問も仕込まない。
• 内容ではなく操作を問う
  • 常識クイズにすると知識を測ってしまう。指示への追従だけを見る文面にします。
• 弾く基準は事前に決める
  • 「不通過なら除外」なのか「他の指標と併せて判断」なのかを、回収前に決めておきます。

注意チェックは万能の関所ではなく、費用のかかる 1 つの目安です。他の論理チェックと役割を分担させます。

所要時間と直線回答の閾値は、根拠を決めてから引く

超速回答と直線回答は、閾値を引いて機械的に検出します。ここで引く数字は、数理的に決まる正解ではなく、調査ごとに決める書き手の目安です。だから根拠を先に決め、あとから動かせるようにしておきます。

所要時間の下限。 まず想定所要を見積もり、実データの中央値と照らします。今回のデータでは対象者の所要時間の中央値が 219 秒で、下限を 60 秒に置きました。読める速さの下限として、想定のおおむね数分の一を基準にします。

直線回答の判定。 同じ選択肢が何項目連続したかを数えます（ロングストリング法）。5 項目のマトリクスで全項目同値なら疑わしい。判定を厳しくするために、意味を反転させた逆転項目をマトリクスに 1 つ混ぜておきます。今回は「届くまで品質が不安だった」を逆転項目にしました。まじめに読んでいれば他の肯定項目と答えがずれるはずで、それでも一直線なら不良の疑いが濃くなります。

所要時間は、中身のないデータを見分ける手がかりの中でも比較的安定していることが実務で知られています。とはいえ速い回答をすべて不良と決めつけると、単に慣れた回答者まで巻き込みます。閾値は一度引いて終わりにせず、除外件数を見ながら調整する前提で置きます。

除外の基準は、回収前に文章で宣言する

弾き方が決まったら、除外基準を回収前に文章で固定します。順序を逆にして、データを見てから基準を決めると、「この回答が消えると都合がいい」という判断が基準の側に忍び込みます。八百屋が野菜を棚に並べる前に、傷みの基準をあらかじめ決めておくのと同じで、品物を見てから基準を作れば、売りたいものだけが残ります。

宣言どおりにデータを処理すると、除外の跡が行単位で残ります。表 2 は各ルールの代表例で、この基準では対象外 2 件と論理チェック 11 件、計 13 行が落ちました。

表 2. 除外トレース（どの行がどのルールで落ちたか）

除外の件数は、フラグの延べ数ではなく行数で数えます。R_031 のように 2 つのルールに同時に該当する行は、延べで 2 件でも実体は 1 行です。延べで数えると除外数を過大に見積もります。

分母の動きも記録します（表 3）。納品された 40 件から、対象外の 2 件を先に落として本設問対象は 38 件。そこに論理チェックをかけ、重複を 1 行と数えて 11 件を除外し、分析に使えるのは 27 件になりました。有効回収率は 27 ÷ 40 で 67.5% です。

表 3. 除外による分母と満足度の変化

順序が、分母を変えます。ここで除外された不良回答（矛盾回答や注意チェックの不通過、超速回答）には満足度の低い回答が多く混じっていたため、外すと満足の割合は 70.0% から 77.8% へ上がりました。除外は数字を機械的に良くも悪くもしません。動く方向は、混じっていた不良回答の中身しだいで、逆に満足寄りの回答が多く落ちれば割合は下がります。だからこそ、どの基準で何件減り、結論がどう動いたかを残しておきます。

業者への指示と納品データの検収で仕上げる

調査を外部に発注する場合、論理チェックは指示と検収の両方に効きます。発注時に仕様を渡し、納品時に仕様どおりかを確かめます。

発注時に伝えること。

• 分岐・必須・レンジの設定内容
• 注意チェックの位置と正答、不通過者の扱い
• 除外ルール（表 1）と閾値
• 生データに残す列（所要時間、注意チェックの回答、対象外フラグ）

納品を受け取ったら、次を業者に確認します。

• 対象外（スクリーニング脱落）の行は納品データに含まれますか。含まれる場合、どの列で見分けられますか。
• 注意チェックの不通過者は、除外済みですか、それとも生データのまま入っていますか。
• 所要時間（秒）と回答の開始・終了時刻の列は入っていますか。
• 除外を業者側で行った場合、除外前の件数と除外基準を開示してもらえますか。

検収が通ったデータは、そのまま集計に進めます。有効回答をどう見せるか、どのグラフに載せるかはアンケート結果のグラフの選び方で扱います。切り口別に差を見る集計はクロス集計のやり方にまとめてあります。

弾きすぎは、別のバイアスを作る

最後に、この設計の限界です。論理チェックは万能ではなく、強くしすぎると別のゆがみを生みます。ここまでの数字は説明のための架空データで、現実の化粧品購入者を表すものではありません。

• 正当な回答まで捨てる
  • 全項目を本心から同じに評価する人はいます。直線回答の閾値を厳しくするほど、その人たちを巻き込みます。「全部 4」が手抜きか本心かは、その回答だけからは決められません。
• 母集団を代表しなくなる
  • 除外を重ねるほど残る人が偏ります。速く答える層、迷わず答える層を機械的に削れば、残ったデータはもう元の対象者を映しません。きれいにしたつもりが、都合のよいサンプルになっていることがあります。
• 検出は入り口であって結論ではない
  • 論理チェックが教えるのは「この回答は確かめたほうがいい」であって、「この回答は無効だ」と即断できるわけではありません。矛盾の理由が設問文の分かりにくさにあることもあります。

弾きすぎを防ぐ実務的な歯止めは、除外の記録を残すことです。何をどの基準で除き、結果として何件減り、主要な数字がどう動いたか。これを開示できる状態にしておけば、削りすぎを後から検証できます。

要点は 3 つです。第一に、矛盾は回収後に掃除するより、設計段階で起こさせないほうが確実だということ。第二に、除外の基準は必ずデータを見る前に文章で決めること。第三に、弾いた跡と分母の変化を残し、いつでも見せられるようにしておくこと。論理チェックは、きれいな数字を作る道具ではなく、汚れた数字に気づける状態を保つための前工程です。

参考文献

• Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236. https://doi.org/10.1002/acp.2350050305
• Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867–872. https://doi.org/10.1016/j.jesp.2009.03.009
• American Association for Public Opinion Research. Best Practices for Survey Research. https://aapor.org/standards-and-ethics/best-practices/
• Pew Research Center. U.S. Survey Methods. https://www.pewresearch.org/methods/