キャリーオーバー効果 | 用語集

キャリーオーバー効果とは、前の設問の内容や回答が、後の設問の答えに引きずられる形で影響してしまう、質問順序効果の一種です。

キャリーオーバー効果を具体例で理解する

満足度調査を作るとする。

先に「料金は高いと感じますか」「サポートの対応は遅いと感じますか」「使い方は分かりにくいですか」と、不満点を一つずつ挙げてもらう。そのあとで「総合的に、このサービスに満足していますか」と聞く。

順番としては自然に見える。でも、ここに落とし穴がある。

直前まで不満を思い出させられた回答者は、総合満足度をやや低めに答えやすい。逆に、先に良い点を並べてから総合満足度を聞けば、今度は高めに出やすい。

同じ人、同じサービスなのに、聞く順番だけで数字が動く。

これがキャリーオーバー効果である。

キャリーオーバー効果の仕組み

なぜ順番で答えが変わるのか。回答者は、心の中にある「満足度」という完成品を読み上げているわけではないからだ。多くの場合、その場で判断を組み立てている。

このとき、直前の設問が手がかりを呼び起こす。これをプライミングという。不満点を思い出させられた直後なら、不満に関する記憶が取り出しやすい状態になり、その材料で総合評価を作ってしまう。

引きずられ方には二つの向きがある。前の設問に答えが寄っていく同化と、前の設問とわざと差をつける対比だ。「個別項目はそこそこ」と答えた後、「では総合は」と聞かれると、人は同じことを繰り返すまいとして、総合をやや別物として評価することがある（Tourangeau, Rips & Rasinski, 2000）。同化と対比のどちらが出るかは、設問の並びや回答者の受け取り方で変わる。

判断にどう使うか

キャリーオーバー効果は、消し去れる種類のものではない。設問は必ず何らかの順で並ぶ以上、前後の影響はゼロにならない。だから現実的な構えは二つになる。順番を設計で操ることと、順番が作った差を検出することだ。

設計の基本は、一般的な設問を先に、具体的な設問を後に置く流れである。漏斗のように広いところから狭いところへ下りていく。総合満足度のような全体評価を、個別の不満点より前に聞いておけば、不満の列挙に汚染されにくい（Schuman & Presser, 1981）。関連の強い設問が隣り合うときは、間に別の話題を挟んで距離を取るのも有効だ。

検出の道具が、順序のランダム化とスプリットランである。回答者ごとに設問の順をランダムに入れ替えれば、影響は消えないが偏りが特定の方向に集中しなくなる。あるいは回答者を半分に分け、片方は A→B、もう片方は B→A の順で聞く。二群の答えがずれれば、その差は中身ではなく順番が作ったものだと分かる。Pew リサーチセンターは支出削減への賛否を尋ねる調査で順序を入れ替え、「最初に聞かれた項目ほど削減への賛成が高い」という順序効果を実際に観測している。

変化に見えて、並び順のせいかもしれない

いちばん危ういのは、順番が作った差を、実態の変化だと思い込むことだ。

定点で数字を追うトラッキング調査で、前回調査と今回で総合満足度が下がったように見えても、設問の並びを変えていたなら、それは顧客の気持ちが冷めたのではなく、聞き方が変わっただけかもしれない。順序が違う調査どうしを横に並べて「悪化した」と語るのは、近似ですらない比較になる。

数字が動いたとき、まず疑うべきは世の中ではなく、調査票である。

設問が離れているほど、順番の影は薄い

私たちは、設問が中立な窓だと思いがちだ。問いを並べれば、その向こうにある本心がそのまま映ると。

でも回答は、直前に何を聞かれたかという文脈の中で生まれる。問いの順番そのものが、答えの一部になっている。

だからこそ、設問を並べ終えたときに一度立ち止まりたい。

この順番は、何を思い出させているだろう。

聞きたいのは相手の本心であって、こちらが直前に植えつけた連想ではない。前後の設問が無関係な話題どうしに離れているほど、直前の問いが貸す手がかりは減り、キャリーオーバー効果は小さくなる。関連の強い問いを続けて置くときこそ、順番を疑う番だ。