Searchill

アンケートのバイアス全類型：どの駅で乗るかで捕まえる図鑑

なお
回答バイアス ストレートライナー ウェイトバック集計 無作為抽出
目次

報告会のスライドに「総合満足度 78%」という大きな数字が載っています。トップ 2 ボックス（「満足」と「やや満足」を足した割合）で計算した値で、集計に計算ミスはありません。それでも、映す前に指が一瞬止まります——「この 78%、どこまで信じていいのか」。

数字が信じられるかどうかは、集計の正しさとは別の話です。回答バイアスの多くは、調査票を書いた瞬間と、回答が返ってきた瞬間に入り込みます。そこで入った偏りは、あとから割合を計算し直しても、ウェイトバック集計（回収の偏りを重みで補正する集計）をかけても、抜けません。

この記事は主要なバイアスを、種類の暗記リストではなく「どの工程で入るか」で並べ直します。工程ごとに、症状・その理屈・最小の対処を一つずつ渡します。得られるのは、業者やツールが出した数字を自分で点検するための観点です。

バイアスは四つの駅で乗ってくる

調査は、集めたデータが「集計・報告」という終点へ向かって走る一本の路線のようなものです。バイアスは、その途中の駅から乗り込んできて、終点まで一緒に来ます。終点の集計でいくら目を凝らしても、上流の駅で乗った偏りを、そこで降ろすことはできません。

この並べ方の土台にあるのは、Robert Groves らが教科書『Survey Methodology』で整理した Total Survey Error（TSE、総調査誤差）という考え方です。

Total Survey Error とは、調査の誤差を「どの工程で入るか」で分けて足し合わせて捉える枠組みである。一つの数字のズレを、カバレッジ・標本抽出・無回答・測定・処理といった発生源ごとに切り分ける。

この TSE を、発注側が現場で捕まえやすい四つの駅にまとめ直します。第一の駅は質問設計で、設問の言葉そのものが答えをねじ曲げます。第二の駅は回答行動で、回答者が考えずに手を抜きます。第三の駅は標本・回収で、そもそも答えた顔ぶれが偏ります。第四の駅は集計・解釈で、返ってきたデータの読み方と補正でつまずきます。バイアスは、この四つのどこかで乗ってきます。

大事なのは、入る駅が違えば、捕まえ方も違うことです。質問設計で乗るバイアスは、調査票を直さないと降りません。標本で乗るバイアスは、配る相手を変えないと降りません。終点の集計でできるのは、せいぜい誰が乗っているかを眺めることだけです。だからこの図鑑は、バイアスを暗記する種類のリストではなく、どの駅で捕まえるかの一覧として持つのが役に立ちます。

一つ、正直に断っておきます。TSE は誤差を説明するための記述的な分類であって、絶対の正解表ではありません。業界標準の整理枠組みで、明確な閾値があるわけではないからです。駅の境界も重なります。たとえば回答者の手抜き（第二の駅）は、負荷の高い設問（第一の駅）が引き起こします。厳密な排他分類ではなく、詰まりどころを探す道具として使ってください。

以降は、冒頭の 78% を出した社内 SaaS の満足度調査を例に、四つの駅を順に見ていきます。この調査のデータは、説明のために作った架空のものです。

質問設計の駅で、設問の言葉が答えを寄せる

最初の駅は、調査票のワーディングです。ここで乗るのは、設問の言葉そのものが回答者を特定の答えへ寄せてしまうバイアスで、代表は誘導質問（こちらが望む答えへ回答者を寄せる設問）、ダブルバーレル質問（二つの論点を 1 問に押し込んだ設問）、そして社会的望ましさ（正直な答えより体裁のいい答えを選ばせる聞き方）の三つです。設問の直し方そのものは一本の記事になる大テーマなので、ここでは名前と、なぜデータが歪むかと、最小の手当てだけを渡します。

言葉で答えが動くのは、気分の問題ではありません。Pew Research Center が設問設計の解説で紹介する実測例（2005 年のスプリット実験）では、終末期医療について「医師が患者の自殺を手助けする」という言い方だと賛成 44%、ほぼ同じことを「自らの生を終える手段を与える」と言い換えると賛成 51% になりました。これは特定の調査での一場面で、どの調査票でも同じ幅で動くわけではありませんが、同義のはずの言い換えで賛成が 7 ポイント動いたことは確かです。

この差を自分の調査票で測るなら、置き換え方は決まっています。同じ論点の設問を中立版と誘導版の二通り用意し、回答者を無作為に半々へ分けて別々のバージョンに答えてもらいます（スプリット・バロットと呼ばれる割り方です）。二つの賛成率の開きが、そのまま言い回しの効果の実測値になります。手当ては、価値語や権威づけの前置きを外し、賛否を同じ重さで並べること。「継続すべきだと思いますか、やめるべきだと思いますか」のように両側を対称に置きます。

ここで、混同しやすい区別を一つ。スプリットで差が出たら、偶然のゆらぎを超えているか（有意差があるか）と、その差は実務的に大きいか（効果の大きさ）を、必ず分けて見ます。誘導のたちの悪さは、有意かどうか以前に差の向きを一方向へ押すことです。まぐれではなく、系統的にズレます。

三つ目の社会的望ましさは、少し顔つきが違います。「ヘルプを読まずに問い合わせますか」のように正直に答えるときまりの悪い設問だと、人は体裁のいいほうへ答えを書き換えます。Tourangeau・Rips・Rasinski が『The Psychology of Survey Response』で示したように、これは回答者が答えを口に出す直前の編集です。手当ては、匿名であることを調査票の頭で明示し、自記式にし、行動を責めない言い方にすること。ただし匿名にしても、社会的望ましさは薄くなるだけで消えません。ゼロにはできない前提で読むのが誠実です。

回答行動の駅で、考えずに答えが返る

設問を完璧に中立化しても、次の駅でバイアスが乗ります。回答者が、まじめに考えるのをやめる駅です。

なぜ手を抜くのか。Jon Krosnick が満足化（satisficing）と名付けた機序で説明できます。設問の認知負荷が限度を超えると、回答者は最適な答えをていねいに探すのをやめ、そこそこ妥当に見える答えを返して先へ進みます。この一つの機序から、見た目の違うバイアスが枝分かれします。黙従傾向は、迷ったらとりあえず「はい」「そう思う」に同意しておく癖。ストレートライナーは、マトリクス設問（複数項目を格子状に並べた設問）で全項目に同じ点を縦一直線に付ける癖。中心化傾向は、迷ったら真ん中の選択肢で無難に済ます癖です。どれも手抜きの別々の現れ方で、症状はデータの見た目に出ます。黙従なら肯定側への偏り、ストレートライナーなら回答の一直線、中心化なら中点への山です。

定番の対処が、リッカート尺度（段階的な同意度で測る尺度）に逆転項目を混ぜることです。大半が肯定方向を向く項目の中に、意味を反転させた項目を一つ差し込む。まじめな回答者なら、そこだけ逆の点を付けるはずです。付けないなら、手抜きのサインです。小さなグリッドで見てみます。

次の表は、説明のために作った 5 名分の回答例です。5 段階（5＝とてもそう思う、1＝まったくそう思わない）で示し、項目 c は逆転項目なので、集計時は「6 から回答値を引く」（6−x）で向きをそろえてから合算します。分母は回答者で、右端の見立ては筆者が付けた解釈であり、確立した判定閾値ではありません。

回答者a 満足しているb 分かりやすいc 使いにくい（逆転）d 勧めたい見立て
R15425まじめ・満足（c が低く整合）
R22241まじめ・不満（c が高く整合）
R35555ストレートライナー（c が高く矛盾→フラグ）
R44444黙従（全項目「そう思う」寄り→フラグ）
R53333中心化（中点一色）

R3 は満足（a5）で勧めたい（d5）のに、「使いにくい」（c5）にも強く同意しています。この内的な矛盾が、手抜きの足跡です。逆転項目は、この矛盾を炙り出す網になります。

ただし、対処を万能扱いしないのがこの図鑑の作法です。Robert DeVellis が『Scale Development』で指摘するとおり、逆転項目には副作用があります。まじめな回答者も、逆転に気づかず反射的に正方向へ付けてしまう（reversed-item bias）。つまり逆転項目そのものが新たな測定誤差を生みます。これは実証のある論争含みの実務判断で、単純な推奨ではありません。だから「入れれば安全」ではなく、「入れると別の歪みも呼ぶ」を承知で使います。

回答時間が極端に短い回答者や、逆転項目で矛盾する回答者をあぶり出す注意チェックも、実務ではよく併用されます。ただしこれは調査法の教科書が厳密に定義した手法というより、現場で育った品質チェックの慣行です。手抜きそのものを減らすというより、事後に拾って外すための網と捉えるのが正確です。

並び順でも答えは変わる

ここで、二つの駅にまたがって乗ってくる厄介なバイアスを挟みます。並び順で答えが動く現象で、これは第一の駅（設問の言葉）と第二の駅（回答者の手抜き）の両方に足をかけています。さきほど「駅の境界は重なる」と言ったことの、そのままの実例です。

一つは設問の並びです。前の設問が、次の設問の答えを汚します。直前に「最近このツールで困ったこと」を細かく思い出させてから総合満足度を聞けば、満足度は下がります。これをキャリーオーバー効果（前の設問が後の設問に持ち越す影響）、あるいは文脈効果と呼びます。Tourangeau らは、態度の判断が直前の文脈で枠づけられることを整理しました。乗ってくるのは設問の言葉の駅、つまり測定の側です。

もう一つは選択肢の並びです。同じ選択肢でも、上にあるか下にあるかで選ばれ方が変わります（primacy／recency 効果）。これは Krosnick の満足化の一部で、手抜きの回答者ほど、目に留まった選択肢に飛びつきます。乗ってくるのは回答行動の駅です。

対処はどちらもランダム化です。設問順はローテーションし、汚染しそうな設問対は離す。選択肢順は回答者ごとにランダムに入れ替える（紙なら左右のバランス版を作る）。ただしランダム化は現象を平均でならすだけで、原因は消しません。そしてローテーションの記録を残していないと、あとから順序が効いていたかを検証できません。業者に投げるなら「選択肢の順序はローテーションしていますか、記録は残っていますか」の一言です。

標本・回収の駅で、答えた顔ぶれが偏る

ここまでは、答え方の中身の話でした。第三の駅は、もっと手前、誰が答えたかの偏りです。設問がどれだけ完璧でも、答えた顔ぶれが母集団とズレていれば、結論はズレます。

この駅には三種類の乗客がいます。カバレッジの偏りは、抽出の枠（名簿・パネル）が母集団を覆えておらず、枠から漏れた層が最初から結果に現れないこと。無回答の偏りは、配ったのに答えなかった人が、答えた人と体系的に違うこと。自己選択の偏りは、関心の高い層や声の大きい層だけが進んで答えに集まることです。いずれも、返ってきた標本（調査対象として選んだ一部）が母集団の縮図になっていない、という一点で共通します。土台にあるのは、この駅を無作為抽出で守るという発想です。

冒頭の 78% を疑うべきなのが、まさにこの駅です。社内 SaaS の満足度を、いまも使っている人だけに聞いていないか。すでに使うのをやめた離脱ユーザーは、たいてい調査票が届かないか、届いても答えません。その結果、分析対象が「生き残った満足な人」に偏ります。俗に生存者バイアスと呼ばれる現象です。

生存者バイアスの位置づけは、正直に断っておきます。これは調査法の教科書が独立したバイアスとして定義した用語ではありません。中身は、この駅のカバレッジと自己選択が集計・分析の側から見えたときの顔です。離脱者が枠から落ちればカバレッジの穴、満足な人だけが残って答えれば自己選択。だから語は便利に使いつつ、正体は TSE のカバレッジ・自己選択に接続して理解します。

対処は、離脱者も枠に含めて追跡すること、そして回答者と非回答者・離脱者が体系的に違わないかを別の変数で点検することです。この点検は手を動かせます。全員ぶん手元にある属性、たとえば利用期間・契約プラン・最終ログイン日を、回答者と全ユーザー名簿の両方で集計し、分布がずれていないかを突き合わせる。回答者だけ最終ログインが新しい、上位プランに寄っている、と出れば、それが答えた顔ぶれの偏りの最も手近な実測値です。ただし、本当に知りたい非回答者・離脱者の満足度そのものは、定義上いちばん手に入りにくい。だからこの駅の対処は、いつも中途半端に終わります。

集計・解釈の駅で、ウェイトバックが効かない

フィールドが終わり、業者から結果が返ってきます。「ウェイト補正済み、回収率 20%」。この一文で、つい安心しかけます。でも、冒頭の「集計で直せる」という思い込みが最後に効いてくるのは、ここです。

まず、回収率を安心材料にはできません。Groves と Peytcheva が 2008 年に 59 本の方法論研究を集めたメタ分析で示したのは、回収率と無回答バイアスの大きさのあいだに、そろって効くような強い関係は無いということでした。低い回収率は偏りを許しますが、保証はしません。高い回収率も、偏りが無いことを保証しません。つまり「低回収だから危ない」も「回収率が高いから安全」も、両方とも雑な推論です。そして、いちばん欲しい「何 % 以上なら安全」という合格ラインは存在しません。条件しだいだからです。

では、ウェイトバックが救ってくれるかというと、ここにも限界があります。Pew Research Center は、回収率が 9% 前後まで下がっても推定は概ね妥当だった一方で、偏りが残る領域もあることを実データで示し、ウェイトの限界をはっきり述べています。要点は二つです。ウェイトは、性別や年齢のように手元で観測できている変数の偏りしか直せません。ボランティア活動の頻度のように、こちらが測っていない次元で回答者と非回答者が違えば、その偏りはウェイトを通り抜けて残ります。しかもウェイトは、一部の回答者を重く扱い直すぶん、有効標本サイズを削り、推定の精度を下げます。

言い換えれば、集計の段階で降ろせるのは、上流で正体の分かる形で乗った偏りだけです。観測できていない偏りは、そのまま終点まで残ります。だから、業者の「ウェイト済み」を受け取っても、鵜呑みにはしません。まず確認するのは、ウェイトに使った変数は何か、有効サンプルはどれだけ縮んだか、そして回収率だけで安心していないか、です。回収率を KPI のように追いかけるのをやめる。これが、この駅で守る観点です。

駅ごとのバイアス早見表

歩いてきた四つの駅を、手元に残る一枚にまとめます。図鑑の本体です。横に長いので、スクロールして眺めてください。

次の早見表は、行が主要バイアス、列が「駅／名称（和・英）／症状（データ上の見え方）／機序（なぜ起きるか）／対処／対処の限界」です。駅の割り当ては Total Survey Error を土台にした筆者の対応づけで、一つのバイアスが複数の駅にまたがることがあります。分母や数値はなく、点検の観点を並べた表です。「生存者」「注意チェック」は、調査法の教科書に独立の定義がない実務語として載せています。

駅バイアス（和／英）症状（データの見え方）機序（なぜ）対処対処の限界
質問設計誘導（leading）言い回しで賛否が動くこちらが答えの一つを指す価値語・権威づけを外し両側を対称に完全な中立は不可能。薄くできるだけ
質問設計ダブルバーレル（double-barreled）「やや満足」が何への評価か不明二つの対象を一目盛りに押し込む一問一対象に割る設問数が増える
質問設計社会的望ましさ（social desirability）望ましい側に回答が寄る世間体で答えを編集する匿名・自記式・間接質問低減するが消えない（程度問題）
質問設計キャリーオーバー／文脈効果前問の有無で次問の答えが動く直前の文脈が判断の枠を作る設問順のローテーション・汚染対を離す記録がないと事後検証できない
回答行動黙従傾向（acquiescence）「はい／そう思う」に偏る負荷が高いと同意で済ます（満足化）逆転項目・両極ラベル逆転項目が新たな混乱を生む
回答行動ストレートライナー（straightlining）グリッドで同じ列が一直線選択肢を吟味せず手を抜く逆転項目・回答時間・注意チェック検出はできるが動機は消せない
回答行動中心化傾向（central tendency）回答が中点に集まる迷ったら真ん中で無難に済ます中点ラベルの設計・要否の検討中点除去は情報も捨てる
回答行動順序効果（primacy／recency）選択肢の位置で選ばれ方が変わる上や末尾が目に留まりやすい選択肢順のランダム化平均化するが原因は残る
標本・回収カバレッジ（coverage）枠から漏れた層が結果に出ない抽出枠が母集団を覆っていない枠の見直し・複数モード漏れた層のデータは後から得られない
標本・回収無回答（nonresponse）回収率が低い・顔ぶれが偏る答えない人が体系的に違うフォローアップ・回答／非回答の差の点検回収率だけでは偏りの大きさを測れない
標本・回収自己選択（self-selection）関心層・声の大きい層だけ集まる志願制で偏った人が入る抽出のランダム化・門戸の統制オプトインの偏りは補正しにくい
標本・回収生存者（survivorship・実務語）現ユーザーだけ見て離脱者が落ちる分析対象が「生き残り」に偏る離脱者も枠に含めて追跡する離脱者データは定義上取りにくい
集計・解釈ウェイトバックの過信「ウェイト済み・回収率○%」で安心観測変数でしか重みを付け直せないウェイト変数と回収率を確認し限界を明記未観測の偏りは残り、有効 n を削り精度も下がる

使い方は単純です。自分の調査を四つの駅に分けて、上から順に「この症状、うちのデータに出ていないか」を当てていく。症状が見えたら機序でなぜかを納得し、対処を打ち、そして必ず対処の限界の列まで読む。対処には副作用があり、万能薬は一つも無いからです。

78% をもう一度読み直す

冒頭の 78% に戻ります。四つの駅を通したいま、この数字にはこう注釈を付けられます。集計は正しい。でも 78% は、質問設計の駅で聞き方が肯定に寄っていれば数ポイント上ぶれし、標本・回収の駅で離脱ユーザーが枠から落ちていれば「いま使い続けている人の満足度」に寄っている。だから額面より割り引いて読む、と。

上司の「これで行こう」にも、もう返す言葉を用意できます。「集計は合っています。ただ、この 78% は継続利用者だけの声かもしれず、聞き方も肯定寄りです。信じる前に、誰が答えたか（離脱者が入っているか）と、どう聞いたか（賛否が対称か）だけ、一度確認させてください」。これは調査を止める言葉ではなく、数字を「言われた数字」から「読める数字」に変える一言です。

この図鑑の限界も、正直に置いておきます。四つの駅は記述の枠組みで、境界は重なります。「生存者バイアス」「注意チェック」は、確立した定義のない実務語として扱いました。誘導の実測例（44% → 51%）は特定調査の一場面で、どの調査票でも同じ幅で動くわけではありません。そして繰り返しますが、「何 % の回収率なら安全」という合格ラインは存在しません。読者がいちばん欲しい単純な閾値を渡せないのが、この記事のいちばん誠実な結論です。なお、ここで使った数字は説明のための架空データで、実在する製品や市場の値ではありません。

最後に、業者やツールの成果物を検証するための質問を、四つの駅ごとにまとめます。設問文そのものの直し方（ダブルバーレルの割り方や曖昧語の言い換えなど）は設問ワーディングの記事にあります。ここでは、どの駅でバイアスが乗ったかを見分ける質問に絞ります。

四つの駅で、そのまま業者に投げられる確認

【質問設計】
・賛否の言い回しは、片側に寄っていませんか（スプリットで確かめられますか）
・汚染しそうな設問対は、順序を離すかローテーションしていますか
・センシティブな項目は、匿名・自記式にしていますか

【回答行動】
・逆転項目は入れていますか。ストレートライナーはどう検出しますか
・選択肢の順序はランダム化していますか。記録は残っていますか
・回答時間や注意チェックで、手抜き回答をフラグしていますか

【標本・回収】
・抽出枠（名簿・パネル）は母集団を覆っていますか
・回収率はいくつで、無回答者と回答者の差は確認しましたか
・離脱ユーザーは、対象に含まれていますか

【集計・解釈】
・ウェイト変数は何ですか。回収率だけで安心していませんか
・ウェイトで有効サンプルは、どれだけ縮みましたか

この確認は、作り手の腕を値踏みする尋問ではありません。答えが淀みなく返ってくるなら、その数字は駅を意識して作られています。どれかで言葉に詰まったら、そこが、集計ではもう降ろせない偏りの乗った駅です。

バイアスの図鑑は、怖がるための一覧ではありません。どの駅で乗ってくるかさえ分かれば、上流で捕まえられます。次に「きれいな数字」を前にしたら、その数字がどの駅を通ってきたのかを、まず思い出してみてください。

参考文献

この記事の著者 なお

戦略コンサルティングファームで大手クライアントの経営意思決定を支援してきました。ファクトや一次情報にあたるのは、若手の地道な仕事だと思われがちです。でも、上流の判断を任される立場になっても、結局ここに戻ってくる。大きな決断も、その途中の軌道修正も、最後にものを言うのはファクトだと考えています。

↑↓ で選択してから Enter で開く