Searchill

質問文の作り方：ダメな聞き方を、集計前に直す実例

なお
ダブルバーレル質問 誘導質問
目次

明日配信予定の調査票のドラフトが、画面に開いている。設問は揃っていて体裁も整っているのに、読み返すとどこかが引っかかる。横で上司が「もう出していいよね？」と待っている。

設問の聞き方のミスは、集計でも分析でも、あとから取り返せません。返ってきた回答に歪みが含まれていれば、割合を出してもクロス集計にかけても、その歪みは数字の中に残るからです。この記事で身につくのは、悪い設問を配信前に見つけて直す目です。SaaS 満足度調査票の Before/After を材料に、悪い設問と直した設問を並べて確かめます。

なぜ、集計は設問の負けを取り返せないのか

いきなり結論から言うと、アンケートは製造ラインに似ています。工場では、品質は各工程で作り込むもので、最後の検品で足すものではない、という言い方をします。ラインの途中でネジがゆるく締まった製品は、出荷前にどれだけ念入りに検品しても、ゆるいまま。検品でできるのは不良を見つけて捨てることだけで、良品に変えることはできません。

アンケートの設問は、この各工程にあたります。集計・分析は最後の検品です。聞き方が歪んでいると、返ってくる回答はその歪みを含んだまま固まります。あとから割合を計算しても、クロス集計にかけても、平均を取っても、歪みは消えない。むしろ、きれいな表になったぶん、歪みが正しい数字の顔をして通ってしまう。これが、設問の直しを集計に先送りできない理由です。

では、設問のどこが壊れると回答が歪むのか。手がかりになるのは、回答者の頭の中の作業です。Roger Tourangeau・Lance J. Rips・Kenneth Rasinski は『The Psychology of Survey Response』で、人が設問に答えるとき、理解（質問の意味を読み解く）・想起（必要な記憶や事実をたどる）・判断（それをもとに答えを組み立てる）・回答（用意された選択肢から選んで返す）という四つの工程を順に通過する、と整理しました。

この四つを、回答の四工程と呼びます。ダメな設問は、この四工程のどこかを詰まらせます。だから点検の問いは、いつも同じです。この設問は、四工程のどこを詰まらせるか。ダブルバーレルは判断を、曖昧な数量語は想起を、専門用語は理解を詰まらせます。

もう一つ、頭に入れておきたい力学があります。工程に負荷がかかりすぎると、回答者は手を抜きます。Jon Krosnick は、認知的な負荷が高い設問に直面した回答者が、ていねいに考える最適化をやめて、そこそこ妥当に見える答えで済ませる満足化（satisficing）に切り替わることを示しました。最初にそれらしく見えた選択肢を選ぶ、とりあえず「はい」に同意しておく（黙従傾向と呼びます）、尺度でぜんぶ同じ点を付け続ける（ストレートライナー）。難しい設問は、こうして静かにデータを腐らせます。

配信前にこの四工程を点検できれば、あとで一日かけても取り返せない歪みを、数分で防げます。

まず、「ダメ版」を机に広げる

素材を出します。以下は、社内向けに配っている架空のプロジェクト管理ツールについて、その満足度と改善点を聞こうとした調査票のドラフトです。よくある「なんとなく書いた版」を、あえて詰め込みました。

【ダメ版】サービス満足度・改善調査 ドラフト（※説明のために作成したサンプル調査票）

Q1. 当社サービスのサポート対応と料金体系に、どのくらい満足していますか？
    （とても満足 / 満足 / やや満足 / 満足していない）

Q2. 多くの専門家が高く評価している新しいダッシュボードを、あなたも便利だと感じますか？
    （はい / いいえ）

Q3. あなたは、ヘルプページをきちんと読んでからサポートに問い合わせていますか？
    （はい / いいえ）

Q4. このサービスを、あなたはふだんよく使いますか？
    （よく使う / ときどき使う / あまり使わない）

Q5. 有料プランに移行して感じた改善点は何ですか？（自由記述）

Q6. SSO 連携やオンボーディングのフリクションについて、
    不満がないとは言えない点はありませんか？
    （はい / いいえ）

Q7. 全体的な満足度をお答えください。
    （非常に満足 / 満足 / まあまあ満足 / どちらかといえば満足 / 普通）

ぱっと見、そこまでひどくは見えないはずです。日本語として読めるし、聞きたいことも伝わる。だからこそ配信ボタンに手が伸びます。でも、この七問はきれいに一問ずつ、別々の工程を詰まらせています。顧客満足度を測るはずが、測れないものを測る調査票になっています。ここから一問ずつ、四工程に当てて直します。

一問で二つ聞いていないかを疑う

最初は Q1 です。「サポート対応と料金体系に、どのくらい満足していますか？」。一見ふつうの満足度設問ですが、一つの問いに二つの対象が入っています。これをダブルバーレル質問（一問で二つのことを同時に聞く設問）と呼びます。

なぜダメか。四工程で言えば判断が詰まります。サポートには満足だけれど料金には不満、という人を想像してください。この人は、頭の中で二つの評価を一つの目盛りに押し込めないと答えられない。返ってきた「やや満足」が、サポートへの評価なのか、料金への評価なのか、その平均なのか、書いた本人にも分かりません。集計する側は、もっと分かりません。

Floyd J. Fowler Jr. は、良い設問とはすべての回答者に同じ意味で伝わり、一つのことを測るものだと繰り返し書いています。Pew Research Center も、国内政策と外交政策への評価を一問で聞く例を、典型的なダブルバーレルとして挙げています。直し方はいつも同じで、割ることです。

直すと、Q1 はこうなります。「サポート対応に、どのくらい満足していますか」「料金体系に、どのくらい満足していますか」の二問に分ける。これで、サポートは満足・料金は不満、という現実の声が、そのままデータに残せます。見つけ方も簡単で、設問の中に「と」「や」「かつ」「および」といった接続語があったら、そこが割れ目です。声に出して読んで、接続語のところで一度立ち止まる。それだけで大半のダブルバーレルは見つかります。

もちろん、割れば設問数は増えます。長さと負荷のトレードオフは残る。それでも、測れないものを一問で測った気になるより、二問に増やして測れるほうが、はるかに安い。

答えのほうを、こっそり指さしていないか

次は Q2 と Q3 です。ここは言葉の色を落とす工程です。

Q2「多くの専門家が高く評価している新しいダッシュボードを、あなたも便利だと感じますか？」。二つの仕掛けが入っています。ひとつは「多くの専門家が高く評価している」という前置き。偉い人がもう褒めている、という空気を作ってから聞いています。日本の調査実務では、こうして権威や世評を後ろ盾にして答えを引っぱる聞き方を「威光暗示質問」と呼びます。これは独立した一種のバイアスというより、もっと広い誘導質問（こちらが望む答えのほうへ回答者を寄せてしまう設問）の一形態、と捉えるのが正確です。もうひとつは「便利だと感じますか」という価値語。「便利」という肯定の枠をあらかじめはめて、はい・いいえで答えさせている。しかも「はい」で答えれば済む形なので、さっきの黙従傾向がそのまま乗ります。

四工程で言えば、これは判断に横から手を突っ込む行為です。回答者が自分で評価を組み立てる前に、こちらが答えの一つを指さしている。直し方は、権威づけと価値語を外して、両側を対称に置くこと。「新しいダッシュボードは、あなたにとって使いやすいですか、使いにくいですか」。使いやすい・使いにくいを同じ重さで並べ、まだ使っていない人のための逃げ道も用意します。

言葉の色で答えが動くことには、実測の裏付けがあります。有名なのは Pew の終末期医療の調査で、同じ論点を言い換えただけで、賛成が 44% から 51% へ七ポイント動きました。実例の中身と、なぜそう動くのかという機序はバイアスの全類型を扱う回で扱います。ここで覚えておきたいのは、言葉は測定の目盛りを平気で曲げる、ということです。

Q3「ヘルプページをきちんと読んでからサポートに問い合わせていますか？」は、色の付き方が少し違います。ここでは「きちんと読んでから」が、望ましい行動の匂いを放っています。読まずに問い合わせた人は、正直に「いいえ」と答えるのがきまり悪い。人は、体裁のいい自分を見せたくなります（これを社会的望ましさの影響と言います）。Tourangeau らの整理では、これは最後の回答工程で起きる編集です。頭の中では正直な答えが出ているのに、口に出す直前で、世間体のいいほうへ書き換えてしまう。

直すなら、行動を責めない言い方にして、どちらの答えも普通のことに見せます。「ヘルプページを見ずにサポートへ問い合わせることは、どのくらいありますか(毎回そうする / ときどき / ほとんどない)」。ついでに、答えが誰にも紐づかないこと（匿名であること）を調査票の頭で明示しておくと、正直な答えのハードルはさらに下がります。

全員が同じ意味で読める設問にする

Q4「このサービスを、あなたはふだんよく使いますか？」。犯人は「ふだんよく」です。「よく」が指す頻度は、人によって週五回だったり月一回だったりする。同じ「よく使う」に、まったく違う実態が詰め込まれて返ってきます。

四工程では想起が詰まります。本当は「先週は三日使った」という具体的な記憶があるのに、「よく、って言えるほどかな…」という曖昧な自己評価にすり替わってしまう。直し方は、曖昧な言葉を、回数や期間という測れる形に置き換えること。これを操作的定義（抽象的な言葉を、実際に測れる手続きで定義し直すこと）と言います。「この 1 か月で、このサービスを使った日は何日くらいですか(ほぼ毎日 / 週に数日 / 週に 1 日ほど / 月に数日 / 使っていない)」。「よく」「最近」「たまに」「ときどき」を見つけたら、いつの・何回、に翻訳できないかを疑う。これが想起工程を守る基本動作です。

Q5「有料プランに移行して感じた改善点は何ですか？」には、もっと静かな罠があります。この設問は、回答者が「有料プランに移行した」ことを前提にしています。無料プランのままの人は、そもそも答えようがない。無理に答えれば、事実でない回答が混じります。これを、前提を埋め込んだ設問（loaded question）と言います。

四工程では、いちばん最初の理解でつまずきます。前提を満たさない人にとって、この設問はそもそも意味をなさないからです。直し方は二つ。前提そのものを外して誰にでも答えられる形にするか、スクリーニング調査の要領で、前段にフィルタ設問を置いて対象者を切り分けるか。今回は後者にします。まず「現在のご利用プランを教えてください(無料 / 有料)」で分岐させ、有料と答えた人にだけ「料金に見合う価値を感じていますか」「改善してほしい点は」と続けます。前提は、埋め込むのではなく、外に出して確認する。

選択肢は、答えの受け皿になっているか

ここまでは設問文の話でした。回答の四工程の最後、選ぶ工程を支えているのは選択肢です。答えの器が歪んでいたら、正しい答えは注げません。Q7 を見ます。

「非常に満足 / 満足 / まあまあ満足 / どちらかといえば満足 / 普通」。五つあるのに、否定側が一つもありません。四つが肯定のバリエーションで、いちばん下でも「普通」。不満な人は、行き場がなくて「普通」に押し込められます。これはリッカート尺度（段階的な同意度で測る尺度）を肯定側に片寄せた、不均衡な尺度です。集計すれば「満足以上が九割」というきれいな数字が出ますが、それは実態ではなく、器の形が作った数字です。

選択肢の点検は、三つの目で見ます。

  • 網羅
    • 当てはまる答えが全員に用意されているか。「当てはまるものがない」人のための逃げ道（その他や「使っていない」）や、自由回答の受け皿があるか。
  • 排他
    • 選択肢どうしが重なっていないか。「週に数日」と「ときどき」が両方あったら、人によってどちらにも入れてしまう。
  • 対称
    • 尺度なら、肯定と否定が同じ数だけ、同じ強さで並んでいるか。

直した満足度尺度は、たとえばこうです。「満足 / やや満足 / どちらともいえない / やや不満 / 不満」。肯定二つ、中立一つ、否定二つ。真ん中を挟んで左右が釣り合っています。中間の選択肢を置くべきか、目盛りを何段階にするかは、それ自体が尺度設計の別テーマなので、ここでは深追いしません。尺度の刻みや中点の是非はテーマ依存で、一律の正解がないからです。この記事で守りたいのは、器を肯定側に傾けない、という点です。傾いた器は、中心化傾向（回答を中間の目盛りに寄せがちな傾向）や黙従とあいまって、静かに数字を持ち上げます。

読む負荷を、これ以上かけていないか

最後の設問、Q6。「SSO 連携やオンボーディングのフリクションについて、不満がないとは言えない点はありませんか？」。ここには、負荷を上げる要素が同居しています。専門用語、二重否定、そして長さです。

まず専門用語。「SSO 連携」「オンボーディング」「フリクション」は、社内の人間には通じても、回答者の日常語ではないかもしれません。四工程の理解で、意味が取れずに止まります。次に二重否定。「不満がないとは言えない点はありませんか」は、頭の中で否定を二回ひっくり返さないと、何を聞かれているのか分からない。最後に長さ。長い一文は、読み終わるころに前半を忘れます。

負荷が高い設問に当たると、回答者はていねいに考えるのをやめ、とりあえず「はい」や「いいえ」でやり過ごします。これが冒頭の満足化です。返ってきた回答は、実態ではなく、疲れた回答者が手を抜いた跡です。数字は埋まる。でも、測れてはいない。

直し方は、負荷を下げることです。専門用語を日常語に(「SSO 連携」→「会社のアカウントでのログイン」)。二重否定を素直な肯定文に。長い一文を短く割る。直すと、たとえば「ログイン方法や、使い始めの設定でつまずいた点はありますか(あった→自由記述 / 特にない)」。ただし、平易にしすぎて測りたいものがぶれては本末転倒です。用語を崩すのは、意味が変わらない範囲で、が原則です。「社内の誰かに読んでもらって、一度で意味が取れるか」を最低ラインにすると、崩しすぎを防げます。

出す前に、数人に声を出して答えてもらう

七問は、これでぜんぶ直りました。「もう配信できる」と思ったその瞬間が、実は最後の関門です。

自分の設問は、自分には完璧に見えます。書いた本人は、意図を知っているからです。でも回答者は、意図ではなく文字だけを読む。この距離を埋める唯一の方法が、出す前に実際に人に答えてもらうプリテスト（本番前の試し打ち）です。Fowler は設問を経験的に評価すること、つまり机上でなく人に当てて確かめることを、設計工程の一部として扱っています。Pew もパイロットやフォーカスグループでの事前テストを必須の工程として挙げています。

いちばん軽くて効くのが、認知的インタビューです。数人に、選択肢を選ぶだけでなく「なぜそれを選んだか」「この言葉をどう読んだか」を声に出してもらう。すると、こちらが「よく使う」と書いた設問を、相手が「うーん、よくって言えるかな…」と詰まる瞬間が見えます。その詰まりが、直すべき場所です。ほかにも、答えが「わからない」に集まる設問、無回答が多い設問は、どこかが壊れているサインとして拾えます。

ただし、線を引いておきます。小規模なプリテストは、統計的に何かを証明する作業ではありません。これは質的な発見であって、量的な検証ではない。数人に当てて詰まる場所を見つけるためのもので、何人やれば十分という数理的な閾値はありません。目安として、まず三〜五人に声を出してもらうだけでも、致命傷の大半は見つかります。少人数でいいから、必ず一度は他人の頭を通す。それが、四工程を実地で点検する方法です。

直しを一枚の点検表にまとめる

一問ずつの直しを、四工程の上に並べ直します。次の表は、上のダメ版 Q1〜Q7 から切り出した、悪い設問と直し方の対応です。表の「主に壊れる工程」は、Tourangeau らの四工程（理解・想起・判断・回答）のうち、その設問が主にどこを詰まらせるかを筆者が対応づけたものです。一つの設問が複数の工程に効くこともあり、割り当ては一対一の断定ではありません。

元の設問（要点）主に壊れる工程直し方
① サポートと料金を一問で聞く判断二問に割る。サポートは満足・料金は不満、を別々に出せる形に
② 「専門家も高評価」の新機能を「便利ですか」と聞く判断権威づけと価値語を外し、使いやすい・使いにくいを対称に置く
③ 「きちんと読んでから」問い合わせているか回答望ましさを外し、行動を責めない言い方に。匿名を明示する
④ 「ふだんよく使うか」想起「この一か月で使った日数」など、測れる頻度に置き換える
⑤ 「有料プランに移行して感じた改善点」理解埋め込んだ前提を、前段のフィルタ設問で外に出す
⑥ 専門用語＋二重否定＋長文理解日常語に、素直な肯定文に、短く割る
⑦ 肯定に片寄った満足度尺度回答肯定と否定を同数にした、左右対称の尺度にする

組み直した完成版は、次のようになります。

【完成版】サービス満足度・改善調査（※説明のために作成したサンプル調査票）
※ご回答は匿名で集計し、個人が特定される形では使いません。

Q0（フィルタ）. 現在のご利用プランを教えてください。（無料 / 有料）

Q1a. サポート対応に、どのくらい満足していますか？
Q1b. 料金体系に、どのくらい満足していますか？
     （満足 / やや満足 / どちらともいえない / やや不満 / 不満）

Q2. 新しいダッシュボードは、あなたにとって使いやすいですか、使いにくいですか？
    （使いやすい / どちらともいえない / 使いにくい / まだ使っていない）

Q3. ヘルプページを見ずにサポートへ問い合わせることは、どのくらいありますか？
    （毎回そうする / ときどき / ほとんどない / サポートを使っていない）

Q4. この 1 か月で、このサービスを使った日は何日くらいですか？
    （ほぼ毎日 / 週に数日 / 週に 1 日ほど / 月に数日 / 使っていない）

Q5〔有料の方へ〕. 料金に見合う価値を感じていますか？
    （感じる / やや感じる / どちらともいえない / あまり感じない / 感じない）
    改善してほしい点があれば、自由にお書きください。（自由記述）

Q6. ログイン方法や、使い始めの設定でつまずいた点はありますか？
    （あった→自由記述 / 特にない）

Q7. サービス全体に、どのくらい満足していますか？
    （満足 / やや満足 / どちらともいえない / やや不満 / 不満）

ここまでの点検を、手元に残る一枚の道具にまとめます。四工程ごとに、崩れやすい点と、自分や業者にそのまま聞ける確認を並べました。表の各行は、その工程で崩れやすい設問の型と、配信前に逐語で確認できる問いを対応させたものです。分母や数値はなく、点検の観点を並べた早見表です。

工程（回答者がしている作業）崩れやすい点そのまま聞ける確認
理解（設問を読み解く）専門用語・二重否定・前提の埋め込み「この言葉は回答者の日常語ですか」「答える前提を全員が満たしていますか」
想起（記憶をたどる）「よく」「最近」などの曖昧な数量語・期間「『よく』を、回数や日数に置き換えられますか」
判断（答えを組み立てる）一問二要素・誘導・威光づけ・価値語「一問に二つ聞いていませんか」「どれかの答えを、こちらから指さしていませんか」
回答（選んで返す）選択肢の抜け・重なり・肯定への片寄り・社会的望ましさ「選択肢に、肯定と否定は同じだけありますか」「正直だと恥ずかしい答えを、選びやすくしていますか」

業者やツールが作った調査票をレビューするときは、この右の列を、そのまま相手に投げる質問として使えます。設問の良し悪しを主観で議論する前に、こう聞きます。

納品された調査票に、逐語で当てる 5 つの質問

1. この設問は、一問に二つのことを聞いていませんか（「A と B」で割れませんか）
2. 「よく」「最近」などの言葉を、回数や期間に置き換えられますか
3. この言い回しは、望ましい答えや偉い人の意見のほうへ誘導していませんか
4. 選択肢は、肯定と否定が同じだけありますか（片方に片寄っていませんか）
5. 配信前に、数名に声を出して答えてもらいましたか（プリテストの記録はありますか）

「業者が作ったんだから大丈夫でしょう？」と言われたら、この五つを当ててみてください、と返せます。作り手のスキルを疑うのではなく、成果物を同じ物差しで点検するだけです。五問のうち一つでも「うっ」と詰まったら、そこが集計後に取り返せなくなる場所です。

この点検で直せること、直せないこと

最後に、この記事の限界を置きます。ここを言わずに終えると、点検リストが万能薬に見えてしまうからです。この記事で使ったダメ版・完成版は、説明のために作った架空の調査票です。

まず、四工程は記述の枠組みであって、絶対の正解表ではありません。回答者の認知を説明する理論的モデルであって、閾値ではないからです。どの設問がどの工程を壊すかの割り当ては、筆者の対応づけです。一問が複数の工程に効くこともあるので、厳密な線引きより、詰まりどころを探す道具として使ってください。

次に、完全に中立な設問は存在しません。言葉には必ず色がつく。この記事でできるのは、色をゼロにすることではなく、目立つ偏りを外して薄くすることだけです。「威光暗示質問」を独立したバイアスとして断定しなかったのも同じ理由で、これは日本語の実務が付けた呼び名で、より広い誘導・前提埋め込みの一種として扱うのが正確でした。

そして、いちばん大事な限界です。この点検が守れるのは、測定という工程の、しかも設問の言葉という一部分だけです。誰に配るか（サンプリング）、答えなかった人がどう偏るか（回答バイアス）、返ってきたデータをどう集計・検定するか。それらは全部、この記事の外にあります。設問を完璧に直しても、配る相手の名簿が偏っていれば、結論は偏ります。設問の点検で守れるのは調査の一工程で、調査設計には他にも工程があります。

それでも、この工程は、あとから取り返しがきかないぶん、いちばん割の合う投資です。設問の質は、集計ソフトの中ではなく、配信ボタンを押す前の数分で決まります。上司の「もう出していい？」に、これからは一言足せます。「数分だけ点検させてください」。次に調査票のドラフトを開いたら、まず声に出して一問ずつ読み、接続語で立ち止まり、答えの器が左右に釣り合っているかを見てみてください。返ってくる数字の重さが、そこで変わります。

参考文献

この記事の著者 なお

戦略コンサルティングファームで大手クライアントの経営意思決定を支援してきました。ファクトや一次情報にあたるのは、若手の地道な仕事だと思われがちです。でも、上流の判断を任される立場になっても、結局ここに戻ってくる。大きな決断も、その途中の軌道修正も、最後にものを言うのはファクトだと考えています。

↑↓ で選択してから Enter で開く