Searchill

アンケート調査の全体像：企画から回収までの設計マップ

なお
定量調査 サンプルサイズ 標本誤差
目次

「アンケートやっといて」と言われて Google フォームを開き、設問 1 を打ち始める。そこへ上司が通りかかって、こう聞く。「で、その調査、結局“何がわかる”の？」——一文で答えられないと、その設問づくりは、あとで作り直すことになります。

この記事では、アンケート調査を企画から回収までの 9 の工程を、1 枚の地図にします。読み終える頃には、自分の調査が今どの工程にいて、次にどの判断が来るかを指させるはずです。各工程で「ここで判断を誤ると、下流でどう詰まるか」も持ち帰れます。

手を動かす細かい手順（サンプルサイズの計算、集計や検定のやり方、自由回答の分類）は、それぞれ専門の別記事にあります。この記事が扱うのは、その手前の設計です。例として、あるタスク管理ツール（SaaS）が顧客満足度調査をかける場面を使います。数字とサービスは説明用に作った架空のもので、実在しません。この例で決める出口は、「次の四半期、どの機能改善に投資すれば解約を減らせるかを決めたい」の一文です。

決める順番を間違えると、あとで直せない

アンケート調査は、上流から下流へ流れる一本の川です。目的があって、見立て（仮説）があって、設計があって、調査票があって、対象者を選んで、配って回収して、集計して、報告して、意思決定に戻す。水はこの順にしか流れません。そして、上流で入った濁りは下流でどれだけ丁寧に集計しても取り除けない。聞いていない項目はあとから足せないし、偏って集めた回答はあとから偏っていないことにはできません。これが、調査という川のいちばん理不尽な性質です。

だから、設問（入口）から作り始めるのではなく、意思決定（出口）から逆算して上流を固定します。フォームを開いて設問 1 から打つのは、入口から作る典型です。悪気はなくても、川を逆さに歩こうとしているだけになる。次の一手を決めるための調査なら、その一手を先に書く。それが出口から設計するということです。

ちなみに、こうして目的から先に工程を組む一回きりの調査を、実務ではアドホック調査と呼びます。継続的に同じ設問を回すトラッキングとは、設計の描き方が少し変わります。

調査は 9 の工程からなる 1 枚の地図になる

調査を「誤差構造をもつ設計プロセス」として捉える古典、Groves たちの『Survey Methodology』は、調査を一連の工程（survey life cycle）として描きます。そこに、標準の実務が置く順序（AAPOR の Best Practices の企画 → 標本設計 → 調査票 → 実査 → 分析・報告、ISO 20252、Statistics Canada の手順）を重ねると、だいたい次の 9 の工程になります。

両端の「仮説」と「意思決定」は、私が実務の手触りで開いたものです。標準が明文で置くのは「目的 → …… → 報告」の骨格までで、順序と「上流が下流を規定する」原則は堅いのですが、両端の語割りは編集判断だと思ってください。

次の表は、説明用に作った架空サービスの設計例です。各行の「決定」は仮の値で、人数などの数量目標はあえて伏せています（「何人集めるか」は別記事で扱います）。

工程この段で決めることこの例での決定ここを外すと、下流でどう詰まるか
1 目的この調査で“何を決める”か（出口）を 1 文で「どの機能改善に投資して解約を減らすか」を決める目的が曖昧だと、全工程の判断基準が消える。集計しても「で？」が残る
2 仮説何が効いていそうか、当たりの見立て「初期設定でつまずいた層ほど不満で、解約しやすい」見立てが無いと、測るべき変数を選べない。設問が総花的になる
3 設計探索/記述/検証のどれか、方法、対象の枠記述＋検証。Web アンケート。既存の有料ユーザー設計の重心がズレると、必要な精度と方法が噛み合わない
4 調査票出口から逆算した設問＝変数満足度、機能別評価、継続意向、利用頻度、プラン、初期設定の躓き聞き忘れた列は、あとから作れない。比較軸が消える
5 サンプリング母集団・名簿・対象条件・目標回収母集団＝現有料会員。名簿＝課金 DB。除外＝登録 30 日未満名簿が母集団とズレると、カバレッジ誤差（名簿が母集団を取りこぼす）が入る
6 実査配信・期間・督促・品質チェック期間と督促を決め、不正・直線回答の除外運用を用意低い・偏った回収は無回答誤差（答えた人と答えない人でクセが違う）になり、あとで直せない
7 集計単純集計 → クロス（4 で決めた計画どおり）先に描いた「満足度 × プラン」「継続意向 × 利用頻度」を埋める計画が無いと“いじり回し”になり、都合よく解釈できてしまう
8 報告結論を出口の意思決定に接続する「投資すべきは初期設定の改善」を 1 行で結論が意思決定に接続しないと、レポートは棚に入る
9 意思決定調査の出口。次の一手を決めて動く初期設定のオンボーディング改善に投資、と決めるここに戻れない調査は、そもそも要らなかったのかもしれない

この 9 行が、記事全体の見取り図です。自分のタスクが「今どの行にいるか」を指させるようになれば、それだけで半分は勝ちです。以下の各節は、この地図のどこかを拡大しています。

そのアンケートは何を「決める」ためか

すべての上流にある、いちばん上流が目的です。ここでいう目的とは、この結果で下す意思決定を 1 文にしたものです。「満足度を知りたい」では、まだ目的になっていません（知ってどうするの？ が抜けている）。「満足度を見て、次の四半期にどの機能改善へ投資するかを決める」まで書けて、はじめて出口が定まります。この 1 文を調査企画書のいちばん上に置くのが、出口から設計する第一手です。

AAPOR の Best Practices が、良い調査の第一項に「そもそもこの調査は目的に対して最適な手段か」「目的は明確で具体的か」を置いているのも、同じ理由です。AAPOR はこうも書いています。

調査の質は、規模や派手さではなく、起こりうる多くの問題にどれだけ注意を払ったかで決まる。

目的が決まると、設計の重心が決まります。調査の狙いは、ざっくり次の三つのどれかに寄ります。探索は、何が起きているのかあたりをつけること。記述は、それがどれくらいかを測ること。検証は、差や関係が本当にあるのかを確かめることです。

この探索/記述/検証という三分法は、厳密な学術定義というより、実務で現在地を掴むための業界慣行の目盛りです（教育の現場でよく使われる整理で、教科書によって語は少し揺れます）。もう少し硬い足場が欲しいなら、Groves たちは調査の狙いを「記述的（分布や量を描く）」と「分析的（変数どうしの関係を説明する）」の二つに分けています。三分法の記述と検証は、だいたいこの二つに対応します。

この例はどこに寄るか。「初期設定でつまずいた層ほど解約しやすい」という見立て（仮説）を確かめたいので、記述（各層がどれくらい不満か）と検証（つまずきと解約意向に関係があるか）の混合です。だから設計の重心は「層別に比べられること」に置きます。この判断が、次の工程の調査票を丸ごと縛ります。一方、もし目的が「そもそも顧客は何に不満なのか、見当もつかない」だったら、それは探索です。重心は「広く拾うこと」に移り、選択肢で固める設問より自由回答を厚くする。同じ「満足度調査」でも、出口が違えば分岐が変わるのです。

設問を書く前に、集計表を白紙で描く

設問を書きたくなったら、その手を止めて、先に集計表を白紙で描きます。数字はまだ入れません。表の枠だけを作る。Statistics Canada は調査設計の手順として、これをはっきり順序づけています。目的 → 対象母集団 → データ要件 → 分析計画（結果の表がどうなるかを先に構想する）→ そこから調査票を設計する、と。Statistics Canada の言い方を借りれば、結果の表を先に計画することで、検討中の設問が目的に届くかどうかを検証できます。

つまり、クロス集計の形を先に決めて、そこから逆算して設問（＝変数）を決めます。この例なら、こんな白紙の表を先に置きます。分母は有効回答者で、セルは意図的に空欄です。埋めるのは回収後、工程 7 での作業になります。

満足度＼プランFreeProEnterprise全体
満足（トップ 2 ボックス）
どちらでもない
不満
計（n）

この空欄を眺めると、必要な設問が逆算で見えてきます。列に「プラン」を置くと決めたから、調査票に「プラン」を聞く設問が要る。行に「満足度」を置くと決めたから、リッカート尺度（5 段階などの評価尺度）で満足度を聞く設問が要る。同じ要領で「継続意向 × 利用頻度」の白紙表も描けば、「継続意向」と「利用頻度」を聞く設問が確定します。

逆に言うと、この白紙表に無い切り口では、あとから切れません。「初期設定でつまずいたか」で満足度を比べたいなら、その設問を今ここで入れておくしかない。回収後に「やっぱり初期設定でも切りたかった」と思っても、聞いていない列は永遠に空欄です。これが、入口から作ると必ず起きる事故、比較軸の取りこぼしの正体です。

始め方だけを変えた二つを、同じ調査で並べます。

入口から作る（設問スタート）出口から設計する（意思決定スタート）
最初の一手フォームを開いて設問 1 を書く「何を決めるか」を 1 文書き、空の集計表を描く
満足度の測り方5 段階でとりあえず聞く継続意向と結ぶため、機能別に分けて聞く
属性の設問年代・性別を反射で入れる「プラン別・利用頻度別で切る」と決めてから入れる
回収したあと集計してから「何が言えるか」を考える描いておいた表を、埋めるだけ
上司の「何がわかるの？」答えに詰まる1 文で返せる

右の列は退屈に見えるかもしれません。でも退屈さは、出口から設計できている証拠です。回収後に「さて何が言えるだろう」と悩む時間が、消えているのだから。

誤差は人数だけの話ではない

設計の話をしていると、たいてい次にこの質問が来ます。「で、何人集めればいいの？」

人数はもちろん大事です。ただ、人数だけに気を取られると、設計の半分を見落とします。調査の誤差は、人数で決まる部分と、人数をいくら増やしても消えない部分の二階建てになっているからです。まず、人数で縮む部分から。

標本誤差とは、全員に聞かず一部（標本）だけに聞いたために生じる、推定値のブレ幅のことです。人数を増やせば、これは縮みます。

問題は、誤差がこれだけではないことです。ここで、調査方法論の中心にある概念を一つ入れます。

総調査誤差（Total Survey Error）とは、調査結果と真の値とのズレを、標本誤差だけでなく、それ以外のすべての誤差までひっくるめて捉える考え方である。

これは Groves と Lyberg が 2010 年に整理したもので、政府統計の用語集でも「非標本誤差」という訳語で使われています。砕いて言えば、誤差は次の 5 系統に分かれます。人数で縮むのは、このうち一つ（標本誤差）だけ。残りの四つ、カバレッジ・無回答・測定・処理は、人数をいくら増やしても消えない非標本誤差です。

誤差の系統どんなズレかこの例での具体リスクまず見る兆候
標本誤差一部にしか聞かないための推定のブレ目標回収に届かず、推定の幅が広くなる有効回答の規模、割合の信頼区間
カバレッジ誤差母集団の一部が名簿に載っていない課金 DB に無い試用中の層が丸ごと抜ける名簿（フレーム）と母集団の定義の差
無回答誤差答えた人と答えない人の傾向が違う不満な人ほど答えず、満足が高めに出る回答率と、催促の前後での傾向差
測定誤差聞き方・選択肢のせいで答えが歪む誘導的な語や尺度の偏りで、満足が上振れプリテストでの引っかかり
処理誤差集計・コード化の段でのミス自由回答の分類ブレ、リコードの取り違え集計手順とチェックの二重化

人数で縮むのは、いちばん上の一行だけです。残りの四つは、母集団に届いていない層（カバレッジ）や、答えてくれなかった層（無回答）の偏りで、集計の丁寧さでは埋まりません。「何人？」の前に「どの偏りを避ける設計か？」を問う。順番は、いつもこちらが先です。

一点、正直に。総調査誤差は概念枠組みであって、5 系統すべてを一つの数字に足し上げて出せる調査は、実務ではまれです（Groves と Lyberg 自身が、全成分の定量化はコストと設計負荷の点でめったに行われない、と述べています）。だからこれは「品質を一発で表す数値」ではなく、抜けを潰すためのチェックの型として使ってください。そして「じゃあ標本誤差は何人で ±何%？」という数量の詰めは、この記事の範囲外です。サンプルサイズの決め方の別記事で、掛け算と割り算だけで桁を出せるところまで扱います。

誰に・どう配って・どこで止めるか

サンプリングと実査は、非標本誤差が実際に作り込まれる現場です。

まず、誰に聞くか。ここで区別すべき言葉は三つです。母集団は、本当に知りたい人たちの全体（この例なら現有料会員）。名簿（フレーム）は、実際に配れる相手のリスト（課金 DB）。標本は、そこから実際に選ぶ人たち。母集団とフレームがズレると、そのぶんカバレッジ誤差が入ります。課金 DB に載っていない試用中ユーザーは、どうやっても届かない。「有料会員の声」なのか「全ユーザーの声」なのかは、ここで決まってしまうのです。

次に、どう選び、どう配るか。理想は無作為抽出（対象をランダムに選ぶこと）で、標本誤差の理屈が効くのはこの前提の上でだけです。外部のパネルを使うなら、そのパネルはどの母集団を代表しているのかを最初に確かめます。条件を満たす人だけに聞きたいならスクリーニング調査で絞りますが、ここで効いてくるのが出現率、対象条件に当てはまる人の割合です。仮に条件に合うのが 5 人に 1 人（出現率 20%）なら、ほしい有効回答数の 5 倍は配らないと数がそろわない、という逆算になります。見込みを外すと、配信の途中で「対象者がいない」と気づいて慌てることになります。属性ごとに人数を確保したいなら割付を置く。たとえば Free / Pro / Enterprise で最低ラインの人数枠を先に決め、埋まった枠から回収を止める。これを置かないと、母数の多い Free ばかり集まって Enterprise が数人、という偏った標本になりがちです。

そして、どこで止めるか。回収期間と督促を決めるのは、無回答誤差を抑えるためです。締切を早く切りすぎると、熱心な一部（たいてい満足度が偏っている層）だけが答えて終わる。ここでも「何%集まればいいか」という数量のしきい値には踏み込みません。低い回収率がただちに偏りを保証するわけではなく、安全な閾値も一律には引けない、という繊細な話は、回収率とバイアスの別記事で扱います。ここで押さえるべきは、配信リスト・方法・回収の止め方は、どれも「どの誤差を避けるための選択か」で決まるという一点です。

回収したら、集計して意思決定に戻す

データが返ってきました。ここで「やっと集計だ」と気が緩みますが、工程 7 の集計は、工程 4 で描いた白紙表を埋めるだけの作業のはずです。出口から設計できていれば、ここで新しく悩むことは、ほとんどありません。手順としては、まず全体を単純集計（各設問の回答分布）で眺め、次に先に描いたクロス集計を埋めていく。集計の実務、分析対象の確定やローデータのクリーニングを含む集計の通し手順、統計的検定で有意差を確かめる段（Excel での検定手順）、自由回答をアフターコーディングで分類する段（分類の全手順）には、それぞれ固有の手順があります。ここで押さえるのは、集計には計画があり、その計画は工程 4 で作った、の一点です。

大事なのは、最後に結論を出口の意思決定に戻すことです。この例の報告は、満足度の点数の羅列で終わってはいけない。冒頭で決めた出口（どの機能改善に投資して解約を減らすか）に、一行で接続する。たとえば「継続意向は、初期設定でつまずいた層で明確に低い。ゆえに投資すべきは初期設定のオンボーディング改善である」。この一行が書けて、調査はやっと意思決定に戻ります。

ただし、この一行には正直な但し書きが要ります。横断で一度に聞いた自己申告のアンケートが映すのは、「つまずいた層と継続意向の低さが一緒に現れている」という関連（相関）と、そこから引く仮説の優先順位づけまでです。「初期設定を直せば解約が減る」という因果、つまり施策の効果は、この調査だけでは確かめられません。つまずきが不満を生んだのか、もともと離脱しやすい層がたまたまつまずきやすいだけなのか（逆向きの因果）、あるいは多忙やミスマッチのような別の要因が両方を生んでいるのか（交絡）。横断調査は、この切り分けができない。だから報告の言い回しも、「関連としては初期設定が最有力なので、まずここから検証する」までに留め、効果そのものは A/B テストや時系列の追跡といった別デザインに預けるのが、この調査の分をわきまえた書き方です。

有効回答の規模や分母は、報告に必ず明示します（「n＝◯◯、分母は有効回答者」）。これを省くと、読み手はその数字を信じていいか判断できません。数字は、出自とセットで初めて意味を持つのです。

業者に出す前に、三つの共通言語で点検する

ここまでは自分で回す前提でした。でも実務では、調査会社に発注したり、逆にベンダーの納品物を検収したりする場面のほうが多いはずです。受け取る側にも、同じ地図が要ります。

幸い、業界には共通言語が三つあります。ISO 20252 は、市場・世論・社会調査の国際規格で、2019 年の第 3 版が、依頼からデータ収集・分析・報告・納品までの全段階と、記録の追跡可能性を要求しています。ICC/ESOMAR の綱領は、1977 年制定、50 か国超で採用される国際的な行動規範で、2025 年の第 5 版で AI・透明性・人的監督を強化しました（原則は合法・正直・透明・誠実）。国内では JMRA のマーケティング・リサーチ綱領（2017 年改訂）が、適法・公明正大・誠実・客観的であることと、データの改ざん・捏造・削除の禁止を定めています。

これらは、ベンダー選定と自社点検のものさしになります。各工程で見てきた判断所を、そのまま業者に聞ける質問にすると、次の 6 問です。

1. この調査は ISO 20252 に準拠していますか（準拠の範囲はどこまでですか）
2. 対象母集団は誰で、使う名簿（フレーム）はどこまでをカバーしますか
3. 想定回収率はいくつで、無回答はどう扱いますか（ウェイトバックの有無と根拠は）
4. 集計計画（バナー＝クロスの切り口）は、実査の前に提示してもらえますか
5. 調査票のプリテストはしますか。誘導や難解な設問はどう点検しますか
6. 報告で開示される透明性項目（実施主体・期間・方法・回収数）は何ですか

これは、そのまま声に出して聞ける質問です。相手が淀みなく答えれば、上流に注意を払う業者だと分かる。言葉に詰まれば、地図のどこかが空欄のまま走ろうとしている合図です。自社で回す場合も、この 6 問を自分に問えばいい。特に 3 番のウェイトバック集計は、「観測した属性の偏りは直せても、観測していない偏りは残る」という限界とセットで理解しておくと、過信を避けられます。

注意点がひとつあります。これらの標準や綱領はプロセスの枠組みであって、準拠していること自体が良い調査を保証するわけではありません。ISO 20252 準拠でも、目的設定が甘ければ、比較不能なデータは平気で生まれます。準拠は必要条件であって、十分条件ではない。ものさしは、当てるだけでは意味がなく、読んで初めて役に立つのです。

この地図にできること、できないこと

もう、設問 1 からは始めません。まず、この調査で下す意思決定を 1 文で書く。次に、埋めるべき集計表を白紙で描く。そこから逆算して設問と対象者を決める。5 系統の誤差で弱点を名指し、ISO/ESOMAR/JMRA という共通言語で自分（と業者）を点検する。順番は、いつも出口から上流へ、です。

だから冒頭の「結局“何がわかる”の？」には、こう返せます。「“次の四半期にどの機能改善へ投資すれば解約が減るか”を決めるための調査です。継続意向を、利用頻度とプラン別で切って、解約にいちばん効いている不満点を一つ名指します。出てくるのは満足度の点数そのものより、“どこに投資すべきか”の答えです」。「その結果、信じていいの？」と重ねられても、一段深く返せます。「標本誤差の幅と回答率はこれこれで、母集団は現有料会員、名簿は課金 DB です。届かなかった層と答えなかった層のクセはここに残るので、“有料会員の中では”この傾向、と読むのが安全です」。誤差の地図を持っていると、「信じていいか」に根拠を添えて答えられます。

この地図が渡すのは、全体の見取り図までです。手を動かす再現手順は、各工程の専門記事にあります。もう一つ、横断アンケートが映すのは変数どうしの関連（相関）までで、「直せば減る」という因果は A/B テストや時系列の追跡といった別デザインの領分です。そして、工程をいくら正しくなぞっても、上流の目的が甘ければ設計全体がそのまま甘くなる。この記事は現在地を教えてくれますが、進めるのは自分です。

それでも、現在地が分かるだけで、次の一歩は驚くほど軽くなります。次にフォームを開きたくなったら、その手を一度止めて、「この調査で何を決めるんだっけ」と声に出してみてください。設問より先に、出口を。そこからなら、あとの工程は迷わず進めます。

参考文献

この記事の著者 なお

戦略コンサルティングファームで大手クライアントの経営意思決定を支援してきました。ファクトや一次情報にあたるのは、若手の地道な仕事だと思われがちです。でも、上流の判断を任される立場になっても、結局ここに戻ってくる。大きな決断も、その途中の軌道修正も、最後にものを言うのはファクトだと考えています。

↑↓ で選択してから Enter で開く