Searchill

AI でアンケート設問を作る手順：素案は任せ、測れるかは人が確かめる

こんぺい
操作的定義 プロンプト ハルシネーション プリテスト
目次

AI に「カフェの顧客満足度アンケートを作って」と頼むと、数秒できれいな設問が返ってきます。文章として自然に読めますし、見た目もちゃんとしている。そのまま送信ボタンを押したくなります。

でも、そのまま出すと、集計してからでは取り返せない失敗になります。AI が出したもっともらしい設問には、ダブルバーレル・誘導・選択肢の抜けや重なり・尺度の不ぞろいが、平気で混じっているからです。この記事を最後まで読めば、AI に設問の素案を作らせつつ、それが本当に測れる設問かを自分で見極めて直せるようになります。

使い方は 1 つの割り切りに尽きます。素案づくりは AI、測れるかどうかの判定は人。以下、街のカフェの顧客満足度アンケート（説明のために用意した架空の例）を題材に、頼む前の準備・プロンプト・受け取った設問の点検・AI の限界まで、順に進めます。

AI に頼む前に、測るものを言葉で決める

いきなりプロンプトを書き始めると、たいてい失敗します。AI は「良い設問」を知りませんが、「それらしい設問」はいくらでも出せる。だから、何を測る調査かを人が先に決めておかないと、それらしさに引きずられます。

決めるのは 3 つです。調査の目的、確かめたい仮説、そして測る構成概念です。ここで効くのが操作的定義、つまりぼんやりした言葉を「何を数えれば、それを測ったと言えるか」という手続きの形に置き換える作業です。「満足度を測る」では AI は迷います。「味・品質の満足」「接客の満足」「店内環境の満足」「価格の納得感」「再来店意向」の 5 つに割り、それぞれを 5 段階で測る、とまで決めます。ここまで来て初めて、AI に渡せる指示になります。

このカフェの例なら、目的は「常連化につながる不満点を見つけ、改善の優先度を決める」。測るのは上の 5 つ。来店頻度や利用シーンは設問そのものではなく、あとで集計の切り口に使う分析変数として分けておきます。聞くもの（設問）と、答えから作る変数（分析変数）を、この段階で頭の中で分けておくと、後の点検が速くなります。

プロンプトには禁止条件まで書き込む

準備ができたら、AI への指示を組みます。役割・目的・制約・出力形式の 4 つを書くのが基本ですが、設問づくりで効くのは、そこに「悪い設問」の禁止条件を足すことです。良い例を示すより、踏んではいけない地雷を先に列挙するほうが、AI の出力は安定します。

わたしがカフェの例で使うプロンプトは、こんな形です。

あなたは調査設計の実務者です。以下の条件で、街のカフェの顧客満足度
アンケートの設問ドラフトを作ってください。これは配信前の素案で、あとで
わたしが確認します。

■ 調査目的
常連化につながる不満点を見つけ、改善の優先度を決める。

■ 測りたいこと（この5つを、それぞれ別の設問で測る）
1. 味・品質の満足  2. 接客の満足  3. 店内環境の満足
4. 価格の納得感    5. 再来店意向

■ 守ってほしい制約（禁止条件）
- 1つの設問で2つ以上のことを聞かない（「味と接客」のように連結しない）。
- 望ましい答えへ誘導しない。「好評の」「こだわりの」などの価値語・
  権威づけを入れない。
- 選択肢は重なりをなくし（排他）、当てはまる人が全員選べる（網羅）
  ように。「あてはまるものがない」人の逃げ場も用意する。
- 満足度の尺度は、肯定と否定を同数にした5段階（満足/やや満足/
  どちらともいえない/やや不満/不満）で統一する。
- 専門用語・社内用語を使わない。回答者の日常語で書く。
- 自店の数値・受賞歴・他店比較などを勝手に作って設問に入れない。

■ 出力形式
設問番号／設問文／選択肢／上の1〜5のどれを測るか、を表で。

ここでのプロンプト（AI に与える指示文）は、出力を寄せる舵であって、答えを固定する錠ではありません。禁止条件を書いても、次に見るように違反は残ります。それでも、書いておくと後の点検はぐっと軽くなります。

生成された設問は、一問ずつ確かめる

ここが人の仕事の中心です。AI が返した設問を、測定妥当性、つまり「決めた構成概念を、その設問がちゃんと測れているか」の目で、一問ずつ確かめます。上のプロンプトを投げても、実際にはこんなドラフトが返ってきました（一部抜粋）。

Q1. コーヒーの味と店員さんの接客に、満足しましたか？
    （とても満足 / 満足 / 普通 / 不満）
Q2. 多くのお客様に好評の季節限定ラテは、いかがでしたか？
    （とても良い / 良い / まあまあ）
Q4. 当店のサステナブルな豆へのこだわりに、共感いただけましたか？
    （はい / いいえ）

Q1 は、禁止したはずのダブルバーレル質問（1 つの設問で 2 つの論点をまとめて尋ねる不良設問）です。味には満足だが接客には不満、という人は答えようがない。返ってきた「満足」が、味への評価か接客への評価か、書いた当人にも判別できません。直すには割ります。「味・品質の満足」と「接客の満足」を別々の設問にする。良い設問とは、誰にも同じ意味で伝わり、1 つのことだけを測るものだと、Floyd J. Fowler Jr. が繰り返し説いています。

Q2 は誘導です。「多くのお客様に好評の」という前置きが、先に好意的な雰囲気をこしらえてから尋ねています。これは誘導質問（特定の答えへ回答者を傾かせてしまう設問）の典型で、価値語や権威づけを外し、「季節限定ラテを注文した方へ。味にどのくらい満足しましたか」と素直に聞き直します。

Q4 はもっと厄介です。測ると決めた 5 つに、豆の取り組みは入っていません。AI が、それらしいけれど計画にない設問を勝手に足しています。しかも「サステナブル」を全員が知っている前提で聞いている。こういう設問は、直すのではなく落とすのが正解です。点検の第一問は、いつも同じ。この設問は、測ると決めたどれを測っているか。答えられない設問は、その場で捨てます。

選択肢と尺度は、答えの器として点検する

設問文が直っても、選択肢が歪んでいれば正しい答えは入りません。選択肢は答えを注ぐ器で、器の形が数字を作ります。見るのは網羅・排他・尺度の対称の 3 点です。

先ほどの Q1 の尺度「とても満足 / 満足 / 普通 / 不満」は、肯定が 2 つで否定が 1 つ。不満な人の行き場が狭く、集計すれば満足が多めに出ます。これは肯定側に片寄った不均衡なリッカート尺度（賛否の度合いを数段階で答えてもらう尺度）です。「満足」から「不満」まで、肯定 2・中立 1・否定 2 の 5 段階に組み直し、真ん中を挟んで左右をそろえます。中点を置くか、刻みをいくつにするかは、尺度づくりの別の論点なので、いまは器を片側に傾けない一点だけに絞ります。

網羅と排他は、来店頻度や注文品目の設問で崩れます。AI が出した「ほぼ毎日 / 週に数回 / ときどき / たまに」は、「週に数回」と「ときどき」が重なり、回答者によって振り分け先が変わります。回数で切り直して排他にします。注文品目は「コーヒー / 紅茶 / ケーキ」だけだと、フードも複数注文も逃げ場がありません。複数選択にして「その他」を足します。ここで頻度は、答えから作る分析変数（高頻度・中・低・新規に再符号化する）であって、集計はさらにその先です。聞くもの・作る変数・数える数値を、同じ設問の点検で混ぜないのがコツです。

一問ずつの点検を、1 枚の対応表に畳むと次のようになります。

表 1／AI ドラフトに出やすい欠陥の型と、配信前の確認・直し方

欠陥の型そのまま聞ける確認直し方
ダブルバーレル1 問に 2 つ聞いていませんか（「A と B」で割れませんか）対象ごとに設問を割る
誘導・権威づけこちらが望む答えへ、それとなく寄せていませんか価値語・前置きを外し、両側を対称に
網羅漏れ当てはまる人が全員選べますか（逃げ場はありますか）「その他」「該当なし」や自由回答を足す
非排他選択肢が互いにかぶっていませんか回数・期間など、重ならない基準で切る
尺度の片寄り肯定と否定は同数ですか肯定・中立・否定を対称にそろえる
計画外・専門用語測ると決めたどれを測っていますか計画にない設問は落とす。用語は日常語に

外注先や AI がまとめた調査票を点検するときも、表の中央列は、そのまま相手への質問として使えます。「外に頼んだのだから問題ないはず」と言われたら、この 6 つを順に試してみてください、と伝えます。1 つでも答えに詰まる設問があれば、そこは配信後には手直しできません。

AI の答えは 3 方向に外れる

ここまで AI の便利さを使ってきましたが、放っておくと 3 つの方向に外れます。AI は素案づくりを速くしてくれる一方で、次の 3 つを平気で混ぜてきます。中身を知っておくほど、素案を疑う目が働きます。

1 つ目は、もっともらしい嘘です。AI は、実在しない自店の受賞歴や「業界平均より高い満足度」といった数字を、設問文の中に平気で書き込むことがあります。これがハルシネーション（AI が、事実でないことを自然な文章として出力してしまう現象）です。米国の標準機関である NIST の生成 AI 向け指針は、これを confabulation（作話）と名づけ、根絶できない以上は管理すべきリスクだとしています。設問に混ざった事実は、必ず原典で確かめる。無ければ削る。

2 つ目は、定番への回帰です。AI は学習データの多数派に引かれるので、頼むと NPS や 5 段階満足度といった、どこかで見た設問に流れがちです。自店が本当に測りたい「常連化の分かれ目」を聞く設問は、こちらが構成概念を渡さないと出てきません。だからこそ、前もって測るものを決める最初の工程が効きます。

3 つ目は、偏りと文脈欠落です。言語モデルの出力が特定の集団や欧米・英語圏に寄ることは、Santurkar ら（2023）や Qu と Wang（2024）をはじめ、査読研究でくり返し示されてきました。市場調査の業界標準である ESOMAR も、AI の利用にあたって人による検証と出典照合を求めています。AI は、この街のこの店の客層という文脈を知りません。役割を指定するプロンプトで偏りは多少やわらぎますが、消えはしません。ここは人が補う前提で使います。

素案は AI、妥当性の判定は人が持つ

この 3 つの外れを踏まえると、役割分担は自然に決まります。速さと網羅は AI に、判断は人に置く。この線を引いておくと、AI にどこまで任せてよいか迷わなくなります。

AI に向くのは、ゼロから設問のたたき台を大量に出す、言い回しを 3 案そろえる、長い設問を平易に書き直す、といった生成と変形です。人が持つべきは、測る構成概念を決める、返ってきた設問が測定妥当性を満たすか判定する、選択肢の網羅と排他を確かめる、事実の混入を原典で照合する、という判断です。判断を AI に返してはいけません。AI の自己評価は鵜呑みにできず、何を測りたいかを知っているのは人の側だけだからです。設問を経験的に確かめる、つまり配信前に数名に声を出して回答してもらうプリテスト（配信前に少人数で試しておく確認）も、人の担当のままです。ここは設問文の原則を扱う別記事にゆずりますが、AI を挟んでも、最後に人が当てる関門は動きません。

店名や個人情報は、そのまま渡さない

もう 1 つ、AI に頼むときの実務的な注意です。設問づくりに使う AI サービスへ、実在の顧客名簿・個人が特定できる自由回答・未公開の売上や取引先を、そのまま貼り付けない。入力したデータが学習や保存にどう扱われるかは、サービスによって違います。

カフェの設問づくり自体は、個人情報を渡さずにできます。渡すのは「何を測りたいか」であって、誰が何を答えたかではありません。もし過去の自由回答を AI に要約させたいなら、名前や連絡先を外し、店を特定できる固有名を伏せてから渡す。ESOMAR の倫理規範も、参加者の保護とデータの適正な取り扱いを AI 利用の前提に置いています。便利さと引き換えに、守るべき一線は動かしません。

この手順で防げること、防げないこと

最後に、この手順で防げないことをはっきりさせます。ここを抜くと、設問の点検が何でも直せる万能策のように見えてしまうからです。

この記事で扱ったのは、設問の言葉と選択肢という、測定のごく一部です。誰に配るか、回答しなかった人にどんなかたよりが出るか、集めたデータをどんな手順で集計し検定するかは、すべてこの外側にあります。設問をどれだけ整えても、配る相手にかたよりがあれば、出てくる結論はゆがみます。バイアスの全体像は別のカタログ記事に、過去の調査資料を AI で整理して問える状態にする手順は姉妹記事のNotebookLM の回にあります。

そして、ここで使ったカフェのやり取りは架空の教材で、実在の店舗や調査の証拠ではありません。AI の欠陥の出方も、モデルや頼み方で変わります。ここで覚えておいてほしいのは、具体の設問文そのものではなく、判断の置き場所です。AI に素案を出させ、測れるかどうかは自分が確かめる。この一線さえ守れば、AI は設問づくりを速くする良い相棒になります。今度アンケートのたたき台を開いたら、はじめに「これは、測ると決めたどれを測っているか」を一問ずつ当ててみてください。

参考文献

この記事の著者 こんぺい

大手事業会社で商品企画に携わり、スタートアップではプロダクトマネージャーとして会社を立ち上げ、調査会社では立ち上げからリサーチオペレーションを築いてきました。事業をつくる現場でいつも大事だと感じるのは、作り手と使い手の想いが重なる部分をどう大きくするか、そして、いいものを届け続けるお金のめぐりをどうつくるか。その重なりを広げる力が、リサーチにはある。そう信じて、このメディアをつくっています。

↑↓ で選択してから Enter で開く