プリテスト | 用語集 | Searchill (さーちる)

プリテストとは、本調査を流す前に、少人数を相手に調査票を実際に試してもらい、伝わりにくい設問や答えにくい選択肢、回答の不具合を見つけて直す事前検証の工程です。

プリテストを具体例で理解する

ある会員サービスの満足度調査を作ったとする。設問は 20 問、自分で何度も読み返し、これで完璧だと思った。

念のため、本番の前に同僚と知人あわせて 6 人に答えてもらう。すると、思ってもみなかったことが起きる。

「この『利用頻度』って、ログインの回数ですか、それとも買い物の回数ですか」と聞かれる。ある人は最後の自由記述で手が止まり、別の人は所要時間が想定の倍かかった。設問 12 では、当てはまる選択肢がないと言われた。

どれも、作った本人には見えていなかった穴だ。本番で 1,000 人に配ってから気づいていたら、もう直せない。

この「配る前の試運転」がプリテストである。

プリテストでよく使う手は、大きく三つある。何を見たいかで選ぶ。

ひとつは認知的インタビュー。設問を読みながら考えていることを声に出してもらったり（think-aloud）、「いま何を思い浮かべて答えましたか」と聞き返したり（プロービング）して、設問をどう解釈したかを探る。語の取り違えや読みのズレを見つけるのに強い。

ふたつめは予備調査（パイロット）。本番に近い形で小規模に回し、所要時間・回収率・設問の分岐や集計まで、運用全体が回るかを確かめる。

みっつめは専門家レビュー。経験者が設問を点検し、定番の不良設問を洗い出す。

理解のズレを見たいなら認知的インタビュー、運用が回るかを見たいならパイロット。順序としては、認知的インタビューで設問の中身を整えてから、パイロットで全体を流す形が多い。

設計者には自明な言葉が、回答者には別の意味で読まれる。プリテストは、その読み方のズレを発見する工程だと言ってもいい。

たとえば一つの設問で二つのことを聞いてしまうダブルバーレル質問や、答えを一方へ寄せてしまう誘導質問は、書いた本人では気づきにくい。第三者に声に出して読んでもらうと、つまずく場所が表に出る。所要時間や離脱、選択肢の漏れ、分岐ミスも、回してみて初めてわかることが多い。

プリテストは少人数で行う。だから、ここで出た数字を本番の結果として読んではいけない。

6 人のうち 4 人が満足と答えても、それは「設問がちゃんと機能した」という確認であって、満足度が 67% だという推計ではない。プリテストが測っているのは市場ではなく、調査票そのものの出来である。

もう一つ。直したあとの設問が本当に良くなったかも、直しただけではわからない。言葉を一つ変えれば答えの分布は動くことがある。気になる設問は、直してからもう一度だけ反応を確かめておきたい。

調査票を書いているとき、私たちは知らないうちに「相手も自分と同じように読む」と思い込んでいる。利用頻度はログインのことだ、この選択肢で足りるはずだ、と。

でも、答えるのは自分ではない。

プリテストの本当の価値は、設問の誤字を直すことではない。自分の頭の中だけにあった前提を、他人の口を通して一度返してもらうことにある。たった数人でいい。配る前に一度、声に出して読んでもらう。

次に「これで完璧だ」と思える調査票ができたら、あなたはそれを、何人の他人の目に通すだろうか。

その数人を通すか通さないかで、本番で 1,000 人に配ったあとの後悔が決まる。