ダブルバーレル質問

ダブルバーレル質問とは、1 つの設問で 2 つ以上の事柄を同時に尋ねながら、回答は 1 つしか受け取れない、設計上やってはいけない不良設問のことです。二重質問とも呼ばれます。

ダブルバーレル質問を具体例で理解する

アプリの満足度調査を作るとする。こんな設問を書いてしまった。

「このアプリの価格と使いやすさに満足していますか」

一見、ふつうの質問に見える。でも、価格には満足しているが操作はわかりにくい、と感じている人を思い浮かべてほしい。

その人は、何と答えればいいのだろう。

「満足」と押せば使いにくさが無視され、「不満」と押せば価格への納得が消える。価格と使いやすさという別々の事柄を、1 票に押し込めてしまっている。回答者は片方にしか答えられず、しかもどちらについて答えたのかを、こちらは知る手立てがない。

これがダブルバーレル質問である。語源は二連発の猟銃で、一度の引き金で弾が二つ飛ぶように、ひとつの問いが二つの的を狙ってしまう。

なぜ壊れるのか

ダブルバーレル質問の厄介さは、回答者がそれぞれの解釈で、それなりに答えてしまうところにある。

ある人は価格を思い浮かべて「満足」と押し、ある人は使いやすさを基準に同じボタンを押す。同じリッカート尺度の「満足 4」でも、中身が人によって違う。査読研究でも、回答者は二つの要素の片方だけを見て、もう片方を無視して答えることがあり、それが回答の妥当性を損なうと報告されている（Menold, 2020）。集まった数字は同じ顔をしているのに、測っているものがそろっていない。

「と」「および」「かつ」「または」で複数の事柄や評価軸がつながっている設問は、たいていここに当たる。「価格と品質」「香りが良くて美味しい」「親切で迅速だった」——接続詞でつながった瞬間に、的が二つになっていないかを疑うとよい。設問だけでなく選択肢にも潜む。「安くて高品質」を一つの選択肢にすると、安いが並の品質、という人の居場所がなくなる。

どこで誤読されるか

このタイプの設問がいちばん危ういのは、回答を見るときだ。

「価格と使いやすさに満足が 70%」という結果を、つい「価格に満足している人が 7 割」と読んでしまう。あるいは「使いやすさへの評価」として資料に載せてしまう。どちらも、二つの事柄が混ざった数字を、片方だけの評価として読み替える誤読である。

満足の 70% は、価格についての 70% でも、使いやすさについての 70% でもない。その中間にある、解釈のそろわない 70% だ。後の分析で、それを片方の指標として扱った時点で、結論はもう根拠を失っている。

どう直すか

直し方は、ひとつしかない。設問を分ける。

「価格に満足していますか」と「使いやすさに満足していますか」を、別々の設問にする。手間は増えるが、価格は満足・操作は不満、という回答者の本当の姿が、はじめてそのまま残る。標準的な調査法のテキストでも、的が二つある設問は分割するのが原則とされている。

設問が増えるのを嫌って一文にまとめたくなるが、まとめた分の代償は、回答者ではなく、あとでその数字を読むこちらが払うことになる。

ダブルバーレル質問とは、二つの問いを一票に押し込んだ設問である

良い設問かどうかは、答えやすさだけでは決まらない。返ってきた一つの数字が、何についての答えなのかを、こちらが言い切れるかどうかで決まる。

その設問は、的をいくつ狙っているだろう。

声に出して読んで、「と」や「かつ」でつなげた箇所が出てきたら、いったん立ち止まる。そこは二つに割れるかもしれない場所だ。設問を分けるのは、回答者に親切なだけではない。返ってきた数字を、自分が責任を持って読むための備えである。

設問を一文にまとめてよいのは、狙う的が一つに絞れているときだけだ。事柄が二つ入り込んだ瞬間、返ってくる一票は、あとから意味を取り出せない数字に変わる。