検出力

検出力とは、本当に差があるとき、その差を統計的な検定で有意差として検出できる確率のことです。統計では、これを 1 − β と書く。全体の 1 から、差を見逃す確率（β）を引いた残り、という意味だ。

「差があった」という報告は、多くの人が身構えて読む。本当だろうか、たまたまではないか、と。ところが「差がなかった」のほうは、そのまま受け取られやすい。検出力は、この「差がなかった」を、どこまで信じてよいかを教えてくれる数字だ。

差が出なかったパイロット調査は、検出力が低ければ「差がない」の証拠にならない

新しい訴求コピーの効き目を、旧コピーと比べたい。まず 30 人ほどずつの小さなパイロットにかけてみる。反応に、差は出なかった。ここで「差がないと分かった」と結論づけたくなる。

でも、30 人ずつでは、そもそも差を拾い上げる力が弱い。本当は効いているコピーでも、この人数では有意差にならず、埋もれてしまう。この「拾い上げる力」が検出力だ。検出力の低い調査で出た「差なし」は、「差がない」ではなく、あるともないとも言えなかったに近い。

検出力を左右するのは、人数・効果の大きさ・有意水準の三つ

検出力は、三つの条件で上下する。集める人数（サンプルサイズ）が多いほど、高くなる。見つけたい差そのもの（効果量）が大きいほど、高くなる。そして、有意とみなす基準（有意水準）を緩めるほど、高くなる。

実務では、目標の検出力を先に置く。Cohen が 1988 年に示した目安では、検出力 0.8、つまり差を見逃す確率 β を 0.2 に抑える水準を、一つの標準とする。「ないものをあると言う」誤りを「あるものを見逃す」誤りより重く見て、有意水準 0.05 と組み合わせた考え方だ。

必要な人数は、見たい効果と目標の検出力から先に逆算する

ここが、検出力のいちばん実用的な使い方だ。「何人集めればいいか」は、勘や予算だけで決めるものではない。見たい効果の大きさと、有意水準、そして目標の検出力——この三つを決めれば、必要な人数は逆算できる。

見たい差が小さいほど、必要な人数は跳ね上がる。たとえば 2 群の平均を比べる場合、中くらいの差（効果量 d = 0.5）を有意水準 0.05・検出力 0.8 で拾うのに必要なのは 1 群およそ 64 人。同じ条件でも、小さな差（d = 0.2）なら 1 群およそ 390 人が要る。始める前にこの逆算をしておくと、「集めたのに、何も言えなかった」という空振りを避けられる。

調査を終えてから出す検出力は、結果の言い訳にすぎない

逆に、やってはいけない使い方もある。差が出なかったあとで、その結果から「この調査の検出力は十分あった」と計算し、だから差はない、と補強する——これは通らない。

Hoenig と Heisey が 2001 年に指摘したように、結果を見てから出す検出力（事後検出力）は、そのときの p 値を裏返しただけの数字で、新しい情報を何も足さない。検出力は、出た結果を弁護する後付けではなく、調査を組む前に、見逃しを減らすための道具だ。使うなら、設計の段階で使う。

「差が出なかった」は、多くの場合、調査の感度の話

検定の結果を見て「差はなかった」と書くとき、私たちはつい、世の中にその差が存在しないのだ、と読んでしまう。でも多くの場合、その一言が映しているのは、自分の調査が、その差を見つけられるだけの感度を持っていたか、ということだ。世界の話には、まだなっていない。

差が出なかった。そう書く前に、そもそも見つけられる調査だったのか、と一度立ち止まる。検出力を意識するとは、結果を読むより先に、自分の調査の目の細かさを引き受けておくことだと思う。