効果量

効果量とは、グループ間の差や 2 つの変数の関係がどれくらい大きいかを、標本の大きさに左右されず標準化した数値で表す指標です。

差が偶然かどうかは有意差で判定できる。だが「差があった」の次に効いてくるのは、その差がどれくらい大きいのか、動かすに値するのか、という問いだ。効果量は、その大きさだけを一つの数値として取り出す。

研修後に平均点が 5 点上がっても、大きい差かは点のばらつきで決まる

ある新人研修で、受講の前後に同じテストを受けてもらった。平均点は 60 点から 65 点へ、5 点上がった。

この 5 点は、大きいのか。答えは点数のばらつき次第で変わる。受講者の点がどれも 63〜67 点あたりに固まっているなら、5 点の底上げは全員をそろって押し上げたことになり、かなり大きい。逆に点が 40 点から 90 点まで散らばっているなら、5 点はその散らばりに埋もれて、ほとんど誤差に見える。

同じ 5 点でも、ばらつきが小さいほど「大きい差」になる。効果量は、この「差 ÷ ばらつき」を数値にしたものだ。

効果量は平均差をばらつきで割った値で、標本を増やしても変わらない

いちばん基本の効果量が、Cohen の d だ。2 群の平均値の差を、点数のばらつき（標準偏差）で割る。先の例で標準偏差が 10 点なら d = 5 ÷ 10 = 0.5、25 点なら d = 5 ÷ 25 = 0.2 になる。差は同じ 5 点でも、ばらつきで割るから値が変わる。

2 つの変数の関係の強さを見たいときは、相関係数 r がそのまま効果量になる。

大事なのは、効果量が標本の大きさに左右されないことだ。人数を 100 人から 1 万人に増やしても、差とばらつきの比そのものは動かない。ここが p 値との決定的な違いになる。

標本が大きいほど小さな効果でも有意になるから、p 値と効果量は必ず併読する

対象者が増えるほど、統計的検定はごくわずかな差でも「有意」と判定しやすくなる。数万人規模のデータなら、平均でわずか 0.1 点、実務では無視できる違いにも有意がつく。

有意差があること＝効果が大きいこと、ではない。有意は「偶然では説明しにくい」を判定するだけで、差の大きさそのものは測っていない。だから有意かどうか（p 値）と、どれくらい大きいか（効果量）は、必ずセットで読む。アメリカ統計学会も 2016 年の声明で、結論を p 値がある基準を超えたかどうかだけで決めるべきではない、と述べている。

0.2 を小・0.5 を中・0.8 を大とする線引きは、Cohen 1988 の慣習にすぎない

効果量には、d = 0.2 を小、0.5 を中、0.8 を大とする有名な目安がある。ただしこれは、Cohen が 1988 年に「ほかに手がかりがないときの便宜」として示した慣習であって、絶対の基準ではない。Cohen 自身、この値は場当たり的で、その領域の相場が分かるならそちらを使うべきだと断っている。

だから目安を機械的に当てはめない。ある分野で「小さい」とされる効果が、別の分野では「大きい」ことは普通にある。d = 0.5 という数字は、「この領域で 0.5 は大きいのか」を自分の文脈で問い直して、はじめて意味を持つ。

「動かすに値する差」は効果量ではなく、調査を組む前に自分で決める

効果量が教えてくれるのは、差の標準化された大きさまでだ。その大きさが実務的に意味があるかどうかまでは、教えてくれない。そこは数字ではなく、判断の領域になる。

だからこそ設計が効く。調査を組む前に「どれくらいの効果なら施策を動かす価値があるか」を先に決めておく。この検出したい効果量が定まれば、それを拾うのに必要な人数も見積もれる。

「差が出た」という報告に安心する前に、一度だけ問いたい。この差は、どれくらい大きいのか。効果量はその問いに数値で答える。動かすに値するかは、その数字を見て自分が決める。