有意差

有意差とは、観測されたグループ間の差が、たまたまのばらつきだけでは説明しにくいと、統計的な検定で判定された差のことです。

調査の結果を見ていると、必ずこの問いにぶつかる。この差は、本当に意味のある差なのか。それとも、たまたまこうなっただけなのか。

有意差を具体例で理解する

ある商品の紹介ページを A 案と B 案の 2 つ用意し、それぞれを見た人に満足度を聞いたとする。

A 案の満足度は 70%、B 案は 75% だった。

数字だけ見れば B 案のほうが良い。でも、回答者が各 50 人だったらどうだろう。何人かが偶然どちらかに偏っただけで、この 5 ポイントくらいは簡単に動いてしまう。

そこで検定をかけて、「この 5 ポイントの差は、偶然のばらつきでは起きにくい」と判定されたとき、はじめて有意差があるという。逆に「この程度の差なら偶然でも十分起こりうる」と出れば、有意差はない、となる。

二つの数字を並べて大きいほうを選ぶ前に、その差が偶然の範囲かどうかを確かめる。それが有意差という考え方である。

有意差の仕組み

検定では、まず「二つのグループに差はない」という仮説を立てる。これを帰無仮説と呼ぶ。

そのうえで、もし本当に差がなかったとしたら、手元のデータほどの差が偶然に現れる確率はどのくらいか、を計算する。この確率が p 値である。

p 値が十分に小さければ、「差がない」という前提のほうが無理がある、と考えて、有意差ありと判断する。どのくらい小さければよいか（たとえば 5% 未満）の基準を、有意水準と呼ぶ。

数式まで覚える必要はない。偶然では説明しにくいかどうかを、確率で線引きしている、とつかんでおけば十分である。

有意差をどう判断に使うか

ここが、発注側がいちばん誤読しやすいところだ。

有意差があること＝重要な差、ではない。 統計的な有意性は、差の「大きさ」や「重要さ」を測るものではない。サンプルが大きくなるほど、ごくわずかな差でも有意になりやすい。数十万人規模のログデータなら、実務上どうでもいい 0.5 ポイントの差にも有意差がつくことがある。

有意差がないこと＝差がない、でもない。 サンプルが少なかったり、ばらつきが大きかったりすると、本当は差があっても「有意でない」と出ることがある。有意でないのは、「差がないと言い切れる」ではなく「偶然と区別がつかなかった」に近い。

だから、有意かどうかと並べて、差の大きさそのもの（効果量と呼ばれる）を必ず見る。「有意で、かつ実務的に意味のある幅か」をセットで確認する、と考えておくとよい。差を「誰の回答か」で分けて確かめたいなら、クロス集計と組み合わせると見通しがよくなる。

有意差が教えてくれないこと

p 値は、「差が本物である確率」を教えてくれるわけではない。たとえば p 値が 3% でも、それは「差が本物である確率が 97%」という意味ではなく、「差がないとしたら、これくらいの差が偶然に出るのは 100 回に 3 回ほど」というデータ側の珍しさを表しているにすぎない。ここを取り違えると、有意差を強く読みすぎてしまう。

そして、有意性は意思決定を肩代わりしてくれない。アメリカ統計学会も 2016 年の声明で、科学的な結論やビジネス上の判断を、p 値がある基準を超えたかどうかだけで決めるべきではない、とはっきり述べている。

有意差は、判断の入口にある一つの目安にすぎない。

有意差が出たら、次に確かめる二つのこと

数字を渡されると、私たちはつい「有意差あり」の文字に安心してしまう。差が認められた、これで決めていい、と。

でも、検定が教えてくれたのは、その差が偶然ではなさそうだ、というところまでだ。だから、そこで一呼吸おいて、二つだけ確かめたい。ひとつは差の幅。効果量を見て、施策を動かすに足る大きさかを測る。もうひとつは差の出どころ。誰に、どんな条件で聞いて出た差なのかをたどる。

この二つに答えられたなら、その差は安心して判断の材料にしていい。有意差が出た瞬間こそ、いちばん丁寧に数字を見る時間だと、私は思っている。