p値／有意水準

p値／有意水準とは、観測された差が偶然でも出る程度かを表す確率（p 値）と、それを「有意」と判定するために事前に引いておく基準線（有意水準）のことです。p 値が表すのは、帰無仮説（比べる 2 つに差はない、という仮の前提）が正しいとしたときに、観測された差と同じかそれ以上に極端な差が偶然に出る確率。有意水準は 0.05（5%）に置くのが慣習で、p 値がこれを下回った差を「統計的に有意」と呼ぶ。

発注側がこの二つに触れるのは、たいてい「有意差あり」の一行としてだ。それが何を言っていないかを取り違えると、数字の読み方ごと狂う。

その 0.6 ポイント差が偶然でも出る程度かを、確率にしたのが p 値

登録ボタンの色を青から緑に変えた A/B テストの結果が返ってきた。緑のコンバージョン率が青より 0.6 ポイント高く、レポートには「有意差あり」とある。

検定がやるのは、「青と緑で差がない」と置いたとき、この 0.6 ポイント以上の差が偶然に出る確率の計算だ。それが p 値。小さいほど「差がない」という置き方に無理がある。

有意水準は、その「小さい」の線を先に引く約束だ。0.05 と決めておけば、p 値がそれを下回ったときだけ「偶然では説明しにくい」と判定する。この線引きが統計的検定、越えた差が有意差だ。

p 値が 0.05 を下回っても、差が本物とも、大きいとも、また出るとも言えない

ここが誤読の集まる場所だ。「有意」の二文字に中身は多くない。

まず、p 値は「その差が本物である確率」ではない。p 値が 0.03 でも「本物である確率が 97%」の意味にはならない。「差がないと仮定したら、これくらいの差が出るのは珍しい」という、データ側の出にくさを表すだけだ。

そして、p 値は差の大きさ（効果量）でもない。有意かどうかと差が実務的に大きいかは別で、サンプルサイズが大きいほど、ごくわずかな差でも p 値は小さくなる。数十万件のログなら、動かす価値のない 0.1 ポイント差にも「有意」がつく。

「効果が大きい」「次も再現する」——どちらも p 値は請け合っていない。アメリカ統計学会（ASA）が 2016 年の声明で戒めたのも、有意性を効果の大きさや仮説の確からしさへ読み替える取り違えだった。

有意水準と、比べる切り口は、数字を見る前に決めておく

設計の話。p 値をどう受け取れるかは、集計の前にほぼ決まる。

一つは、有意水準を後から動かさないこと。0.05 と決めたのに、p 値が 0.07 だったからと 0.10 へ緩めない。線は先に引き、動かさない。

もう一つは、比べる切り口を後から増やさないこと。差が出ないからと年代別・地域別と検定を重ねるほど、偶然「有意」と出る当たりを引きやすい（多重比較）。20 通り試せば平均 1 つはまぐれが混じる。比べる軸は先に宣言しておく。

有意かどうかは、効果量と並べて初めて判断になる

分析では、p 値だけで結論へ飛ばないのが原則だ。

有意差が出たら、差の大きさ（効果量）と必ずセットで見る。「偶然では説明しにくい（有意）」と「動かす価値がある（効果量が十分）」がそろって、初めて施策の根拠になる。逆に有意でなくても差がゼロとは限らない。サンプルが足りず「偶然と区別がつかなかった」だけのこともある。

p 値は、差の出にくさを一つの数字に畳んだ要約にすぎない。要約だけで決めない。Excel で有意差検定を確かめる手順なら、効果量や多重検定の扱いまで手を動かして追える。

p 値が出たら、そこから考え始める

「有意差あり」と書かれた一行を受け取ったとき、何を確かめればいいのだろう。

確かめたいことは三つ。その差は、先に決めた比較の中で出たものか。いくつの切り口を試した末の「有意」か。そして、施策を動かすに足る大きさはあるのか。

p 値と有意水準は、偶然をふるいにかけるための事前の約束ごとだ。先に交わし、返ってきた数字に問いを返す。その一手間が、p 値を判断の助けに変える。