統計的検定 | 用語集 | Searchill (さーちる)

統計的検定とは、観測された差や関係が偶然で説明できる範囲かどうかを、帰無仮説（差がない・関係がないという仮の前提）を立てて確率で判断する手続きの総称です。

統計的検定を具体例で理解する

A 案と B 案、2 つの広告バナーを出し分けたとする。

クリック率は A が 4.0%、B が 4.6% だった。資料には「B のほうが高い」と書かれている。

ここで問いたいのは、その 0.6% の差が本物なのか、たまたま今回そう出ただけなのか、である。同じ 2 案をもう一度回せば、今度は A が勝つかもしれない。

この「いま見えている差は、偶然でも起こりうる程度か」を確率で見積もるのが、統計的検定だ。やっていることは、帰無仮説のもとでこのデータが出る確率（p 値）を計算し、あらかじめ決めた線（有意水準）と比べているだけ——その確率の中身や、出た差が有意差と呼べるか、有意でも重要とは限らない話は、有意差のページに譲る。

何を比べると、どの検定か

統計的検定は一つの道具ではなく、比べたいものに応じた手法の集まりだ。発注の場で会話できるように、大きな見取り図だけ持っておくとよい。

割合の差を比べたい（A 案と B 案のクリック率、購入率）
平均の差を比べたい（2 群の満足度スコア、滞在時間。3 群以上を一度に比べる形もある）
関連の有無を見たい（年代と利用意向のように、表のマス目に偏りがあるか）

何を比べたいかで、選ぶ検定は変わる。年代別にクロス集計した表の偏りを確かめたいのか、平均値どうしを比べたいのかは、別の手法になる。

検定にかける前に決めること

検定の落とし穴は、計算の中ではなく、その手前にある。

一つは多重比較だ。年代別、地域別、デバイス別と切り口を増やして検定を繰り返すほど、本当は差がないのに偶然「有意」と出る当たりくじを引きやすくなる。20 回検定すれば、平均して 1 回はまぐれの有意が混じる。たくさん試した末の一つの「有意」は、それだけ割り引いて受け取る必要がある。

もう一つは、判断の線を後出ししないことだ。どこまで厳しく見るかの有意水準、「B が高い」だけを見たいのか「どちらかに差があればよい」のかという片側・両側の別、そして使う検定の種類。これらを結果が出てから選ぶと、自分に都合のいい線をいくらでも引けてしまう。だから先に決める。

発注側はどこを押さえるか

「片側か両側か、検定の種類は自分で選ぶのか」という疑問は、調査設計が浅いほど出てくる。

正直に言えば、検定の種類や片側・両側の技術的な選択は、調査会社や分析担当に委ねてよい。発注側が一人で決め切る必要はない。

ただし、二つだけは手放さないほうがいい。どの比較をしたいのか——何群を、何の指標で比べたいのか。そして、切り口を後から増やさないこと。「あとで年代別も地域別も見て」と次々足すと、それは多重比較そのものになる。比べたい軸を先に宣言しておくのが、発注側の仕事だ。

統計的検定は、偶然を疑うための作法

検定結果を渡されたら、有意の二文字に飛びつく前に、二つだけ確かめてほしい。

その差は、決めておいた比較の中で出たものか。いくつの切り口を試した末の「有意」なのか。

あの 0.6% の差は本物か、たまたま今回そう出ただけか。検定は、その問いにいきなり白黒をつけてはくれない。何を比べるかを先に決め、偶然をいちど疑ってから、有意の二文字を受け取る。それが、この作法の使い方だと思う。