t 検定

t 検定とは、2 つのグループの平均の差が、偶然のばらつきだけで説明できる範囲かを、差を標準誤差(推定のばらつきの目安)で割った値で判定する手法です。

平均の差に特化した統計的検定で、割合やカテゴリの偏りならカイ二乗検定が対になる。

客単価 60 円の差は、レシート 30 枚では偶然に埋もれる——見極めるのが t 検定

同じチェーンの A 店と B 店。客単価(1 回の会計金額)の平均値を並べると、A 店は 1,180 円、B 店は 1,240 円だった。差は 60 円で、B 店のほうが高い。

でも会計金額は客ごとに大きく散らばる。コーヒー 1 杯の人もランチセットの人もいて、ばらつき(標準偏差)はどちらの店も 400 円ほどある。

各店 30 枚ずつのレシートで平均を出しても、この 60 円は偶然のゆらぎに埋もれる。各店 350 枚ほどまで積んで、ようやく「偶然では出にくい差」と言える水準に届く。小さな差ほど、本物だと示すのに多くの枚数が要る。

t 検定は、平均の差を標準誤差で割って確かめる

t 検定が見るのは、60 円という差そのものではない。その差を標準誤差で割った値(t 値)だ。

標準誤差は、平均という推定値がどれだけ揺れるかの目安で、データのばらつきが大きいほど、また枚数が少ないほど大きくなる。だから同じ 60 円でも、枚数が増えるほど t 値は大きくなる。

この値が偶然だけで出る範囲を超えていれば「差あり」と判定する。どこに線を引くか——有意水準や p 値の読み方——は有意差に譲る。手を動かして確かめるなら、有意差検定を Excel で自分で確かめる手順が具体的だ。

対応あり・対応なしと等分散で、使う t 検定が変わる

t 検定は一つではなく、二つの分かれ目で形が変わる。

一つ目は、比べる二群が別の対象か、同じ対象か。A 店と B 店の客は別人だから、これは対応なし(独立した 2 群)。同じ 20 店舗の改装前後を店ごとに引き算するなら、対応あり(同じ対象の前後)だ。対応ありは店ごとの差だけを見るぶん、店ごとのばらつきを打ち消せて、少ない数でも差を捉えやすい。取り違えると、消せるはずのばらつきを残して判定してしまう。

二つ目は、二群のばらつきがそろう前提を置くか。等分散を仮定する古典的な形(Student が 1908 年に示した原型)と、違ってもよい Welch 型(Welch 1947)だ。実務では等しい保証が薄く、Welch 型を既定にしてよい。選択は分析担当に任せてよいが、対応あり・なしと等分散の仮定は確認したい。

正規性と小標本という前提が、判定を左右する

t 検定は、各群の値がおおむね正規分布に従うことを前提にする。この前提は、枚数が少ないほど結果に効く。

もともと t 検定は、小標本で平均を評価するために生まれた手法だ。ただし「小標本なら無条件に正確」なのではなく、分布の形の前提は残る。客単価のように少数の高額会計が右へ裾を引く分布では、平均も t 検定も裾に引っぱられやすい。

有意に出ても、客単価を動かすほど大きい差とは限らない

いちばん誤読しやすいのはここだ。t 検定が「差あり」と判定しても、差が大きいという意味ではない。

各店 350 枚で有意になっても、差は 60 円のまま。ばらつき 400 円に対しては小さく、効果量でいえば小さい部類だ。枚数を足せば、たいていの差はいつか有意になる。有意は「偶然ではなさそう」までで、その 60 円が販促や値づけを動かす幅かは別問題だ。

二つの平均を並べたら、差の確かさを先に問う

平均を二つ並べると、私たちはすぐ大きいほうを選びたくなる。60 円高い、こちらが勝ち、と。

でも t 検定が答えるのは、どちらが上かではなく、その差を信じてよいかだ。

次に「B 店のほうが高い」と言いたくなったら、その 60 円がレシート何枚分のばらつきに耐える差かを、一度だけ思い浮かべてみる。その一拍が、数字を報告から判断へ変えていく。

このページの著者 こんぺい

大手事業会社で商品企画に携わり、スタートアップではプロダクトマネージャーとして会社を立ち上げ、調査会社では立ち上げからリサーチオペレーションを築いてきました。事業をつくる現場でいつも大事だと感じるのは、作り手と使い手の想いが重なる部分をどう大きくするか、そして、いいものを届け続けるお金のめぐりをどうつくるか。その重なりを広げる力が、リサーチにはある。そう信じて、このメディアをつくっています。