t 検定
t 検定とは、2 つのグループの平均の差が、偶然のばらつきだけで説明できる範囲かを、差を標準誤差(推定のばらつきの目安)で割った値で判定する手法です。
平均の差に特化した統計的検定で、割合やカテゴリの偏りならカイ二乗検定が対になる。
客単価 60 円の差は、レシート 30 枚では偶然に埋もれる——見極めるのが t 検定
同じチェーンの A 店と B 店。客単価(1 回の会計金額)の平均値を並べると、A 店は 1,180 円、B 店は 1,240 円だった。差は 60 円で、B 店のほうが高い。
でも会計金額は客ごとに大きく散らばる。コーヒー 1 杯の人もランチセットの人もいて、ばらつき(標準偏差)はどちらの店も 400 円ほどある。
各店 30 枚ずつのレシートで平均を出しても、この 60 円は偶然のゆらぎに埋もれる。各店 350 枚ほどまで積んで、ようやく「偶然では出にくい差」と言える水準に届く。小さな差ほど、本物だと示すのに多くの枚数が要る。
t 検定は、平均の差を標準誤差で割って確かめる
t 検定が見るのは、60 円という差そのものではない。その差を標準誤差で割った値(t 値)だ。
標準誤差は、平均という推定値がどれだけ揺れるかの目安で、データのばらつきが大きいほど、また枚数が少ないほど大きくなる。だから同じ 60 円でも、枚数が増えるほど t 値は大きくなる。
この値が偶然だけで出る範囲を超えていれば「差あり」と判定する。どこに線を引くか——有意水準や p 値の読み方——は有意差に譲る。手を動かして確かめるなら、有意差検定を Excel で自分で確かめる手順が具体的だ。
対応あり・対応なしと等分散で、使う t 検定が変わる
t 検定は一つではなく、二つの分かれ目で形が変わる。
一つ目は、比べる二群が別の対象か、同じ対象か。A 店と B 店の客は別人だから、これは対応なし(独立した 2 群)。同じ 20 店舗の改装前後を店ごとに引き算するなら、対応あり(同じ対象の前後)だ。対応ありは店ごとの差だけを見るぶん、店ごとのばらつきを打ち消せて、少ない数でも差を捉えやすい。取り違えると、消せるはずのばらつきを残して判定してしまう。
二つ目は、二群のばらつきがそろう前提を置くか。等分散を仮定する古典的な形(Student が 1908 年に示した原型)と、違ってもよい Welch 型(Welch 1947)だ。実務では等しい保証が薄く、Welch 型を既定にしてよい。選択は分析担当に任せてよいが、対応あり・なしと等分散の仮定は確認したい。
正規性と小標本という前提が、判定を左右する
t 検定は、各群の値がおおむね正規分布に従うことを前提にする。この前提は、枚数が少ないほど結果に効く。
もともと t 検定は、小標本で平均を評価するために生まれた手法だ。ただし「小標本なら無条件に正確」なのではなく、分布の形の前提は残る。客単価のように少数の高額会計が右へ裾を引く分布では、平均も t 検定も裾に引っぱられやすい。
有意に出ても、客単価を動かすほど大きい差とは限らない
いちばん誤読しやすいのはここだ。t 検定が「差あり」と判定しても、差が大きいという意味ではない。
各店 350 枚で有意になっても、差は 60 円のまま。ばらつき 400 円に対しては小さく、効果量でいえば小さい部類だ。枚数を足せば、たいていの差はいつか有意になる。有意は「偶然ではなさそう」までで、その 60 円が販促や値づけを動かす幅かは別問題だ。
二つの平均を並べたら、差の確かさを先に問う
平均を二つ並べると、私たちはすぐ大きいほうを選びたくなる。60 円高い、こちらが勝ち、と。
でも t 検定が答えるのは、どちらが上かではなく、その差を信じてよいかだ。
次に「B 店のほうが高い」と言いたくなったら、その 60 円がレシート何枚分のばらつきに耐える差かを、一度だけ思い浮かべてみる。その一拍が、数字を報告から判断へ変えていく。