カイ二乗検定

カイ二乗検定とは、クロス集計表などで観測された度数と、関連がないと仮定したときに期待される度数とのズレを手がかりに、カテゴリどうしの関連や分布の偏りが偶然の範囲かを判定する検定です。

「性別で使うチャネルが違う」が偶然かどうかを、カイ二乗検定は判定する

手元に、性別と利用チャネルを掛け合わせた表がある。行に男女、列にアプリ・Web・店頭、各マスは組み合わせの人数だ。男性はアプリ、女性は店頭に多く見える——が、この「見える」は本物だろうか。

もし性別とチャネルが無関係なら、各マスに来るはずの人数が計算できる。これが期待度数だ。実際の人数がそこから外れるほど、両者には関連がある。カイ二乗検定は、外れ具合を一つの値にまとめ、偶然でも起きる程度かを判定する。表の組み方はクロス集計のやり方にある。

カイ二乗は、期待度数とのズレを二乗して合計する

Karl Pearson が 1900 年に定式化した計算は素朴だ。各マスで、実際の人数（観測度数）から期待度数を引いて二乗し、期待度数で割る。期待度数は、行の合計と列の合計を掛けて総数で割れば出る。全マスの値を足した数がカイ二乗値で、偏りが大きいほど膨らむ。あとは、その値が「関連がない」という仮定のもとで偶然に出る程度かを確率で読み、小さければ偶然でないと判定する。

カイ二乗検定を使うのは「カテゴリ × カテゴリの関連を見たい」ときだけ

数ある統計的検定のうち、両方の軸がカテゴリのとき専用の一つがこれだ。性別と利用チャネルのように、数えて箱に分けられる項目の関連なら選ぶ。クロス集計で表を作り、その偏りが偶然かを確かめる。

一方、滞在時間や年齢の平均を二群で比べたいなら、それは平均の差で、t 検定など別の道具だ。選ぶ基準は、比べたい項目がカテゴリか数値か。それは分析より前、設問を作る段でほぼ決まる。チャネルを「選択肢から一つ」で聞けばカテゴリになり、この検定に乗る。発注側が設計で握れる分岐だ。

期待度数が 5 を下回るセルが多いと、結果を信じてはいけない

カイ二乗値を確率に読み替えるのは、標本が大きいときの近似だ。だから期待度数の小さいマスがあると近似がずれ、確率がゆがむ。目安が、William Cochran が 1954 年に整理した経験則——期待度数 5 未満のマスが全体の 2 割を超える、または 1 未満のマスがあれば、素朴なカイ二乗を信じない。あくまで目安だ。

切り口を細かくするほど各マスはやせ、薄いセルは珍しくない。手当ては三つ——隣り合うカテゴリを併合する、標本を足す、確率を直接計算するフィッシャーの正確検定に切り替える。併合で意味が壊れないか、追加調査ができるかで選ぶ。

有意でも「関連が強い」とは限らない

カイ二乗値は標本の大きさに引きずられる。同じ偏りでも人数を増やせば値は膨らみ、確率（p 値）は小さくなる。数万人規模なら、実務では無視できる 1 ポイントの偏りにも「偶然では説明しにくい」判定がつく。有意は、偏りが大きいことも意味があることも保証しない。

だから、偶然かどうかとは別に、関連の強さを測る数字を並べる。カテゴリ同士なら Cramér’s V という効果量がそれで、0 から 1 で強さを表す。アメリカ統計学会も 2016 年の声明で、確率が線を超えたかだけで結論を決めるなと述べている。有意かどうかと、どれくらい強い偏りか——その読み分けは有意差で扱う。

偏りを見つけたら、その大きさをたずねにいく

カイ二乗検定が答えるのは、小さな問いだ。「この偏りは、偶然でも起きる程度か」。それ以上は言わない。偏りが大きいとも、何が原因かとも教えてくれない。

だから資料に「※有意差あり」とあっても、そこで止まらない。偶然をそぎ落として、やっと偏りの中身を見にいく。どれくらいの大きさで、どの層に濃いのか。有意の二文字は結論ではなく、次の問いへの入場券だ。