有意差検定を Excel で自分で確かめる・検収する手順

業者から戻ってきたクロス集計表の右下に、小さな注が 1 行だけ添えてあります。「※新規/既存で満足度に有意差あり (p<.05)」。会議の直前、隣の席から飛んでくるのはこんな一言です。「で、これ本物の差なの？」

この記事を読み終えると、この注を鵜呑みにせず、有意差（統計的に有意な差）を Excel のカイ二乗検定と t 検定で自分の手で確かめられるようになります。あわせて、結果を読むときの急所と、業者にそのまま返せる質問も持ち帰れます。使うのは四則演算と、Excel の関数が数個だけです。

先に結論を 1 つ。「統計的に有意」は「実務的に重要」を意味しません。検定の選び方も、Excel の打ち方も、期待度数の注意も、すべては最後に p 値をこの一点で読み違えないための準備です。例として使うのは、BtoB SaaS のタスク管理ツールを対象にした利用者満足度調査のデータです。データは教材用に作った架空のもので、実在する製品・市場の話ではありません。

検定が答えるのは「差が偶然か」だけ

有意差検定は、目の前の差が偶然のブレで説明できる範囲かどうかだけを判定する道具です。 その差が大きいか、重要か、原因か、については何も言いません。統計的検定（データから仮説の当否を判断する手続き）は、その一点に特化した検査です。

仮説検証の枠組みは、少し回りくどい手順を踏みます。まず「差はない（偶然のブレだけだ）」という仮の前提を置きます。これが帰無仮説です。次に、その前提が正しいとしたら、手元のデータと同じかそれ以上に極端な差が偶然だけで出る確率を計算します。これが p 値です。p 値が小さいほど、「差はない」という前提と現実のデータが噛み合っていない、と読みます。

p 値があらかじめ決めた基準より小さいとき、「偶然では説明しにくい＝有意」と判断します。基準としておなじみの 5%（p < .05）は、数理的に導かれた境界ではなく、20 世紀前半に統計家が便宜的に置いた区切りが定着した業界の慣行です。共通のものさしがないと議論が発散するので従う価値はありますが、p = 0.049 と p = 0.051 の間に本質的な断絶はありません。線は使う、ただし絶対視しない。

たとえるなら、検定は火災報知器です。鳴るのは「煙が、ふだんのゆらぎでは説明しにくいレベルで出ている」と検知したときで、これが「有意」にあたります。鳴ったからといって火事とはかぎりません。トースターの焦げかもしれません。報知器が言えるのは「ふだんと違う」までで、「重大かどうか」は、差の大きさそのものを測る効果量という別のものさしの仕事です。

検定の前に分母を確定する

検定を回す前に、最初にやるのは分母の確定です。ここを飛ばすと、以降の割合も検定も全部ずれます。

例に使う調査の設問構成は次のとおりです。以降の集計条件で出てくる設問 ID は、この表を指しています。

この調査の総回答は 240 件ですが、そのまま 240 を分母にはしません。スクリーニング設問 SC1 で「利用していない」と答えた人を混ぜると、使った人の満足度が測れなくなるからです。絞り込みの流れは次のとおりです。

• 総回答: 240 件
• 除外: SC1=2（非利用）の 18 件
• 分析ベース: n = 222
  • 以降の割合・検定の分母は、原則ここが出発点
• 設問ごとの無回答: NPS を聞いた Q7 に 3 件
  • NPS がらみの計算は有効 219 で回す
• 参考: 自由記述の Q9 にも無回答が 4 件（こちらはアフターコーディングの領分）

分母には、混同しやすいものが 2 つあります。単純集計の分母は「その設問に有効回答した全員」。クロス集計の分母は「行または列ごとの小計」で、表のどこを見るかによって変わります。「新規のうち満足は何%か」を見たいなら、分母は新規の人数であって、222 全体ではありません。

表を作る前に、「この表の分母はいくつで、どうやって絞ったか」を言えるようにしておく。 言えないなら、まだ集計に入る段階ではありません。

検定はデータの型で選ぶ

使う検定は、比べたい 2 つの数字がどんな型かでほぼ決まります。分けるのは次の 3 つです。

• カテゴリ × カテゴリ（例: 満足 top2 か否か × 新規か既存か）
  • クロス集計（2 つの設問を掛け合わせた表）の縦横がどちらもカテゴリなら、カイ二乗検定（独立性の検定）
• 2 群の平均（例: NPS の平均値が無料と有料で違うか）
  • 片方がグループ、もう片方が連続した数値なら、t 検定
• 2 群の比率の差（例: 継続意向ありの割合が新規と既存で違うか）
  • これは実質的に 2 × 2 のカイ二乗と同じ計算

3 つめは、z 検定という道もあります。ただし Excel に適した関数がないので、2 × 2 のカイ二乗で回すのが実務ルートです（結果は z² = χ² で数理的に同じ）。Z.TEST は標本平均と既知の母平均を比べる別物なので、比率の差にそのまま当ててはいけません。

この記事の例を当てはめると、「満足層（トップ2ボックス＝満足〜やや満足）の割合は新規と既存で違うか」はカテゴリ × カテゴリなのでカイ二乗、「NPS（0〜10 の推奨度）の平均は無料プランと有料プランで違うか」は平均の比較なので t 検定です。この 2 本を最後まで回します。3 群以上の平均を一度に比べる分散分析と、順序尺度を順位のまま比べるノンパラメトリック検定は、別の道具なのでこの記事では扱いません。

実データでは、年代 5 区分のように 3 群以上（r × c 表）で見たい場面がすぐ来ます。総当たりで 2 群ずつ検定すると、後で見るとおり偶然の有意が混じります。まず r × c 全体でカイ二乗を 1 本回し、有意だったときだけ、事前に決めた仮説にそって併合や比較を絞ります。2 × 2 以外の効果量は φ ではなく Cramér’s V ＝ √(χ²/(n × min(行数−1, 列数−1))) を使います。

業者への質問はこうです。「なぜこの検定を選んだのですか」。自分の表に対しては、「これはカイ二乗、これは t」と即断できれば十分です。

クロス表の差はカイ二乗検定で確かめる

1 本めはカイ二乗です。「満足 top2 × 新規/既存」の 2 × 2 を検定します。観測度数（実際に数えた人数）の集計条件は次のとおりです。

• 使用設問: Q4 × Q2
• リコード: Q4 の 4〜5 を満足 top2、1〜3 を not。Q2 は新規（1 年未満）と既存（1 年以上）
• フィルタ: SC1=1（分析ベース 222 件）
• 分母: 各行の合計。度数は整数なので丸めなし

個票からこの度数表を作るには、Excel で Q4 を判定する列を 1 つ足します（=IF(Q4>=4,"top2","not")）。あとは、その列と Q2 をピボットテーブルの行・列に置くか、COUNTIFS で 4 セルを数えれば観測度数表になります。この記事の数値は、教材データの個票からこの手順で集計したものです。

業者から返る表は、度数ではなく % とセグメント別 n だけのことが多く、それではこの計算に入れません。度数表か、できればローデータをもらいます。ただし、ウェイトバック集計済みの表は実人数ではないので、この手順をそのまま当ててはいけません。

割合にすると、満足層は新規 27.6%（29/105）、既存 45.3%（53/117）で、17.7 ポイントの差があります。会議で「新規の満足が低い」と言いたくなる数字です。これが偶然のブレの範囲かどうかは、まだ分からない。

Excel の関数は CHISQ.TEST(actual_range, expected_range) で、観測度数と期待度数という 2 つの表を要求します。期待度数とは、もし満足と利用歴がまったく無関係（帰無仮説）だったら各セルに何人入ると期待されるか、という数字です。Excel は期待度数を自動では作らないので、もう 1 枚の表として自分で計算します。

• 各セルの期待度数 ＝ 行計 × 列計 ÷ 総計
  • 例: 新規 × 満足 top2 は 105 × 82 ÷ 222 = 38.8
• 入力は観測表の行計・列計・総計だけ
• 丸め: 表示形式だけ小数第 1 位にし、値そのものは丸めない（Excel の中では丸めずに計算させる）

この 2 枚を CHISQ.TEST(観測範囲, 期待範囲) に渡すと、返り値は p = 0.0064。5% を下回るので有意です。ここで注意が要ります。CHISQ.TEST が返すのは p 値だけで、カイ二乗統計量（χ²）そのものは返しません。χ² は差の大きさを測る効果量の計算に使うので、別に出して控えておきます。出し方は 2 通りです。

• 定義どおりに組む
  • 各セルで（観測 − 期待）² を期待で割り、全部足す（Σ(O−E)²/E）
• p 値から逆算する
  • CHISQ.INV.RT(p, df) に p 値と自由度を渡す。自由度は df = (行数−1) × (列数−1) で、2 × 2 なら 1

どちらでも χ² = 7.43 になります。まとめると、この 2 × 2 は χ² = 7.43（自由度 1）、p = 0.0064、期待度数の最小は 38.8 でした。業者への質問はこうです。「p はいくつですか。5% を切ったかどうかではなく、値そのものを教えてください」。

期待度数 5 未満のセルは併合してから検定する

期待度数の最小 38.8 をわざわざ書いたのには理由があります。カイ二乗検定は近似で、各セルの期待度数が小さすぎると、その近似が壊れるからです。目安として、期待度数 5 未満のセルが全体の 20% を超えるか、1 未満のセルがあるときは、CHISQ.TEST の p 値を信じてはいけない、とされています。この「5 未満」ルール（Cochran の経験則）も、「使うが絶対視しない」側の線です。外すと近似誤差が読めなくなるので、まずは従います。

これは机上の話ではなく、同じデータですぐ起きます。「満足 top2 × 利用頻度」を頻度 5 段階のまま 2 × 5 で検定すると、低頻度のセルは人数が少なく、最小期待度数が 3.7 になって 5 を下回ります。この 2 × 5 のカイ二乗は χ² = 8.32、p = 0.08 と出ますが、参考値どまりで信頼できません。

定石は、カテゴリを併合してセルを厚くすることです。頻度を「高頻度（毎日＋週数回）」と「低頻度（週 1 回以下）」の 2 つに畳み、2 × 2 にし直します。

• 使用設問: Q3（利用頻度）を上記の 2 区分にリコード。見る先は満足 top2
• フィルタ: SC1=1。分母は各行の合計

最小期待度数は 31.0 まで上がり、χ² = 6.70、p = 0.0096 と安心して読める検定になりました。セルが薄いときは、検定の前に併合する。 業者への質問はこうです。「期待度数が 5 未満のセルはありましたか」。

なお、期待度数が小さいときの正攻法は、近似ではなく厳密に確率を出すフィッシャーの正確検定や、2 × 2 でのイェーツの連続補正です。ところが Excel にはフィッシャーの正確検定の標準関数がなく、CHISQ.TEST はイェーツ補正もしません。薄いセルのカイ二乗を Excel の素の関数だけで正しく処理することはできないので、n を増やす・カテゴリを併合する・専用の統計ソフトに持っていく、のどれかを選びます。

平均の差はウェルチの t 検定で確かめる

2 本めは t 検定です。「NPS の平均が無料プランと有料プランで違うか」を検定します。カイ二乗と違って、T.TEST は集計済みの平均や SD では打てません。引数に個票の配列そのものを要求するからです。本文の「n = 78、平均 6.08」だけからは範囲を作れないので、自分のデータで打つには、まず個票を 2 列に分けます。プラン列でフィルタし、無料の NPS を 1 列、有料の NPS をもう 1 列に並べ、Q7 が無回答の行は除きます。この記事の数値も、教材データの個票から計算したものです。

関数は T.TEST(array1, array2, tails, type) で、その 2 列（無料の NPS 群と有料の NPS 群）のほかに引数を 2 つ選びます。迷いやすいのは type ですが、分岐は 2 段だけです。

1 段めは、対応の有無です。同じ人の「前と後」を比べるなら対応あり（type=1）、別々の人どうしの 2 群を比べるなら対応なし（type=2 か 3）。今回は無料ユーザーと有料ユーザーという別人の集団なので、対応なしです。対応のあるデータに対応なしの検定を当てると、p 値が当てにならなくなります。

2 段めは、等分散を仮定するかです。2 群のばらつきが同じくらいだと仮定できるなら type=2（等分散）、仮定しないなら type=3（不等分散＝ウェルチの検定）。実務ではウェルチ（type=3）を既定にしておくのが安全です。 これも「使うが絶対視しない」側の目安で、等分散が本当に成り立つ場面なら type=2 でも大差は出ません。tails は両側検定の 2 が既定で、片側の 1 は「有料のほうが高い」と向きまで事前に決めているときだけ使います。

というわけで、今回打つのは T.TEST(無料の範囲, 有料の範囲, 2, 3) です。集計条件は次のとおりです。

• 使用設問: Q7（NPS・0〜10 を連続量として扱う）× Q1（プラン）
• フィルタ: SC1=1 かつ Q7 が無回答でない（NA 3 件を除外して有効 219）
• 群の定義: 無料は free、有料は standard と enterprise
• 分母: 各群の有効回答数。平均は小数第 2 位で表示

結果は p = 0.014 で、有意です。ただし T.TEST も返すのは p 値だけで、t 統計量も自由度も出しません。それらが欲しいときは、分析ツール（アドインの Analysis ToolPak）の「t 検定: 分散が等しくないと仮定した 2 標本」を使うと、t 統計量・自由度・両側 p 値が一枚の表で出ます。分析ツールが出ていなければ、ファイル → オプション → アドイン → 設定、で「分析ツール」にチェックを入れて有効化します。今回は t = −2.49、自由度は約 149、両側 p = 0.014。t のマイナス符号は範囲をどちらの群から指定したかで決まるだけなので、絶対値を見れば十分です。関数と分析ツールで、同じ p にたどり着きます。

χ² 側で χ² を控えたのと同じで、p の隣に並べるもう 1 つの数字を、ここで作っておきます。t 検定の効果量は Cohen’s d で、d = 2 群の平均差 ÷ プールした標準偏差 で出します。プールした標準偏差は 2 つの SD の単純平均ではなく、各群の分散を自由度 n − 1 で重みづけて合成し、平方根を取ったものです。手順は 2 ステップです。

• ① 各群の SD を STDEV.S で出す（今回は無料 2.12・有料 1.96）
• ② その式に入れて合成する: √(((n1−1)s1² + (n2−1)s2²) ÷ (n1+n2−2)) → 2.02

したがって d = (6.80 − 6.08) ÷ 2.02 = 0.36 です。

なお、ここで比べたのは 0〜10 の生スコアの平均です。社内 KPI の NPS スコア（推奨者% − 批判者%、−100〜100）そのものの差を検定したいなら、それは比率の差なので、t 検定ではなく 2 × 2 のカイ二乗のルートに戻ります。

p 値の隣に効果量を並べて読む

カイ二乗も t 検定も p < .05 を返しました。ここからが、この記事でいちばん読み違いが起きやすい場所です。

まず、p 値が意味しないことを整理します。米国統計学会（ASA）は 2016 年の声明で、「p 値、すなわち統計的有意性は、効果の大きさも、結果の重要性も測らない」と述べました。Greenland らの査読論文（2016）も、p 値にまつわる 25 個の誤解を並べたうえで、「統計的有意性は、科学的・実務的に重要な関係が見つかったことを意味しない」と指摘しています。p 値は、効果の大きさでも、実務的な重要度でも、「帰無仮説が正しい確率」でもありません。答えているのは、「差はないと仮定したとき、このデータはどれだけ出にくいか」の 1 問だけです。

だから、読み違いを 2 つ封じます。有意 ≠ 実務的に重要。p が小さくても、差そのものは小さいかもしれません。そして、非有意 ≠ 差がない。p が大きいのは「偶然で説明できてしまう」というだけで、差がゼロだと証明されたわけではありません。

やることは 1 つで、p の隣に必ず効果量を並べることです。効果量は、カイ二乗なら Cramér’s V（2 × 2 では φ＝ファイ）、t 検定なら Cohen’s d。φ は √(χ²/n) で出せて、今回の 2 × 2 なら √(7.43 ÷ 222) = 0.183 です。CHISQ.TEST が p しか返さないため χ² を別に出しておいたのは、この計算のためでした。

同じ結果を「p だけ」で見る場合と、「p ＋ 効果量 ＋ n ＋ 各群の値」で見る場合を並べます。下表は前の 2 節の検定結果の再掲で、新しい集計ではありません（丸めは効果量・割合とも小数第 2〜1 位）。

φ = 0.183 も d = 0.36 も、Cohen の目安（d は 0.2/0.5/0.8、φ・V は 0.1/0.3/0.5 を小・中・大の区切りとする）では小〜中にあたります。ただしこの区切りは、Cohen 自身が「ほかに基準がないときの便宜」と断った慣行で、普遍の法則ではありません。「d = 0.36 だから中」と機械的に貼るのではなく、「10 点満点で 0.72 の差は、事業として動かす価値があるか」という現場のものさしと突き合わせて読みます。効果量は入口で、出口は事業判断です。

業者への質問はこうです。「効果量はいくつですか。実務的に動かす価値のある差ですか」。

n が大きいほど小さな差でも有意になる

「有意」を割り引いて読む理由の 1 つめは、サンプルの大きさです。2 × 2 のカイ二乗は χ² = n × φ² と因数分解できます。つまり有意性の正体は「サンプルの大きさ × 効果量の 2 乗」で、φ が小さくても n を大きくすれば χ² はいくらでも大きくなり、p はいくらでも小さくなります。これは数理的な事実で、例外はありません。

試しに、効果量 φ = 0.183 を固定したまま、n だけを動かしてみます。下表は実データの集計ではなく、χ² = n × φ² に φ = 0.183 を入れた説明用の計算です（p は自由度 1）。

差の大きさはまったく同じなのに、n を増やすだけで「有意でない」が「圧倒的に有意」に化けます。有意性は n で買える。だから、サンプルサイズ（標本の大きさ）の大きい調査の「有意」はそれ自体では何の自慢にもならず、必ず効果量で裏を取ります。逆に、「どのくらいの差が見つかれば十分か」から必要な n を先に設計する手順は、サンプルサイズの決め方の記事にまとめてあります。

業者への質問はこうです。「n はいくつですか。その n だと、どのくらい小さな差まで有意になりますか」。

検定を繰り返すほど偶然の有意が混じる

割り引いて読む理由の 2 つめは、検定の回数です。有意水準 5% とは、本当は差がないのに 20 回に 1 回はうっかり「有意」と出してしまう誤りを許す、という意味です。独立に 20 回検定すれば、すべて帰無仮説が正しくても、少なくとも 1 回「有意」が出る確率は約 64%（1 − 0.95²⁰）まで上がります。クロス表の全セルを片っ端から検定したり、有意が出るまで切り口を変えたりするのが p ハッキングと呼ばれる行為で、当たりを引くのは実力ではなく試行回数です。

まず、検定に回す比較を、データを見る前に決めておくことです。事前に決めた仮説を a priori、データを眺めて後から見つけた比較を post hoc と呼び、この 2 つを区別して報告します。

どうしても多くの比較を見るなら、補正の存在を知っておきます。代表は、有意水準を検定回数で割る Bonferroni 補正。これも「使うが絶対視しない」側の線で、保守的すぎるという批判もあります。ASA の倫理ガイドラインも、有意になるまで検定して当たりだけ載せる選択的な報告を戒めています。

業者への質問はこうです。「これは事前に決めた比較ですか、それとも総当たりの 1 つですか。ほかに何回検定して、補正はしましたか」。

有意差は因果の証明ではない

有意な関連は相関であって、因果の証明ではありません。今回のデータで確かめられます。カイ二乗にかけた「新規/既存」の軸を、プラン（Q1）と掛け合わせてみます。

• 有料プラン率: 新規 61.9%（65/105）、既存 67.5%（79/117）
• エンタープライズ契約: 新規 15 人に対して既存 31 人で、差はさらに開く
• 分母: 各セグメントの分析ベース SC1=1。% は小数第 1 位

つまり、既存ほど有料・上位プランに偏っています。しかも有料層は、t 検定で見たとおり NPS 平均が高い側でした（6.80 対 6.08）。「既存ほど有料」「有料ほど評価が高い」の 2 つが重なると、新規/既存の満足度差にプランの差が紛れ込みます。これが交絡で、「新規だから満足が低い」と因果では言い切れないのはこのためです。

しかも検定が見ているのは、目の前の標本の中の差だけです。この交絡が母集団でも同じように起きているか、そもそも標本が母集団を代表しているか（抽出の妥当性、信頼区間の前提）までは、検定は保証しません。

そして、この記事のデータは教材用の架空データです。数字の水準そのものに実市場の意味はなく、ここで持ち帰れるのは表と検定の読み方・回し方です。

会議に出す前に 7 つの質問で検収する

冒頭の脚注に戻ります。「※新規/既存で満足度に有意差あり (p<.05)」。この 1 行は、次の 7 つの質問で検収できます。各質問の下に、今回のデータでの答えを添えます。効果量と補正は自力で良し悪しを判定しにくいので、安心できる答えと警戒すべき答えの例も置きます。

1. どの検定か
   • 満足 top2 × 新規/既存の 2 × 2 なのでカイ二乗
2. 期待度数 5 未満のセルはないか
   • 最小 38.8 で問題なし
3. p はいくつか
   • 0.0064
4. 効果量はいくつか
   • φ = 0.183 で小〜中
   • 安心: 「φ = 0.18 です」と数字が返る
   • 警戒: 「有意なので効果量は見ていません」と返る
5. n はいくつか
   • 222
6. ほかに何回検定して、補正はしたか
   • 脚注に書かれていないので、業者に聞く
   • 安心: 「この 1 本だけ、事前に決めた比較です」と返る
   • 警戒: 「気になる組み合わせを一通り見ました（補正なし）」と返る
7. 度数表をもらえるか
   • もらえれば自分で再計算できる。% とセグメント別 n だけなら度数表かローデータを頼む

そして、隣の席の「で、これ本物の差なの？」には、1 文で返せます。有意だったときは**「偶然ではなさそうです。ただし差の大きさは小〜中で、既存が有料に偏っている分も混じるので、この 1 本だけで対策の優先度は決められません」。もし p = 0.2 のように非有意だったときは、「差がないと証明されたわけではなく、このデータでは偶然と区別できませんでした。判断するにはもっと n が要ります」**と返します。

「有意でした」で止まらず、ここまで言えれば、脚注をそのまま会議に出さずに済みます。検定は、走り出す合図ではなく、確かめ始める合図です。次の一歩としては、効果量のものさしを自分の事業の数字で作ること、そして相関と因果の切り分けを学ぶことをすすめます。

参考文献

• Ronald L. Wasserstein & Nicole A. Lazar (2016). “The ASA Statement on p-Values: Context, Process, and Purpose.” The American Statistician 70(2): 129–133. DOI:10.1080/00031305.2016.1154108
• Sander Greenland, Stephen J. Senn, Kenneth J. Rothman, John B. Carlin, Charles Poole, Steven N. Goodman & Douglas G. Altman (2016). “Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations.” European Journal of Epidemiology 31(4): 337–350. DOI:10.1007/s10654-016-0149-3
• Hae-Young Kim (2017). “Statistical notes for clinical researchers: Chi-squared test and Fisher’s exact test.” Restorative Dentistry & Endodontics 42(2): 152–155. DOI:10.5395/rde.2017.42.2.152
• William G. Cochran (1954). “Some Methods for Strengthening the Common χ² Tests.” Biometrics 10(4): 417–451. DOI:10.2307/3001616
• Alan Agresti (2013). Categorical Data Analysis, 3rd ed. Wiley. ISBN 9780470463635
• Jacob Cohen (1988). Statistical Power Analysis for the Behavioral Sciences, 2nd ed. Lawrence Erlbaum Associates. ISBN 9780805802832
• Jacob Cohen (1992). “A Power Primer.” Psychological Bulletin 112(1): 155–159. DOI:10.1037/0033-2909.112.1.155
• Gail M. Sullivan & Richard Feinn (2012). “Using Effect Size—or Why the P Value Is Not Enough.” Journal of Graduate Medical Education 4(3): 279–282. DOI:10.4300/JGME-D-12-00156.1
• American Statistical Association (2022). Ethical Guidelines for Statistical Practice. https://www.amstat.org/your-career/ethical-guidelines-for-statistical-practice
• Microsoft. Excel 関数リファレンス（CHISQ.TEST / T.TEST・分析ツール）. https://support.microsoft.com/en-us/excel/functions/chisq-test-function ／ https://support.microsoft.com/en-us/office/t-test-function-d4e08ec3-c545-485f-962e-276f7cbed055