アンケート集計の全体像:単純集計→クロス→検定→報告
目次
業者から戻ってきたクロス集計表に、黄色いマーカーが一本引いてある。「無料プランの満足度が、有料より低い」。担当者は「ここが今回のポイントですね」と言うが、この一枚を来週の経営会議にそのまま出していいものか、あなたは少し迷っている。
迷って正解です。その表には、まだ答えの出ていない問いが隠れています。無料の「低い」は誰の何人を分母にした割合か。無料の回答者はそもそも何人いて、その数字はどれくらい安定しているか。有料との差は本物か、それともたまたま出たゆらぎか。この記事のゴールは、回収済みのアンケートを分析ベースの確定から報告まで自分で一本の流れとして回し、この 3 つに自分の言葉で答えられる状態です。掛け算と割り算、それに「分母を先に決めて途中で黙って変えない」という 1 つの規律さえあれば、たいていの事故は避けられます。
例に使うのは、BtoB SaaS のタスク管理ツールの利用者満足度調査です。数字はすべて教材用に作った架空のデータで、実在する製品や市場を示すものではありません。
集計は電卓叩きではなく分母の判断
集計を「回収したデータを表計算ソフトに入れて数字を出す作業」だと思っている人は多い。半分は合っていて、半分は事故のもとです。
金曜の夜、6 人で飲んで会計が 24,000 円だったとします。幹事が「1 人 4,000 円ね」と言う。このとき全員が黙って前提にしている数字が 1 つあります。何人で割ったか、つまり分母です。24,000 ÷ 6 = 4,000。もし 2 人がすでに帰っていたら、あるいは 1 人だけ注文が分からず精算が宙に浮いていたら、「1 人あたり」はするりと変わる。割り勘で揉めるのは、たいてい金額そのものより「何人で割るか」のほうです。
集計表に並ぶパーセントも、この「1 人あたり」と同じです。36.9% と書いてあっても、それが誰の何人を分母にした割合かを言えなければ、割り勘の金額と変わりません。だから操作的定義として、集計をこう置き直します。集計とは電卓を叩いて数字を出す作業ではなく、「どの回答を、どの分母で割るか」を一段ずつ決めていく判断の連なりです。
どの表にも「この % は、誰の何人を分母にしたか」の但し書きを添える規律を、ここでは分母スタンプと呼びます。スタンプのない表は受け取らない。スタンプが黙って変わる表は疑う。この 2 つだけで、冒頭の 3 つの問いのうち 2 つは片づきます。
五段の手順に分母確定の第 0 段を足す
実務では、集計をおおむね 5 つの段に分けて教えます。単純集計 → クロス集計 → 検定 → 可視化 → 報告。これは統計学の法則ではなく、日本の調査実務で定着した手順です。便利に使いますが、各段の「なぜ」はその都度、調査方法論の教科書や学会の基準に照らして確かめます。順番の暗記で終わらせないためです。
本記事は、この 5 段の手前にもう 1 段を置きます。分析ベースを決める段、つまり何を分母にするかを最初に一度だけ確定する段です。分母は 5 段のどこにでも顔を出します。単純集計でも、クロスでも、検定でも、報告でも、毎回「これは誰の何人か」を問われる。ここを最初に固めておかないと、段を進むたびに分母がこっそり動き、最後には自分の表すら検算できなくなります。
計算ミスより厄介なのは、分母を決めないまま表を作り始めることです。以降の各節は、このつまずきの予防に沿っています。
数える前に分析ベースを確定する
第 0 段から始めます。最初の 1 表を作ろうとした瞬間に、必ず迫られる問いがあります。「この回答者、分母に入れる? 入れない?」。
例のデータは、総回答が 240 件でした。ただし入口にスクリーニング設問 SC1 があり、「直近 3 ヶ月に対象ツールを業務で使っていない」と答えた 18 件は分析の対象外です。使っていない人に満足度を聞いても意味がないので外す。240 から 18 を引いて、分析ベースは 222 件。以降のすべての表は、まずこの 222 を出発点にします。
これで終わりではありません。222 人の中にも、特定の設問にだけ答えなかった人がいます。調査方法論ではこれを項目無回答(item nonresponse)と呼びます。de Leeuw らの整理によれば、「分からない(DK)」「答えたくない」「素通り」はそれぞれ性質が違い、思い出しにくい設問やセンシティブな設問で出やすい。例では、推奨度を聞く NPS 設問(Q7)に無回答が 3 件、満足度の理由を書く自由回答(Q9)に無回答が 4 件ありました。
ここが分母の第二の分岐です。この無回答を分母に含めるか、外すか。答えは設問ごとに変わり、どちらが正解というより、決めて宣言することが要点です。分母が実際にどう動くかを台帳にしておきます。
| 出す数字 | 母数の出発点 | 引くもの | この表の分母 |
|---|---|---|---|
総合満足度の分布(Q4) | 分析ベース 222 | 無回答なし | 222 |
推奨度 NPS の区分(Q7) | 分析ベース 222 | 無回答 3 件 | 219 |
自由回答のコード化(Q9) | 分析ベース 222 | 無回答 4 件 | 218 |
この台帳の作り方。入力は SaaS 満足度ローデータ。スクリーニング SC1 が「利用した」の回答だけを残して 240 → 222。さらに設問ごとに、その設問の無回答をその表の分母から外します。だから分母は 222 / 219 / 218 と、表ごとに正当に動きます。分母スタンプを押すとは、この台帳を手元に持っておくことです。
無回答を含めるか外すかで、数字は実際に動きます。NPS を例に、同じデータを 2 通りの分母で計算します。推奨者(Q7 が 9〜10)は 37 人、批判者(0〜6)は 107 人、中立(7〜8)は 75 人、無回答は 3 人。NPS は「推奨者 % − 批判者 %」です。
| 分母の取り方 | 分母 | 推奨者% | 批判者% | NPS |
|---|---|---|---|---|
| 無回答も分母に含める | 222 | 16.7% | 48.2% | −31.5 |
| 有効回答のみで割る | 219 | 16.9% | 48.9% | −32.0 |
この表の作り方。入力は同じ Q7。分子は推奨者 37 人・批判者 107 人で固定し、分母だけを 222(無回答を含む)と 219(有効回答のみ)で切り替えます。割合は小数第 1 位で四捨五入。ここで見たいのは NPS の中身ではなく、分母を 219 にするか 222 にするかだけで数字が動くという一点です。
今回は差が 0.5 ポイントと小さい。無回答がたった 3 件だからです。でも、もし無回答が全体の 3 割もあれば、この選び方だけで結論が割れます。小さく済んだのは運がよかっただけで、どちらで割ったかを宣言する義務は、差の大小に関係なく残ります。
だから、業者から表を受け取る側に回ったときの最初の質問はいつも同じです。「総回答は何件で、除外と DK・無回答を引いた分析ベースは何件ですか。この表の分母に無回答は含まれていますか」。この一言が言えるかどうかで、以降の全部が変わります。対象外を外して有効回答を確定するこの作業は、データクリーニングや調査工程でいう編集(editing)の一部で、Groves らはこれを集計と同じ処理誤差の管理対象に置いています。数える前の掃除は、飾りではなく品質の一部です。
単純集計は分布を見て必ず n を添える
分母が決まれば、ようやく最初の表を作れます。単純集計(GT、グランドトータル)です。1 つの設問について、全体がどう分布しているかを見る段。統計の言葉でいえば標本全体の周辺分布、ある一変数を他を気にせず端から端まで並べたものです。
総合満足度(Q4、5 段階のリッカート尺度)を、実数と割合をセットで出します。
| 総合満足度 | 人数 | % |
|---|---|---|
| 1 とても不満 | 15 | 6.8% |
| 2 やや不満 | 51 | 23.0% |
| 3 どちらともいえない | 74 | 33.3% |
| 4 やや満足 | 61 | 27.5% |
| 5 とても満足 | 21 | 9.5% |
| 満足 top2(4〜5) | 82 | 36.9% |
この表の作り方。入力は Q4、分母は分析ベース n=222(この設問は無回答なし)。各行は選択肢を選んだ人数、% はそれを 222 で割って小数第 1 位に四捨五入。合計は丸めの関係で 100.0% 前後になります。top2 は「4 やや満足」と「5 とても満足」を足した数(61 + 21 = 82)です。
満足層(top2)は全体の 36.9%。ここで 2 つ、癖にしておきたいことがあります。1 つ、実数と割合を必ず並べる。「満足 36.9%」だけの表を渡されたら、「分母は?」と差し戻してよい。AAPOR も、集計表は実数かパーセントで示し、割合なら合計が 100% になる根拠(=分母)を明らかにせよ、という趣旨を実務基準に書いています。
2 つめ、top2 にまとめるのは要約であって、事実の格上げではない。5 段階を「満足(4〜5)」に畳むトップ 2 ボックスは実務でよく使う要約で、経営会議には確かに通りやすい。ただし畳んだ瞬間に「4 と 5 の違い」は消えます。元の分布は必ず手元に残しておく。
5 段階満足度の「平均値」を出したくなる場面もありますが、順序尺度の平均をどう扱うかは尺度の話で、ここでは踏み込みません。分布を素直に見るところまでにします。
単一回答と複数回答では分母の顔が違う
もう 1 種類、分母のクセが出るのが複数回答(MA)です。満足度は 1 人が 1 つだけ選ぶので、割合は 100% にきれいに閉じました。ところが「利用目的(あてはまるものすべて)」(Q8)では、1 人が 3 つも 4 つも選びます。
| 利用目的(複数回答) | 選んだ人数 | 選択率(分母 222) |
|---|---|---|
| タスク管理 | 197 | 88.7% |
| 進捗の可視化 | 129 | 58.1% |
| 工数管理 | 66 | 29.7% |
| 外部共有 | 69 | 31.1% |
| その他 | 14 | 6.3% |
この表の作り方。入力は Q8 の各選択肢(選択=1)、分母は回答者 222 人(延べ選択数ではない)。各行はその目的を選んだ人数を 222 で割った値で、丸めは小数第 1 位。延べ選択は 475、1 人あたり平均 2.14 個です。
選択率を足すと 100% を軽く超えます(88.7 + 58.1 + … = 213.9%)。これはバグではなく、複数回答では分母が「回答者」なのに分子が「延べの選択」だからです。「合計が 100% を超えている、おかしい」と言い出す人は、実は少なくない。分母スタンプさえ押してあれば、「分母は回答者 222、1 人が複数選ぶので合計は 100% を超えて正常」と一言で返せます。
クロス集計は分母が各群の n に変わる
全体像が見えると、次に必ず出る声があります。「で、どこが違うの?」。「無料と有料で違う?」「新規と既存では?」。これに答えるのがクロス集計、2 つの設問を掛け合わせて群ごとに割る集計です。手を動かす手順はクロス集計の手順にまとめてあります。
クロス集計は、ある変数(満足度)を別の変数(契約プラン)の水準ごとに割って見る条件付き分布です。単純集計が「全体で一枚」だったのに対し、クロスは「グループごとに一枚ずつ」。ここで分母が、全体の 222 から各グループの人数へ切り替わります。これがクロス最大の注意点です。
例で、満足 top2 を契約プラン別に割ります。
| 契約プラン | 満足 top2 の人数 / そのプランの回答者 | top2 率(行%) |
|---|---|---|
| 無料 | 20 / 78 | 25.6% |
| 有料スタンダード | 38 / 98 | 38.8% |
| 有料エンタープライズ | 24 / 46 | 52.2% |
この表の作り方。入力は Q4(満足 top2=4 か 5)× Q1(プラン)。行 % の分母は各プランの回答者(78 / 98 / 46、合計 222)。各セルの分子は、そのプランで満足 top2 だった人数です。満足 top2 の合計は 20 + 38 + 24 = 82 で、単純集計の 82 と一致します。丸めは小数第 1 位。
きれいな右肩上がりです。無料 25.6% < スタンダード 38.8% < エンタープライズ 52.2%。冒頭のマーカー「無料プランの満足度が有料より低い」は、少なくともこのデータでは方向として合っています。
同じ表でも行で割るか列で割るかで話が変わる
ここに落とし穴があります。同じクロス表を別の分母で読むと、まったく違う物語になる。さっきは「各プランの中で、満足はどれくらいか(行 %)」を見ました。今度は「満足している人は、どのプランに属しているか(列 %)」を見ます。
| 契約プラン | 満足 top2 に占める人数 / 満足 top2 全体 | 構成比(列%) |
|---|---|---|
| 無料 | 20 / 82 | 24.4% |
| 有料スタンダード | 38 / 82 | 46.3% |
| 有料エンタープライズ | 24 / 82 | 29.3% |
この表の作り方。入力は同じクロス表。ただし分母を「満足 top2 の合計 82」に固定します。各行は、満足層の中でそのプランが占める割合。合計は 100.0% に閉じ、丸めは小数第 1 位です。
数字は 1 つも変えていないのに、読みは正反対になります。行 % は「エンタープライズは満足度が高い(52.2%)」と言い、列 % は「満足している人の半分近く(46.3%)はスタンダードだ」と言う。どちらも正しい。ただし答えている問いが違います。行 % は各プランの満足の濃さ、列 % は満足層の頭数の内訳を見ている。エンタープライズの満足度は濃いが、母数(46 人)が小さいので、満足者の頭数ではスタンダードに負けます。
だから、クロス表を渡されたら最初にこう聞きます。「この % は、行と列どちらの分母で計算していますか。各セルの実数はいくつですか」。表側(行)と表頭(列)のどちらを 100% にしたかで、結論は反転します。
もう一軸、新規と既存でも割る
冒頭でプランと並んで出たもう 1 つの声、「新規と既存では?」にも答えておきます。利用歴(1 年未満を新規、1 年以上を既存)を軸に、同じ満足 top2 を割り直したのが次です。
| 利用歴 | 満足 top2 の人数 / その層の回答者 | top2 率(行%) |
|---|---|---|
| 新規(1 年未満) | 29 / 105 | 27.6% |
| 既存(1 年以上) | 53 / 117 | 45.3% |
この表の作り方。入力は Q4(満足 top2=4 か 5)× Q2(利用歴)。行 % の分母は各層の回答者(105 / 117、合計 222)。満足 top2 の合計は 29 + 53 = 82 で、単純集計の 82 と一致します。丸めは小数第 1 位。
新規 27.6% < 既存 45.3%。既存ユーザーのほうが満足層が厚く、プラン別の勾配と向きがそろいます。ただし注釈を 1 つ。既存ユーザーはやや有料(とくにエンタープライズ)に寄っているので、この利用歴の差にはプランの差も一部混じっています。2 つの軸は、きれいに独立していない。だからこの段で言えるのは「新規と既存で満足の厚みが違い、向きはこう」までで、「既存だから満足する」という因果でも、「偶然でない」という保証でもありません。
見えた差が偶然かは検定で確かめる
クロスで差が見えると、人はすぐ「じゃあこの差は本物だ」と言いたくなります。ここが第二のつまずきです。群間の差は、偶然でも出ます。
もう 1 つのクロスを見てください。満足 top2 を利用頻度別に割ったものです。
| 利用頻度 | 満足 top2 の人数 / 回答者 | top2 率(行%) |
|---|---|---|
| 毎日 | 35 / 73 | 47.9% |
| 週に数回 | 25 / 65 | 38.5% |
| 週に 1 回 | 13 / 47 | 27.7% |
| 月に数回 | 6 / 27 | 22.2% |
| 月に 1 回以下 | 3 / 10 | 30.0% |
この表の作り方。入力は Q4(満足 top2)× Q3(利用頻度)。行 % の分母は各頻度の回答者(73 / 65 / 47 / 27 / 10、合計 222)。満足 top2 の合計は 82 で一致。丸めは小数第 1 位。
全体としては「よく使う人ほど満足が高い」という素直な勾配です。ところが最後の行、「月に 1 回以下」だけ 30.0% と少し跳ねている。ここで「低頻度でも満足度が回復する層がある!」と結論したら、偶然に名前をつけただけかもしれません。この行の分母はたった 10 人。1 人が動けば 10 ポイント動く分母です。30.0% は「3 人 / 10 人」であって、傾向と呼ぶには軽すぎる。小さいセルの割合は、まず疑う。
では、大きく見える差(無料 25.6% とエンタープライズ 52.2% など)なら本物か。それを「偶然でこれくらいの差が出る確率はどれくらいか」という角度から見積もるのが、検定の段です。クロス表の関連が偶然かは、独立性のカイ二乗検定などで評価します(Agresti の分割表の理論が土台です)。
ただし、この記事は検定の計算には踏み込みません。期待度数が小さいセルの扱いや、表計算ソフト(たとえば Excel の CHISQ.TEST など)での具体的な手順は、それだけで一本の記事になるテーマで、有意差検定の手順で扱います。ここでは、検定という段があることと、そこでの誤読を避ける 2 つの原則だけを置きます。
第一に、有意 ≠ 重要。アメリカ統計学会(ASA)は 2016 年の声明で、「p 値や統計的有意性は、効果の大きさや結果の重要性を測るものではない」と明言しています(原理 5)。データを大量に集めれば、実務ではどうでもいい小さな差でも有意差は出ます。「偶然ではなさそう」と「大きくて重要」は、まったく別のことです。だから業者レポートの脚注に「有意差あり ※」とあっても、返す言葉は決まっています。「有意なのは分かりました。で、差の大きさはどれくらいで、各群の分母(n)はいくつですか。その差は、施策を動かすに足る大きさですか」。
第二に、意思決定を p 値が閾値を超えたかどうかだけに紐づけない。これも ASA 声明の原理 3 が、「科学的な結論やビジネス・政策上の意思決定を、p 値がある閾値を通過したかどうかだけに基づけてはならない」と述べています。思いついた比較を片っ端から統計的検定にかけるのも危ない。たくさん比べれば、そのうちいくつかは偶然「有意」に見えます。検定にかけるのは意思決定に関わる比較だけに絞り、複数の比較をしたならそれを隠さず開示します(ASA の倫理指針が求めるところです)。
差を見たら 3 つを分けて考えます。差の大きさ、分母(n)、そして偶然の可能性。この 3 つを一緒くたにして「差が出た=重要」と飛ばすのが、報告でいちばんやりがちな早合点です。
報告は意思決定に紐づけて出す
集計が終わりました。最後は、上司やクライアントに出す一枚を作る段です。
実務助言を 1 つ。結論から書く。数字を順番に並べて最後に「以上から…」と締めるのではなく、「だから何を決めるべきか」を先頭に置く。長い前置きのあとに結論が出てくる報告書は、たいてい誰にも最後まで読まれません。
ただし、この「結論ファースト」自体は、統計や調査方法論が定めた事実ではありません。結論を先に置く、いわゆる BLUF やピラミッド型は、ビジネス文書の書き方の慣行であって、私の実務助言です。方法論が要求しているのは提示の順番ではなく、別のこと。結論を意思決定に紐づけることと、都合のいい数字だけをつまみ食いしないことです。ASA の声明(意思決定を閉じた閾値だけに紐づけない)と倫理指針(結果の恣意的な選択に抵抗する、多重比較を開示する)、AAPOR の透明性の要請が、この 2 つを支えています。結論を先に置くのは好み、分母と限界を省かないのは義務。ここを混ぜないことです。
畳むと、報告の一枚はこの形になります。
結論: だから何を決めるか(一文で、意思決定に紐づけて)
根拠: 数字 + その分母 + 差の幅(行%か列%か、各群の n も)
限界: 偶然の可能性・小さいセル・分母の前提・これは架空データという断り
例で埋めるなら、たとえばこうです。「結論:有料・高頻度・既存ユーザーほど満足が高く、無料・低頻度の新規層が弱点。まず無料/新規のオンボーディング改善に絞るべき。根拠:満足 top2 はプラン別で無料 25.6%(20/78)< スタンダード 38.8%(38/98)< エンタープライズ 52.2%(24/46)。利用歴別でも新規 27.6%(29/105)< 既存 45.3%(53/117)。限界:各群の分母は数十人規模で、勾配が偶然でないかの検定はこれから。低頻度セル(n=10)は読まない。理由の深掘り(自由回答 Q9)は別途、そして全体が合成データ」。
理由の深掘り、つまり満足・不満の自由回答をコードに起こして数える作業は、それ自体が 1 つの手順です。ここでは立ち入りません。
各段の分母と業者質問を早見表にする
ここまでを、受け取る側の視点で一枚に畳みます。自社で回すときの自己点検にも、業者やツールの集計を検収するときのチェックリストにも、そのまま使えます。右端は、ベンダーに逐語でぶつけられる質問にしてあります。
| 段階 | この段の分母は何か | n の添え方 | 業者・ツールにそのまま聞く質問 |
|---|---|---|---|
| 0 分析ベース確定 | 対象外と DK・無回答を引いた有効回答 | 「n=◯」を最初に固定 | 「総回答は何件で、除外と無回答を引いた分析ベースは何件ですか」 |
| 1 単純集計(GT) | 設問ごとの有効回答 | 各表に「n=◯」と実数 | 「この%の分母は何で、無回答は含みますか」 |
| 2 クロス集計 | 各群(各セル)の回答者 | 行%か列%か+各セルの実数 | 「この%は行と列どちらの分母で、各セルの実数はいくつですか」 |
| 3 検定 | 比較した 2 群(各群の n) | 差の幅・n・偶然の可能性を併記 | 「有意差ありとして、差の大きさと各群の n は。どの比較を検定しましたか」 |
| 4 報告 | 結論が依拠する分母 | 結論の根拠に分母と限界を添える | 「結論はどの意思決定に紐づき、分母と限界は書かれていますか」 |
この表の縦串は、ぜんぶ同じ一語です。分母。段が変わるたびに分母は正当に姿を変えますが(全体 → 各群 → 比較 2 群 → 結論の依拠)、変わったことを黙らない。それだけの規律です。
この手順で言えること、言えないこと
一通り回したところで、この手順の縁を確かめます。渡せるのは、記述と群間比較まで。全体の分布を描き、グループ間の差を見えるようにするところまでで、ここから先には、この記事だけでは踏み込めない境界がいくつもあります。
1 つ、因果は言えない。「高頻度だから満足が高い」のか「満足しているから高頻度で使う」のか、クロス表は区別しません。相関と因果は別物で、そこは別の設計(実験や時系列)が要ります。
2 つ、検定の実装はしていない。差が偶然かの見積もりには、期待度数が小さいセルの扱いなど固有の作法があり、本記事の範囲外です。とくに期待度数が 5 未満のセルがあるとき、素朴なカイ二乗はそのまま信じられません。カイ二乗は大きな標本を当て込んだ近似で、期待度数の小さいセルでは近似がずれるからです。対処はセルを統合してから検定する、あるいは正確確率検定(フィッシャー)に切り替えるといった手当てで、その実装は有意差検定の手順にあります。ここでは「素朴に信じない」とだけ覚えておいてください。
3 つ、自由回答の定量化もしていない。満足・不満の理由を数字にするには、コードに起こす別の手順が要ります。
4 つ、母集団への一般化には前提があります。この 222 人が母集団を正しく代表しているか、偏った抽出をウェイトバック集計で補正すべきか、その差を標本誤差がどこまで面倒みるか。サンプリングの前提が崩れれば、どれだけ丁寧に集計しても土台から傾きます。
そして最大の限界。この記事の数字は全部、架空の合成データです。実在の製品でも市場でもない。ここで示せたのは表と分母と差の読み方であって、「この SaaS の満足度が実際にこうだ」ではありません。教材の中で分母を追う練習ができた、それがこの例の役割です。
冒頭の、黄色いマーカーが引かれたクロス集計表に戻ります。「無料プランの満足度が、有料より低い」。いま、あなたはこう言えるはずです。「方向は合っています。ただ会議に出す前に 3 つ確認させてください。各プランの分母(無料は 78 人ですね)、この % は行で割ったものか、そして無料と有料の差が偶然でないかの検定はまだですよね。この 3 つが揃えば、『無料/新規のオンボーディングを優先する』という結論の根拠として使えます」。
上司の「で、結局どうなの?」への一次回答も、もう一文で返せます。「有料・高頻度ほど満足が高く、無料・低頻度の新規が弱点。ただし各群の分母と、差が偶然でないかの確認をこれから詰めます」。
集計は、電卓を叩く作業ではありませんでした。どの回答を、どの分母で割るかを、一段ずつ決めていく判断の連なりです。分母スタンプを 1 つ持って歩くだけで、「言われた表」は「読める表」に変わります。次に業者のクロス集計表を渡されたら、まずマーカーではなく、分母を見てください。
参考文献
- Robert M. Groves, Floyd J. Fowler Jr., Mick P. Couper, James M. Lepkowski, Eleanor Singer & Roger Tourangeau, Survey Methodology, 2nd ed., 2009, Wiley, ISBN 9780470465462.
- Alan Agresti, Categorical Data Analysis, 3rd ed., 2013, Wiley, ISBN 9780470463635.
- Ronald L. Wasserstein & Nicole A. Lazar, “The ASA Statement on p-Values: Context, Process, and Purpose”, The American Statistician, 70(2), 2016, pp.129–133, DOI:10.1080/00031305.2016.1154108.
- American Statistical Association, Ethical Guidelines for Statistical Practice, 2022. https://www.amstat.org/your-career/ethical-guidelines-for-statistical-practice
- Edith D. de Leeuw, Joop Hox & Mark Huisman, “Prevention and Treatment of Item Nonresponse”, Journal of Official Statistics, 19(2), 2003, pp.153–176. https://dspace.library.uu.nl/handle/1874/44553
- American Association for Public Opinion Research (AAPOR), Best Practices for Survey Research. https://aapor.org/standards-and-ethics/best-practices/