欠損値 | 用語集 | Searchill (さーちる)

欠損値とは、アンケートや観測データで、本来あるはずの回答や測定値が入っておらず、空白のまま残っているマス目のことです。

回収したローデータを開くと、あちこちのマスが空いている。年齢や性別は埋まっているのに、年収の列だけ、ぽつぽつと抜けている。埋めるか、消すか、早く決めて先へ進みたくなる。

でも、空いたマスは黙っていない。誰が、どこで、なぜ答えなかったのか。その空き方に、たいてい理由がある。

年収の欠損は、たいていランダムには空かない

働き方を 1,000 人に聞いて、年収の設問だけ 120 人ぶん空いていた。この 120 の空白は、サイコロを振ったようにばらけているだろうか。おそらく違う。年収は、高い人ほど答えたくないと感じやすい項目だ。すると空白は、高所得の側にかたよって出る。

ここが欠損値の要点になる。空いたマスは、ただ情報が足りないのではない。誰が答えなかったかということ自体が、一つの情報になっている。

最初にやるのは、埋めることでも消すことでもない。なぜ空いたかを見立てることだ。欠け方は、おおまかに三つに分けられる。

欠け方で扱いを変えるべきだという枠組みは、Rubin が 1976 年に示したものだ。空白がどれに近いかで、この後にできることが変わってくる。

いちばん手軽なのは、空白のある回答者をまるごと集計から外すことだ（リストワイズ除外）。欠けていない人だけで計算すれば、表はきれいに埋まる。

問題は、そのきれいさが偏りと引き換えになりうることだ。全部落としても平均や割合がゆがまないのは、欠け方がまったくの偶然（MCAR）のときだけだと分かっている。さきほどのように高所得側が抜けているなら、残るのは中〜低所得にかたよった集団だ。その平均年収を全体の平均として読めば、実際より低く出る。

消せば母数も減る。何を、なぜ、何件外したかを残しておかないと、後から偏りを点検できない。この記録の作法は、不良回答を除くデータクリーニングと同じだ。ただし、値が極端すぎる外れ値の除外とは違って、欠損は値そのものが無いところをどう扱うかが問われる。

落とさずに埋める手もある。素朴なのは、その列の平均値をすべての空白に入れるやり方だ。

数は揃う。けれど同じ値を何十個も注ぎ込めば、そのぶんデータは真ん中に寄る。ばらつき（分散）は実際より小さく見え、「差が小さい」「関係が薄い」という方向へ結果がずれていく。空白を埋めて安心したつもりが、静かに結論を動かしている。

埋め方の工夫はある。ばらつきを保ったまま複数どおりに埋めて結果を統合する、多重代入という手法だ。ただし、どれを選べるかは欠け方の見立てで決まる。

つまり、落とすのも埋めるのも、欠け方を見ないまま機械的にやると裏目に出る。空白の扱いは、集計にかける前のいちばん判断の要る場所だ。

欠損値と向き合うとき、まず問うべきは、どう埋めるかではない。誰が、なぜ答えなかったか、だ。

空白は、集めたデータが取りこぼした人の輪郭でもある。その抜けの形は、埋めても消しても消えない。だから消し方や埋め方をきれいにするより先に、どこがどう欠けていたかを一枚のメモに残す。その一枚が、あとで「この数字は誰を代表していないか」を思い出させてくれる。

空白のマスは、作業の入口でいちばん軽く扱われて、いちばん結論を左右する。次にデータを開くときは、埋める手をいったん止めて、その空き方を眺めるところから始めたい。