データクリーニング | 用語集 | Searchill (さーちる)

データクリーニングとは、回収したアンケート回答を集計の前に点検し、回答時間が極端に短い回答や、明らかに矛盾した回答といった「使えないデータ」を、あらかじめ決めた基準で除外・補正する前処理のことです。

データクリーニングを具体例で理解する

500 件のアンケートが集まった、としよう。

そのまま集計したくなる。でも、その前に一人分の回答を眺めてみる。

10 分かかる想定のアンケートを、1 分で終えた人がいる。設問を読んでいないかもしれない。別の人は、20 問のマトリクス設問にすべて「4」と答えていた。さらに別の人は、ある設問で「未婚」と答えたのに、後の設問では「配偶者と同居」と答えていた。

どれも、集計に混ぜたままにはしておけない回答だ。

これらを見つけて取り除く。それがデータクリーニングである。

やっていることは難しくない。回収したデータを集計にかける前に一度点検し、ルールに照らして不良な回答を除外したり、欠けた値を補ったりする。

点検する観点は、おおむね次の 4 つに分かれる。

調査方法論の研究では、回答の所要時間が、中身のないデータを見分けるためのもっとも安定した手がかりの 1 つだと報告されている。ただし速い回答をすべて不良とは決めつけられないため、実務では「想定時間の何割を下回ったら除外する」と基準を引いて運用する。

ここが、この作業のいちばん大事なところだ。

何を不良とみなすかは、自動では決まらない。所要時間の下限、ストレートライナーの判定、矛盾とみなす設問の組み合わせ——どれも、人が基準を引かなければならない。

そして基準は、データを見た後ではなく、見る前に決めておく。これが鉄則とされている。

なぜなら、回答を眺めてから基準を決めると、「この回答が消えると都合がいい」という判断が、いつのまにか基準の側に混ざり込むからだ。除外ルールを先に固定すれば、その混入をある程度防げる。

データクリーニングには、見えにくい危うさがある。

どこまで削るかは、結局のところ判断である。そして判断には恣意性が忍び込む。都合の悪い回答を「不良」と名づけて消したくなる誘惑は、誰の中にもある。

削りすぎにも落とし穴がある。除外を重ねるほど母数は減り、残ったデータが本来の対象者を代表しなくなる。きれいにしたつもりが、偏ったサンプルを作っていた、ということが起こる。

だからこそ、何をどんな基準で除外し、結果として何件減ったのかを記録しておく。除外が結論にどう影響したかを示せる状態にしておく。専門の方法論でも、除外の手順と判断を透明にし、後から検証できることが求められている。

クリーニングの前後で単純集計の数字がどう動いたかを残せば、削りすぎていないかを後から確かめやすい。クロス集計で切り口別に見る場合も、土台のデータが恣意的に削られていないことが前提になる。

データを「きれいにする」という言葉は、心地よい。

ノイズを取り除き、本当の声だけを残す——そう聞こえる。でも実際には、何をノイズと呼ぶかを決めているのは、こちら側だ。

きれいにするという行為は、いつでも「結論を先に作ってしまう」行為に変わりうる。気に入らない回答を消していけば、データは自分の仮説に近づいていく。きれいになったのではなく、都合よくなっただけ、ということが起こる。

だから最後に残すのは、きれいになった数字だけではない。あの 1 分で終えた回答を、どんな基準で、何件消したのかという記録だ。その記録が、望む結論へ手を伸ばしたくなる自分を、後ろから押しとどめてくれる。