外れ値

外れ値とは、他の多くの値から大きく離れていて、平均などの集計を大きく動かしてしまうことがある値のことです。ほかの数字がひとかたまりになっているなかで、一つだけぽつんと離れて、集団から明らかに浮いた一点を指す。

1 件の高額購入が、平均客単価を押し上げる

あるオンラインショップで、今月の平均客単価を出したとする。100 件の注文の平均は約 10,000 円で、先月より大きく上がっている。

ところが注文を一件ずつ見ると、大半は 4,000 円前後だった。そこに、法人がまとめ買いした 60 万円の注文が一件だけ紛れている。これを外して計算し直すと、平均は約 4,000 円に下がる。

たった一つの値が、平均を 2 倍以上に押し上げていた。この、全体からかけ離れて集計を動かす一点が、外れ値である。

平均と中央値のズレや箱ひげ図が、外れ値のありかを教える

外れ値は、探すと決めて確かめないと見つからない。手がかりは大きく二つ。

一つは、平均と中央値を並べてみること。中央値は値を小さい順に並べたときの真ん中で、両端に極端な数字があっても順位はほとんど動かない。だから平均だけが飛び抜けて大きければ、少数の極端な値が平均を引っぱっている合図だ。さきほどの例なら、平均は約 10,000 円でも中央値は 4,000 円前後——この開きが、外れ値の気配を告げている。

もう一つは、箱ひげ図。データを大きさの順に並べ、真ん中の半分を箱に、両側をひげで表した図で、ひげの外へ飛び出した点が外れ値の候補として浮かび上がる。統計学者の Tukey が 1977 年に広めた道具だ。

外れ値を見つけたら、消す前に理由を問う

外れ値が見つかったとき、いちばんやってはいけないのが、反射的に消すことだ。

外れ値は、エラーと同じではない。Aguinis らが 2013 年に組織研究の外れ値を洗い出したときも、外れ値を「誤りによるもの」「興味深いもの」「結果を大きく動かすもの」の三つに分けて考えるべきだと整理している。しかもこの三つは排他的ではなく、一つの値がいくつも兼ねることがある。

たとえば、ありえない速さの回答や辻褄の合わない値は、消してよい「誤り」だ。一方、さきほど 60 万円をまとめ買いした法人は、実在する正しい値でありながら平均を 2 倍以上も動かした「結果を大きく動かす」一点であり、同時に、いちばん逃したくない優良顧客という意味では「興味深い」外れ値でもある。

同じ一点でも、どれと見るかで打つ手はまるで違う。外れ値は消す対象ではなく、「なぜこの値がここにあるのか」を問う入り口として扱う。

外すなら、基準と理由を記録してから外す

それでも外すと判断したなら、外し方そのものに基準がいる。

先の Aguinis らの調査では、外れ値の定義だけで 14 通り、扱い方には 20 通りが使われていた。外し方しだいで、最後の結論まで変わってしまう。つまり外れ値の除外は、ボタン一つで自動化できる作業ではなく、人が基準を引いて選ぶ判断である。

だからデータクリーニングの一部として、何を外れ値とみなすか、なぜ外すのか、結果として何件外したのかを、データを見る前に決めて記録しておく。データを見てから「この値が邪魔だ」と外し始めると、都合のいい結論に寄せる作業になる。外れ値を外せばその箇所は欠損値になり、使える件数も減る。削った記録を残しておけば、削りすぎていないか、結論が外し方に左右されていないかを、後から確かめられる。

外れ値は、消す前にいちばん見るべき一点かもしれない

平均が急に跳ねたとき、その数字を丸ごと信じるか、まるごと疑うか——つい二択で考えてしまう。でも外れ値が指し示すのは、もっと具体的な次の一手だ。跳ねた平均の裏に、たった一行、全体を引っぱっている値がある。それを名指して、問う。これは消すべき打ち間違いなのか、それとも、いちばん会いに行くべき一人なのか。

外れ値は、集計をいちばん乱す厄介者でありながら、そのデータで最初に会うべき「例外」の顔をしていることがある。

次に平均が跳ねていたら、数字を信じる前に、それを押し上げた一行を開いてみたい。