テキストマイニング | 用語集 | Searchill (さーちる)

テキストマイニングとは、アンケートの自由回答や問い合わせ履歴などの文章を単語に分け、語の出現頻度や、語と語が一緒に使われる関係（共起）から傾向を読み取る分析手法です。

テキストマイニングを具体例で理解する

アンケートの最後に、こんな設問を置いたとする。

「サービスについて、感じたことを自由にお書きください」

戻ってきたのは、3,000 件の自由回答だった。

ひとつずつ読めば学びは多いが、全部に目を通すのは現実的ではない。そこでテキストマイニングにかけると、よく出てくる語が「料金」「サポート」「待ち時間」だとわかり、「待ち時間」が「電話」や「不満」とよく一緒に出ている、といった関係が見えてくる。

文章の山を、語の頻度とつながりの地図として俯瞰する。

これがテキストマイニングである。

テキストマイニングの仕組み

日本語の文章は、英語のように単語が空白で区切られていない。そこでまず形態素解析を行う。形態素解析とは、文章を「待ち時間／が／長い」のように意味のある最小単位（語）へ分割し、それぞれの品詞を判定する処理である。

語に分けたら、あとは数える。どの語が何回出たかを数えれば頻度がわかり、同じ文や回答の中で一緒に現れる語の組を数えれば共起がわかる。この共起を線で結んで描いたものが共起ネットワーク、頻度の高い語を大きく表示したものがワードクラウドだ。

つまりテキストマイニングは、読むしかなかった文章を、数えられる形に変える作業だといえる。

テキストマイニングは何に使うのか

向いているのは、次のような場面だ。

大量の自由記述を、まず全体像として俯瞰したいとき
どんな話題が多く語られているか、当たりをつけたいとき
時期や属性で語られ方がどう違うかを比べたいとき

人手で回答を読み、内容ごとに分類してコード（記号）を振っていく作業を、アフターコーディングと呼ぶ。テキストマイニングはこれを置き換えるものではない。機械は速いが文脈を取り違える。人手は正確だが量に弱い。だから実務では、まずテキストマイニングで当たりをつけ、重要そうな塊だけを人が読み込む、という併用が現実的だ。

そして結果を最も左右するのが前処理である。「ｺﾞﾐ」と「ゴミ」、「待時間」と「待ち時間」のような表記ゆれをそろえ、自社名や商品名を辞書に登録し、「です」「ある」のような分析に効かない語（ストップワード）をどう扱うか。ここを決めずに回すと、出力はもっともらしく見えても中身が揺れる。

テキストマイニングでわからないこと

最も誤解されやすいのは、頻度の高い語を重要な語だと思い込むことだ。多く出てくるのは、単にみんなが口にしやすい言葉だからかもしれない。少数だが切実な声は、頻度では沈む。

機械は文脈も苦手だ。「おいしくない」を「おいしい」と「ない」に分ければ、肯定的な語として数えられてしまう。皮肉や反語、否定は、人が読めばすぐわかるのに、機械はしばしば取り違える。

しかも前処理を変えれば、ワードクラウドの見え方も変わる。きれいに描かれた図は結論ではなく、人が解釈する前の素材にすぎない。

クロス集計のように属性で切って比べたいなら、語をカテゴリに整理したうえでクロス集計と組み合わせると、誰がどう語っているかまで見えてくる。

テキストマイニングは、声を消すためではなく、声に戻るために使う

文章を数えられる形にした瞬間、そこにあった一つひとつの語り口は、頻度とネットワークの中に溶けていく。

その「待ち時間」は、誰の、どんな場面の待ち時間だったのだろう。

きれいなワードクラウドができたとき、仕事はまだ半分だと思う。図は、どの回答に立ち返るべきかを教えてくれる地図にすぎない。

数えて見えるのは、どの声に立ち返るべきかという入り口までだ。そこから一つの回答を開き、書いた人の場面まで思い浮かべる。数字が意味を持ちはじめるのは、たぶんその一歩の先だ。