Searchill

NotebookLM で過去の調査資料を問える状態に整理する手順

こんぺい
デスクリサーチ ハルシネーション
目次

社内のあちこちに眠っている過去の調査レポートを、「聞けば答えてくれる」状態にまとめたい。そう思って NotebookLM に PDF をまとめて放り込むと、たしかに質問への答えは返ってきます。問題は、その答えをそのまま資料に貼ってよいかどうかです。

わたしは調査会社でリサーチの運用を組んできて、過去資産を AI に読ませる相談を何度も受けました。いちばん危ないのは、便利さに乗って引用元を確かめないまま、古い数字やありもしない出典を意思決定の場に出してしまうことです。

この記事では、過去の調査レポート群を横断で問える状態にするまでの手順を、そのまま再現できる形で示します。具体的には、入れる資料をどう選別し、どう問いを立て、返ってきた答えの引用元をどう原文と照合するか。題材は、ある宿泊施設が過去に実施した宿泊客満足度調査のレポート群です。ここで登場する調査名・数字はすべてサンプル用の架空データです。設問を AI に作らせる工程は姉妹記事の AI でアンケート設問を作る手順 に譲り、ここでは「すでにある資料を問える状態にする」ことに絞ります。

入れる資料は、確定版だけに絞る

最初の判断は、投入前の選別です。手元の PDF を全部入れれば賢くなる、というものではありません。むしろ逆で、古い版や重複が混じるほど、答えは信用できなくなります。

過去のレポートは、他者（過去の自分たちを含む）が別の目的で集めた 二次データ として扱うのが安全です。二次データを使うときの確認は、鮮度・定義・出所の 3 つ。何年前の数字か、その「満足度」の測り方は今の問いと同じか、誰がどう集めたか。これは デスクリサーチ の作法そのものです。

宿泊施設の例で、手元に 8 種類の資料があったとします。ここから落とすべきものは決まっています。

  • 速報版（暫定値）
    • 同じ調査の確定版があるなら、速報は落とす。後で数字が訂正されていることが多い。
  • 集計定義が書かれていないメモ
    • 口コミ集計メモのように、分母や数え方が不明なものは保留にする。
  • 明らかな重複
    • 同じ調査の別集計が 2 つあるなら、分母が大きい・新しいほうだけ残す。

賞味期限の切れた食材を冷蔵庫に残さないのと同じで、使わないと決めた資料は入れないほうが、棚全体が信用できます。入れるのは確定版だけ。これはわたしの運用上の目安ですが、外してよいのは「速報しか存在しない最新調査を、暫定と明示して使うとき」くらいです。

ソースに版と分母を持たせる

選んだ資料をそのまま入れると、後で「どの調査の話か」が引けなくなります。投入時に、一つひとつのソースへ版と分母の情報を持たせておきます。

やることは 2 つです。1 つは表示名の統一。もう 1 つは、資料の先頭にメタ情報の表紙を付けることです。

  • ソース名を規則で揃える
    • 「調査名＿実施年＿版＿n」の形にする（例: 宿泊客満足度＿2023＿確定＿n510）。
  • 各資料の先頭に表紙を足す
    • 実施年・分母 n・総合満足度の定義・確定か速報か・出所を 1 ページにまとめて冒頭に置く。
  • 二次資料は頭で区別する
    • 外部提供のベンチマークは名前を「外部＿」で始め、自社の一次データと取り違えないようにする。

なぜ表紙かというと、NotebookLM は本文に書かれていないことは基本的に答えられないからです。実施年や分母が本文の表の外にしかないと、「この数字は何年の何人分か」と聞いても引けません。メタ情報を本文の中に入れておくと、そこも引用対象になります。

問いは対象・指標・出典をそろえて聞く

同じ資料群でも、問い方で答えの信用度が変わります。分かれ目は、対象の調査・指標・分母・出典要求を、問いの中に書き込んでいるかどうかだ。

つい書いてしまう悪い問いと、確認に使える良い問いを並べます。

  • 悪い問い: 「宿泊客の満足度は高いですか」
    • Yes/No と断定的な要約を誘う。どの調査・どの年の話か指定がなく、複数の調査を混ぜた一言が返りやすい。
  • 悪い問い: 「うちの弱点をまとめて」
    • 資料にない解釈まで“盛られる”余地が大きい。要約は便利だが、原文の裏づけを外れやすい。
  • 良い問い: 「2023 年の本館・別館 宿泊客満足度調査（n=510）で、総合満足度の『満足＋やや満足』の割合と、その設問文を、出典つきで挙げて」
    • 対象調査・指標・分母・出典要求がそろっている。答えを原文と照合しやすい。
  • 良い問い: 「各調査の総合満足度の設問文を年ごとに並べ、文言が違う調査があれば指摘して」
    • 定義のズレを AI にあぶり出させる。人が照合する前の当たりづけに使える。

コツは、AI に結論を出させるのではなく、原文の場所を指させることです。「高いか低いか」を聞くと要約が返り、「どの数字が・どの設問から・どの資料に」を聞くと引用が返ります。

引用チップを開いて原文と照合する

NotebookLM の答えには、文ごとにインライン引用（引用チップ）が付きます。これはアップロードしたソースの該当箇所を指すもので、質問に最も関連する箇所を先に取り出して答える仕組み（RAG）に基づきます。便利ですが、チップが付いていること自体は正しさの保証ではありません。

出典確認の作法は、返ってきた文を鵜呑みにせず、チップを開いて原文を見ることに尽きます。宿泊施設の例で、実際に誤りが見つかる場面を 1 つ。

「宿泊客満足度の推移を教えて」と聞くと、「2018 年は 78%、2023 年は 85% で改善しています」と、各文に引用つきで返ってきたとします。流暢で、もっともらしい。ですが引用チップを開くと、78% は 2018 年の速報版（暫定値）から取られていました。同じ年の確定版では、集計途中の暫定値が精査されて 72% に下方修正されています。つまり 78%→85% の「+7pt 改善」は、暫定値と確定値を並べた誤りです。比較できるのは確定版どうしの 72%（2018）と 85%（2023）で、正しく並べると +13pt の改善でした。

チップを開かなければ、この一文をそのまま推移として資料に貼っていたはずです。使う前の確認は、次の並びで足ります。

  • 引用チップを開き、引用元の文書名と該当箇所を実際に見たか
  • その数字の分母 n と対象（本館か全館か）は、問いと一致するか
  • 速報値と確定値を混ぜていないか
  • 「総合満足度」の定義（分子の取り方・選択肢）は、調査間で同じか
  • 引用が文書全体を指すだけになっていないか（該当箇所が特定できているか）

流暢な要約と、古い数字を疑う

ここまでが基本の流れで、便利さは本物です。同時に、便利さと同じ重さで警戒すべき面があります。

1 つは ハルシネーション です。AI が事実に反する内容を、もっともらしい体裁で出してしまう現象で、米国の標準化機関である NIST は生成 AI 特有のリスクとして「作話（confabulation）」と呼び、なくすものではなく管理するリスクとして扱っています。もっともらしい続きを組み立てる生成の仕組みそのものに由来する性質なので、ゼロにはできない前提で運用するのが安全です。自分のソースに限定して答える NotebookLM でも、引用の取り違えや、原文にない橋渡しは起こります。同じく、資料を集めて回答するタイプのツール全般は、ディープリサーチ のように実在しない出典を並べる失敗が知られています。

もう 1 つは、古い数字です。RAG は原資料に忠実に答えるので、原資料が古ければ、古い数字を正確に引いてきます。忠実であることと、意思決定に使えることは別だ。先ほどの 78% のように、速報値がそのまま最新の結論のふりをして出てくる。だから鮮度と版の確認は、AI に任せず人が担当します。

NotebookLM 自身も「間違うことがあり、回答は Google の見解を反映しない」と明記しています。もっともらしさは、正しさとも、鮮度とも、独立しています。

機密を入れる前に、自社の規約で線を引く

チームで使うなら、更新と秘密保持のルールを先に決めます。とくに、機密情報を投入してよいかの判断は、便利さとは切り離して考える必要があります。

NotebookLM の公式ヘルプは、既定ではアップロードや質問・回答をモデル学習に使わないとしており、業務・教育向けアカウントではさらに保護が強いと説明しています。ただしプランや契約で条件は変わります。市場調査の業界規範である ESOMAR/ICC 綱領も、AI の利用にあたって回答者データの保護と守秘を求めています。ベンダーの説明は操作の事実確認には使えますが、投入可否の判断は自社の規約と契約に照らして自分で引くものです。

運用としては、次の線を最初に決めておくと迷いません。

  • 投入してよい資料の範囲
    • 個人が特定できる回答データや、契約で外部処理を禁じられた資料は入れない。
  • 更新の担当と頻度
    • 新しい確定版が出たら、古い版を差し替える人と締め日を決める。
  • 出典確認をした人の記録
    • 資料に貼る数字は、誰が引用チップまで確認したかを残す。

NotebookLM は整理までで、分析は代われない

ここまでの手順で作れるのは、過去の調査を横断で「引ける」状態であって、分析そのものではありません。

NotebookLM が得意なのは、散らばった資料から該当箇所を素早く指すことです。差の意味を読む、原因を推し量る、次に何を調べるかを決める——この判断は、集計や統計の手順に沿って人がやる仕事です。満足度が 72% から 85% に動いた「なぜ」は、資料の検索では出てきません。

この記事で使った宿泊客満足度のレポート群と数字は、手順を再現するためのサンプル用の架空データで、現実の市場を示す証拠ではありません。それでも、選別して・版を持たせて・出典を照合する、という順番は、どんな過去資産にもそのまま移せます。

最後に、運用を 3 行にまとめます。入れる資料は確定版に絞る。問いは対象・指標・出典をそろえて聞く。返ってきた数字は、引用チップを開いて原文に当たってから使う。この 3 つを守るだけで、過去の調査資産は、便利なだけの箱ではなく、判断に使える状態になります。

参考文献

この記事の著者 こんぺい

大手事業会社で商品企画に携わり、スタートアップではプロダクトマネージャーとして会社を立ち上げ、調査会社では立ち上げからリサーチオペレーションを築いてきました。事業をつくる現場でいつも大事だと感じるのは、作り手と使い手の想いが重なる部分をどう大きくするか、そして、いいものを届け続けるお金のめぐりをどうつくるか。その重なりを広げる力が、リサーチにはある。そう信じて、このメディアをつくっています。

↑↓ で選択してから Enter で開く