RAG入門｜社内データを答えるAI（検索拡張生成）の仕組みを図解で説明できる

「うちの会社、経費精算の上限っていくらだっけ？」——この質問をそのままChatGPTに打ち込んでも、自社の正しい金額は返ってきません。返ってくるのは一般的な相場の話か、もっともらしいけれど自社の規程とは違う数字。AIの能力が低いわけではありません。あなたの会社の経費規程を「知らない」だけなのです。

では、社内の資料を読ませて答えさせるにはどうすればいいか。その仕組みがRAG（検索拡張生成）です。RAGとは、AIに社内データを“覚えさせる”のではなく、質問のたびに関係する社内データを探して手渡し、その文章をもとに答えさせる仕組みです。AI本体は作り変えません。覚えて帰る型は「探す → 渡す → 答えさせる」。本講座は、この共通例「経費精算の上限はいくらか」を全章で追いながら、RAGとは何かを言葉で説明できるようになることだけに絞ります。

実際に社内向けAIを組み立てる手順はカスタムGPT作成やノーコードAIアプリ自作が、社内の数値データを集計・可視化する方法はAIデータ分析が、生成AIそのものの基礎はAI基礎がそれぞれの正本です。本講座は構築や実装には踏み込みません。終えるころには、(1)生成AIが社内情報を答えられない理由を説明でき、(2)RAGの仕組みを「探す→渡す→答えさせる」で図解でき、(3)自社で検討するときの確認ポイントを挙げられる、の3つができるようになります。

生成AIが社内のことを答えられない理由

生成AIは学習した時点までの一般的な情報で答える

生成AIの中身である大規模言語モデル（LLM）は、文章や単語の出現確率をもとに、次に来そうな自然な言葉をつなげて文章を作る仕組みです（出典：デジタル庁「デジタル社会推進標準ガイドラインDS-920」）。そして、この土台となるモデルは、ふつう事前にまとめて学習され、学習が終わった後に作られたデータは知りません。さらに、広く一般的な内容で学習されているため、特定の組織だけに通じる話は得意ではありません（出典：Amazon SageMaker AI「検索拡張生成」）。つまり生成AIは「学習した時点までの、一般的な情報」をもとに答えているのです。

社内マニュアル・規程・議事録は学習に含まれない

ここが肝心です。あなたの会社の経費規程、業務マニュアル、議事録といった社内文書は、生成AIの学習データの“外”にあります。AWSの説明でも、社内の内部ドキュメントや専有情報は「学習データソースの外部にある」情報だと整理されています（出典：AWS規範ガイダンス「取得拡張生成について」）。だからAIは、共通例の「経費の上限は？」に対して、自社の規程を見ることができず、一般的な相場を答えてしまう。AIが社内のことを答えられないのは、頭が悪いからではなく、その情報を“持っていない”からなのです。

知らないのに知っているふりで答える、というつまずき

やっかいなのは、AIが「知りません」と言わずに答えてしまうことがある点です。確率的にもっともらしい言葉をつなぐ仕組みなので、知らないことを聞かれても、それらしい“作り話”を返すことがあります。生成AIが事実に基づかない誤った情報をもっともらしく生成することを、ハルシネーション（幻覚）と呼びます（出典：総務省「令和6年版 情報通信白書」）。技術的な対策は進んでいますが、完全には抑え込めないため、出力が正しいかを使う側が確認することが望ましいとされています（出典：同上）。もう一つのつまずきは、社外秘の社内文書をそのまま外部のAIに貼ってしまうこと。入力した情報が出力などを通じて流出するリスクが指摘されています（出典：総務省「令和6年版 情報通信白書」）。入力データの安全な扱いはAIリテラシー・セキュリティで詳しく扱います。

この章の確認（演習）

自社で「ChatGPT単体では正しく答えられない社内の質問」を3つ書き出してください（例：経費の上限、休暇申請の締切、特定システムの障害時連絡先）。そのうえで、それぞれ“どの社内資料を見れば答えられるか”を1つずつ対応づけ、「なぜAI単体では答えられないのか」を自分の言葉で1文にまとめてみましょう。

RAGの仕組みを図解する——探して・渡して・答えさせる

RAGは「検索」と「生成」を組み合わせた仕組み

RAGは Retrieval-Augmented Generation の略で、日本語では「検索拡張生成」と呼ばれます（出典：KDDI「ファインチューニングとは何か？RAGとの違い…」）。会社の内部ドキュメントなどの外部データを使って、AIに「答えるのに必要な材料」を渡して補強する手法です（出典：AWS規範ガイダンス「取得拡張生成について」）。前章の言い方をすれば、AIが持っていない社内情報を、その都度“外から手渡す”仕組みです。

探す → 渡す → 答えさせる——AI本体は作り変えない

流れは3ステップで描けます。まず質問が来ると、その質問に関係する社内文書を探します（探す＝検索）。次に、見つかった文章を質問と一緒にAIへ渡します（渡す）。最後にAIは、渡された文章をもとに回答を作ります（答えさせる）。AWSの説明でも、関連データを検索して取得し、それを質問とあわせてAIに送り、AIがその追加の材料を使って回答を生成する、という流れが示されています（出典：AWS規範ガイダンス「取得拡張生成について」）。

共通例で描くとこうです。「経費の上限は？」という質問が来る → 社内の経費規程から関係する箇所を探し出す → その箇所を質問に添えてAIに渡す → AIが「自社は（例）◯◯円（経費規程◯条より）」と、根拠つきで答える。大事なのは、AIに社内データを覚え込ませているわけではない、という点です。RAGはモデル自体を再学習させることなく、外部から関連情報を検索してその情報をもとに回答します（出典：KDDI「ファインチューニングとは何か？…」）。AIは“資料を持つ”のではなく、毎回“資料を手渡される”のです。生成AIそのものの使い方の基礎は仕事で使う生成AIで押さえられます。

ファインチューニングとの違いを一言で

よくある誤解が「RAG＝AIに社内データを学習させること」です。AIに覚え込ませる方法は別にあり、それがファインチューニングです。ファインチューニングは、既存のAIモデルに追加学習を行い、モデル内部を更新して知識を覚えさせる方法で、情報を新しく保つには再学習が必要になります（出典：KDDI「ファインチューニングとは何か？…」）。両者の違いは「知識の更新方法と参照元」にあります（出典：同上）。一言でいえば、ファインチューニングは“覚えさせる”、RAGは“その都度、資料を見せる”。本講座が扱うのは後者です。

この章の確認（演習）

共通例の「経費の上限は？」を題材に、「質問 → 探す → 渡す → 答える」の4ステップを矢印の図（または箇条書き）で自分で描いてください。各ステップが何をしているかを一文ずつ添え、最後に「RAGとファインチューニングの違い」を一言で書ければ合格です。

自社でRAGを検討するときの確認ポイント

仕組みがわかると、確認すべき4つの観点が見える

「探す→渡す→答えさせる」が分かると、ベンダー提案や社内検討で何を確認すべきかが見えてきます。観点は4つです。対象データ／探し方／回答範囲／出典。共通例の「経費規程AI」を題材に、順に見ていきます。

1つ目は対象データとアクセス権です。誰がどの文書を見てよいかを設計し、権限のない人に機密情報を答えさせないことが要になります。ある企業の導入事例でも「ユーザーが閲覧を許可されている文書のみから回答を行う仕組み」を組み込んでいます（出典：キヤノンITソリューションズ「RAG導入で社内検索はどう変わった？」）。公的な調達要件でも、RAGで機密情報が出力されないよう、検索先のアクセス権限設定に不備がないことが求められています（出典：デジタル庁「DS-920」）。経費規程AIなら、答えさせる範囲を経費に限り、人事情報までは触れさせない、と決めます。

2つ目は探し方、つまり検索の精度とデータの鮮度です。古い版や不足した文書を拾うと、回答もずれます。ある導入事例では、回答が不適切になった主な原因が「文書の不備や不足」と「検索精度の低さ」だったと報告されています（出典：キヤノンITソリューションズ「RAG導入…」）。だからこそ、対象データは最新・正本に絞り、内容を継続的に整える運用が欠かせません。経費規程AIなら、古い版の規程を拾わないようにします。

回答範囲・出典と、RAGでも残るハルシネーション

3つ目は回答範囲の制御です。想定していない使われ方をしても、危ない出力をしない、あるいは出力を拒否できる仕組みが望まれます（出典：デジタル庁「DS-920」目的外利用への対処）。4つ目は出典です。AIがどの文書をもとに答えたかという根拠を示せること——出力根拠が可視化される仕組みが、調達の要件として挙げられています（出典：デジタル庁「DS-920」説明可能性）。経費規程AIなら、「経費規程◯条より」と根拠を返せる形にします。

最後に押さえたいのは、RAGを使ってもハルシネーションがゼロになるわけではない、ということです。生成AIの利活用にはハルシネーションなどのリスクがあることを理解し、正確性や根拠・事実関係を必要に応じて確認し、責任を持って利用を判断することが求められています（出典：デジタル庁「DS-920」）。だから出典を返させ、最後は人が確かめる。ここまで分かったら、実際に社内向けAIを組み立てるカスタムGPT作成やノーコードAIアプリ自作へ、構造化データの集計・可視化が目的ならAIデータ分析へ進みます。

この章の確認（演習）

第1章で挙げた社内の質問を1つ選んでください。その質問に答えるAIを作ると仮定し、4つの観点——対象データ（どの資料に限るか）／探し方（古い版を拾わない工夫）／回答範囲（答えさせない領域）／出典（どう根拠を返すか）——について、自社なら何をどう設定するかを1行ずつ書き出してみましょう。