生成AIの企業活用が進む中、次のステップとして注目されているのが「AIエージェント」です。

従来の生成AIが「質問に答える」「文章を作成する」といった支援を中心としていたのに対し、AIエージェントは、企業データを参照しながら状況を判断し、必要に応じて複数のシステムやAPIを利用し、業務を実行することが期待されています。

そのため、AIエージェントを企業業務へ本格的に導入するには、単に社内文書をRAGで検索できるようにするだけでは不十分です。

Google Cloudも、AIエージェントのスケールにおいて重要なのはモデルの性能だけではなく、企業データへのアクセスやビジネスコンテキスト、データの意味を適切に提供できる基盤であると指摘しています。

本記事では、AIエージェント時代の企業データ活用において、RAGだけでは解決しにくい5つの課題と、企業が今後整備すべきデータ活用の考え方について解説します。

RAGとは？なぜ企業の生成AI活用で注目されているのか

RAG（Retrieval-Augmented Generation）とは、LLMが回答を生成する前に、外部のデータソースから関連情報を検索し、その情報をコンテキストとして利用する仕組みです。

例えば、企業内にある以下のような情報をRAGの検索対象にできます。

• 社内規程・マニュアル

• 営業資料

• 製品資料

• FAQ

• 過去の議事録

• 契約書

• 顧客対応履歴

• 技術ドキュメント

RAGを導入することで、LLMが学習していない企業固有の情報を参照しながら回答できるようになります。

そのため、企業向け生成AIでは非常に重要な技術となっています。

一方で、RAGは基本的に「必要な情報を検索して、回答を生成する」という仕組みです。

AIエージェントが求められる「理解する」「判断する」「システムを操作する」「業務を完了させる」という世界になると、RAGだけでは対応しきれない領域が増えてきます。

では、具体的にどのような課題があるのでしょうか。

RAGだけでは解決できない5つの課題

課題1：企業データそのものの「品質」が低い

AIエージェントの回答精度を高めるためには、まず参照する企業データが正確でなければなりません。

RAGでは「検索技術」を改善することで回答精度を高めようと考えがちですが、そもそものデータが古い、重複している、誤っている場合、検索精度を上げても正しい回答にはつながりません。

例えば、社内に以下のような資料が存在しているとします。

• 2023年度の料金表

• 2024年度の料金表

• 最新料金表

• 営業担当者が個別に更新したExcel

• 顧客ごとの特別料金

AIエージェントがこれらをすべて検索できても、「どの情報が最新なのか」「どの情報を優先すべきなのか」が定義されていなければ、誤った回答を生成する可能性があります。

AWSも、RAGで利用するデータの品質保証、データの分類・追跡、アクセス制御、更新・再インデックスなどを企業導入における重要な管理項目として挙げています。

つまり、AI導入の前に必要なのは、「AIに何を検索させるか」だけではなく、「どのデータを正しいデータとして扱うのか」を決めることです。

課題2：データが複数のシステムに分散している

多くの企業では、データが一つの場所に集約されていません。

例えば、

CRM
→ 顧客情報・商談情報

ERP
→ 売上・請求・在庫情報

SFA
→ 営業活動・案件情報

ファイルサーバー
→ 社内資料・契約書

メール・チャット
→ 日々のコミュニケーション

レガシーシステム
→ 過去から蓄積された基幹データ

というように、データが複数のシステムに分散しています。

AIエージェントが本当に業務を支援するためには、これらのデータを横断的に理解する必要があります。

例えば営業担当者が、

「A社について、過去の商談履歴と契約状況を確認し、次回提案すべきサービスを教えてください。」

とAIエージェントへ依頼したとします。

この場合、単一の文書を検索するだけでは十分ではありません。

顧客情報、過去の商談、契約情報、製品情報など、複数のデータソースを組み合わせる必要があります。

企業データがクラウド、オンプレミス、SaaS、レガシーシステムなどに分散していることは、AIエージェント活用における大きな課題の一つです。

したがって、これからの企業データ活用では、「データを一か所に集める」だけではなく、「AIが必要なデータへ安全にアクセスできる仕組み」が重要になります。

課題3：「誰がそのデータを見られるのか」という権限管理

企業でAIを利用する際、特に重要なのがセキュリティとアクセス権限です。

例えば、人事部門だけがアクセスできる給与情報を、営業部門のAIエージェントが検索できてしまったら重大な問題になります。

さらにAIエージェントの場合、単なる「閲覧」だけではありません。

AIエージェントは将来的に、

• CRMを更新する

• メールを送信する

• 顧客情報を取得する

• 発注処理を行う

• データベースを検索する

• APIを実行する

といったアクションまで実行する可能性があります。

そのため、「AIにデータを見せてもよいか」だけではなく、「AIがそのデータを使って何を実行してよいか」

まで管理する必要があります。

AWSのエンタープライズ向けAgentic AIアーキテクチャでも、データアクセスだけでなく、ツール実行、認証・認可、監査、オブザーバビリティなどを横断的に管理する考え方が示されています。

AIエージェント時代には、従来の「ユーザー単位の権限管理」から、ユーザー・AIエージェント・データ・操作内容を組み合わせた細かなアクセス制御が求められます。

課題4：RAGでは「データ同士の関係性」を理解しにくい

RAGの基本的な仕組みは、ユーザーの質問に関連する情報を検索し、その情報をLLMへ渡すことです。

しかし、企業データでは「単語が似ているか」だけでは判断できないケースがあります。

例えば、

「昨年度、売上が減少した主要顧客と、その原因を分析してください。」

という質問を考えてみましょう。

この場合、顧客 → 契約 → 商品 → 売上 → 問い合わせ → 営業活動といった複数の情報の関係性を理解する必要があります。

単純なベクトル検索だけでは、こうした複雑な関係性を十分に捉えられない場合があります。

そのため、今後はRAGに加えて、GraphRAG、Knowledge Graph、SQL検索、API連携などを組み合わせるアプローチが重要になります。

Google Cloudも、RAGは基本的な情報検索に有効である一方、データ間の関係性を深く理解する必要がある複雑な質問では、GraphRAGなどのアプローチが有効だと説明しています。

つまり、RAG＝企業データ活用のゴールではなく、AIエージェントが企業データを理解するための一つの手段と考えることが重要です。

課題5：「検索して回答する」から「判断して実行する」への対応

AIエージェントと従来型の生成AIとの大きな違いは、「行動」です。

例えば、従来のRAG型チャットボットでは、

「この顧客への提案内容を教えてください。」

という質問に対して、関連資料を検索して回答することができます。

一方、AIエージェントでは、

1. 顧客情報を取得

2. 過去の商談履歴を確認

3. 現在の契約状況を確認

4. 顧客に適したサービスを判断

5. 提案資料を作成

6. 営業担当者へ確認を依頼

7. 承認後にメールを送信

8. CRMへ活動履歴を登録

といった一連の業務プロセスまで自動化することが考えられます。

ここでは、単純なRAGだけではなく、LLM＋企業データ＋業務ロジック＋API＋権限管理＋監査

という総合的なアーキテクチャが必要になります。

Google Cloudも、AIエージェントは情報検索だけでなく、APIなどのツールを利用して現実のシステムへアクセスし、タスクを実行する仕組みへ発展していると説明しています。

企業が目指すべき「AIエージェント向けデータ基盤」

では、RAGの次に企業は何を整備すべきでしょうか。

重要なのは、以下の5つを一体として考えることです。

① Data Quality

正確性、最新性、重複、欠損などを管理する。

② Data Integration

CRM、ERP、SFA、レガシーシステム、SaaSなどを連携する。

③ Data Governance

データの所有者、利用目的、アクセス権限、監査ルールを明確にする。

④ Semantic Layer

単なるデータではなく、「顧客」「契約」「商品」「売上」などのビジネス上の意味と関係性をAIが理解できるようにする。

⑤ Agent & Tool Layer

AIエージェントが必要なデータを取得し、適切なAPIや業務システムを安全に操作できるようにする。

このような構造を整えることで、企業データは単なる「保存されている情報」から、AIが業務を実行するための企業資産へと変わっていきます。

「RAGを導入する」から「AIが企業データを活用できる環境を作る」へ

生成AIを企業へ導入する第一歩として、RAGは非常に有効な技術です。

しかし、AIエージェントを本格的に業務へ組み込む段階になると、RAGだけでは解決できない課題が見えてきます。

これからの企業に求められるのは、単純に「AIに社内文書を読ませること」ではありません。

AIが必要なデータを理解し、適切な権限のもとで判断し、企業の業務システムと連携して安全に行動できる環境を構築することです。

HATONETでは、AIモダナイゼーション、AIエージェント開発支援、Google Cloudを活用したクラウド導入・構築などを通じて、企業のAI活用をデータ基盤から開発・運用まで支援しています。

「RAGを導入したが、期待したほど業務効率化につながらない」「社内データをAIエージェントに活用させたい」「既存のレガシーシステムとAIを連携したい」といった課題をお持ちの企業様は、まず現在のデータ環境と業務プロセスを整理することから始めることをおすすめします。

AIエージェントの価値は、AIモデルそのものだけではなく、「AIが企業データをどのように理解し、活用し、行動できるか」によって決まります。

今後のAI活用では、RAGを単独の技術として捉えるのではなく、企業データ基盤・ガバナンス・セキュリティ・業務システム・AIエージェントを一体化した「AI-readyなデータ環境」を構築することが、競争力につながっていくでしょう。