COLUMN

1. RAG導入後の「よくある課題」

RAGを導入した企業や自治体で見られるのは、「検索結果にばらつきがある」「回答が不正確」といった課題です。データの量や構造が統一されていないと、同じ質問でも異なる回答が出力されたり、誤った回答や不十分な回答が出力されたりして、実務への活用が難しくなります。また、「使いにくい」「知りたい情報が出てこない」といった社内の声が広がることで利用率が低下し、定着しないケースもあります。加えて、正答率や再現率、ユーザー満足度などのKPIが未設定のままだと、精度の評価や改善が行えず、運用が形骸化してしまう恐れがあります。RAGを業務に根付かせるには、導入後にデータ構造や検索性を見直し、継続的な改善の仕組みを整えること、そして目的に沿った評価指標を定めて効果を可視化することが重要です。

RAGとは？仕組みと導入メリット、使用の注意点をわかりやすく解説

NTT東日本の生成AIサービスの詳細はこちら！

2. 精度向上のための実践テクニック

RAGの精度を高めるには、情報の基盤となる「データそのものの質」を高めることが重要です。RAGのパフォーマンスを向上させるための実践的な手法をご紹介します。

2-1. データクレンジングを行う

RAGに読み込ませる社内データは、多くの場合、形式や内容がバラバラです。誤字・脱字や重複表現、古い情報、表記揺れなどを含んだままの状態では、正確な検索・出力が難しくなります。特にPDFファイルではこれらのノイズが多く発生します。そこで必要になるのが「データクレンジング（データの清掃）」です。

• 不要な改行やスペースの除去
• 異なる表記（例：「マニュアル」と「manual」）の統一
• 更新日の古い文書の除外やアーカイブ化
• 無関係なセクション（フッターや目次など）の削除

こうしたノイズを極力排除し「生成AIにとって読みやすい状態」に整えることで、RAGの基礎精度を底上げできます。

2-2. データを分割（チャンク分割）する

長文のデータを小さな意味単位に分割する「チャンク分割」も重要です。多くの企業では、複数ページにわたるマニュアルや資料がそのまま保管されていますが、これらを一括で検索対象にすると、生成AIが必要な情報を適切に抽出できず、回答の精度が低下してしまいます。チャンク分割を行うことで、各文書のセクションや段落ごとに焦点を絞り、より狭い範囲での情報抽出が可能になります。例えば、段落単位やテーマ単位でデータを分けることで、検索時に意図に合った部分のみが抽出されやすくなり、文脈の過不足も抑えられます。

2-3. データ構造化処理を実施する

社内データを生成AIが理解しやすいよう構造化することも推奨されます。非構造データ（PDF、Word、プレーンテキストなど）のままだと検索精度が下がり、回答にブレが生じます。構造化する際には、分割したデータに見出し・カテゴリ名などのメタ情報を加えたり、構造化データを明確に定義したりして、検索対象の絞り込みやユーザーの意図を正確に反映した出力ができるようにしましょう。

• 「改訂記録」「作成者」「公開日」「更新日」「カテゴリ」などの属性を付与する
• HTMLやXMLで文書構造（見出し・表・注釈など）を明確にする
• テンプレートで文書構成を統一し、整合性を高める

これらの前処理を組み合わせることで、生成AIは情報の意味や文脈を正確に理解できるようになり、RAGの回答精度が大きく向上します。構造化は単なる整理ではなく、RAG活用の基盤となる重要な工程です。

2-4. 質問と回答のデータをペアで付与する

RAGの回答精度をさらに高めるうえで有効なのが、想定される質問とそれに対応する回答文を「ペア」で設定する手法です。同じ情報を求める場合でもさまざまな表現で質問が寄せられるため、適切な情報を抽出するには、この対応関係を明確にしておくことが重要です。例として、「申請の締切はいつか」という問いに対して、「毎月25日までに申請してください」という回答が紐づけられていれば、RAGはその対となる情報を効率よく引き出せるようになります。このようなQ＆Aペアの設定は、FAQの自動化や業務ナレッジの問い合わせ対応といった用途で特に効果を発揮し、類似質問への対応力を大きく向上させます。

NTT東日本の生成AIサービスの詳細はこちら！

3. RAGの精度向上を評価・改善するための体制と指標

RAGの導入効果を最大化するためには、導入後の「精度」を継続的に可視化・評価し、改善につなげる体制づくりが欠かせません。評価と改善の要となる3つのポイントを紹介します。

3-1. KPI（正答率、再現率、CSAT）の設定

RAGの精度を客観的に評価するには、明確なKPIを設定する必要があります。標準的な指標としては以下が挙げられます。

• 正答率：ユーザーの質問に対し、意図した正しい情報を出力できた割合で、回答の正確性を測る基本指標
• 再現率：必要な情報を漏れなく引き出せたかどうかを示す指標
• CSAT（Customer Satisfaction Score）：業務現場での「使いやすさ」を数値化した、回答に対する満足度をアンケートやスコアで測定する指標

これらのKPIは、PoC（概念実証）段階から設定し、実運用後も定期的にモニタリングすることで、精度の傾向や改善点が明確になります。「RAGAS」と呼ばれるRAGの評価ツールを活用するのも一つの手段です。

3-2. ユーザーのフィードバックをもとにした改善

精度改善のためには、現場ユーザーからのフィードバックを収集し、継続的に学習・修正を繰り返すことも必要です。回答に対する評価や誤回答の指摘を蓄積し、RAGのデータセットや検索パラメータに反映させていくことで、運用を重ねるごとに精度が高まります。

• ユーザーが回答に「満足」「不満」などの評価を簡単に送れるUIの設計
• 誤回答や空振り回答を分類・記録し、インデックスやチャンクの見直しへつなげる体制
• 月次・四半期など定期的な振り返りと改善アクションの記録

単なる一方向の提供ではなく、ユーザーとの双方向的な関係性を築くことが、RAGの精度向上に大きく寄与します。

3-3. 導入・運用体制の整備

RAGの精度を安定的に維持・向上させるためには、関係部門の連携や明確な役割分担を含む運用体制の設計も欠かせません。特に非IT部門が中心となる場合、属人的な対応に頼ると、精度管理や改善活動が継続できなくなるリスクがあります。役割を明確化し、定期的な連携ミーティングや改善会議を設けるとよいでしょう。また、導入初期は、全社導入ではなくスモールスタートにして、対象業務や文書を限定したPoCから始めることが推奨されます。これにより、評価指標や運用の課題が早期に洗い出され、本格展開への土台を固めることができます。

NTT東日本の生成AIサービスの詳細はこちら！

4. RAGの精度向上施策の進め方

RAGの導入・活用において重要なのは、一度構築したら終わりではなく、継続的に改善を重ねる運用プロセスを構築することです。RAGの精度を高めていくうえで実務的かつ効果的な進め方をご紹介します。

4-1. データクレンジングや構造化を施したデータを用意する

PoCを開始する前には、必ずデータの整備を行い、生成AIが正確に認識・検索・出力できる状態にしておくことが求められます。具体的には「2.精度向上のための実践テクニック」で紹介した不要な情報の除去や表記の統一、チャンク分割、構造化処理などが含まれます。これらの処理を施したデータを用いることで、PoCの精度が高まり、検証・評価がより正確に行えるようになります。

4-2. PoCで実施対象を絞り、評価フローを明確にした運用を行う

小規模な業務領域や限定的な文書群を対象にPoCを実施します。評価対象となるチャットボットやFAQの範囲を明確にし、あらかじめ定めたKPIに基づいて出力精度を検証します。この段階では、ユーザーからの質問パターンや回答の正確性、ユーザー満足度などを定量・定性の両面から記録し、改善余地のあるポイントを可視化することが重要です。また、評価フロー（評価者の配置、期間、判断基準など）を明確にしておくことで、PoC結果の信頼性が高まり、関係者間での合意形成にもつながります。

4-3. フィードバックをもとに処理（インデックス更新・ナレッジ再編成）する

PoCや本番運用の中で得られたフィードバックは、RAGの精度を高めるための貴重な情報源です。ユーザーが誤回答や曖昧な出力を指摘した場合、それが「検索対象の文書が古い」「チャンク分割が不適切」「重要な情報が含まれていない」といった構造的な課題に起因していることがあります。こうしたフィードバックを踏まえ、ドキュメントのインデックス（検索対象データ）を更新したり、関連するナレッジを新たに追加・整理したりする対応が必要です。また、チャンクの粒度を見直したり、メタ情報を補強したりするなど、技術的な再調整も行いましょう。

4-4. 検索ログの蓄積と傾向分析によりPDCAサイクルを回す

RAGの精度改善を長期的に実現するためには、日々の検索ログを蓄積し、その傾向を分析する仕組みが不可欠です。ユーザーがどのような言い回しで質問し、どのチャンクが選ばれ満足度が高かったのか、あるいは回答が失敗したパターンは何か、といった情報を定期的に分析することで、精度向上のヒントが得られます。蓄積されたログをもとに、検索精度や出力結果の傾向を把握し、必要に応じてデータ構造や検索パラメータを再設計するというPDCAサイクルを回すことで、RAGシステムの成熟度は段階的に高まっていきます。このような継続的改善のサイクルを確立することが、現場で活用され続けるAIシステムとしてRAGを根付かせるファクターとなります。

NTT東日本の生成AIサービスの詳細はこちら！

5. RAGの構築でお悩みならNTT東日本の「生成AIサービス」

SaaS型で提供するNTT東日本の「生成AIサービス」では、社内データを活用できるチャット型のAIアシスタントとして日々の業務を強力に支援します。今回解説したRAGの構築や精度向上施策の実施も可能です。また、情報セキュリティに配慮し、生成AIを安全に利用するためのサポートや知識・技術習得のための研修などもできます。適切な生成AI環境のカスタマイズをトータルでサポートいたしますので、RAGの構築をご検討中の方は、NTT東日本にご相談ください。

NTT東日本の生成AIサービスの詳細はこちら！

6. まとめ

RAGの精度向上は、データのクレンジングや構造化、KPIの設定、フィードバックによる改善などを通じて実現できます。まずは小規模なPoCから始め、自社に合った運用体制を構築することが重要です。生成AIやRAGの導入をお考えの方は、ぜひNTT東日本にお任せください！