COLUMN

1. Amazon Bedrock Guardrails とは

1-1. Amazon Bedrockとは

Amazon Bedrockは、生成AI（Generative AI）アプリケーションを簡単に作成できるAWSのサービスです。APIを通じて基盤モデルを利用し、さまざまなAI機能を構築できます。

このサービスは2023年9月28日から提供され、東京リージョンでは2023年10月3日から利用可能となりました。利用者は、目的に応じた基盤モデルから選択でき、多言語対応やテキストから画像生成が可能なモデルもあります。

Amazon Bedrockを使うことで、ブログの執筆や長文の要約、画像やアニメーションの生成が簡単にできるようになります。さらに、このサービスはサーバーレスであるため、インフラの管理が不要となり、業務の効率化も期待できます。

Amazon Bedrockの詳しい内容を知りたい方は、以下の記事を参考にしてください。

1-2. Amazon Bedrock Guardrailsとは

Amazon Bedrock Guardrailsは、AIが生成するコンテンツの安全性や適切さを確保するため責任あるAIポリシーに基づいて、ユースケース毎にカスタマイズされた保護手段を実装できる機能です。

AIが生成するテキストは、時には不適切なコンテンツや誤情報を生成するリスクがありますが、Amazon Bedrock Guardrailsを使用することで特定のコンテンツ、トピック、単語、機密情報をフィルタリングする事ができ安全に生成AIを使用する事ができます。

これにより、ユーザーはより安心してAIの生成テキストを利用することができ、企業は法的リスクを低減することが可能です。

参照：

[アップデート] 有害・危険なコンテンツをブロックする「Guardrails for Amazon Bedrock」がGAになりました！

Guardrails for Amazon Bedrock は、ハルシネーションを検出し、カスタムまたはサードパーティーの FM を使用して構築されたアプリケーションを保護できるようになりました

生成AIを活用したIVRソリューションに関するお問い合わせはこちら！

2. Amazon Bedrock Guardrails のコンポーネント

Amazon Bedrock Guardrailsは複数のフィルタリング機能を提供しており、特定の内容を制限したり、情報漏洩を防ぐことができます。主なコンポーネントについて簡単に解説します。

2-1. コンテンツフィルター (Content filters)

コンテンツフィルターは、有害な入力を検出してフィルタリングし、応答をモデル化できます。しきい値を設定して、ユースケースに基づいてフィルタリングの度合いを調整し、使用ポリシーに違反するコンテンツをブロックできます。

例えば、暴力的な表現、差別的な言葉、ポルノグラフィーに関連する内容など、不適切なコンテンツを検出してブロックします。これにより、安心してAIの生成結果を使用でき、ユーザーエクスペリエンスも向上します。

2-2. 拒否されたトピック (Denied topics)

拒否されたトピックは、特定のトピックやテーマが出力されることを防ぐためのフィルターです。これにより、予め定義されたテーマに関連する出力が回避されます。例えば、政治的な意見や特定の社会的問題について発言することを避けたい場合、このフィルターを設定することで、そういったトピックが自動的に除外されます。

2-3. ワードフィルター (Word filters)

ワードフィルターは、特定の単語やフレーズがAIの出力に含まれることを防ぐ機能です。この機能を使うことで、攻撃的な言葉や企業のポリシーに反する表現が出力されないようにすることができます。フィルタリングする単語リストを定義するだけで、生成されるテキストをより安全で適切なものに保つことが可能です。

2-4. 機微情報フィルター (Sensitive information filters)

機微情報フィルターは、個人情報や機密情報がAIの生成したテキストに含まれていないかを確認します。たとえば、個人の名前や住所、クレジットカード番号などのセンシティブな情報が含まれないようにフィルタリングします。これにより、情報漏洩のリスクが大幅に軽減され、プライバシーの保護が強化されます。

生成AIを活用したIVRソリューションに関するお問い合わせはこちら！

3. ハルシネーション検出機能とは

3-1. ハルシネーションとは

ハルシネーション（Hallucination）とは、AIモデルが誤った情報や事実に基づかない内容を生成してしまう現象のことを指します。大規模言語モデルでは、入力された情報が曖昧な場合や、モデルが持っている知識が不完全な場合に、信ぴょう性のない回答を出力することがあります。

例えば、存在しないデータを参照したり、事実と異なる情報を生成したりするケースがハルシネーションです。この現象は、誤解や混乱を引き起こす可能性があるため、AIを利用する際には特に注意が必要です。

具体例を挙げると、AIに「日本の初代総理大臣は誰ですか？」と聞いたとき、本来は「伊藤博文」と答えるべきところを、AIが間違って「坂本龍馬」など全く無関係な人物を答えてしまう場合です。このように、AIが事実とは異なる、根拠のない情報を作り出す現象を「ハルシネーション」と呼びます。

3-2. ハルシネーション検出機能の利用例

ハルシネーション検出機能は、特に以下のようなシーンで有効です。

顧客対応やサポートチャット

AIが顧客からの質問に基づいて正確な回答を提供する必要がある場面では、ハルシネーション検出機能が役立ちます。例えば、製品情報やFAQをもとに回答する際、参照データに基づかない誤った情報が提供されないようにします。

医療や法律など、正確性が求められる分野

医療や法律のアドバイスをAIに依頼する場合、誤った情報が致命的な結果を招く可能性があります。ハルシネーション検出機能を使って、信頼できるデータに基づいていない回答をフィルタリングすることで、正確な情報を提供できます。

レポート作成やデータ分析の補助

AIを用いてレポートや分析結果を生成する場合、参照データと一致しない回答が混ざらないようにするために、ハルシネーション検出を使います。特に、数値データや統計情報に基づいた回答が必要な場面で有効です。

生成AIを活用したIVRソリューションに関するお問い合わせはこちら！

4. Amazon Bedrock Guardrailsのハルシネーション検出機能を試してみた

4-1. ハルシネーション検出機能の有効化

今回はマネジメントコンソールで新規のガードレールを作成する中で、Amazon Bedrock Guardrailsのハルシネーション検出機能を有効化する手順について説明します。

Amazon Bedrockコンソールの左ペインから「ガードレール」を押下し、「ガードレールを作成」を押下します。

ガードレールの「名前」を設定します。

「ブロックされたプロンプトのメッセージ表示」ではブロックされたプロンプトのメッセージを設定することができます。※今回はデフォルトとします。

「次へ」を押下します。

ここではコンテンツフィルターの設定をします。

「プロンプトのフィルター強度」と「応答のフィルター強度」の２つを設定できますが、今回はハルシネーション検出機能の動作確認を目的としているためどちらも無効とします。

「次へ」を押下します。

「拒否されたトピックを追加」では拒否されたトピックを設定することで、ユーザー入力をブロックしたり、トピックに関連する応答をモデル化することが可能です。

「ワードフィルター」を設定することで、ユーザー入力およびモデルの応答内の特定の単語やフレーズをブロックすることが可能です。

「次へ」を押下します。

「機微情報フィルター」を設定することで、個人情報や機密情報がAIの生成したテキストに含まれていないかを確認することができます。

「次へ」を押下します。

Amazon Bedrock Guardrailsでは、AIの不正確な回答や質問に無関係な回答を検出・除外するために、contextual grounding check（コンテキストに基づくチェック）を設定できます。これは、AIが参照すべきデータに基づかない誤った回答（ハルシネーション）を防ぐための仕組みです。

以下の2つのフィルターを設定することが可能です。

グラウンディング (Grounding)

Content（AIの回答）が、Grounding source（参照ソース）にどれだけ関連しているかを評価します。回答が参照データに基づいていない場合、この基準に該当します。

しきい値（スコア）を高く設定すると、関連性が低い回答をブロックする頻度が増えます。

関連性 (Relevance)

Content（AIの回答）が、Query（ユーザーの質問）とどれだけ関連しているかを評価します。質問の意図に沿っていない回答は、この基準に該当します。

こちらも、しきい値を高く設定すると、関連性が低い回答がより多くブロックされます。

このガードレールは、Query（質問）、Grounding source（参照データ）、Content（回答）という3つの要素をもとに動作します。設定したフィルター基準に基づき、それぞれの要素の関連性が信頼スコア（0~0.99）として計算されます。スコアが高いほど、2つの要素が高い関連性を持つと判断されます。

もし信頼スコアがユーザーが設定したしきい値を下回った場合、その回答は関連性が低いと見なされ、ハルシネーションとして検出されます。

詳細はこちらの公式ドキュメントをご参照ください。

コンテキストに基づくグラウンドチェックを使用してレスポンスの幻覚をフィルタリングする

今回は閾値をグラウディング・関連性ともにデフォルトの0.7で設定してみました。

「次へ」を押下します。

確認画面が表示されますので、確認の上「ガードレールを作成」を押下します。

これでハルシネーション検出機能が有効化されたガードレールを作成できました。

それでは動作確認をしていきましょう。

4-2. 動作確認

ハルシネーション検出機能を有効化した後、実際に動作確認を行います。まず、Amazon BedrockのAIモデルを使っていくつかの質問を投げかけ、AIが生成した回答を確認します。この際、意図的に曖昧な質問や不完全なデータを入力し、AIがどのように反応するかをテストします。

今回は作成したガードレールのテスト機能で動作確認を行います。

モデルはAnthropicのClaude Instant v1.2を使用します。

公式ドキュメントにあった以下の例を入力して実行してみました。

Reference source

• 当座預金口座の開設には料金はかかりません。
• 当座預金口座の維持にかかる月額料金は 10 USD です。
• 国際転送には 1% のトランザクション料金がかかります。
• 国内転送には料金はかかりません。
• クレジットカード請求の遅延支払いに関連する料金は 23.99% です。

プロンプト

当座預金口座に関連する手数料はいくらですか？

上記を入力し実行したところグラウディング・関連性の両者とも閾値の0.7を上回り合格しました。

次に閾値を高めた際にどのような動きになるかを検証していきます。

グラウディング・関連性ともに閾値を0.9にしてみました。

先ほどと同じ質問をしてみます。

閾値の0.9を下回ったため失敗となり、最終応答は先ほど定義した文言が表示されました。

生成AIを活用したIVRソリューションに関するお問い合わせはこちら！

5. まとめ

今回はAWS初学者の方に向けてAmazon Bedrock Guardrailsのハルシネーション検出機能を有効化するための設定手順と、試してみた結果を解説しました。

AIを活用したアプリケーションの精度向上やコンプライアンス確保のため、Amazon Bedrock Guardrailsの導入を検討してみてはいかがでしょうか。

NTT東日本はAmazon Bedrock を活用し、日々の電話業務を効率化するソリューションをご提供しております、詳細はこちらをご覧ください。