COLUMN

Amazon Connect Contact Lensによるパフォーマンス評価機能を検証してみた

本コラムではAmazon Connect Contact Lensの評価フォーム機能の紹介とフォームの作成方法と簡単な検証を行った結果を考察しています。

1. Amazon Connectの概要

1-1. Amazon Connectについて

Amazon Connectは、Amazon Web Services (AWS) が提供するクラウドコンタクトセンターサービスです。このサービスは、企業が顧客※1とのコミュニケーションを効率的に管理し、カスタマーサポートを強化するためのツールを提供します。また、音声認識やテキスト分析などのAI機能を活用することで、エージェント※2は顧客ニーズに合致したサービスを提供することが可能です。Amazon Connectは、低コストでスケーラブルなソリューションとして、多くの企業に採用されています。

※1 顧客:コンタクトセンターに電話をかけてこられるお客さま

※2 エージェント:コンタクトセンターで顧客対応を行う担当者

出典:Amazon Connect とは - Amazon Connect

Amazon Connectの開始方法や基本的な設定については以下のコラムをご覧ください。

社内コンタクトセンターをAmazon Connectへ クラウド移管するポイントを初心者がまとめてみた[計画編]

1-2. Amazon Connect Contact Lensについて

Amazon Connect Contact Lens(以下 Contact Lens)はAmazon Connectの機能の1つであり、上図の点線で囲われた機能に相当し、通話やチャットの分析機能を提供します。例えば、顧客の感情や意図を把握し、エージェントが適切に対応できるようにサポートします。また、通話やチャットの内容を自動で文字起こしし、保存することができます。これらの機能を運用に取り入れることにより、コンタクトセンターの運営者は、顧客のフィードバックやトーク内容のトレンドを効率的に分析し、サービスの改善やトレーニングの向上に役立てることができます。

Amazon Connect Contact Lensの開始方法や基本的な設定については以下のコラムをご覧ください。

Amazon Contact Lensで英語を始めとした多言語問い合わせ対応を検証してみた

1-3. 評価フォーム機能について

Contact Lensの評価フォーム機能は、コンタクトセンターの品質管理とエージェントのパフォーマンス向上を目的とした機能です。管理者は通話やチャットの内容について自動で文字起こしされたデータをもとに、エージェントのパフォーマンスを定量的に評価します。評価フォームはカスタマイズ可能で、企業ごとにコンタクトセンターのニーズに合わせた評価基準を設定することが可能です。また、評価結果はダッシュボードで視覚化することも可能であり、全体のパフォーマンス傾向や特定の問題点を迅速に把握することができます。これによりエージェントのモチベーション向上やスキルアップに寄与し、コンタクトセンター全体のサービス品質を向上させるための重要なツールといえます。

上図は通話ごとの詳細データです。青色の枠はContact Lensによる会話分析結果です。こちらには顧客とエージェントの感情分析や会話中の発話時間割合が示されています(画像上は途切れていますが、以降も詳細な会話分析結果が続きます)。オレンジ色の枠が評価フォームになります。エージェントが通話内容の評価を実施します。

Amazon Connectはさまざまな機能があり、設計をはじめから行うにはクラウドへの豊富な知識が必要です。

NTT東日本では、Amazon Connect導入運用支援を提供しています。NTT東日本のAmazon Connect導入運用支援について詳しく知りたい方はこちらをご覧ください。

2. 評価フォームの自動入力機能を検証

2-1. 検証内容

本コラムの検証はContact Lensの評価フォーム機能について焦点を当て、評価フォームの作成、評価の実施を実施します。また2024年9月にリリースされた評価フォームへの自動入力機能についても合わせて検証します。

検証の主な流れは、以下になります。

  1. Amazon Connectのコンタクトフローと評価フォームを作成
  2. 用意した2パターンのトークスクリプトを読み上げ、会話を分析
  3. 通話に対して評価フォームで評価を実施、自動入力機能を検証・考察

2-2. 評価の設計

検証時に設定したフォームの評価項目は以下になります。

1. セルフチェック項目
  1. お客さまの悩みを解決できたか
  2. 対応の改善点を挙げてください
  3. 自分の対応に点数をつけてください
2. AI自動入力項目
  1. お客さまの感情スコア
  2. 会話が途切れた時間の割合
  3. 会話を遮った回数

評価フォームには、ラジオボタンによる択一形式の項目や、数値を入力する項目、テキストによる自由記述欄などを設定することができます。セルフチェック項目は、エージェント自身が対応の評価を行う項目を設定しています。AI自動入力項目は、Contact Lensによる会話分析の結果を自動入力するように設定しています。

2-3. 評価フォームの作成手順

実際に上記の内容の評価フォームを作成する手順をご紹介します。

まずAWSのコンソールからAmazon Connect にログインし、下記のように進めます。

  1. サイドメニューから「評価フォーム」を選択
  2. 評価フォーム画面から「新しいフォームを作成」を選択
  3. 評価フォームの編集画面に遷移し、タイトルと項目を設定

セルフチェック項目を作成します。

  1. 質問のタイプは「1つの選択」を選択、回答は「はい」と「いいえ」を設定
  2. 質問のタイプは「テキストフィールド」を設定
  3. 質問のタイプは「数値」を選択、最小値は「1」、最大値は「5」を設定

次にAI自動入力項目を作成します。上記と一部異なる手順の部分を先に紹介します。

  1. 質問のタイトルを入力後、「オートメーション」タブをクリック、「Option 2」を選択
  2. プルダウンが現れ、Contact Lensの項目を適宜設定

※ Option 2の部分の注意書きを翻訳した内容は以下になります。

オプション 2: コンタクトメタデータ

推奨される状況: 質問が感情スコア、通話時間、保留回数などのコンタクトメタデータに基づいて回答できる場合

AI自動入力項目の質問はそれぞれ以下のように設定します。

  1. タイトルは「お客さまの感情スコア」、Contact Lensの項目は「顧客の全体的な感情スコア」を選択
  2. タイトルは「会話が途切れた時間の割合(%)」、Contact Lensの項目は「非通話の割合」を選択
  3. タイトルは「会話を遮った回数」、Contact Lensの項目は「中断の回数」を選択

以上の設定で、一度プレビューを確認してみましょう。以下のような表示が確認できます。

表示が確認できたら、「作成」を選択します。そのまま評価フォームを有効化します。

  1. 作成後、「有効化」をクリック
  2. 有効化された文言と、評価フォームがタイトルどおりに表示されていることを確認

以上で、評価フォームの作成は終了です。

NTT東日本では、Amazon Connect導入運用支援を提供しています。Amazon Connectの導入・運用にお悩みがある方は、ぜひお気軽にお問い合わせください。

2-4. 検証方法と結果

今回の検証はAmazon Connectを用いて会話を実際に行い、会話内容についてフォームで評価を実施します。検証の際に作成した、コンタクトフローの構成は以下になります。

評価に使用するデータは、顧客とエージェントの会話を想定した2パターンのトークスクリプトを用意しました。

パターン①は肯定的な感情で会話が終了するパターンです。顧客の問い合わせについてもきちんと回答が完了しています。

パターン②は否定的な感情で会話が終了するパターンです。顧客の問い合わせについては回答できていません。

このような対応をするエージェントはいないと思いますが、検証ということでご容赦ください。

上記2つの会話について評価フォームで評価を実施します。評価の手順を紹介します。

  1. サイドメニューから「分析と最適化」>「コンタクトの検索」を選択
  2. 評価を行いたいコンタクトIDを選択
  3. 右上の「評価」を選択し、作成した評価フォームを選択、「評価を開始」する

編集可能な評価フォームが以下のように表示されます。本来は縦長につながって表示されますが、表示の都合上分割しています。

※画像はパターン②の内容です。

  1. セルフチェック項目は手動でも回答可能ですが、「AIにたずねる」というオプションも選択可能です
  2. AIによる自動入力を設定したセクションについては、既に数値が入力されていることがわかります

エージェントはフォーム回答欄に評価入力後、保存または送信を行います。

  1. 評価完了後、右下の「送信」を選択します。※回答の修正は可能です
  2. 評価を中断する際には「保存」を選択することで進行中にフォームが分類されます
  3. 送信後のフォームは完了済みに分類されます

2-5. 検証の考察

考察では2つのトークスクリプトパターンについて、AIによる評価フォーム自動入力機能がどのような挙動かを確認しました。

1点目は、「お客さまの悩みを解決できたか?」という質問について、AIによる回答抽出結果を比較します。

  1. パターン①のスクリプトについての結果です。AIによる回答は「はい」となり、回答理由と具体的な会話内容を引用しています。どれも妥当性のある内容でした
  2. パターン②のスクリプトについての結果です。AIによる回答は「いいえ」となり、こちらは回答理由の部分が英語で出力されています。回答理由の内容は顧客の質問に明確な情報を提示できていない旨が書かれています。その下の具体的な会話内容は日本語で抽出されています

1.2とも回答・回答理由・具体的な会話内容について、正確な抽出が実現できていることが確認できました。懸念としては、出力に他言語(英語)が混在する点が挙げられます。

2点目は、「改善点を挙げてください」という質問について、AIによる回答抽出結果を比較します。

  1. パターン①のスクリプトについての結果です。AIによる回答は「N/A」となり、回答に該当する項目がない場合に使用されます
  2. パターン②のスクリプトについての結果です。AIによる回答は「価格とオプションの説明が不足していた」となり、AIによる課題の抽出が確認されました。こちらも回答に回答理由と該当する具体的な会話内容が示されています

1についてはチケットの質問について会話スクリプト中にチケットの価格に関する情報が含まれているので、質問に漏れなく回答しており不足がないと判定され、N/A(存在しない)が回答されたと考えることができます。回答が存在しない場合でもAIが架空の答えを作成する(ハルシネーション)が起きず、うまく回答ができています。

また、2については会話スクリプト中に含まれていない「価格」に関する情報が改善点として挙げられていることが確認できます。こちらも妥当な結果となりました。一方で、「オプション」への回答を追加する示唆が含まれています。こちらは問い合わせには含まれない内容であるため、ハルシネーションに該当します。よって運用時には顧客が本当にその内容に言及したかどうかは、実際のスクリプトを確認してダブルチェックを行う必要性も考えられるでしょう。

3. Amazon Connectの導入ならNTT東日本にお任せください

Amazon Connectの導入をお考えでしたら、まずはNTT東日本にご相談ください。

NTT東日本では、Amazon Connect導入運用支援を提供しています。

NTT東日本のAmazon Connect導入運用支援について詳しく知りたい方はこちらをご覧ください。

Amazon Connectの導入・運用にお悩みがある方は、ぜひお気軽にお問い合わせください。

4. まとめ

本コラムではAmazon Connect Contact Lensの評価フォーム機能について、フォームの作成と評価方法を紹介しました。また、2つのパターンのトークスクリプトの下で、評価フォームの自動入力機能について検証した結果を考察しました。Contact LensのAIによる自動入力機能は、おそらくコンタクトセンター向けにチューニングされており、存在しない回答を生成してしまう現象への対策なども施されています。一方で、テキストボックスへの自動入力などは回答の自由度が高く、ハルシネーションを起こすリスクも高いと想定されます。そのため評価項目の重要性次第ではAIの回答の根拠を確認するような運用も選択肢に含まれるでしょう。

本コラムがAmazon Connect をお手元で試す際に参考になれば幸いです。

ページ上部へ戻る

無料ダウンロード

自社のクラウド導入に必要な知識、ポイントを
このに総まとめ!

あなたはクラウド化の
何の情報を知りたいですか?

  • そもそも自社は本当にクラウド化すべき?オンプレとクラウドの違いは?
  • 【AWS・Azure・Google Cloud】
    どれが自社に最もマッチするの?
  • 情シス担当者の負荷を減らしてコストを軽減するクラウド化のポイントは?
  • 自社のクラウド導入を実現するまでの具体的な流れ・検討する順番は?

初めての自社クラウド導入、
わからないことが多く困ってしまいますよね。

NTT東日本では
そんなあなたにクラウド導入に必要な情報を

1冊の冊子にまとめました!

クラウド化のポイントを知らずに導入を進めると、以下のような事になってしまうことも・・・

  • システムインフラの維持にかかるトータルコストがあまり変わらない。。
  • 情シス担当者の負担が減らない。。
  • セキュリティ性・速度など、クラウド期待する効果を十分に享受できない。。
理想的なクラウド環境を実現するためにも、
最低限の4つのポイントを
抑えておきたいところです。
  • そもそも”クラウド化”とは?
    その本質的なメリット・デメリット
  • 自社にとって
    最適なクラウド環境構築のポイント
  • コストを抑えるため
    具体的なコツ
  • 既存環境からスムーズにクラウド化
    実現するためのロードマップ

など、この1冊だけで自社のクラウド化のポイントが簡単に理解できます。
またNTT東日本でクラウド化を実現し
問題を解決した事例や、
導入サポートサービスも掲載しているので、
ぜひダウンロードして読んでみてください。

クラウドのわからない・
面倒でお困りのあなたへ

クラウドのご相談できます!
無料オンライン相談窓口

NTT東日本なら貴社のクラウド導入設計から
ネットワーク環境構築・セキュリティ・運用まで
”ワンストップ支援”が可能です!

NTT東日本が選ばれる5つの理由

  • クラウド導入を
    0からワンストップでサポート可能!
  • 全体最適におけるコスト効率・業務効率の改善
    中立的にご提案
  • クラウド環境に問題がないか、
    第3者目線でチェック
    してもらいたい
  • 安心の24時間・365日の対応・保守
  • NTT東日本が保有する豊富なサービスの組み合わせで
    ”課題解決”と”コスト軽減”を両立

特に以下に当てはまる方はお気軽に
ご相談ください。

  • さまざまな種類やクラウド提供事業者があってどれが自社に適切かわからない
  • オンプレミスのままがよいのか、クラウド移行すべきなのか、迷っている
  • オンプレミスとクラウド移行した際のコスト比較を行いたい
  • AWSとAzure、どちらのクラウドが自社に適切かわからない
  • クラウド環境に問題がないか、第3者目線でチェックしてもらいたい
  • クラウド利用中、ネットワークの速度が遅くて業務に支障がでている

クラウドを熟知するプロが、クラウド導入におけるお客さまのLAN 環境や接続ネットワーク、
クラウドサービスまでトータルにお客さまのお悩みや課題の解決をサポートします。

相談無料!プロが中立的にアドバイスいたします

クラウド・AWS・Azureでお困りの方はお気軽にご相談ください。