チャットボット導入における開発計画の監査

W社では，季節性のある製品を多く取りそろえているので，顧客から寄せられる問合せ数は，季節性のある製品では季節によって偏りがある。

現行CBでは，顧客が入力した曖昧な言葉に対応できず，FAQに回答が存在するにもかかわらず，問合せを解釈できずに回答が表示されないことや，誤った回答を表示することがある。顧客が現行CBの回答では不十分と感じた場合には，顧客からの要望で，コールセンターのオペレーターが代わって問合せ対応を実施している。

導入効果をモニタリングするために，顧客の入力テキスト，現行CBが表示した回答，現行CBの回答に対して“役立った”かどうかの結果などを，CB回答履歴として保存している。これらの情報を分析し，顧客から“役立った”という評価を得た割合（以下，回答満足率という）を効果測定の指標の一つにしている。

新製品については，発売に合わせて新規にFAQを知識ベースに登録している。今回のプロジェクト期間中にも，発売が予定されている新製品が複数ある。

現行CBを導入した際には，受入テストを顧客サービス部員が参加せずに開発担当者だけが実施したことから，新製品に関する問合せに対して適切に回答できないなど，本番移行後に混乱を招く問題点があった。

回答機能には，現行CBよりも改良した知識ベースを備えており，新CBにおいても新製品の発売に合わせてFAQを知識ベースに登録する。新CBでは，類似する言葉を整理して，言葉の関連度合いを格納している用語データベース（以下，類義語DBという）が備わっている。回答機能では，顧客の入力テキストを自然言語処理し，類義語DBと突き合わせることで，顧客の曖昧な言葉遣いに対してある程度問合せ対応可能であり，回答満足率の向上が期待できる。

新CBの類義語DBは，ベンダーからの納入時には一般的な語句だけに対応している。W社製品に関する語句などを類義語DBに反映するには，二つの方法がある。一つ目は，手作業入力データを基に学習機能に備わる手作業入力機能によって，類義語DBを整備する方法である。二つ目は，現行CBのCB回答履歴から抽出した文章を自然言語処理によって品詞別に分解し，AIモデルによって機械学習することで類義語DBを整備する方法である。

PoCでは，機械学習によって類義語DBを整備する際のサーバ処理に想定以上の時間を要していた。

PoCにおける機械学習による類義語DBの整備では，現行CBのCB回答履歴から6か月分を学習用データ及びテスト用データとして，ランダムに抽出した。また，回答満足率を指標にして，効果の目標レベルを定め，新CBの有効性を判断している。

新CBでは，設計において，追加の機械学習によって類義語DBの精度を高め，回答満足率を上げる想定である。設計後においても，本番運用向けの類義語DBの学習では，再学習を実施する。