多くの企業で年々負荷が高くなる新入社員研修
近年の新入社員研修では、採用の拡大に伴い受講者数が増加し、受講者間のITスキルのレベル差が拡大しています。学生時代に情報系を学習していないNon-IT人材の採用も拡大しており、研修期間中に発生する受講者からの質問の数が増えるだけでなく、質問の内容も多岐にわたるようになりました。
従来は研修を登壇する講師が受講者の質問対応を行っていましたが、質問のボリュームが増加することで、講師だけでは同時に多数の質問を回答できないことで質問待ちが発生します。そのため、受講者にとってはすぐに知りたい回答を得ることができないケースが増加しています。
新入社員研修の目的を達成するためには、不明点があったら自分で調べることができるように、「受講者自身で疑問点を解消できる仕組み」をより拡充する、「知識・スキルが定着できる仕組み」が必要となります。
質問回答の負荷を軽減するためにAI活用に着目
そこで、AIを活用することに着目し、受講者は疑問点を自身で調べて確認することで自律的に学習を進められる仕組みを構築できれば、多岐にわたる受講者の質問回答に対する講師の負荷を軽減することができるのではと考えました。
受講者の質問に対してAIが回答することで、受講者は自分自身で学習を進めることができ、講師に対する質問の数を減らし、負荷が軽減できることを目指します。
UnivTutor™の導入
Microsoft社の「Azure OpenAI Service」を活用して、受講者の質問を受け付け回答する自律的な学習支援ソリューション「UnivTutor™」の提供を2024年4月より開始しました。
UnivTutor™の導入
UnivTutor™を利用する 研修受講者は、ブラウザから専用のページにアクセスして利用することができます。
対象科目
・Javaプログラミング科目（現在提供中）
・IT基礎科目やオンボーディング科目など（2024年度中に提供予定）
利用可能なテンプレート
・テキストに関する質問
・演習問題に関する質問
・テスト問題に関する質問
生成AIの適用とUnivTutor™の利用イメージ
お客様が抱える人材育成における課題に対し、NTTデータグループ各社での実績をもとにした、高度なコンサルティングやピープルアナリティクスを提供します。
当社が強みとするテーマは、デジタル人材育成、リモートワーク環境でのエンゲージメント強化、IT人材のキャリア開発・リスキリング支援です。
豊富な事例とバックデータを活用しながら、お客様と一体となってプロジェクトを推進します。
質問項目の入力が完了したら、実行ボタンを押して質問を投稿します。ここで、Azure OpenAIに質問が投稿されます。受講者の操作は、「入力項目に従って項目を選択」することと「ソースコードやエラーメッセージの情報を入力」することだけです。
その後、「回答画面」では入力された質問項目に対してAzure OpenAIにより生成された回答が表示されます。（下の画像は、ソースコードのエラーに対する回答結果です。）
ChatGPTとの比較
UnivTutor™とChatGPTの性能を比較してみます。
研修に特化した内容であれば、UnivTutor™を使うことで簡易的にセキュアな環境でより高精度の回答を受け取ることができます。
特徴
1. 幅広い習熟度の受講者への自律的な学習を支援
よくある質問を分類してUnivTutor™で対応する質問カテゴリを整備しました。「演習の内容が分からない」、「演習の手順を教えてほしい」といった初学者が良く使う質問だけでなく、プログラミング科目であれば「ソースコードのデバッグをしてほしい」など、経験がある方も利用することができる質問カテゴリを準備しております。
2. 受講者が質問をしやすいテンプレート
初学者であっても簡単に質問ができるように、質問のテンプレートを用意しています。
質問を投稿する際には、そのテンプレートに従って項目を入力していきます。
3. 講師スキルに左右されない安定した品質を提供
誰でも一定の品質を担保した説明を受けることができ、研修の品質も安定します。
4. 学習効率の向上を支援
同時に多数の質問が発生しても回答することができるため、無駄な空き時間が発生せず、効率的に学習をすることができようになります。
5. 質問ログの解析による研修の改善に貢献
受講者の質問とその回答はすべて専用のデータベースに記録されます。質問の傾向を分析し、今後のカリキュラム内容や教材の改善に役立てることが可能になります。
6. セキュアな環境での対応
UnivTutor™は、弊社のクラウド研修環境サービスであるユニバクラウドとAzure OpenAI Serviceを利用しています。どちらも利用会社ごとのセキュア環境を用意して運用することが可能です。また、これらのサービス上には、受講者の情報は保持しておりません。これにより、受講者情報は安全に確保されます。
回答データの生成
ここでは、回答データを生成する仕組みを簡単に解説します。
RAGを採用
UnivTutorは、研修の受講者の質問に対して研修で扱う教材の範囲から回答するように設計をしています。そのため、研修で扱うテキストや演習などの教材のデータをドメイン知識として扱うRAG（Retrieval Augmented Generation/検索拡張生成）の方式を採用しました。
なお、2024年2024年1月のMicrosoftの『Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs』という論文でFine-Tuning に RAGが勝利したことが示されております。（要約した記事はこちら）
ドメイン知識の検索
UnivTutor™では、研修の教材を専用のストレージに保存しており、質問者がテンプレートで指定した範囲の教材データをプロンプトにドメイン知識として追加しています。テキストに関する質問であれば質問対象に書かれている範囲のテキストデータを、演習に対する質問であれば対象の問題や解答データをドメイン知識として扱うだけで、受講者が望む回答を表示することができます。
UnivTutor™で質問を投稿する際のテンプレートでは、質問の範囲は受講者が選択するため、どの教材のデータを使うべきか自動的に一意に定まります。そのため、AzureのCognitiveSearchや、Embeddingsのようなベクトルデータ化といった特別な処理や技術を使わずとも、データ選択は容易に実現可能です。
また、これらのドメイン知識はNTTデータユニバーシティが長年研修で培ってきた確かな内容であり、そのカリキュラムにおいて包括的な専門知識を有しているためドメイン知識として扱うことに申し分ありません。
プロンプト
投稿される質問内容によって生成される回答の範囲は、プロンプトの最適化により実現しています。例えば、「演習問題に関する質問」の「ヒントを教えてほしい」では、演習の解答は表示せずにヒントを表示する、「解答を解説してほしい」では、解答を表示するとともに解説も一緒に回答をするようにしています。
その他の質問についても、それぞれ相応の内容が表示されるようにプロンプトを最適化しています。
利用実績
2024年度NTTデータグループ新入社員研修のJavaプログラミング科目でUnivTutor™を導入しました。
新入社員研修では受講者の事前スキルに合わせてレベル別カリキュラムを採用しています。各レベルの受講者のうち、中間層である一般クラスの受講者が利用している割合が一番多い結果となりました。
質問の内容としては、演習と章テストに関する質問で全体の9割以上を占めた結果となりました。質問項目別にみると、演習と章テストに対する「解答を解説してほしい」が全体の約7割を占めています。
今後の展望
新入社員研修の目的を達成するために、不明点があったら自分で調べることができるように、受講者自身で疑問点を解消できる仕組みを提供するために、Microsoft社の「Azure OpenAI Service」を活用して、受講者の質問を受け付け回答する自律的な学習支援ソリューション「UnivTutor™」の提供をしました。
現在の「UnivTutor™」は、疑問点を解消できる仕組みとして用意をしています。NTTデータユニバーシティが提供するJavaプログラミング研修以外にも、教材データがあれば他のカリキュラムへの展開も比較的容易にしやすい設計であるため、他の研修でも本ソリューションを活用していく予定です。
また、今回の取り組みでは「受講者自身で疑問点を解消できる仕組み」を解消するための取り組みだったため、「知識・スキルが定着できる仕組み」も今後検討を進めていきます。
＊「UnivTutor」はNTTデータユニバーシティが現在商標登録中の名称です。
＊その他の商品名、会社名は、各社の商標または登録商標です。