2023.0501

まとめ

図表１はThalheimerがあげている研修アンケートの目的ですが、「人材開発部の存在意義を示す」といった1990年代的な内容ではありません。最近の研修効果測定の目的は、二番目のような「職場での活用を支援する」、つまり職場のパフォーマンス改善に重点が移っています。

前提の３つ目は、「研修アンケートは研修効果を示す先行指標になるのか？」ということです。

結論から先に言うと、研修アンケートの項目内容により、研修効果の先行指標として使えるものと使えないものがあります。使えそうなものでもそれほど強力な先行指標とは言えません。Thalheimerが初版から主張していることですが、カークパトリックの旧4レベルで言われている研修満足度は、残念ながら研修効果の先行指標にはらないという学術的なメタ解析の結果があります。

• A Meta-Analysis of the Relations among Training Criteria (1997)
• A Review and Meta-Analysis of the Nomological Network of Trainee Reactions（2008）

前提の４つ目は、図表３の初版と第2版の「共通の考え方」にあるように、「完璧な研修効果測定のツール」はありませんし、「完璧な研修アンケートの質問文」もないということです。

それでは、Thalheimerは具体的にどのような主張をしているのか、概要をおさえていきましょう。

図表３のように、第2版はタイトルを変え、100ページくらいボリュームが増えて、研修アンケートの設計について全体像が明確になりました。さらに、研修アンケートの設計について何をどのように見直せばよいのか、60の質問例にもとづいて解説し、ものすごくわかりやすくなっています。

独断と偏見で思い切って著者の主張を要約すると、以下の3点になります。

①学術的な裏づけのない項目はやめる

②職場実践につながる４つのことを聞く

③５段階評価をやめ、Thalheimerの尺度を参考にする

それでは、この3点について順を追ってみていきましょう。尚、図表1～11は著者が独自に作成したものであり、原書にはありませんのであらかじめご了承ください。

Thalheimerは、図表４のように伝統的な研修アンケートの項目は「学習・研修の品質を重視した内容になっている」「アンケート結果から具体的な改善の打ち手がすぐにわからない」といった批判をしています。

さらに、「議論の前提の３つ目」でふれたように、カークパトリックの旧4レベルで言われている研修満足度は、研修効果の先行指標にはならないと指摘しています。その根拠のひとつとしてあげているのが図表５のSitzmannたちのメタ解析結果です。

図表５は2016年の小社コラムですでに紹介したものですが、解析結果をざっくりと言うと、次のようになります。

Thalheimerはこの結果から「研修直後の満足度（レベル1）と学習成果（レベル2）は関係ない」と主張しています。というのは、上記の図表５の「D研修後の学習成果」の相関係数（ρ：ロー）がいずれも0.15以下と低いからです。さらに、Alligerらの別のメタ解析結果（1997）では明確に無相関（r=0.09）という結果もあり、カークパトリックの「満足度が高ければ学習成果も高い」という前提は否定されていると主張しています。

ただし、論文の著者Sitzmannたちは、回帰分析の結果も踏まえると「満足度と学習は無関係とは言えない」という立場をとっています。ご関心のある方は以下の論文を参照してください。

•  Alliger, G. M., Tannenbaum, S. I., Bennett Jr, W., Traver, H., & Shotland, A. (1997). A meta-analysis of the relations among training criteria.
• Sitzmann, T., Brown, K. G., Casper, W. J., Ely, K., & Zimmerman, R. D. (2008). A review and meta-analysis of the nomological network of trainee reactions.

以上のような学術的な知見を踏まえると、「研修満足度が高ければ、知識・スキルをよく習得し、職場に戻って実務に活用して成果・業績の改善が期待できる」といったバラ色のシナリオはないということです。

Thalheimerは、こうした学術的な知見の裏づけのない項目はやめるべきだと言っています。実際に、Qualcommのエグゼクティブレポートには「研修満足度」指標はなく、独自の人材開発指標を使っています。

図表４のような伝統的な研修アンケートの項目は、少なくとも「研修効果」ではなく、「研修品質」としてとらえるべきだと思います。しかし、本当に「良薬」であれば「研修満足度4.9」といった数字になるのがそもそも疑問ですが、それはさておき、「研修品質」は高くて当たり前なのです。

この質問と回答選択肢の特徴は3つあります。

ひとつ目は、この例は総合評価ですが、「学習したことをどの程度実務で実行できると思うか？」を聞いており、「研修成果＝職場での活用」の筋が通っています。

ふたつ目は、5段階評価ではなく、A~Eの選択肢そのもので学習者のレベルの違いがわかるようにしていることです。「A今の役割では学習したことを実行できるとは思えない」から「E学習したことを実務でうまく使いこなすことができる」まで、選択肢をさっと読めば誰でもレベル感の違いがすぐにわかります。

3つ目は、右端の判定基準です。図表９の例で言えばA~Cは不合格、DEは合格というように研修設計の段階で経営幹部や関係者と先に合格基準を決めておきます。そうしておけば、研修後に「理解度、記憶度、職場での活用意欲」それぞれの「合格者は〇％」という数字が報告されると、関係者はその意味がすぐにわかるというわけです。

言うまでもありませんが、実際に学習者が回答するアンケートには図表10の判定基準の欄はなく、あくまでも設計者として判定基準を事前に決めておくということです。

以上、Thalheimerの主張している研修アンケートの３つのポイントをみてきましたが、少し言葉を足して整理しておきましょう。

Thalheimerの第2版では、その他にも魅力的な内容がいくつかあります。たとえば、5章 質問項目と回答選択肢がナッジ的な効果を生む、8章 オンライン研修等に特化した質問の例示、10章 カスタマイズするときの留意点、13章 集計結果報告の仕方など、初版ではなかった実務家への研修アンケート設計のヒントが幅広く解説されています。

こうしたThalheimerの提案はとても魅力的だと思いますが、実際にこの考え方を取り入れるとすると、いくつか気になることがありますので、次の3点だけ少し検討しておきましょう。

•  アンケート項目の選択肢設計に時間がとられるのでは？

Thalheimerの最大の特徴である5段階評価をやめて、選択肢そのもので「レベル感」の違いを明確にするためには、原書を参考にして一からつくる必要があります。おそらく、何度か実際にやってみて微妙な言い回しの試行錯誤も発生するでしょう。しかし、これは授業料だと思って乗り越えるべきところだと思います。

•  アンケート項目が多くなりすぎるのでは？

Thalheimerの前提は米国の大手企業のイメージなので、研修設計者と研修評価者が違う人のような気がします。その結果、どうしても上流にさかのぼって原因を探る下位項目が必要になるのだと思います。

一方、日本企業の場合は、ひとりで設計と評価を担当する方が多いと思いますので、「理解度、記憶度、職場での活用意欲」の下位項目は設計段階で先にチェックできるはずです。したがって、「理解度、記憶度、職場での活用意欲」の大項目の質問だけに数は絞れるのではないかと思います。

とはいえ、各社の状況やお考えがあると思いますので、原書でまずは内容を確認してご判断いただければと思います。

• 研修直後と事後の2回は工数がとられ、受講者にも不評になるのでは？

これはやり方次第だと思います。面倒なのは2～4週間後の事後アンケートだと思いますが、これは質問を１～3問にして現場での負担感を減らすことだと思います。「研修成果＝職場での活用」という定義に戻れば、2回目ははずせません。これも人材開発部が乗り越えるべき壁のひとつだと思います。

図表11にあるように、レベル２のテストも「研修品質」を見る品質指標のひとつです。今は「テスト作成は面倒なのでしていない」という企業が多いかもしれませんが、今後は設計段階で対話型AIにつくってもらうことも可能になるでしょう。

研修効果というのであれば、図表11の成果指標にあるようなレベル３「職場での活用度」「実務行動の変化」、レベル４「売上や先行指標などのKPI、成功事例」などをみるべきです。

そうするためには、研修実施後になって研修成果を考えるのでは遅すぎます。最初に経営幹部から研修の相談があったとき、研修を設計する段階で「何を研修効果としてみるのか？」「研修効果」を定義する必要があります。最初に「研修効果」を関係者と一緒に決めておけば、研修の前後で職場での実務行動やKPIの変化を確認するだけでよいのです。

ここまでThalheimerの研修アンケートの提案をみてきましたが、いかがだったでしょうか？

個人的には、こうした議論はどこか20世紀的な感じがあり、今後はあまり意味をなさなくなるのではないかという気がしています。

2019年のATDでは、研修転移で有名なオーストラリアのコンサルタント、Emma Weber（Lever社）と医薬Bayer社（豪州）によるチャットボットを活用した研修転移の事例発表がありました。

医薬Bayer社（豪州）は、営業マネジャーに学習したことを職場で実践して欲しかったので、人間に代わってチャットボットが3ヵ月、3回のフォローセッションを行う実験をしました。

その概要はこうです。研修の最後にオンライン上にスマホでアクションプランを作成し、職場に戻ります。2週間くらいするとコーチＭ（女性のアニメキャラ）が登場し、テキストベースで学習者とアクションプランの進捗についてチャットのやり取りをします。これを３回実施したというわけです。

結果は、予想外に学習者は感情移入したようで、平均で20分くらいチャットセッションを実施した営業マネジャーが多かったということです。

現在はさらに進んでいます。今後、Chat GPTなど、対話型のAIを使って学習やフォローをするようになれば、「理解度、記憶度、職場での実践の状況、実践したあとの成果、職場での上司や同僚の支援の様子など」、AIとの対話を通じてリアルタイムで確認できます。

そうなれば、「むかしは4レベルとか言って、研修アンケートをとっていたらしいよ」という会話をしているでしょう。そんな日が来るのは予想よりも早いかもしれません。

以上、貴社の人材開発部内の議論にお役に立てば幸いです