2023.0501
まとめ
|
まず、研修アンケートの議論の前提として以下4点を整理しておきましょう。
ひとつ目は研修効果測定の議論がもつバイアスです。多くの場合、研修は経営幹部の意向を踏まえ、本社スタッフによって企画実施されます。
「学習プログラムがうまく機能していないことがわかって得をする関係者はほとんどいない」 – シュロモ・ベンハー『企業内学習入門』2014年 |
したがって、上記のベンハーの指摘のように「研修が失敗したとわかって得をする人」は誰もいません。つまり、最初から「研修はうまくいった、成功した」と報告をすることが暗黙の裡に求められているのです。
前提のふたつ目として、研修アンケートの目的を確認しておきましょう。
図表1はThalheimerがあげている研修アンケートの目的ですが、「人材開発部の存在意義を示す」といった1990年代的な内容ではありません。最近の研修効果測定の目的は、二番目のような「職場での活用を支援する」、つまり職場のパフォーマンス改善に重点が移っています。
前提の3つ目は、「研修アンケートは研修効果を示す先行指標になるのか?」ということです。
結論から先に言うと、研修アンケートの項目内容により、研修効果の先行指標として使えるものと使えないものがあります。使えそうなものでもそれほど強力な先行指標とは言えません。Thalheimerが初版から主張していることですが、カークパトリックの旧4レベルで言われている研修満足度は、残念ながら研修効果の先行指標にはらないという学術的なメタ解析の結果があります。
前提の4つ目は、図表3の初版と第2版の「共通の考え方」にあるように、「完璧な研修効果測定のツール」はありませんし、「完璧な研修アンケートの質問文」もないということです。
それでは、Thalheimerは具体的にどのような主張をしているのか、概要をおさえていきましょう。
図表3のように、第2版はタイトルを変え、100ページくらいボリュームが増えて、研修アンケートの設計について全体像が明確になりました。さらに、研修アンケートの設計について何をどのように見直せばよいのか、60の質問例にもとづいて解説し、ものすごくわかりやすくなっています。
独断と偏見で思い切って著者の主張を要約すると、以下の3点になります。
①学術的な裏づけのない項目はやめる
②職場実践につながる4つのことを聞く
③5段階評価をやめ、Thalheimerの尺度を参考にする
それでは、この3点について順を追ってみていきましょう。尚、図表1~11は著者が独自に作成したものであり、原書にはありませんのであらかじめご了承ください。
Thalheimerは、「研修成果は学んだことを職場の実務に活用することにある」と定義しています。
したがって、研修成果の測定は「職場に戻った学習者が学んだことを実務に活用しているか」を観察したり、上司や同僚に聞いたりするのが最も適切です。そして、実務に活用しているのであれば、その結果、具体的な成果・業績の変化があるのかを確認すればよいわけです。
しかし、実際はそこまで時間をかけられないので、研修アンケートで代用するわけです。
図表4は、「研修アンケート」でネット検索して上位表示された5社のアンケート項目をまとめたものです。どれも見覚えのある項目でしょう。
Thalheimerは、図表4のように伝統的な研修アンケートの項目は「学習・研修の品質を重視した内容になっている」「アンケート結果から具体的な改善の打ち手がすぐにわからない」といった批判をしています。
さらに、「議論の前提の3つ目」でふれたように、カークパトリックの旧4レベルで言われている研修満足度は、研修効果の先行指標にはならないと指摘しています。その根拠のひとつとしてあげているのが図表5のSitzmannたちのメタ解析結果です。
図表5は2016年の小社コラムですでに紹介したものですが、解析結果をざっくりと言うと、次のようになります。
|
Thalheimerはこの結果から「研修直後の満足度(レベル1)と学習成果(レベル2)は関係ない」と主張しています。というのは、上記の図表5の「D研修後の学習成果」の相関係数(ρ:ロー)がいずれも0.15以下と低いからです。さらに、Alligerらの別のメタ解析結果(1997)では明確に無相関(r=0.09)という結果もあり、カークパトリックの「満足度が高ければ学習成果も高い」という前提は否定されていると主張しています。
ただし、論文の著者Sitzmannたちは、回帰分析の結果も踏まえると「満足度と学習は無関係とは言えない」という立場をとっています。ご関心のある方は以下の論文を参照してください。
以上のような学術的な知見を踏まえると、「研修満足度が高ければ、知識・スキルをよく習得し、職場に戻って実務に活用して成果・業績の改善が期待できる」といったバラ色のシナリオはないということです。
Thalheimerは、こうした学術的な知見の裏づけのない項目はやめるべきだと言っています。実際に、Qualcommのエグゼクティブレポートには「研修満足度」指標はなく、独自の人材開発指標を使っています。
図表4のような伝統的な研修アンケートの項目は、少なくとも「研修効果」ではなく、「研修品質」としてとらえるべきだと思います。しかし、本当に「良薬」であれば「研修満足度4.9」といった数字になるのがそもそも疑問ですが、それはさておき、「研修品質」は高くて当たり前なのです。
それでは、図表4のような伝統的な項目がダメだとすると、どのような研修アンケートを設計すればよいのでしょうか?
図表7はThalheimerが提案している「パフォーマンス重視のアンケート」の特徴を伝統的なアンケートと対比させてまとめたものです。
Thalheimerは、具体的な研修アンケート項目として、図表8のように「①学習内容の理解度、➁学習内容の記憶度、③職場での活用意欲、④職場でのフォロー状況」の4つをあげています。
この4つの要因は、トレーニングの効果性についての学術的な知見に基づいています。Thalheimerは、トレーニングの効果性を高める要因として、The Learning Maximizer、The Decisive Dozen、LTEMなどの独自モデルを考案しています。いずれも学習促進、記憶促進、活用促進にかかわる要因を整理しており、図表8の4つの要因につながる内容です。
ただし、この4つの要因を1回の研修アンケートで聞くのではなく、直後アンケートで①~③、事後アンケートでは④と2回に分けて聞くということです。
図表8の効果測定のところで「実務テスト」と書いているように、本来は「学習内容の理解度」「学習の記憶度」「職場での活用意欲」も職場に戻って「実務テスト」をすればすぐにわかります。
その「実務テスト」を実施する工数をなかなか取れないので、「A.直後アンケート」「B.事後アンケート」で代用するというわけです。
もう少し「A.直後アンケート」のイメージを確認しておきましょう。
たとえば、「学習内容の理解度」の質問では、まず大項目の「教えてもらった考え方をどの程度理解していると思いますか?」という質問に対し、「A.まだ少し混乱しているところが残っている」「C.教えてもらった考え方をしっかり理解している」「D.教えてもらった考え方を実務に使う準備が十分にできている」といった選択肢で回答します。
それに続いて、理解度が低いという場合、その原因がすぐにわかるように掘り下げる質問が続きます。たとえば、「新しい考え方を理解しやすいようにどの程度準備が整っていましたか?」という質問に対し、設計の問題、説明の問題などの選択肢が用意されています。さらに、別の質問で受講者本人の問題か、講師の問題かをたどっていくのです。
この構造であれば、何が原因で理解度が低くなっているのかすぐにわかるので、改善策がすぐに打てるわけです。図表8でいうと、ひとつ前のフェーズに戻って状況を確認する内容が含まれているのです。
こうして、「大項目の質問→さらに原因を確認する下位質問」という構造で「理解度」に関連する質問だけで5つの質問が例示されています。「記憶度」「職場の活用意欲」についても同様です。
「B.事後アンケート」ではひとつ前の研修転移の取り組みがどうだったのか、リマインドツール、ジョブエイド、職場の上司など、何が十分で何が不十分なのかがわかる4つの質問があります。
Thalheimerの第2版の魅力は、こうしたロジックの通った体系的な質問例が初版から倍増しており、練習問題を含めて60項目あることです。ぜひ、原書を手に取って、ロジック構成をたどりながら質問と選択肢を一つひとつ吟味して確認されることをお勧めします。
Thalheimerが提案するパフォーマンス重視の研修アンケートの真骨頂は、こうしたロジックの通った質問構成もさることながら、すでにお気づきかもしれませんが、研修アンケートの回答選択肢にあります。
よくある研修アンケートの回答選択肢は図表9のような5段階評価だと思います。
Thalheimerは、こうした質問と5段階尺度について次のような批判をしています。
そこで、Thalheimerが提案しているのが図表10のような質問と回答選択肢です。
この質問と回答選択肢の特徴は3つあります。
ひとつ目は、この例は総合評価ですが、「学習したことをどの程度実務で実行できると思うか?」を聞いており、「研修成果=職場での活用」の筋が通っています。
ふたつ目は、5段階評価ではなく、A~Eの選択肢そのもので学習者のレベルの違いがわかるようにしていることです。「A今の役割では学習したことを実行できるとは思えない」から「E学習したことを実務でうまく使いこなすことができる」まで、選択肢をさっと読めば誰でもレベル感の違いがすぐにわかります。
3つ目は、右端の判定基準です。図表9の例で言えばA~Cは不合格、DEは合格というように研修設計の段階で経営幹部や関係者と先に合格基準を決めておきます。そうしておけば、研修後に「理解度、記憶度、職場での活用意欲」それぞれの「合格者は〇%」という数字が報告されると、関係者はその意味がすぐにわかるというわけです。
言うまでもありませんが、実際に学習者が回答するアンケートには図表10の判定基準の欄はなく、あくまでも設計者として判定基準を事前に決めておくということです。
以上、Thalheimerの主張している研修アンケートの3つのポイントをみてきましたが、少し言葉を足して整理しておきましょう。
|
Thalheimerの第2版では、その他にも魅力的な内容がいくつかあります。たとえば、5章 質問項目と回答選択肢がナッジ的な効果を生む、8章 オンライン研修等に特化した質問の例示、10章 カスタマイズするときの留意点、13章 集計結果報告の仕方など、初版ではなかった実務家への研修アンケート設計のヒントが幅広く解説されています。
こうしたThalheimerの提案はとても魅力的だと思いますが、実際にこの考え方を取り入れるとすると、いくつか気になることがありますので、次の3点だけ少し検討しておきましょう。
Thalheimerの最大の特徴である5段階評価をやめて、選択肢そのもので「レベル感」の違いを明確にするためには、原書を参考にして一からつくる必要があります。おそらく、何度か実際にやってみて微妙な言い回しの試行錯誤も発生するでしょう。しかし、これは授業料だと思って乗り越えるべきところだと思います。
Thalheimerの前提は米国の大手企業のイメージなので、研修設計者と研修評価者が違う人のような気がします。その結果、どうしても上流にさかのぼって原因を探る下位項目が必要になるのだと思います。
一方、日本企業の場合は、ひとりで設計と評価を担当する方が多いと思いますので、「理解度、記憶度、職場での活用意欲」の下位項目は設計段階で先にチェックできるはずです。したがって、「理解度、記憶度、職場での活用意欲」の大項目の質問だけに数は絞れるのではないかと思います。
とはいえ、各社の状況やお考えがあると思いますので、原書でまずは内容を確認してご判断いただければと思います。
これはやり方次第だと思います。面倒なのは2~4週間後の事後アンケートだと思いますが、これは質問を1~3問にして現場での負担感を減らすことだと思います。「研修成果=職場での活用」という定義に戻れば、2回目ははずせません。これも人材開発部が乗り越えるべき壁のひとつだと思います。
それでは今後研修アンケートをどのように考えたらよいのでしょうか?
先にも述べましたが、研修直後のアンケートは「研修品質」をみるものであり、研修効果ではありません。図表11で言えば品質指標のひとつです。ただし、アンケートの内容はThalheimerの提案する「理解度、記憶度、職場での活用意欲、職場でのフォローの状況」かもしれませんし、伝統的な指標かもしれません。それは各社の判断だと思います。
図表11にあるように、レベル2のテストも「研修品質」を見る品質指標のひとつです。今は「テスト作成は面倒なのでしていない」という企業が多いかもしれませんが、今後は設計段階で対話型AIにつくってもらうことも可能になるでしょう。
研修効果というのであれば、図表11の成果指標にあるようなレベル3「職場での活用度」「実務行動の変化」、レベル4「売上や先行指標などのKPI、成功事例」などをみるべきです。
そうするためには、研修実施後になって研修成果を考えるのでは遅すぎます。最初に経営幹部から研修の相談があったとき、研修を設計する段階で「何を研修効果としてみるのか?」「研修効果」を定義する必要があります。最初に「研修効果」を関係者と一緒に決めておけば、研修の前後で職場での実務行動やKPIの変化を確認するだけでよいのです。
ここまでThalheimerの研修アンケートの提案をみてきましたが、いかがだったでしょうか?
個人的には、こうした議論はどこか20世紀的な感じがあり、今後はあまり意味をなさなくなるのではないかという気がしています。
2019年のATDでは、研修転移で有名なオーストラリアのコンサルタント、Emma Weber(Lever社)と医薬Bayer社(豪州)によるチャットボットを活用した研修転移の事例発表がありました。
医薬Bayer社(豪州)は、営業マネジャーに学習したことを職場で実践して欲しかったので、人間に代わってチャットボットが3ヵ月、3回のフォローセッションを行う実験をしました。
その概要はこうです。研修の最後にオンライン上にスマホでアクションプランを作成し、職場に戻ります。2週間くらいするとコーチM(女性のアニメキャラ)が登場し、テキストベースで学習者とアクションプランの進捗についてチャットのやり取りをします。これを3回実施したというわけです。
結果は、予想外に学習者は感情移入したようで、平均で20分くらいチャットセッションを実施した営業マネジャーが多かったということです。
現在はさらに進んでいます。今後、Chat GPTなど、対話型のAIを使って学習やフォローをするようになれば、「理解度、記憶度、職場での実践の状況、実践したあとの成果、職場での上司や同僚の支援の様子など」、AIとの対話を通じてリアルタイムで確認できます。
そうなれば、「むかしは4レベルとか言って、研修アンケートをとっていたらしいよ」という会話をしているでしょう。そんな日が来るのは予想よりも早いかもしれません。
以上、貴社の人材開発部内の議論にお役に立てば幸いです
ヒューマンパフォーマンスはパフォーマンス・コンサルティングを実践します。
人にかかわる施策、人材開発と事業戦略の連動性を高め、業績向上に貢献することがテーマです。研修効果で悩んだことがある方には有効なフレームワークです。人材開発のあり方や研修の見直しを検討されている人材開発担当の方におすすめです。
お気軽にお問い合わせください。
鹿野 尚登 (しかの ひさと)
1998年にパフォーマンス・コンサルティングに出会い、25年以上になります。
パフォーマンス・コンサルティングは、日本企業の人事・人材開発のみなさまに必ずお役に立つと確信しています。
代表者プロフィール
代表ごあいさつはこちら