パフォーマンス・コンサルティング

研修効果測定の4つの事例をみてみよう-2006~2021

研修効果測定の4つの事例をみてみよう-2006~2021

2022.0409

まとめ

  • 研修効果測定の具体的な事例はあまり目にしないので、次の4つの事例をみて研修効果測定のコツを考えてみたい

①旧4レベル-PacifiCorp停電管理の新システム切替訓練
②サクセスケースメソッド-Grundfos 営業スキル研修
③新4レベル-Emirates Airline対応品質向上とリレーションシップセリング研修
④TDRp:人材開発報告書の原則-Vanceの人材開発部門の月次報告

  • この4つの事例は、Kirkpatrick Sr.の旧4レベルの第2版(1998)の15事例、第3版(2006)の16事例、合計31事例(重複4あり)からひとつ、Brinkerhoffのサクセスケースメソッド3部作に含まれる8事例からひとつ、Kirkpatrick Jr.の新4レベル(2016)5事例からひとつを独断と偏見で選んだ。Vanceの例は研修単品の効果測定という視点ではなく、人材開発部門の運営に主眼があり、示唆に富むので4つ目の事例とした。
  • 結論としては、よい効果測定事例の共通の特徴は次の3点と言える。
  1. よい研修効果測定事例は、上流でラインと一緒に入念な分析を行い、事業が研修に求める成果指標や品質指標を最初に決めている
  2. よい研修効果測定事例は、上流で研修を設計するときに研修転移と効果測定も設計している
  3. 研修後、職場での実務にうまく活用(研修転移)させたあとで、効果を測定している

これを一行にまとめると次のようになる


よい効果測定=よいニーズ把握+よい設計+よい研修品質+よい研修転移

  • ひょっとすると、「研修直後のアンケートが高ければ何らかの研修効果がある」というのは、4レベルが発表されてから60年来の4レベルの都合のよい解釈であり、人材開発にかかわる人の願望なのかもしれない
  • 1990年代のような研修効果測定の方法論だけを切り出した単独の議論はもはや無意味になっていると思う。
1.よい研修効果測定の流れと特徴

研修効果測定の具体的な事例はあまり目にしないような気がしますので、次の4つの事例を参考に研修効果測定のコツを考えてみましょう

①旧4レベル-PacifiCorp停電管理の新システム切替訓練
②サクセスケースメソッド-Grundfos 営業スキル研修
③新4レベル-Emirates Airline対応品質向上とリレーションシップセリング研修
④TDRp:人材開発報告書の原則-Vanceの人材開発部門の月次報告例

図表1.研修効果測定の4つの事例

図表1の4つの事例は、Kirkpatrick Sr.の旧4レベルの第2版(1998)の15事例、第3版(2006)の16事例、合計31事例(重複4あり)からひとつ、Brinkerhoffのサクセスケースメソッド3部作に含まれる8事例からひとつ、Kirkpatrick Jr.の新4レベル(2016)5事例からひとつを独断と偏見で選んだものです。

4番目のVanceの事例は研修単品の効果測定という視点ではなく、人材開発部門の運営に主眼があり、示唆に富んでいますので4つ目の事例としました。

結論を先に言えば、図表2のように「よい効果測定事例の共通の特徴」は次の3点であり、これらは研修効果測定のコツだと思います。

  1. よい研修効果測定事例は、上流でラインと一緒に入念な分析を行い、事業が研修に求める成果指標や品質指標を最初に決めている
  2. よい研修効果測定事例は、上流で研修を設計するときに研修転移・効果測定も設計している
  3. 研修後、職場での実務にうまく活用(研修転移)させたあと、効果を測定している
図表2.よい研修効果測定の流れと特徴

事例をみていく前に、ここでの研修指標の定義を確認しておきます。ここでは図表3のように研修指標を3種類に分けています。Vanceの考え方を参考にしていますが、カークパトリックのレベル1(反応)、レベル2(学習)は研修成果ではなく「研修の品質」を示す指標と考えています。

そして、職場に戻ってからのレベル3(行動)、レベル4(成果)成果指標としています。ただし、Vanceはレベル3も品質指標としていますが、筆者は成果指標としています。

また、人材開発部門活動量や運営効率を示す指標を「運営指標」としています。最近は統合報告書で運営指標が取り上げられるケースが増えていますが、詳しくは事例4でみていきます。

図表3.3種類の研修指標例

それでは、順を追って事例を一つひとつみていきましょう。ただし、どの事例もスライド1枚に収まるように情報を絞って整理していますので、舌足らずのところがあります。また、図表9以外は独自に整理・加工したもので、原書にはまったくありません。予めご了承ください。

2.事例1.旧4レベル-PacifiCorp 停電管理の新システム切替訓練

まずは米国の電力会社PacifiCorp の停電管理の新システム切替訓練の事例です。

この事例のポイントは3つあります。ひとつ目は、図表4の「よいニーズ把握」で黄色のマーカーをつけたように、ラインの実務に詳しいSV(監督職)と人材開発が一緒になって完璧なタスク分析をしたことにあります。言い換えれば、新システムの実務でありそうなトラブル、難しいタスクなどをかなり綿密に定義したということです。

ふたつ目は「よい設計」で詳細なタスク分析の結果に基づき、「実務行動の学習目標」を設定したことです。つまり、新しい停電管理システムに切り替えたあと、オペレーターは実務行動として具体的に何ができるようになればよいのか、だれでもわかるように学習目標を設定したのです。

そして、この学習目標を達成するために「よい研修品質」のとおり、実務シミュレーションを実施しています。言わば、実務直結の訓練、実践にこだわったつくりにしたわけです。

図表4.PacifiCorp 停電管理の新システム切替訓練

3つ目のポイントは、「よい設計」でレベル2、レベル3のテストを開発していることです。インストラクショナルデザインの教科書どおりですが、最初に学習目標を達成できたかどうかをみる判定基準を決め、その基準に対応したテストをつくっています。この事例では「よい研修品質」にある「筆記テスト」と「実技テスト」をつくったということです。

この事例で注目すべき点は、「よい転移」にあるように、新システム切替当日に実際に停電が発生し、訓練どおりに対応してすぐに復旧したというところです。これだけで大成功と言えますが、「よい効果測定」として少し時間をおいてインタビュー(レベル3)しています。

ここで考えたいのは、この研修で学んだことを職場で実務にうまく活用できたことの意味です。おそらく新システム切替当日に停電が発生した瞬間、全社に緊張が走ったでしょう。そして、オペレーターは訓練どおりに対処してすぐに復旧し、関係者一同は安堵したはずです。つまり、多くの人が訓練の成果を実感し、研修効果を認めたと思われます。

停電の原因は過去にはなかった複雑な要因だったので、訓練で行った「判断の仕方」が実際に生きたということであり、単にマニュアルどおりに操作したというわけではありません。

日本企業でもほとんどの研修はこうした地味な研修で、事業戦略に直結する派手なものではないでしょう。したがって、この事例のように学んだことを職場で確実に活用して、実務でしっかりと成果を出すことができれば、受講者の上司を筆頭に多くの人は研修効果を実感するはずです。

これが研修の目指す本来の職場の姿であり、レベル3やレベル4の証拠を探す必要がない状態ではないでしょうか。効果測定の議論はどこか研修転移を忘れた数字探しになっているような気がします。

とはいえ、学習したことを職場の実務にうまく活用してもらうためには上流でそれなりの設計が必要になります。この事例では、設計開発に取り掛かるときに図表5のような10ステップを最初に決めています

図表5.停電管理の新システム切替訓練の開発プロセス

この10ステップを決める際には、インストラクショナルデザインの教科書として必ず登場するDick & Cary(第6版)とGagné(4版)、効果測定はカークパトリック(第2版)、ビジネスとの連動はロビンソン夫妻のパフォーマンス・コンサルティング(初版)、テストはShrock & Coscarelli(第2版)を参考にしたということです。

3.事例2. サクセスケースメソッド-Grundfos営業スキル研修

事例2はデンマークの水道事業向けのポンプ製造、Grundfosの営業研修の事例です。

Grundfosの人材開発責任者は、トップから「事業利益に役に立つ研修だね?」と念を押されて「Yes」と答えたものの、従来から実施していたレベル1、レベル2だけでは海外拠点が多い職場で実際にどの程度活用されているのかわからないという悩みがあったようです。

そこで、サクセスケースメソッドの提唱者であるBrinkerhoff(西ミシガン大学名誉教授)に相談し、研修効果を検証しようと考えたわけです。

図表6の「よいニーズ把握」にあるように、すでに売上目標の達成とクライアントの満足度向上という事業ニーズは明快でした。

この事例のポイントはふたつです。ひとつは、「よい設計」でふれている「インパクトマップの作成」です。具体的には、「学習目標→実務行動の改善→職場での成果→事業目標=売上目標の達成」というつながりをマップで整理しています。

図表6.  Grundfos (デンマーク、ポンプ製造) 営業スキル研修

このインパクトマップはよくある「学習目標→事業目標」といった飛躍のあるロジックとは大きく異なります。学習したことを職場で活用して「実務行動の改善」があり、その結果、「職場の成果」が改善されて「事業目標の達成」に貢献するというロジックです。

ふたつ目のポイントは、これはサクセスケースメソッドの特徴ですが、「よい効果測定」で研修後に受講者本人と上司に5~8問の簡単なサーベイを実施し、その回答を吟味して本当に実務に活用して成果をあげた受講者を絞り込み、成功事例をインタビューしたことです。

この事例ではサーベイで絞り込んだ10人にインタビューしたところ、学習したことを実際に活用して受注した10人の合計受注額が図表6の2つの研修コースの費用はもちろんのこと、他の営業研修すべての費用も賄う金額になったということです。

エピソードとしては次のような話があります。ある営業担当は新規顧客の初回訪問で先方の担当(ゲートキーパー)にうまく対応できず、商談が進まなかったということです。そのあとでこの研修を受け、学んだスキルを活用してこのゲートキーパーの抵抗を乗り越え、競合に勝って見事新規受注をしたということです。

サクセスケースメソッドは下記のような報告書イメージでまとめます。カークパトリックの4レベルのように定量的に整理するのではなく、サンプル数は少なく定性的なアプローチです。しかし、こうした実務で学んだことを活用した定性的なエピソード定量化できる成果(スキルを活用して受注した金額)だけでもかなり説得力があります。

図表7. サクセスケースメソッド 報告書(例)

提唱者のBrinkerhoffは、この考え方はカークパトリックの4レベルやフィリップスのROIといった「数字」のロジックではなく、裁判で使われるような「定性的な証拠」のロジックだと言っています。

Brinkerhoffはカークパトリックの4レベルやフィリップスのROIに対するかなり厳しい批判で有名です。このサクセスケースメソッドのアプローチは定量的に研修成果をまとめたいときには向きませんが、重要な研修のパイロットコースの評価、Grundfosのようにこれまで効果測定を試みてうまくいっていないときにお勧めの方法です。

このアプローチは日本企業でももっと活用した方がよいと思います。

4.事例3. 新4レベル-Emirates Airline コンタクトセンターの対応品質向上

事例3はEmirates Airlineのドバイ(UAE)、ムンバイ(印)、メルボルン(豪)、マンチェスター(英)、ニューヨーク(米)、広州(中国)の主要コンタクトセンター6拠点での対応品質向上とリレーションシップセリング研修です。

図表8を見て勘のよい人はすぐにおわかりだと思いますが、この事例は研修事例というよりはパフォーマンス改善(パフォーマンス・コンサルティング)の事例です。お察しのとおり、新4レベルはパフォーマンスを改善することが大前提になっています。

この事例のポイントは3つあります。ひとつ目は、「よいニーズ把握」のところで事業ニーズと連動する成果指標を明確にしていることです。具体的には、売上と新しいサービススタイルでのお客様対応の行動を指標化したということになります。

そして、最後の「よい効果測定」にあるように、この二つの指標がどの程度変化したのか、「Before-After」を比較したということです。このふたつの指標以外にも関連指標の「Before-After」のデータもあるので、どの程度パフォーマンスが改善したのかがよくわかる事例だと思います。

図表8.  Emirates Airline 対応品質向上とリレーションシップセリング研修

ふたつ目は、「よいニーズ把握」でこの取り組みを推進するうえで「職場の促進・阻害要因」を明らかにし、「よい設計」のところで職場への打ち手となる「パフォーマンス支援ツール」をラインと一緒につくったことです。

たとえば、売上や行動がどの程度変わったのかを見る「月次ダッシュボード」、「対応品質のモニタリング」、模範的な行動をとった人の「表彰」などをパッケージ化したところが非常に参考になります。ここがパフォーマンス・コンサルティング的なところです。

3つ目は「よい転移」のところで、上流で設計した「パフォーマンス支援パッケージ」を職場で展開し、研修で学んだ望ましい行動を職場で強化していったことです。つまり、「売上増と新サービス対応の推進」という目標に向かって、人材開発部とラインが一緒になり、毎月どの程度売上やお客様対応の行動が変化したのか、把握しながら定着させていったということです。

おそらく、コンタクトセンターの責任者や受講者の上司はこれらの数字を見ながらチームリーダーにいろいろな指示やアドバイスをしたでしょう。こうした人材開発部とラインが一緒になった展開は当時のEmirates Airlineでは初めてのことだったようです。

図表9みると、目指した行動変化が起きたことが明確にわかります。

図表9.  エージェントの新サービス対応活用度の変化(レベル3)

事例1の停電管理の新システムの訓練と少し似ていますが、このEmirates Airlineの事例も研修で学んだことを職場の実務にうまく活用させています。職場の仕掛けが事例1よりもさらに巧妙に設計されており、受講者の上司たちは研修効果を実感しつつ、日々メンバーの新しい行動を強化し定着させるように指導していたのだと思います。

研修転移では「研修前後で上司がフォロー」とよく言われますが、こうした具体的な仕掛けがなければ掛け声倒れになりがちだと思います。

5.TDRp:人材開発報告書の原則-Vanceの人材開発部門の月次報告例

事例4のVanceの事例は研修単品の効果測定という視点ではありませんが、人材開発部門の運営に主眼があり、示唆に富むので4つ目の事例としました。

冒頭の図表3でみたように、Vanceは研修指標を成果指標、品質指標、運営指標の3種類に分けています。このことを頭に入れて以下をみていきましょう。

この事例のポイントは3つです。ひとつ目は、図表10の「よいニーズ把握」にあるように、最初に研修効果測定の目的を明らかにし、事業の責任者と相談して研修プログラムの成功を判断する指標を決めることです。

ここで特徴的なのは、まず「研修プログラムが戦略に直結するのか直結しないのか」を見極め、戦略に直結する研修プログラムのみ「成果指標」を決めるということです。基本的なスキル向上やオンボーディングなど、戦略には直結しない多くの研修は「成果指標」を設定しません。ただし、「品質指標と運営指標」は両方とも設定します。

「すべての研修でレベル4を測定しないといけないのでは?」と思っている人は拍子抜けするかもしれませんが、こう整理してみると人材開発の実務的にはすごくラクになると思います。

図表10.  Vanceの研修指標によるL&D部門運営の流れ

ふたつ目は、「よいニーズ把握」にあるように、事業の責任者と相談して指標の計画値と報告形式を決めるところです。たとえば、受講者の好意的な反応は85%以上、実務との関連度90%以上など、事業の責任者と相談して「成功の基準」となる計画値を決めるというわけです。

そして、図表11のように毎月Aのようなスコアカードで報告し、計画に対して順調なのか、問題があるのかわかるようにする。または、Bのように計画に対してどのくらいギャップがあり、最終予想はどうなるのかまで示すのか、事業の責任者と相談して決めるというわけです。

図表11.  Vanceの月次報告書(例)

3つ目は、「よい効果測定」のところで上流で決めた報告書を毎月つくり、数値を見ながら計画の目標を達成できるように改善策を事業の責任者に提案することです。

Vanceは人材開発も営業部門、生産部門、経理部門と同じように、月次で経営に報告することを当たり前にし、事業戦略の遂行に貢献することを提唱しています。

言い換えると、ある程度高い品質の研修が設計・実施されて、研修転移も行われるということが大前提になっていると言えます。そのレベルがどのくらいであれば事業の責任者が戦略の実行に研修が役立っていると判断するのかを最初に詰めておき、走りながら計画した目標値の実現に向けて調整をするということです。

最近は統合報告書で「従業員ひとりあたりの研修時間」「従業員ひとりあたりの研修費用」などの運営指標が取り上げられるケースが増えていますが、期初に事業責任者と事業戦略に貢献する人材開発指標を相談し、毎月こうした指標を報告していれば期末に慌てることはないでしょう。

また、ATDはState of The Industryで毎年Awardを受賞したベストプラクティス企業の運営効率指標を発表していますので、自社の運営効率と人材開発に熱心な米国企業と比較することが可能です。

State of The Industry
https://www.td.org/state-of-the-industry/2021-state-of-the-industry

4事例をみてきた結論としては、よい効果測定事例の共通の特徴は次の3点と言えます。

  1. よい研修効果測定事例は、上流でラインと一緒に入念な分析を行い、事業が研修に求める成果指標や品質指標を最初に決めている
  2. よい研修効果測定事例は、上流で研修を設計するときに研修転移と効果測定も設計している
  3. 研修後、職場での実務にうまく活用(研修転移)させたあとで、効果を測定している

これを一行で示すとこうなります。
 

よい効果測定=よいニーズ把握+よい設計+よい研修品質+よい研修転移


よい研修効果測定をするためには、職場でよい研修転移が行われて「効果」が実感されていることが必要です。よい研修転移が行われるためには上流でよいニーズ把握をし、よい設計をしていることが大前提になります。

ひょっとすると、「研修直後のアンケートが高ければ何らかの研修効果がある」というのは、4レベルが発表されてから60年来の4レベルの都合のよい解釈であり、人材開発にかかわる人の願望なのかもしれません

こうしてみると、1990年代のような研修効果測定の方法論だけを切り出した単独の議論はもはや無意味になっているという気がします。

以上、貴社の人材開発部内での議論にお役に立てば幸いです。

ヒューマンパフォーマンスはパフォーマンス・コンサルティングを実践します。

人にかかわる施策、人材開発と事業戦略の連動性を高め、業績向上に貢献することがテーマです。研修効果で悩んだことがある方には有効なフレームワークです。人材開発のあり方や研修の見直しを検討されている人材開発担当の方におすすめです。
お気軽にお問い合わせください。

代表者プロフィール

鹿野 尚登 (しかの ひさと)

1998年にパフォーマンス・コンサルティングに出会い、25年以上になります。
パフォーマンス・コンサルティングは、日本企業の人事・人材開発のみなさまに必ずお役に立つと確信しています。

代表者プロフィール

代表ごあいさつはこちら

会社概要

株式会社
ヒューマンパフォーマンス

0466-47-7231

〒251-0027 神奈川県藤沢市鵠沼桜が岡2-1-23

会社プロフィールはこちら

弊社コラム記事からテーマで選び、4冊のシリーズにまとめました。ATDなど最新動向が気になる方にぜひ!

詳細はこちら