2015.1030
2024.0328 追記修正
●まとめ
|
パフォーマンス・コンサルティング・ワークショップの受講者から「研修の効果測定手法」について問合せをいただき、サクセスケースメソッドを紹介したところ、「情報があまりない」と言われました。
以前から人材開発担当の方にぜひ紹介したい考え方のひとつと思っていましたので、少し整理してみました。
サクセスケースメソッド(Success Case Method)は、研修効果測定で有名なRobert O. Brinkerhoffさん(西ミシガン大学教授)がHigh Impact Learning (2001年)の中で提唱している研修効果測定の手法です。
Brinkerhoffさんの長年の効果測定の実践と研究にもとづく業績は高く評価されており、2008年にASTD The Distinguished Contribution to Workplace Learning and Performance awardを受賞しています。
文献としては次の3冊に詳しい説明がありますが、独断と偏見で思い切って要約し、ポイントをみていきましょう。
一言で言うと:
メリット:
特徴:
|
大きな流れは以下図表1のようになります。
まず、研修の設計段階で事業目標と学習成果の連動を明確にするインパクトモデルを作ります。言い換えれば、新しいスキル・知識・ものの見方・考え方を学んだ結果、実務でどのような行動を発揮し、それが職場の成果にどのようにつながるのか整理します。
研修実施後、ねらいどおり学んだことを活かして職場の実務に活用したのか、実際に成果が出たのかフォローアンケートで確認します。特徴はこのアンケート項目が5項目前後と少ないので短時間で回答できることにあります。
そして、アンケート結果から実務の活用に成功し、高い成果が出た受講者を見つけ、そのときの状況を詳しくインタビューするというわけです。逆に、まったく活用できなかった受講者にはその理由を確認し、改善策のヒントを見つけます。
最終的には、アンケートとインタビューでわかったことをまとめ、今後の打ち手を提案するという流れです。
この効果測定手法は、人材開発担当者の役割を変える第一歩になり、研修の企画・実施に忙殺される状況から、事業成果に貢献する人材開発への移行に踏み出すことができると思います。
BrinkerhoffさんはTelling Training’s Story(2006年)の中で、従来の効果測定手法のリスクとして図表2のように3つをあげています。
図表2従来の効果測定手法のリスク
リスク1.従来の効果測定はマネジメントとの信頼関係を損ねる
リスク2.従来の効果測定はパフォーマンスシステムの要因を見ていない
リスク3.間違った人に効果測定結果を報告している
|
さらに、Courageous Training(2008年)では、カークパトリックの4レベルについて図表3のような批判をしています。
図表3 研修効果測定 カークパトリックの旧4レベルに対する批判
|
端的に言えば、「みんなが3レベルの測定は難しいと言っているから、やらなくてもいいのか?」という問題提起のような気がします。
Jim Kirkpatrickさん( Donald Kirkpatrickの息子)は、こうした批判を受けてかどうかわかりませんが、4レベルをUpdateしています。次の記事を読むと「新 4 レベル」はパフォーマンス・コンサルティングの考え方がかなり反映されていることがわかると思います。
Means and End, Training Journal(2013年1月)
Updating the Four Levels for the New World(2015年)
さらに、フィリップスのROIについても図表4のように批判しています。
図表4 研修効果測定 フィリップスのROIに対する批判
|
ROIのような数字にするとどうしても数字が独り歩きし始めるので、トレーニングの本来の目的を忘れないようにという指摘だと思います。もっと言えば、状況によってはROIの数字は小さくても非常に重要なトレーニングがあるということです。
過去のASTDセッションでは、BrinkerhoffさんのROIに対するコメントはかなり厳しかった印象があります。
学習部門の成果や研修の効果測定については、CLOによってスタンスが微妙に違うところがあります。関心のある方は、17人のCLOの言葉の中で効果測定にかかわるコメントを見直すと、意味深なことを言っていることがよくわかると思います。
The Chief Learning Officer - 印象に残るCLO17人の言葉
サクセスケースメソッドはシンプルですぐにできそうですが、「組織の中の人の行動と成果」は奥が深いと思います。世の中、簡単に見えるものほど難しいものです。
インパクトモデルは研修の設計段階でつくるのですが、簡単に言えば「学習するスキル・知識・ものの見方・考え方→職場の成果につながる実務行動→事業目標」をまとめるということです。
Brinkerhoffさんの著書をたどると何パターンもあり、途中からインパクトマップと呼び名も変え、いろいろ試行錯誤してきたことがよくわかります。
これはパフォーマンス・コンサルティングで言えば、GAPS!マップやパフォーマンスモデルをつくるのと同じ意味があります。
求められるできばえですが、経営幹部やラインマネジャーがインパクトモデルを見て「ナルホド・・・」と感心するレベルにしたいものです。というのは、このインパクトマップが経営幹部やラインマネジャーを巻き込むツールになるからです。
次はフォローアンケートです。原書には効果測定の目的によって、シンプル版から複雑なものまでいくつかパターンが掲載されていますので、ぜひ確認してみてください。下記の図表5は、シンプル版のイメージの一例です。
このシンプル版サーベイの結果から「職場でやってみて明確で具体的な成果があった人」「まったく学習したことを使わなかった人」を絞り込みます。
その中からインタビュー対象者を選んでいきますが、そこでもいくつかコツがあります。
実際に「職場でやってみて明確で具体的な成果があった人」がどの程度いるのかが明確になりますので、ある意味怖い部分でもあります。
人材開発部の勉強会をお手伝いしていると、インタビューやヒアリングと聞くと「なんだよ、すぐにできるよ」という表情をされる人が多いのですが、ここが奥深いところです。
このインタビューでは、本当に研修で学んだ知識やスキルを実務に活用して成果があったのか、たまたまそうなったのか、研修ではなく他の要因で成果があったのかなど、「研修と成果の因果関係」を見極めることが必要です。
さらに、経営幹部が「大きな成果があったことがよくわかった」と納得する事実をしっかりと聞き出さなければなりません。
このインタビューにはコツがあり、ナルホドという質問がいくつもありますので、原書でぜひ確認していただきたい部分です。
また、成功例・失敗例の背景にある職場環境の促進・阻害要因についても確認するので、しっかりとした準備が必要になります。
やや宣伝になって恐縮ですが、ここでもパフォーマンス・コンサルティングの基礎知識が役に立つと思います。
成功事例のまとめは簡潔さが求められるので難しいかもしれません。
Brinkerhoffさんにならえば、「法廷の論理」、つまり「裁判にたとえると『研修効果があった』と証拠として採用される」レベルの事実をもとに、3~4ページで簡潔に整理されているものです。
よくある「研修アンケートの感想」を引用した報告書とは全く構成要素が違いますので、注意が必要です。
これは原書の中で特にふれていませんが、フォローアンケートの配信、回収、集計、成功例の共有など、ラーニングマネジメントシステムの機能をうまく使えばすぐにできるようです。受講者数が多くなれば、実務者にとっては助かると思います。
Brinkerhoffさんはサクセスケースメソッドが活かせるのは図表7のような状況だと言っています。
図表7 研修効果測定 サクセスケースメソッドが活かせる状況
|
逆に、サクセスケースメソッドがふさわしくない状況として、受講者全体の状況を定量的に把握したいときをあげています。具体的には、以下のような状況です。
図表8研修効果測定 サクセスケースメソッドがふさわしくない状況
|
網羅的な情報を得ることが目的であれば、そもそもコンセプトが違うということです。
原書にはない話で、まったくの私見ですが、日本企業の階層別研修はサクセスケースメソッドとの相性はよくないという気がしています。
そもそも階層別研修は「新卒一括採用、長期雇用」が前提で、他国ではほぼありません。
さらに、「どのような知識・スキルを実務に活用するのか?」「その知識・スキルを活用した結果どのような成果があるのか?」が明確に定義されていないことが多く、サクセスケースメソッドが前提とする研修設計になっていないからです。
人材開発担当者のみなさんがサクセスケースメソッドを研修効果測定のルーチンにするとよいと思うのには、大きく二つの理由があります。
●トップをはじめ関係者が本当に知りたいことを報告できる
ひとつは、トップをはじめ関係者が本当に知りたいことを報告できるということです。研修直後のアンケートでわかる受講者の満足度や感想は、「研修品質」を示す情報として意味があります。
しかし、経営トップや受講者の上司は「それが事業戦略の推進や事業目標の達成にどのように役立つのか」を知りたいはずです。
サクセスケースメソッドのフォローアンケートでは、実務においてどのような知識やスキルを利用したのか、しなかったのかがわかります。言い換えれば、受講者は実務行動として何を変えたのかがわかります。
さらに、インタビューから実際に学んだことを応用した結果、どのような成果があったのが明らかになります。これらの情報は経営トップや受講者の上司が本当に知りたい情報だと思います。
●人材開発担当者の役割を変える第一歩になる
ふたつ目は、こうした取り組みをすることが事業成果に貢献する人材開発担当者の第一歩になると思うからです。
たとえば、営業スキル研修の成功事例のインタビューをしたところ、顧客のタイプ判別のスキルを活用した結果、苦手なお客様からこれまで聞き出せなかったことを教えてもらい、受注につながったことがわかったとします。
こうした成功例をいくつか集めて発信し、他の受講者も自分の苦手な顧客タイプに応じて行動を変えるようになれば、組織としての顧客対応力は底上げされます。
もうひとつ、直後アンケートはよかったのに、ほとんどの受講者が実務に応用していないという最悪の状況を考えてみましょう。
この場合、そもそも研修が職場での実務行動に直結するスキルを開発する設計になっていなかったことが考えられます。仮に設計がよかったとしても、新しく学んだスキルをコーチングする人が職場にいないなど、職場環境に阻害要因があることが考えられます。
事業成果に貢献する人材開発担当者としては、これらの阻害要因を取り除く改善策を提案し、実施すべきでしょう。
実は、これらはパフォーマンス・コンサルティングの応用です。つまり、研修の効果測定の実務としてサクセスケースメソッドをルーチンにすれば、パフォーマンス・コンサルティングのきっかけをつかみやすくなるということです。
以上、サクセスケースメソッドの概要を見てきました。ぜひ、重要な研修プログラムなどでは設計段階からこの考え方を活用してみていただければと思います。
冒頭で紹介した3部作はいずれも事例がたくさん紹介されています。当然ですが、モデルや解説内容はそれぞれ少しずつ進化しています。
個人的にはパフォーマンス改善の色が少し濃くなってきたTelling Training’s Story (2006)の事例がおすすめです。
最新刊の“Courageous Training”(2008年)は、「研修の効果測定」という枠を大きく超えています。冒頭でふれたHigh Impact Learning (2001年)に回帰しており、むしろ、事業戦略を遂行していくためのマネジメント開発、組織開発と言った方がよい内容だと思います。
邦題をつけるならば「研修成果にこだわる勇気ある人材開発」という熱いタイトルがふさわしいという気がします。ぜひ、一読されることをお勧めします。
1章 研修効果で悩む「前提とパターン」を変えよう
2章 研修効果測定の4つの事例をみてみよう
3章 研修効果測定のルーチンにしよう-サクセスケースメソッド
4章 研修効果測定のカークパトリックの新4レベル
5章 研修効果測定 フィリップスのROIモデルの変化
無料PDF資料 お申込みはこちらへ
ヒューマンパフォーマンスはパフォーマンス・コンサルティングを実践します。
人にかかわる施策、人材開発と事業戦略の連動性を高め、業績向上に貢献することがテーマです。研修効果で悩んだことがある方には有効なフレームワークです。人材開発のあり方や研修の見直しを検討されている人材開発担当の方におすすめです。
お気軽にお問い合わせください。
鹿野 尚登 (しかの ひさと)
1998年にパフォーマンス・コンサルティングに出会い、25年以上になります。
パフォーマンス・コンサルティングは、日本企業の人事・人材開発のみなさまに必ずお役に立つと確信しています。
代表者プロフィール
代表ごあいさつはこちら