パフォーマンス・コンサルティング

ATD 2016報告-研修効果測定のカークパトリックの新4レベル

ATD2016報告-研修効果測定カークパトリックの新4レベル

2016.0725

●まとめ

  • カークパトリックの「新4レベル」を解説したKirkpatrick’s Four Levels of Training Evaluation (2016)がATD 2016で先行販売された(市販は2016年10月以降)。
  • カークパトリックの「新4レベル」の基本メッセージは、「レベル1とレベル2を中心としたこれまでの研修効果測定をやめ、新しい4レベルのプロセスで成果を出し、戦略実行に貢献するビジネスパートナーになろう」というものだ。
  • 大きな変更点は、「ラーニング」と「パフォーマンス改善」をパッケージ化したモデルをつくったことである。そして、「レベル4⇒レベル3⇒レベル2⇒レベル1」という順番で設計する重要性を強調している。
  • 著者は、James・D and Wendy Kayser Kirkpatrickのふたりで、Jamesは故ドナルド・カークパトリック教授の息子であり、JamesとWendyは夫妻である。JamesとWendyはTraining on Trial(2010年)で、人材開発トレーナーからビジネスパートナーとなるための実践プロセスを提案したが、新著では従来の4レベルを一新し、緻密なモデル化を進めた
  • 著者が「新4レベル」で主張しているとおり、研修を企画するときには最初にレベル4、レベル3を具体的に決めることから始めよう。これはとりもなおさずパフォーマンス・コンサルティングの実践である。

 

1. 研修効果測定 カークパトリックの4レベルの新旧モデルの違い

 

ATD 2016カンファレンスでカークパトリックの「新4レベル」を解説したKirkpatrick’s Four Levels of Training Evaluation (2016)が先行販売されました(市販は2016年10月以降)。

著者は、James・D and Wendy Kayser Kirkpatrickのふたりです。Jamesは4レベルの提唱者の故ドナルド・カークパトリック教授の息子であり、JamesとWendyは夫妻です。JamesとWendyはTraining on Trial(2010年)で、人材開発トレーナーからビジネスパートナーとなるための実践プロセスを提案しましたが、新著では従来の4レベルを一新し、さらに緻密なモデル化を進めました。

Training on Trial(2010年)についてもっと知りたい方は下記を参考にしてください。

The Kirkpatrick Four Levels:A Fresh Look After 50 Years1959 - 2009
Boise State OPWL: A Webinar with Dr. Jim Kirkpatrick

カークパトリックの「新4レベル」の基本メッセージを思い切って要約すると、「レベル1とレベル2を中心としたこれまでの研修効果測定をやめ、新しい4レベルのプロセスで研修成果を出し、戦略実行に貢献するビジネスパートナーになろう」というものです。主要な変更点は、「ラーニング」と「パフォーマンス改善」をパッケージ化したモデルをつくったこと、もうひとつは「レベル4⇒レベル3⇒レベル2⇒レベル1」という順番で設計することの重要性を何度も強調していることです。

新4レベルのモデルそのものを知りたい方は下記をご参考にしてください。

Means and End, Training Journal(2013年1月)
Updating the Four Levels for the New World(2015年)

 

それでは何がどう変わったのか順を追ってみていきましょう。図表1は独断と偏見で新旧4レベルを比較したものです。大きな違いとして5点をあげました。ここでいう旧モデルはEvaluating Training Program(第2版、1998年)の内容をもとに整理しています。

図表1 研修効果測定 カークパトリック新旧4レベル比較

ひとつ目は視点の違いです。旧モデルは企業内トレーナーの視点でしたが、新モデルは企業内ラーニング&パフォーマンスコンサルタントという視点で解説されています。これはATDの認定資格CPLPと連動していると思われます。

ふたつ目はコンセプトです。最初の「視点」ともつながりますが、旧モデルはトレーニング部門の存在意義を示すというトーンが強いのに対し、新モデルでは事業経営を支援するというトーンが貫かれています。

3つ目研修効果測定の目的には、この両者の違いがよく表れていると思います。旧モデルが「よい研修プログラムを提供するよいトレーニング部門になるために研修効果測定をする」という感じですが、新モデルは「学習したことを行動化し、その成果を最大化するために、研修プログラムを改善し、その価値を社内に示す」という感じです。

4つ目は4レベルの定義そのものですが、旧モデルは定義も緩やかで、原著の中に実はモデル図はまったくありません。それに対し、新モデルでは図表2のように定義し、モデル図は考えに考え抜いた感じとなっています。余談ですが、新著の中でKirkpatrick Jr.は「最新の定義ではこうだ」と述べていますので、時代に合わせて今後も少しずつ変化させると思われます。

新モデルそのものは下記を参照。

Means and End, Training Journal(2013年1月)
Updating the Four Levels for the New World(2015年)

図表2 研修効果測定 カークパトリック新4レベルの定義

最後は4レベルの順番です。旧モデルは「レベル1⇒レベル2⇒レベル3⇒レベル4」で取り組むという解説が巷にあふれていますが、新モデルでは「レベル4⇒レベル3⇒レベル2⇒レベル1」という順番で設計することを何度も強調しています。新著の中でKirkpatrick Jr.は「実は父親も『研修設計はレベル4⇒レベル3⇒レベル2⇒レベル1の順番で行う』と明記しているが、正しく理解されていない」と述べています。また、この設計時にレベル4・3を検討することの重要性が忘れられ、研修を実施した後からレベル1・2に取り組むことがこれまでの研修効果測定の実態であったことを嘆いています。

 

以上の5点は、Kirkpatrick Sr.の旧モデルに対する過去の批判を解消するものになっていると思います。たとえば、SCM(Success Case Method)で有名なBrinkerhoffは旧4レベルにかなり手厳しい批判をしていましたが、Kirkpatrick Jr.の新著はそうした批判をほとんどカバーする内容になっています。ちなみに、新著の中でBrinkerhoffは13章を執筆し、7章には彼の著書からの引用もあります。

2. 研修効果測定 カークパトリック新4レベルのプロセス

 

ここ3~4年のATDカンファレンスで新4レベルのモデル図を見るたびに、「これはパフォーマンス・コンサルティング、HPIそのものだ」と思ってきましたが、今回新著を読んで改めてそう思いました。

図表3も独断と偏見でプロセスイメージを図解したものです。原著にはこうしたプロセスを示す図はありませんので、予めご了承ください。

図表3研修効果測定 カークパトリック新4レベルのプロセスイメージ

旧モデルのイメージと違うところは大きく3つあると思います。

ひとつ目は、研修実施前(Before)、つまり研修設計時にレベル4とレベル3を明確にすることです。具体的には、クライアント(経営幹部)にインタビューし、何を研修成果とするのか、何がその成果を見る先行指標なのかを決めます。また、この成果を生み出すためには従業員の実務行動の中で何が重要なのか、どのような要因が重要な行動を促進するのか、阻害するのかを明らかにします。

パフォーマンス・コンサルティングではこの部分をほぼ一冊かけて解説していますが、Kirkpatrick Jr.の新著の中では「この重要な行動を明らかにするのが意外に難しい場合があるかもしれない」とざっくり述べ、1ページ弱で説明しているだけです。ここは少し残念な感じでした。

ふたつ目は「学習・パフォーマンス施策の実施」とした部分の「レベル1」「レベル2」の中身です。「レベル1」は「受講者の満足度」だけでなく、研修への「受講者の参画度」やコンテンツの「実務の関連度」を見ます。また、「レベル2」では「知識やスキルの習得度」だけではなく、それが「実務に有益だと確信しているか」、職場に戻って「実践する自信や本気度がどの程度あるのか」も含めているところが違うと思います。

3つ目は「学習・パフォーマンス施策の実施」としたように、「パフォーマンス施策の実施」を大前提にしていることです。上記の図の「パフォーマンス施策の実施」のレベル3・4の部分にあるように、研修後に「重要行動のモニタリング」、「重要行動の発揮に対する強化・報酬・激励」「先行指標のモニタリング」などを行うところが大きく違うと思います。新モデルでは研修後のこうした取り組みが必須であり、具体的な成果や行動変化をモニタリングし続け、3~4ヵ月後に最終的な結果をレベル3・4でみるという感じです。

このような図にしたのには理由があります。実は「Kirkpatrickの基礎原則」の4番目で「価値があることを証明するためには、先に価値を生じさせていなければならない」と述べているからです。言い換えれば、必ず成果を出してから効果測定するということです。したがって、研修実施で終わるのではなく、職場での重要行動のモニタリングや強化、先行指標のモニタリングなどを行う必要があるのです。この考えを忠実に表現しようと思い、上記の図になったというわけです。

このプロセスイメージは私案であり、異論もあると思います。

3.研修効果測定 カークパトリック旧4レベル-実務家のための実践事例の宝庫

 

SCMの勉強会を始めたこともあり、積読だったEvaluating Training Program(第2版、1998年)を改めて読んで気づいたことがふたつあります。

ひとつは、この本は290ページ程度のボリュームですが、4レベルそのものの解説はわずか70ページで、残った220ページのすべてを実践事例に充てているということです。そして、もうひとつは「レベル3・4を測定して効果が見られないときのためにレベル1・2を測定しておこう」「研修のわるいうわさが経営トップの耳に入ると予算を削減されるので、レベル1は大切だ」など、徹底した実務家の本音で書かれていることです。

全部で15の事例がありますが、その一部は図表4のような企業です。研修内容もさまざまでプレゼン研修からリーダーシップ研修(SLⅡ:Situational Leadership Ⅱ)や管理の基本研修までいろいろとあります。実際の効果測定に活用したアンケートやインタビューの質問項目、集計結果のグラフなどが満載されており、実務家には本当に心強い内容だと思いました

図表4 研修効果測定 カークパトリック旧4レベルの事例

実は故カークパトリック教授自身もウィスコンシン大学のManagement Instituteで「管理の基本」3日間コースを教えていたこともあり、この効果測定事例を詳細に書いています。①指示命令、②部下の訓練、③人事評価など6セッションについて、研修の2~3ヵ月後にレベル3・4を評価しています。学習目標に対応して47の質問項目を用意し、43人の受講者とその上司にインタビューをしています。

結果は、受講者本人の方が上司よりも高めだったものの、両者ともポジティブな行動変化を認めたということです。また、生産量、品質、安全、従業員の出怠勤など8項目の成果指標についてもポジティブな変化があったようです。このインタビューに要した時間を考えただけでもかなりすごい実践事例だと思います。

その他、MotorolaやIntelの事例は「さすが」と思わせる内容です。Motorolaは自社の効果測定プロセスが明確に定義され、レベル1・2の合格とする品質管理基準も明示されています。Intelの方は、レベル3の評価で約100コースを対象に学習したことが職場で活用されない理由を分析していたのが印象的です。また、最初に4レベルの成果から考えたり、パフォーマンス改善はシステム視点で発想したりするなど、現在の新4レベルにつながるコンセプトで既に実践していたことがわかります。

余談ですが、故カークパトリック教授は高齢になってもOHPを使ってワークショップをしていたことで有名です。2003年当時の様子が次のサイトで見ることができます。最初のアイスブレークでいきなり歌を歌うところから始まります。演習の回答を解説するときもユーモアにあふれています。

Dr. Donald Kirkpatrick ワークショップ録画

 

4.研修効果測定のためには、最初にレベル4とレベル3から設計しよう

 

ここまでに見てきたように「新4レベル」は「旧4レベル」と大きく変わりました。背景にあるのは、研修はパフォーマンス改善の一手段であり、具体的な行動変化や成果を生むためには職場での上司の強化や激励、業績指標のモニタリングなどが重要とするパフォーマンス・コンサルティングの考えです。

著者のKirkpatrick夫妻が主張しているとおり、正確には故カークパトリック教授も言っていたとおり、研修を企画するときは最初にレベル4、レベル3を具体的に決めることから始めましょう

経営幹部が期待する成果は何なのか、どのような指標でその成果を見るのか、その成果の先行指標は何か、どのような実務行動を発揮することがそのカギになるのか、重要な行動の発揮を促進・阻害する要因は何か、最初にゴールを明らかにして研修やパフォーマンス施策を設計開発しましょう。

そうすれば、研修実施後にあわてて「研修の成果報告」「研修成果の活用」をGoogleで検索する必要はなくなると思います。これはとりもなおさずパフォーマンス・コンサルティングを実践することになると思います。

人材開発の効果的なニーズの把握と整理にはコツがあります

パフォーマンス・コンサルティングⅡ
研修効果にこだわる人事・人材開発スタッフには、おすすめの一冊。人材開発部のビジネス志向を高めるための具体的なフレームを整理した本です。

  • 経営幹部から事業の観点で人材開発ニーズを聞きだす質問例
  • 多くのニーズを構造的にまとめるツール
  • 従業員のパフォーマンスが低いときの原因と対処例
  • 経営幹部の戦略実行を支援した多くの事例等

人材開発の上流で役立つ情報が満載です。

無料PDF資料 4.上流から設計する研修効果測定

1章 研修効果で悩む「前提とパターン」を変えよう
2章 研修効果測定の4つの事例をみてみよう
3章 研修効果測定のルーチンにしよう-サクセスケースメソッド
4章 研修効果測定のカークパトリックの新4レベル
5章 研修効果測定 フィリップスのROIモデルの変化

無料PDF資料 お申込みはこちらへ

ヒューマンパフォーマンスはパフォーマンス・コンサルティングを実践します。

人にかかわる施策、人材開発と事業戦略の連動性を高め、業績向上に貢献することがテーマです。研修効果で悩んだことがある方には有効なフレームワークです。人材開発のあり方や研修の見直しを検討されている人材開発担当の方におすすめです。
お気軽にお問い合わせください。

代表者プロフィール

鹿野 尚登 (しかの ひさと)

1998年にパフォーマンス・コンサルティングに出会い、25年以上になります。
パフォーマンス・コンサルティングは、日本企業の人事・人材開発のみなさまに必ずお役に立つと確信しています。

代表者プロフィール

代表ごあいさつはこちら

会社概要

株式会社
ヒューマンパフォーマンス

0466-47-7231

〒251-0027 神奈川県藤沢市鵠沼桜が岡2-1-23

会社プロフィールはこちら

弊社コラム記事からテーマで選び、4冊のシリーズにまとめました。ATDなど最新動向が気になる方にぜひ!

詳細はこちら