260810

ここでは、研修効果測定の「カークパトリックの新旧４レベルの違い」を解説しています。

目次

０.まとめ

• カークパトリックの新旧4レベルの比較（1959年 VS 2016年）

1.旧4レベルに対する批判

• 批判１.「研修アンケートがよければ学習が深まる」は本当か？
• 批判２.レベル１の研修アンケートだけでよいのか？
• 批判３.よくある研修アンケートに意味があるのか？

2.旧4レベルの変化（1998～2010年）

• 事例１. チェーン店 リーダーシップ研修（1990年代）
• 事例２. 電力会社 停電管理の新システム切替訓練（2000年代）
• ビジネスパートナーになるための実践ステップ（2010年）

3.新4レベルの概要（2016年）

• カークパトリックの新４レベルの定義
• カークパトリックの基礎原則
• カークパトリックの新4レベルのフローイメージ
• 新4レベルに対する批判

4.新4レベルとパフォーマンス・コンサルティング

• パフォーマンス・コンサルティングのフローとの関連
• 事例３.コンタクトセンターのパフォーマンス改善（2010年代）
• 新旧4レベル、サクセスケースメソッドとROIの関係

カークパトリックの新4レベルが2016年に発表されて10年経過しましたが、まだ新４レベルに変わったことを知らない人が多い気がします。ここでは旧4レベルの変化を辿り、新4レベルは何が変化したのか確認します。

まずは両者の違いをざっくりとみておきましょう。

図表1のように、カークパトリックの4レベルには、旧4レベルと新4レベルがあります。旧4レベルはドナルド・L・カークパトリック（父、以下Sr.）が1959年に発表し、新4レベルはジェームス・D・カークパトリック（息子、以下Jr.）が2016年に発表しました。現在のATDでは、研修効果測定は新4レベルが標準になっています。

図表1では両者の主な違いを整理していますが、最も大きな違いは「視点とコンセプト」です。旧4レベルは社内トレーナーの視点でつくられており、トレーニング部門の存在意義を示すことが基軸でした。一方、新4レベルはパフォーマンス改善に取り組む社内コンサルタントの視点で、ビジネスを支援することに基軸があります。

旧4レベルはトレーニングが中心で、「受講者の研修満足度が高ければ学習を深め、職場の行動・業績を改善する」「よい研修をすれば、よい成果が出る」というバラ色のモデルでした。しかし、現実はモデルどおりにならず、多くの批判がありました。また、旧4レベルは1959年にATDの専門誌で発表され、初版が出版されたのは1993年ですが、著書では厳密な用語やモデルの定義はされていなかったのです。

新4レベルは旧4レベルの批判を踏まえてつくられています。視点はビジネス中心であり、 KPI改善につながる重要行動に必要な知識・スキルを学習し、職場で実践することで業績改善につなげるというモデルです。そのため、旧4レベルでは解説していなかったニーズ把握や研修転移の取り組みを重視し、効果測定とパフォーマンス改善を一体化しました。

ざっと大枠を見たところで、次は順を追って旧4レベルの変化をみていきましょう。

尚、図表1～14は独自に作成したもので原書にはありませんので、ご了承ください。

つまり、「研修満足度が高くても、新しく学んだ知識・スキルの習得度は高まらない」と言える数字です。こうした旧4レベルの楽観シナリオを否定する学術研究は多数あります。

とはいえ、論文の著者Sitzmannたちは、回帰分析の結果を踏まえると「満足度と学習は無関係とは言えない」という立場をとっています

ポイントは、「研修の本当の価値は、受講者が学習したことを実務に活用するかにかかっている。測定すべきはレベル３であって、レベル１ではない」ということです。

もっと言うと、「研修アンケートは実施しやすいから、多くの人が実施しているから」といった理由でレベル１を推奨するのはいかがなものかという批判です。

ブリンカホフの効果測定手法、サクセスケースメソッドでは、学習した知識・スキルを職場で活用したかどうかを詳細に調べる具体的な手法を提案しています。

トールハイマーは批判1でみたような学術研究の成果を踏まえ、「アンケート項目は学習した知識・スキルの定着度や職場での活用度などと関係性の強い項目に絞るべき」と主張しています。さらに、よくある5段階評価をやめ、マネジャーにも意味がわかりやすい尺度にするよう具体例をあげて提案しています。

ふたつ目は、研修当日の研修アンケート（レベル１）、記述テスト（レベル2）、行動の変化をみるためのフォローアンケート（レベル3）について、実際のアンケートなどを示して詳細な説明をしていることです。

3つ目は、研修転移では職場活用を促す取組みの説明が特にないことです。研修を実施して３か月後・６か月後にフォローアンケートやインタビューを行い、職場での活用度合いを測定しているだけです。

そして、業績の変化（レベル４）をみるのは1年後で、Before-Afterの比較をしているものの、研修以外の職場要因や組織の外部要因の影響についてあまりふれていません。

1990年代の事例は、現在の日本の効果測定の議論でもよくみられる内容だと思います。

Transferring Learning to Behavior (2005)の中では、カークパトリック Jr.が第１インディアナ銀行の人材開発に在籍していたころ、４レベルとバランススコアカード（BSC）を統合しようとしたことを解説しています。また、パフォーマンス改善のアプローチをした他社の事例も紹介しています。

ひとつ目は、上流の「よいニーズ把握」で、パフォーマンス・コンサルティングの考え方を取り入れ、受講者の上司と一緒にタスク分析を行っていることです。

ふたつ目は、研修設計の段階ではインストラクショナルデザインの考え方を取り入れ、パフォーマンス目標を設定し、実務シミュレーションを開発したところです。そして、教科書どおり学習目標を設定した直後にテストなど効果測定ツールを開発しています。こうした上流の取組みがよい研修品質を生んだのは間違いないでしょう。

3つ目は、図表6の「よい設計」で、実務で活用（研修転移）を促すためのジョブエイドも開発しているところです。

4つ目は「よい研修転移」で、先につくったジョブエイドを受講者が活用し、マネジャーが支援することで、重要な実務行動の発揮を確実にしたことです。

こうして研修実施から数週間後、実務活用についてインタビューし、新しく習得した具体的な実務行動の発揮状況を把握したのです。

この事例では、「新システムの停電時の適切な対応＝重要行動」が売上や顧客満足度といった事業成果に直結します。そこで図表７のような10ステップの設計開発フローを最初につくり込んだうえで、この研修を設計・開発・実施したのです。

事例2（2000年代）と事例1（1990年代）を比べると、「職場で確実に重要な行動を発揮する」ために、上流段階から強い意思をもってニーズ把握や研修・転移・効果測定を設計したことがよくわかると思います。

第3版（2006年）の事例では、他にもパフォーマンス改善的な取組みが増えています。また、Implementing the Four Levels (2007)では、第6章で研修成果を高めるうえでビジネスパートナーとしての動きが重要と言っています。

図表8は人材開発担当が経営幹部にパートナリングを始めるところから効果測定までの7ステップをPARTNERにかけて整理したものです。

同書では、人材開発担当が効果測定の枠を超えて社内コンサルタントとして取り組むことを図表８の順番で解説しています。つまり、2010年にはパフォーマンス改善と効果測定を一体化する準備は整っていたと言えます。

同書は旧4レベルに対する批判に向き合い、一つひとつ改善して著したように感じます。

新4レベルを端的に言うと、KPI改善につながる重要行動の発揮に必要な知識・スキルを学習し、職場に戻って実践することで業績改善につなげるというモデルです。そして、職場における重要行動の変化（レベル３）とKPIの改善（レベル4）をモニタリングしつつ、効果を確実にしたところで成果報告するというものです。

つまり、「満足度の高い研修を実施して3か月・6か月・1年後に行動と業績の変化をみる」のではなく、「上流からパフォーマンス改善の仕掛けをつくり込み、研修後に実務行動とKPIの改善が確実にみえたところで効果を測定する」というロジックに変えたと言えそうです。

それでは、新4レベルについて順を追ってみていきましょう。

この定義で旧4レベルから少し変化したと感じるのは以下のような点です。

• レベル4：成果
  研修以外の打ち手、職場での受講者支援（研修転移）なども含めて成果をみる
• レベル3：行動
  ニーズ把握の段階でKPI改善につながる重要行動を特定して学習を設計し、研修後に職場での重要行動を測定することが対になっている（図表11参照）
• レベル2：学習
  「活用する自信度」「取り組む本気度」はレベル３の先行指標という位置づけ
• レベル１: 反応
  「実務との関連度」はレベル３の先行指標という位置づけ

特に、「4. 価値があることを証明するためには、先に価値を生じさせなければならない」と言っているところが旧４レベルとの違いを象徴している気がします。

ひとつ目は、上流工程（Before）で期待成果・先行指標・重要行動・促進阻害要因を明確にしていることです。ふたつ目は、中流で研修を実施して終わりではなく、研修転移の取り組みをしているところです。3つ目は、研修転移の取組みをしながらレベル4の成果や指標、レベル3の重要行動の発揮をモニタリングすることです。つまり、研修後すぐにレベル3・4の測定が始まっているのです。

そして、研修を軸にしたパフォーマンス改善の取組みによりレベル3・4の改善が確実になったところで、効果を測定する流れです。図表10の「4. 価値があることを証明するためには、先に価値を生じさせなければならない」の意味合いはここにあります。

「レベル３・４の測定は難しいので、実施している企業は少ない。実施しやすいレベル1・２に注力すればよい」といったことを一度は聞いたことあると思いますが、図表11をみると何か勘違いしていたのではないかという気がします。

この問題の本質は「研修だけで職場の実務行動を変え、KPIを改善するのが難しい」ということであり、「人間の行動や業績を改善すること自体が難しい」ということです。

新4レベルの図表11のBeforeと研修後の研修転移の取組みは、まさにその本質を示していると思います。

これは新4レベルだけに限らないのですが、2010年以降の研修設計・研修転移・研修効果測定のプロセスはどれもパフォーマンス改善と一体化しており、上流では必ずニーズ把握から始めるプロセスになっています。

2020年代の現在、誰もパフォーマンス・コンサルティングのことを言いませんが、研修設計・研修転移・研修効果測定のプロセスには、パフォーマンス・コンサルティングの実務が埋め込まれているのです。

注目点は４つあります。

ひとつ目は「よいニーズ把握」で事業ニーズと連動させることと、事業ニーズにひもづく関連指標・重要行動・職場の促進・阻害要因を明らかにしていることです。

ふたつ目は「よい設計」で研修設計だけでなく、OJTの制度化・月次ダッシュボードなど研修転移の施策をつくり込んでいるところです。

３つ目は「よい研修転移」で、「よい設計」でつくり込んだパフォーマンス支援パッケージを一斉に展開しているところです。受講者は職場に戻ってすぐにレベル3・4の変化をモニタリングされ始めます。ここが旧4レベルと大きく違うところだと思います。

図表10でみたように、「4. 価値があることを証明するためには、先に価値を生じさせなければならない」のです。

４つ目は「よい効果測定」で、「よいニーズ把握」で設定した事業ニーズに連動したKPIだけでなく、関連指標・重要行動が測定されていることです。

旧4レベルの1990年代の事例1が「ニーズ把握なし→よい研修の設計・実施→3か月後・6か月後・1年後に効果測定」だったことを思い出していただくと、新4レベルの事例3は上流・中流の取組みが全く別次元になったことがわかると思います。

縦軸は効果測定の目的として「パフォーマンス改善～人材開発部の存在意義証明」のどちらに近いかを示しています。横軸は効果測定のアプローチとして「定量的～定性的」のどちらに近いかを示しています。

図表10でみたように新4レベルも「人材開発部の価値の証明」を言っていますが、プロセスそのものはパフォーマンス改善です。逆に、フィリップスのROIではパフォーマンス改善のプロセスを踏んでいますが、一義的目的は「人材開発部の存在意義の証明」だと思います。

ご異論はあると思いますが、筆者にはこう見えるということでご容赦いただければと思います。

人的資本経営と言われる中、できるだけ工数の少ない効果測定手法を使って、研修効果を示したいというのが多くの人材開発担当の本音でしょう。

しかし、先に述べたように「研修だけで職場の実務行動を変え、KPIを改善することは難しく」、そもそも「人間の行動や業績を改善すること自体が難しい」のです。

人材開発部が真に向き合うべきは、研修を活用して職場での重要な実務行動の改善に役立ててもらうことです。パフォーマンス改善の考え方を活用し、職場で重要行動を改善できればレベル3の測定は可能になり、レベル4の結果もついてくるはずです。

ここまで、新4レベルに至る経緯をざっと見てきました。旧4レベルの批判を乗り越え、パフォーマンス改善の大きな潮流も取り込み、徐々に新4レベルに変化してきたことをご理解いただけたと思います。

新4レベルで参考にすべきことは多いのですが、個人的には次の５つが特に重要だと思います。

新4レベルで変化したことの意味をかみしめ、日本企業でも使い倒していきましょう。