2016.0902

●まとめ

Will Thalheimerは、新著Performance-Focused Smile Sheet (2016)の内容をもとにATDで “Utilizing Radically Improved Smile Sheets to Improve Learning Results” というセッションを行いました。Thalheimerのカークパトリックモデル批判はかなり厳しいものですが、最新の学術的な知見を踏まえており、説得力があります。

組織業績が改善するためには、少なくとも「学習⇒記憶（職場で思い出す）⇒実務での活用⇒個人の業績改善⇒組織業績改善」という大きな流れがあり、職場でのフォローや実務を通じた学びといった要因も関連してきます。カークパトリックのモデルではそのあたりが考慮されていないという指摘です。

Thalheimerはこのプロセスと主な要因をLearning Landscapeという独自のモデルにまとめ、Webinarでわかりやすく楽しく解説しています。

Webinar（15分前後で楽しい）
The Learning Landscape Model by Dr. Will Thalheimer

ふたつ目は、すでに学術的には「『レベル1：反応』と『レベル２：学習』の相関はほとんどない」とする研究成果がいくつかあることをあげています。

Thalheimerが紹介したメタ解析のひとつが下記図表２のSitzmannらの研究です。メタ解析は、過去の研究結果を統計的な整合性をとって解析するので、単発の実証的な研究よりも精度の高い結果を得られるといわれています。原文を見て驚きましたが、なんと136の研究、サンプル27,020人のメタ解析です。

解析結果をざっくりと言うと、次のようになります。

• 研修前の受講者の「やる気」「生来的な同調性」「研修に対する不安」は、「研修直後の満足度」と相関がある。
• 研修中のインストラクターの「スタイル」や「人間的なかかわり」、「研修に対する職場の支援的な雰囲気」は、「研修直後の満足度」と相関がある。
• 受講者の「研修直後の満足度」が高いと研修後の「やる気」や「自己効力感」も高まる。
• 「研修直後の満足度」と学習成果である「職場での手続き的知識（スキル的なもの）」は因果関係にない。「職場での手続き的知識」を見るのには「研修直後の満足度」より「研修後の自己効力感」の方が役に立つ。

Thalheimerはこの結果から「研修直後の満足度（レベル1）と学習成果（レベル2）は関係ない」と主張しています。というのは、上記の図の「D研修後の学習成果」の相関係数（ρ：ロー）がいずれも0.15以下と低いからです。さらに、Alligerらの別のメタ解析結果（1997）では明確に無相関（r=0.09）という結果もあり、カークパトリックの「満足度が高ければ学習成果も高い」という前提は否定されていると主張しています。

ただし、論文の著者Sitzmannたちは、回帰分析の結果も踏まえると「満足度と学習は無関係とは言えない」という立場をとっています。

ご関心のある方は以下の論文を参照してください。

• A Meta-Analysis of the Relations among Training Criteria (1997)
• A Review and Meta-Analysis of the Nomological Network of Trainee Reactions（2008）

以下はこれらのメタ解析の仮説の背景がわかる論文です。

• THE SCIENCE OF TRAINING: A Decade of Progress (2001)
• The Science of Training and Development in Organizations: What Matters in Practice (2012)

３つめは、よくあるアンケートの設問と選択肢（リッカート尺度）の問題です。たとえば、「この研修を受講してよかったと思う」という設問に、選択肢「5.まったくそう思う、4.ややそう思う～1.まったくそう思わない」の５段階で答えるパターンです。

Thalheimerはこうした受講者の主観を数値化し、その平均点に意味があるのかと問いかけています。さらに、そもそも受講者にポジティブな回答を促すバイアスのかかった設問が多いことも問題だと指摘しています。そして、こうした研修アンケートの数字は経営にとって本当に意味のある情報なのかと批判しています。

フォローアンケートについては、カークパトリックの新4レベルやブンリンカホフのSCMでも提案されていますので、人材開発のルーチンとして定着させたいものです。

とはいえ、忙しい職場で「またアンケートを取るのか？」という学習者の声もあると思います。このあたりはLMSの使い勝手がよくなり、フォローアンケートの項目数を絞り、質問内容が洗練されていくと抵抗感が薄れると思います。個人的にはブンリンカホフのSCMの考え方が忙しい職場に最も適していると思います。

余談ですが、Thalheimerは年間200本の学術論文を読んでいるそうで、とにかく学術的な知見が豊富です。しかも、ユーモアにあふれており、堅い内容を軟らかく解説しています。それがよくわかるのが下記のWebinarです。その他にもWebサイトでは非常に参考になるコンテンツが多数ありますので、ぜひチェックすることをお勧めします。

Webinar（15分前後で楽しい）
Learning Objectives -- A Research-Inspired Odyssey
Linking Training to Performance

もし、こういう指標が並んだ学習部門の年次報告があるといかがでしょうか？少なくとも部門としてどのような貢献をしたのかわかりやすくなると思います。お気づきのように、この中には「研修コース別の満足度」はまったくありません。

先に見た研修の効果性の議論は重要ですが、その前提は講師が実施するという旧来型のクラスの学習ですし、学習部門の内向きの指標です。一方で、現在はテクノロジーを活用したHRやL&D（Learning & Development）が急速に進展しています。経営や従業員が求めているものも変化しているはずです。

個人的には、ElkelesやJosh Bersin (Deloitte)の議論を見聞きすると、先の4レベルに終始した議論はやや20世紀的なものという気がします。

Elkelesは、現在はQualcommを退社していますが、2015年末まで同社のCLOとして長く活躍し、CLO誌から個人でも学習部門でもAwardを受賞しています。今年のATDセッションでは、今のQualcommは4半期ごとに①事業戦略の遂行と②企業文化にかかわる人材開発指標をインフォグラフィックにして報告すると発表していました。また、セッションの参加者からレベル２やレベル3をどうしているのかという質問に対し、測定していないと明言していました。

CLO誌 Award
Qualcomm:A Legacy of Learning

ATD TV Conference 2016 sessions（ATD会員のみ視聴可能）
Secrets to Building an Award-Winning Learning Organization (SU110)

興味深かったのが、QualcommではPathgather社のLMSを活用して、モバイル中心の学習や従業員同士のソーシャルな学びが広く浸透しているということです。たとえば、従業員の43％が従業員向けAppstoreにアクセスし、ユーザーの50％以上がそれらのコンテンツに2万時間以上アクセスしているそうです。