Hot News
從EMBA排名談研究方法設計上的常見錯誤
文章發表：2018/11/23
Cheers雜誌於今年7月公布的2018年3000大企業經理人EMBA評價調查，前十名分別是台灣大學、政治大學、成功大學、交通大學、台灣科技大學、中山大學、中央大學、清華大學、台北大學、台北科技大學。這個排名的調查，恰好是研究方法課一個很好的討論個案，可以看到研究方法設計上的常見錯誤。
Cheers雜誌用來調查臺灣EMBA學程評價的指標，包括：
- 就讀意願及推薦報考得票率
- 學校聲譽
- 與產業緊密結合具影響力
- 師資陣容整齊教學能力強
- 任課教師研究能力強在國際期刊論文發表數多
- 課程符合需求與未來潮流
- 與國際交流機會多
- 歷屆學生素質佳
- 主管或同事就讀後推薦
- 所處產業同業間口碑好
- 就讀地點離工作地點近
如果你是調查者，要調查企業界對一個EMBA學程的評價，你覺得哪一個指標最重要呢？
這11個指標其實還算完整，雖然有相互重疊之處（例如，1.、9.、11.的觀念重疊），也有一些不足（例如，沒有列出EMBA的校友人脈深度與廣度）。但令人驚訝的是，既然調查的是企業界對EMBA學程的評價，反映出來的理應是與實務現場相關的滿意度與認同度問題，而Cheers雜誌卻把就讀意願及推薦報考得票率的比重拉到最高，單一項就占了50%的決定分數。於是，就讀意願及推薦報考得票率主導了整體排名的結果。
例如，在Cheers雜誌2017年的調查中，台大在後10個指標加總排名第5名，因為就讀意願及推薦報考得票率第1名，所以總排名第一名。在2018年的調查中，台大在後10個指標加總排名爬升到第2名，因為就讀意願及推薦報考得票率第1名，又把它拉到第一名。反觀總排名第二的政大，在後10個指標平均分數排名第1名，而且10個指標中有關產業緊密結合具影響力、師資陣容整齊教學能力強、主管或同事就讀後推薦、歷屆學生素質佳、所處產業同業間口碑好等六個重要項目，政大皆贏台大，卻因為就讀意願及推薦報考得票率略遜一籌（台大光環），使得這些重要因素的排名影響力幾乎不存在。
從這個案例中，我們可以理出以下幾個研究方法設計時應避免的缺失：
1.避免高變動（Variance高）因素主宰整合分數高低
用一個很簡單的比喻，有兩位評審，第一位評審的分數高低差異很大，例如有給0分的，也有給到100分的，第二位評審給的分數很保守，幾乎皆在75～80分間，如果把兩位評審加總成績決定錄不錄取，那麼第一位評審的成績等於主宰了錄不錄取的決定。有人說那我們把兩位評審的成績，各取標準化的分數不就可以解決這個問題，答案是「不會解決」。取完標準化分數後，第一位評審的標準化分數變異分布還是比較大，第二位評審的標準化分數變異分布還是比較小，把兩位評審的標準化成績加總，主宰總分的還是評審一。
以2018年Cheers的調查來看，前十名的學校的就讀意願及推薦報考得票率標準化成績，最高與最低的差異是2.47（4.47-2.0）、第1名與第6名差2.04（4.47-2.43），而後10個指標加總標準化成績最高與最低的差異是2.03(1.69-(-0.34))、第1名與第6名差1.05（1.69-0.64），就讀意願及推薦報考得票率標準化成績明顯主宰了總成績！
Cheers雜誌在該調查研究方法說明中寫到，「計算方式為將EMBA得票率與10大構面評比平均分數分別標準化後相加，其中得票率之權重3倍於10大構面評比平均分數，據以進行總排名」。這樣的計算方式拉大了就讀意願及推薦報考率對總排名的絕對影響力，這也是為何台大連續兩年在後十個指標加總排名全國第5名，但因為就讀意願及推薦報考得票率第1名，把它拉到總排名第一名的主要原因。
2.內容效度（Content Validity）：學校的就讀意願及推薦報考得票率主宰總排名成績有何不好？
很少人會把學校的就讀意願及推薦報考得率當成是EMBA學程評價指標最重要的一項，它可以是一樣指標，但不應主宰總成績。況且，這個比率深受學校地點的影響，一位北部企業人士就算認為中部或南部的學校不錯，但是真的會跨區就讀的比率並不高，臺灣主要企業又多在北部地區，北部的學校占有先天上的優勢。有人會說，這也是事實，北部的學校本來就具地利之便，難道要故意不放入計算嗎？當然不是。但是，這個項目不可以主宰總排名成績，如果讓這個項目主宰總成績，那麼任何學校在課程、師資、產業口碑、學長姊推薦等項目所做的努力，幾乎都是徒勞無功的。這會是一個合理公平的EMBA評價評比嗎？所以，學校的就讀意願及推薦報考得票率主宰總排名成績當然不好！
早幾年Cheers雜誌把這項調查定名為「企業經理人最想就讀與最推薦的EMBA」，如果用這個標題，我相信目前的算法是名符其實的，但是這幾年既然改為「企業經理人EMBA評價調查」，那麼它與實際計算的方式與內容便不相符，也是不具內容效度。
3.效度（Validity）問題：樣本
以Cheers雜誌這個調查來看，其對象主要是《天下》雜誌3000大企業中，具備三年以上工作經驗，計畫就讀及已就讀EMBA的人士。但這些受訪者真的可以回答出學校聲譽、與產業緊密結合具影響力、師資陣容整齊教學能力、任課教師研究在國際期刊論文發表數、與國際交流機會多、歷屆學生素質佳等問題嗎？大部分國際知名大學評比，有關學校聲譽是問學術同儕，產業影響力是問業界指標人物（例如、主要公司CEO或人事主管），國際期刊論文發表是透過期刊質量客觀分析來算出分數，把這些問題問那些計畫就讀及已就讀EMBA的人士，在方法的效度上有很大的問題。
4.信度（Reliability）問題：排名的差異變化大
每年的排名有差異或變化是正常的，但如果在一年間變化很大，又沒有辦法提出合理解釋，就代表研究與衡量方法有嚴重的信度問題。以Cheers雜誌這個調查來看，這幾年除了台大與政大排名變動不大之外（因為就讀意願及推薦報考得票率主宰總排名），其他學校的變化真的很大，例如，2017年成大排名第3名，2018年掉到第9名，很難想像這到底發生了什麼事？仔細看分數細項，成大在2017年的就讀意願及推薦報考得票率標準化成績排第3名，2018年一下掉到第8名，更匪夷所思的是，成大2017年在後10個指標加總排名第1名，2018年竟然掉到第11名。
根據我做行銷研究這麼多年的經驗，這樣的結果主要是受到樣本大小的影響。南部的學校因為生源較少，填答人數一定也比較少，幾十個人就可以決定分數高低，是很危險的事，樣本代表性與統計誤差都會是一個問題。同樣的問題也出在中山大學的排名上。
