考試作弊偵測模式研究：整合資訊視覺化工具的新應用

摘要

在過去的研究裡，由於缺乏資訊視覺化的工具與概念，在探討考試作弊等隱晦腐敗問題時，多半會直接採用數學公式與應用數理統計檢定原理作為分析工具進行研究，比方本研究就源於Brain A.Jacob和Steven D. Levitt在2003年所發表的論文，他們探討美國芝加哥中學生，參加Iowa Test of Basic Skills (ITBS)測驗時，所發生疑似老師主導下的考試舞弊的問題；尤有甚者，Steven D. Levitt與Ming-Jen Lin在2015年也發表探討學生自由入座與隨機分派參與考試的作弊情形之比較研究，兩種研究皆是利用幾行數學方程式，據以表達其分析的結果。我們不能否認的是，數學結果呈現有其簡潔性與所代表的深切意涵，但對於大多不諳數學表達的普羅大眾而言，推廣與整合資訊視覺化工具的媒合相對重要。尤其在當代重視處理大數據氛圍，整合資訊視覺化工具的新應用於偵測考試作弊模式變成極有可能實現。

   因此本計畫的主要目的，乃是在於希冀利用視覺化的工具軟體，將Brain A.Jacob、Steven D. Levitt、Ming-Jen Lin等人的原始研究的部分實際或模擬數據，轉換為一般人較易接受、且更容易溝通、一目瞭然的廣義相關圖 (generalized association plots: GAP)和其他圖示表現，並希望透過「作弊班資料」與「正常班資料」對照比對，歸納與整理出若干典型的作弊模式。寄盼本研究提供未來實務上輔助考試防弊的機制設計，即只需輸入整班學生答案卡的資料，加以轉換為實驗組與對照組交叉比對，即可快速篩選該班是否有高度作弊的可能性。

文獻回顧-作弊偵測數學模型

   作弊中夾雜貪腐誘因研究中，前述經典研究(Jacob and Levitt, 2003a,b)就是得益於齊全的資料庫，原研究背景是芝加哥過去每年春天，三到八年級的學生都要進行Iowa Test of Basic Skills (ITBS)測驗，而測試結果會決定哪些學校將被再次評鑑，甚至強制進行改革；至於成績低落、有留級危機的學生，則會被要求參加暑期加強課程，此外還有部分學生可以透過此測驗得到申請明星高中的資格。隨著獎懲制度誘因機制愈是強烈，作弊通常就是誘因自然造成的結果。沒節操的老師開始使用更多的作弊方法，包括提供正確答案、預先洩漏考題、直接更改學生試卷的答案等。就曾經有畢業生站出來，坦承其曾在就學期間，在老師的協助下作弊；也有離職的老師坦言，學校行政人員鼓勵幫學生作弊，而學校某些班級歷年成績數據的大幅波動，也間接證明了此點。一切都高度指向行政貪腐的介入，惟通常缺乏有力證據能夠偵測並加以證實。

Brain A.Jacob和Steven D. Levitt(2004;2003a,b)的研究乃是擷取該資料庫中一份持續三年的資料樣本，並對學校教師介入作弊情事進行調查，除了估算各校作弊盛行率，並且分析預測此類作弊的因子。他們認為，利用精準判別是否作弊的技術，可以讓學校避免在繪聲繪影下，所產生的人心惶惶影響學習效果。該作弊偵測模型中，有幾個重要的指標如下：

(A)考試分數的不尋常波動：

正常而言，同一個班級，在連續的三個年度中，其成績不會變化太大，倘若其中一年異常偏高，而下一年又顯著下降，如此大幅度的波動可以使我們強烈懷疑有作弊的情形發生，而此波動情形可以用下列公式進行量化，當量化所得的得分越高者，其作弊的機率亦高：

研究將兩個分別有作弊和沒作弊的班級，在同一次的考試中所表現出的試卷結果作分析，發現有作弊的班級答案成呈現異常集中的分布，以此佐證此班級在此次有作弊，而和之後的考試表現比較，發現沒有作弊習慣的的班級成績穩定上升，而有作弊的班級下一年則相反。

(B)針對可疑的答案串：

所謂的答案串，指的是學生填答得出的字串，比方說某學生在第一題到第五題的作答情形為AABDC，則AABDC稱之為答案串。該研究針對答案串提出四種偵測方法。

(1)在連續的問題中，比方說第一題到第十五題，許多學生的作答情形皆相同，形成一個明顯突出的區塊。

(2)學生作答與整體分數的相關性：在越可能作弊的班級中，學生的作答會趨於統一，也就是說，這些作弊的班級，學生會傾向在較多問題中，填寫相同答案，即便是那些我們預期會產生差異、或是富有鑑別度的題目。

(3)不同問題之間的相關性變異大：若老師刻意更改某幾題的答案，則這些題目之間相關性會偏高，因為都會偏向於全對；相對的，其餘題目的相關性則會偏低。

(4)比較該班與他班學生的答題情形：在一般的情況下，簡單題的答對率會較高，而難題的答對率會較低，但若某班學生作答情形，是在簡單題失分較多、而主要在難題得分，則我們可以合理懷疑其有作弊的可能。研究明顯指出，在重要的大考時，可疑答案會變多，可能是作弊所致。研究者另外也發現老師會任意地在學生答案卷上留白的部分填上答案，以及研究結果可能因為他們具有偏見而分類錯誤，將沒有作弊的老師歸類為有作弊的老師。研究使用了兩種方式，一種是觀察可能作弊班級內的任意幾名學生，一種是模仿會作弊的老師跟不會作弊的老師，此兩種切入角度又可以各自透過下列兩種方法進行模擬，比較天真的是更換一整串的答案，另一種則是任意地挑選題目更改答案，結果發現，除了明顯的將全班的答案都作變動，否則很難抓到作弊的證據的群聚性。

初步結果-樹狀結構圖(TreeMap)和熱度圖(HeatMap)的應用

        TreeMap是一種具有樹狀結構的嵌套式矩陣圖，可以展現數據的大小與嵌套關係。它還加入了熱度圖（HeatMap）的顏色特徵，使其可以藉由顏色反應另一個變量，充分利用了人類視覺對於形狀大小與顏色的感知能力，表現成績跨年度的差異。