| 二○○七年國中基測研發成果媒體交流茶會」特稿 國立臺灣師範大學 |
| 中華民國九十六年十二月二十五日 教育部委託本校辦理「國民中學學生基本學力測驗」相關研發工作,本校研發團隊以專業方式執行國中基測施測與試題研發的探討,皆為國內引用與開發測驗技術之先驅。 基於對教育研究專業的堅持與使命感,研發團隊不僅持續追求發展更優質的測驗,藉由發展各種先進的測驗技術及工具,希望透過這些技術的發展能克服測驗的人為制並達到最佳化要求,使得考生的公平權益獲得最佳保障。除了技術性的工作,基於現今教育需要以更宏觀的思維進行探索,而本校也從國中基測所得出的數據資料對社會所關心的議題加以深入分析與研究,希望藉由現代科學技術得能尋求對應良方。 本次交流中除希望各方提供寶貴意見交換外,本校將與各界分享最近三項有關上述研究成果: 壹、中文寫作自動化評分系統 ACES 由於現代科技突飛猛進,作文自動化分析的技術開發,在不久的將來必定會實施於國中基測考生的身上。師大心測中心與交通大學資訊工程系教授兼副校長李嘉晃博士領導的智慧型系統實驗室合作,歷經四年,開發出第一套專為中文設計的寫作自動評分系統 ACES。這個集合自然語言處理與資訊擷取尖端技術的系統,是研發團隊針對中文寫作特性重新開始設計,處理中文的效能可媲美英文系統,而且可以分析學生寫作作品的程度,並給予一∼六等第分別的結果。此次展示的第一代原型系統,其與單人評分者的一致性高達百分之九十,和兩個評分者間的一致性已非常接近。為求改進第一代系統容易被破解評分原理的缺點,我們正發展第二代系統,依照文章的取材、組織結構和修辭技巧進行評分,使得評分結果更接近人的思考模式,排除有不好的文章因破解系統評分原理而僥倖得到高分的情況發生,而且目前正在尋求解決將學生手寫試卷轉換為電腦可辨識文字檔案,若研究過程順利成功,將可作為國中基測寫作測驗兩個評分專家之外新增的「第三位評分者」,可進一步提高評分信度,也可協助改良監控人工評分品質,考生公平權益必能獲得最大的保障。 貳、「英語語科雙峰」現象 許多人認為國中基測英語科的成績分布呈雙峰現象,因此考生的能力可能也是呈雙峰分布。但心測中心的模擬資料卻發現,考生分數的分配不能完全代表考生真實能力分配,而這種偏差乃是由於英語教學發生問題。應該如何解決此問題,研發團隊提出下列看法: 下圖是九十六年英語科答對題數的雙峰分配。為何有此種現象?主要是因為英語科的考生其能力的差異程度(也就是參差的程度)分布太廣。如此廣的能力分布差異,致使兩極端能力的考生作答國中基測試題時,難以適當反應他們的能力。造成高峰點偏向是全對的現象;另外,低分群的考生則大量集中在答對四分之一題數左右,而形成一個低分的峰。依照學理,是猜測結果所產生的。 這說明了英語科的雙峰並不代表臺灣考生的英語能力有呈現兩極化的現象。英語能力分布怪異,是在各地區和各學校都存在的現象,因此值得注意的是:要解決雙峰現象急待英語教學做深入探討與改進,試題研發單位方得能以適當的試題因應之。
參、試題自動化報讀與應試系統 特殊考生服務向來是國內外各項大型考試重視的工作項目之一,國中基測也強調對特殊考生的服務,例如寫作錄音代謄的相關試務流程研究,以及點字卷試題的相關研究。針對現行特殊考生考場服務與服務品質提升等問題研發,以九十六年第一次國中基測為例,全國特殊考生共 4403 人,其中學習障礙考生人數為 1564 人,申請報讀考生共 104 人。現行報讀服務採真人報讀方式,為加強服務,心測中心發展試題自動報讀與應試系統,使用 Microsoft Visual Studio 2005 以及 SAPI 5.1 等開發工具,搭配適合的 Text to Speech 語音引擎把試題文字檔事先轉成報讀檔,並請該科專業老師檢核檔案內容。報讀檔的使用可避免不同報讀老師在速度、報讀方式、試題圖形、表格說明上的不一致,更可避免臨場報錯的情況。試題自動報讀與應試系統亦給予特殊生與一般生平等的作答自主性,例如可以選擇想先行作答的題目,自行安排每一題欲作答的時間,隨時檢查或重聽某一題。這樣的作法提升以往由人工報讀的效益,也達到了目前人工報讀做不到的個別化目標。此外,此一技術再配合上輔助的軟硬體,未來可以應用於盲生考試,試題自動報讀與應試系統可以提供身心障礙考生更適性的服務。
|