新汉语水平考试(HSK)笔试分6个等级,HSK(六级)是难度最高的等级。 新HSK每年在全球举办8至9次考试,HSK(六级)不同次考试使用的试卷之间需要等值。对新HSK而言,传统的“铆题”和“铆人”的等值方法都不可行。新HSK试题的使用是一次性的,因此,“共同题等值法”无用武之地;“共同组等值法”则之前就因缺少可操作性,一直未能派上用场。
至于“分半组合的混合设计”,我们也不赞成。因为:首先,它“伤害”了试卷。将标准卷一分为二,将新试卷一分为二,然后两两组合成两套等值新卷,这种做法, 会破坏新试卷内容、考查点、难度等方面的设计,忽视了拼卷人员付出的心血,没有把一套精心编制的试卷视为一个有机统一整体,一定程度上会损害试卷的质量; 其次,对考生也有较大影响。同一次考试,大部分考生作答新试卷,还有两个考生群体分别作答两套等值新卷中的一套。如果这两个考生群体对此并不知情,那是对 考生的不尊重,对外汉语www.storychinese.com如果提前告知考生,考生不会踊跃参加,有操作上的难度。同一次考试,考生被分为三个群体,使用三个版本的试卷,有违标准化考试的“标准化” 理念,也不可取。第三,“分半组合的混合设计”仍属“共同题”等值设计,仍要“铆题”,“铆”以前使用过的试题。
通过研究,我们发现,新HSK可以采取“平均分等值法”来进行等值。其假设是,在每次考试有足够数量、足够代表性考生的前提下,不同次考试考生群体的汉语水平相同。基于这个假设,如果某次考试听力平均分偏高,意味着听力分测验可能偏易,需要减分;如果阅读平均分偏低,意味着阅读分测验可能偏难,需要加分。各分测验究竟加分还是减分,调整幅度多大,由工作人员参考相关数据,集体讨论确定。
本文就是依据这一假设,为HSK(六级)设计的等值方案。该方案将在2013年正式考试中付诸实践。该方案同样适用于新HSK其他等级的考试。
一、相关数据
2010至2012年,HSK(六级)共举办25次考试,使用试卷25套。我们统计了每次考试的考生数量、听力平均分、阅读平均分、听读平均分之差。HSK(六级)听力、阅读满分均为50。本文使用的分数均为原始分。具体信息见表1:
表1
年度 卷号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 考生数量 3482 950 4131 2743 2758 2915 2714 1049 4149 3997 4235 5231 4410 3758 2742 4886 7224 5662 6226 5901 4412 4211 3987 5075 8108 听力平均分 37.373 38.738 37.013 32.304 35.419 35.35 36.963 38.939 35.391 34.607 39.357 36.618 40.599 37.418 38.264 37.639 34.36 35.605 37.93 36.888 36.626 35.467 35.53 37.194 36.453 听读平均分阅读平均分 之差 29.35 8.023 34.008 4.73 32.755 4.258 28.038 4.266 33.198 2.221 33.608 1.742 33.37 3.593 35.308 3.631 31.762 3.629 32.157 2.45 34.177 5.18 30.983 5.635 34.341 6.258 32.317 5.101 31.026 7.238 30.634 7.005 33.087 1.273 30.807 4.798 33.038 4.892 33.531 3.357 32.519 4.107 33.029 2.438 33.089 2.441 32.301 4.893 31.462 4.991 2010 2011 2012
25次考试考生数量共计104,956,听力平均分的均值为36.722,阅读平均分
的均值为32.396,听读平均分之差的均值为4.326。听力、阅读平均分曲线如图1所示:
去除第4、8、13卷(4卷听力、阅读平均分最低,8卷阅读平均分最高,13卷听力平均分最高),22次考试考生数量共计96,754,听力平均分的均值为36.646,阅读平均分的均值为32.373,听读平均分之差的均值为4.273。听力、阅读平均分曲线如图2所示:
HSK(六级)考生中,韩国考生(在韩国参加考试的考生,下同)占较大比例。上述25次考试中,韩国承办了其中的23次考试,第2、8卷未在韩国使用。我们统计了每次考试韩国考生的数量、占全球考生总数比例、听力平均分、阅读平均分、听读平均分之差。具体信息见表2:
表2
年度 卷号 考生数量 1 3 4 5 6 7 9 10 11 12 2823 2198 1692 2318 2298 1763 2373 2937 1439 2193 占全球考生听读平均分听力平均分 阅读平均分 总数比例 之差 81% 37.105 28.786 8.319 53% 35.633 30.854 4.779 62% 32.037 27.985 4.052 84% 34.905 32.624 2.281 79% 35.395 33.479 1.916 65% 36.600 32.965 3.635 57% 35.569 31.750 3.819 74% 34.301 32.064 2.237 34% 38.635 32.837 5.798 42% 36.189 30.541 5.648 2010 2011 2012 13 14 15 16 17 18 19 20 21 22 23 24 25 1589 3149 2149 2046 2474 3464 1646 2413 1755 3183 2286 2025 2708 36% 84% 78% 42% 34% 61% 26% 41% 40% 76% 57% 40% 33% 38.694 37.044 38.077 35.997 33.955 35.288 36.988 36.093 36.936 35.103 34.666 34.883 35.670 32.458 31.887 31.025 28.471 33.068 30.283 32.108 33.060 32.723 32.615 31.834 29.506 30.611 6.236 5.157 7.052 7.526 0.887 5.005 4.88 3.033 4.213 2.488 2.832 5.377 5.059
23次考试韩国考生数量共计52,921。听力平均分的均值为35.903,阅读平均分的均值为31.458,听读平均分之差的均值为4.445。
去除第4、6、13卷(4卷听力、阅读平均分最低,6卷阅读平均分最高,13卷听力平均分最高),20次考试考生数量共计47,342,听力平均分的均值为35.982,阅读平均分的均值为31.481,听读平均分之差的均值为4.501。如图3所示:
我们还统计了25次考试每次考试非韩国考生(在韩国之外参加考试的考生,下同)的数量、听力平均分、阅读平均分、听读平均分之差。具体信息见表3:
表3
年度 卷号 1 2 3 4 5 6 7 8 9 10 11 考生数量 659 950 1933 1051 440 617 951 1049 1776 1060 2796 听力平均分 38.521 38.738 38.582 32.734 38.127 35.182 37.636 38.939 35.153 35.455 39.729 阅读平均分 31.766 34.008 34.917 28.123 36.222 34.088 34.121 35.308 31.778 32.415 34.867 听读平均分之差 6.755 4.730 3.666 4.611 1.905 1.094 3.515 3.631 3.375 3.040 4.862 2010 2011 2012 12 13 14 15 16 17 18 19 20 21 22 23 24 25 3038 2821 609 593 2840 4750 2198 4580 3488 2657 1028 1701 3050 5400 36.928 41.672 39.352 38.942 38.822 34.571 36.105 38.269 37.438 36.421 36.594 36.691 38.728 36.846 31.302 35.402 34.540 31.030 32.192 33.097 31.633 33.372 33.857 32.384 34.311 34.776 34.157 31.889 5.626 6.270 4.811 7.912 6.630 1.474 4.472 4.896 3.581 4.037 2.283 1.916 4.572 4.957
25次考试非韩国考生数量共计52,035。听力平均分的均值为37.447,阅读平均分的均值为33.262,听读平均分之差的均值为4.185。
去除第4、5、13卷(4卷听力、阅读平均分最低,5卷阅读平均分最高,13卷听力平均分最高),22次考试考生数量共计47,723,听力平均分的均值为37.438,阅读平均分的均值为33.264,听读平均分之差的均值为4.174。如图4所示:
二、等值过程
HSK(六级)新的考试结束后,按以下步骤进行等值调整: 1.扫卡,获得本次考试全体考生的听力、阅读作答数据。
2.统计本次考试全体考生、韩国考生、非韩国考生的听力平均分、阅读平均分、听读平均分之差。
3.结合本次考试考生构成具体信息,对本次考试数据与三年平均数据进行比较,确定本次考试听力、阅读平均分加分或减分幅度。
未来某次考试,如果韩国考生占较大比例,主要参考图3所示标准;反之,主要参考图4所示标准。图2所示标准则为辅助标准。
以2011年第10、15卷数据为假想新卷数据:第10卷全球考生3997人,韩国考生2937人(占全球考生74%),韩国考生听力平均分为34.301,阅读平均分为32.064,听读平均分之差为2.237;第15卷全球考生2742人,韩国考生2149人(占全球考生78%),韩国考生听力平均分为38.077,阅读平均分为31.025,听读平均分之差为7.052。
考虑到这两卷韩国考生占较大比例,因此主要参考图3所示数据。将这两卷数据放入图3所示数据中进行比较,结果如图5所示:
按照“平均分等值法”思路,第10卷可以考虑将每个考生的听力原始分上调1分,听力平均分由此上调至35.301;将每个考生的阅读原始分下调1分,阅读平均分由此下调至31.064;听读平均分之差变为4.237。第15卷可以考虑将每个考生的听力原始分下调2分,听力平均分由此下调至36.077;将每个考生的阅读原始分保持不变,阅读平均分31.025保持不变;听读平均分之差变为5.052。结果如图6所示:
再以2011年第17卷、2012年第25卷数据为假想新卷数据:第17卷全球考生7224人,韩国考生2474人(占全球考生34%),非韩国考生听力平均分为34.571,阅读平均分为33.097,听读平均分之差为1.474;第25卷全球考生8108人,韩国考生2708人(占全球考生33%),非韩国考生听力平均分为36.846,阅读平均分为31.889,听读平均分之差为4.957。
考虑到这两卷非韩国考生占较大比例,因此主要参考图4所示数据。将这两卷数据放入图4所示数据中进行比较,结果如图7所示:
按照“平均分等值法”思路,第17卷可以考虑将每个考生的听力原始分上调2分,听力平均分由此上调至36.571;将每个考生的阅读原始分保持不变,阅读平均分33.097保持不变;听读平均分之差变为3.474。第25卷可以考虑将每个考生的听力原始分保持不变,听力平均分36.846保持不变;将每个考生的阅读原始分上调1分,阅读平均分由此上调至32.889;听读平均分之差变为3.957。结果如图8所示:
三、其他
“平均分等值法”属于“共同组等值”设计。
在听力平均分均值线和阅读平均分均值线的确定上,“平均分等值法”有两种选择。一是将其固定,比如选择近三年所有考试,获得听力、阅读平均分均值线,今后的考试围绕这两条均值线做调整。二是将其动态化,每次考试都围绕之前所有考试形成的均值线做调整。我们选择了前者。
相关标准可维持5-10年不变。这期间,可持续监测历年相关原始分数据。5-10年后,如果数据发生了较大变化,可选择新的数据,确立新的标准。 过去有一种观点:等值适用于听力理解、阅读理解等客观题,书面表达、口语表达等主观题的等值,则靠的是评分员对评分标准的把握,靠的是评分员的素质,靠的是评分员队伍的建设;有一支好的评分员队伍,评分员的素质有保证,评分员能按照既定标准进行评分,所给分数就是等值的。这种观点不无道理,它正视主观题评分主观性强的弊端,突出强调了评分员队伍建设的重要性。但正如不能因为命题、拼卷人员经验丰富,就不对客观题进行等值处理,我们也不能因评分员素质高,就不对主观题进行等值。何况,建设一支高素质的评分员队伍绝非易事。因此,新HSK对书面表达、口语表达主观题也进行等值,也采取平均分等值法进行等值。
因篇幅问题不能全部显示,请点此查看更多更全内容