当前位置: 华文世界 > 教育

非英语专业大学生对师生共建写作评分标准感知的质性研究

2024-10-08教育

感谢您关注「永大英语」!

非英语专业大学生对师生共建写作评分标准感知的质性研究

徐 鹰 杨梦妮

摘要: 本研究采用质性方法分析了非英语专业大学生对师生共建写作评分标准的感知及其影响因素。研究对象为某高校38位修读「学术英语」的大一学生。研究数据包括他们填写的叙事框架和对其中6位学生的回溯性访谈。研究发现,全部学生都赞同该评估模式,认为它不仅是一种有效的教学手段,也是一种有效的评估手段,能实现「以评促学」与「以评为学」,值得在课堂中推广;在教学应用上应注意搭建各类评估脚手架、控制评分标准不同等级之间的限定词以及加强对语言能力相对较弱学生的指导。

关键词: 共建写作评分标准;学生感知;学术英语;叙事框架;回溯性访谈

1. 引言

评分标准是教师、学生或其他评估者针对学生表现制定的描述性评分工具(Panadero & Jonsson, 2013)。它规定了任务完成需达到的标准,也对任务完成质量进行了详细的等级划分。在传统教学评估中,教师往往是评分标准的主要使用者,学生只能被动地接受评分标准(Kilgour et al., 2020)。近年来,这种以教师为主导的评估机制受到质疑,学者们转而探索更有效的评估手段以实现对学生的赋权增能(刘永良、张文忠, 2023),如师生合作共建评分标准。尽管已有研究发现师生共建评分标准有利于提升学生的写作成绩(Greenberg, 2015),但目前相关研究仍较匮乏,且其中大多数研究都在英语为母语的教学环境中进行(Becker, 2016),鲜有研究关注以英语为二语/外语的学习者在共建写作评分标准时的感知及其影响因素。

我国非英语专业大学生人数多、专业覆盖面广,对该群体的教学评估具有重要的研究价值。鉴于此,本研究拟采用叙事框架和回溯性访谈相结合的质性研究方法,探究非英语专业大学生对共建写作评分标准有用性的感知及其影响因素,以期为二语教学和评估提供启示。

2. 文献综述

2.1 评分标准在形成性评估中的使用

评分标准通常有两种用途,既可用作测量学习成果的评估工具,又可用作促进学习的教学工具(Jones et al., 2017)。一方面,准确清晰的评分标准能为评分员提供统一的标准参照评估框架,保证评分的信、效度。另一方面,评分标准能为形成性评估提供脚手架,帮助学生评判自己的作品(Andrade & Du, 2005)。

作为促进学习的教学工具,评分标准常配合学生自评使用(Panadero & Jonsson, 2013),因为学生正是通过自评诊断作文的优、劣势,然后不断改进。有目的地使用评分标准能帮助学生在准备过程中明确任务要求,并在收到分数后进行回顾和反思(Greenberg, 2015)。考虑到评分标准中的描述语可能比较抽象且模糊,Saddler和Andrade(2004)认为学生可能会对评分标准中的语言存疑,所以需提供关于评分标准的针对性指导和练习以帮助他们恰当地使用评分标准。学生参加评分标准使用相关的培训,有助于提升学习兴趣、增强学习动机;反之,其任务表现质量则会降低。

2.2 评分标准的共建

需要注意的是,如果直接使用教师指定的评分标准,学生可能认为它是为达到教师期望而设定的外部约束(Andrade & Du, 2005),导致工具主义倾向和学习浅表化等问题(Torrance, 2007)。Ghaffar et al.(2020:2)认为,在写作教学过程中讨论和修改评分标准是实现形成性评估的有效手段。因此,为充分发挥评分标准的作用,Andrade(2001)建议学生参与评分标准的构建,同时对该过程进行反思。前期研究发现,师生共建评分标准至少有三个优势:首先,让学生参与评分标准的构建能促使学生把评分标准视作学习过程的一环,从而激发自身内在学习动机。Reddy & Andrade(2010)的研究表明,学生参与评分标准的构建能推动其对评分标准的形成性使用,而非只关注最终分数,学习动机得以增强。其次,共建评分标准通过影响学生对写作的态度,激发其主观能动性。让学生参与评分标准的制定和协商有助于提高学习自主性(Fraile et al., 2017),使其在使用评分标准时获得更大的自主权(Andrade & Valtcheva, 2009),写作课堂也能回到以学生为中心的模式。

Arter & McTighe(2001)研究发现,共建过程能加深学生对评分标准的理解,赋予他们与同伴和教师讨论的机会以及协商的权力,激发其观点表达,培养批判性思维。学生在充分参与写作过程的同时拥有了更强的信心和自我效能感。最后,在共建和使用写作评分标准时,学生会认同自己的独立作者身份,拥有更强的信心以面对写作任务中的挑战,从而提高学习效果。Becker(2016)的实验研究表明,与仅使用评分标准的对照组学生相比,参与共建评分标准的实验组学生更清楚自身的水平,并在最终的写作任务中取得更高的成绩。

然而,聚焦师生共建评分标准的实证研究目前较少,现有的探索也大都集中于英语语境的国家,国内学者尚未给予充分关注,目前仅有两项研究:Zhao et al.(2021)在商务英语教学中通过师生共建评分标准发现学生对评分标准的元认知以及反馈素养都有提高;徐鹰等(2023)在大学英语课程口头报告中采用师生评分标准共建,发现该方法能提高学生的自评准确性。然而,中国传统的课堂教学以结果为导向,教学实践以教师讲解为主,学生参与较少(楼荷英、寮菲, 2005),学生能否适应共建评分标准尚不清楚。鉴于此,本研究提出两个研究问题:(1)非英语专业大学生对共建写作评分标准的感知如何?(2)哪些因素会影响他们对共建写作评分标准有用性的感知?

3. 研究设计

3.1 研究对象

广东省某双一流高校非英语专业38名大一学生参加了本研究。他们来自同一个班级,其中男生24人(63.2%),女生14人(36.8%),年龄在17—19岁之间,全部修读「学术英语」课程。该课程旨在培养学生的通用学术英语能力。所有学生高考英语成绩良好(平均分为120),属于中高水平学习者。为便于课堂讨论,教师根据学生能力高低和性别进行搭配,把全班分为8组,每组4-5人。

3.2 研究工具

3.2.1 叙事框架

本研究借鉴蒋联江等(2020)的叙事框架工具,其优点是支持从大规模群体中收集数据,并概括出对集体经验的认识,能为学生的叙事提供结构与内容上的支持和指导。为引导学生进行连贯叙述,叙事框架共包含6句以第一人称开头的提示语,涵盖三个主题(见图1):(1)个人信息;(2)对共建评分标准的感知;(3)未来继续进行共建评分标准的意愿。

3.2.2 回溯性访谈

为深入揭示不同个体的内心感受,本研究在叙事框架的基础上辅以访谈,旨在更全面地挖掘学生对共建评分标准的感知。学生完成叙事框架后,本研究选取6名性格外向且口头表达能力强的学生(S1-S6,男女各半)进行访谈,访谈问题(限于篇幅,备索)基于Ghaffar et al.(2020)的研究改编。每次访谈约30分钟,全程录音。

3.3 数据收集与分析

整个实验流程持续4周。实验前第一作者向学生介绍研究主题和流程,所有学生均表示自愿参与。根据课程进度,安排学生在实验第1周完成一篇通用学术论文,题目选自【新时代大学学术英语综合教程(下册)】(韩金龙等,2019)第5单元课后写作练习,并提交作文初稿。第2周,教师课上引导学生解构Jacobs et al.(1981)二语作文分项式评分标准,解释相关术语(如衔接和连贯),确保学生能熟悉常用的写作评估工具。选择该评分标准是因为它已被广泛用于全球各类大学写作课程(Weigle, 2002:115)和二语写作自评和互评研究(Matsuno, 2009)。然后,教师组织学生分析并讨论往届优秀范文。

最后,教师指导学生共建写作评分标准。共建过程遵循Fraile et al.(2017)师生共建评分标准的步骤:(1)全班学生依据对往届优秀范文的阅读和思考,分组讨论哪些评分维度可以用来评估写作能力,并形成初步的维度列表;(2)各小组交流各自的列表,然后教师在黑板上展示各小组的维度列表并组织学生讨论,确定最终的评分维度;(3)各小组尝试把这些维度划分为3-5个等级并补充不同等级的质量描述语,然后分享、讨论、合并冗余的描述语;(4)教师汇总所有的等级描述语并修改,尽可能地保留学生的语言以创建最终的评分标准;(5)教师向全班学生展示最终的评分标准(表1)并获得他们的支持。整个共建过程在一次课上完成,耗时60分钟,所有学生都参与共建活动。课后,学生根据评分标准修改作文初稿,然后提交作文二稿。

第3周,每位学生分别对一位同伴的作文二稿进行评分并提供反馈,互评过程隐蔽被评人和评分人信息。然后,学生采用共建的评分标准完成自评。借助互评和自评,学生有机会充分参与评估实践。

完成全部任务后,学生在第4周提交终稿。第一作者首先向所有学生介绍了叙事框架及其目的,接着给每位学生分发「数据使用知情同意表」。所有学生都同意填写叙事框架,填写后回收率为100%。第一作者课后在一间安静的教室依次对6名学生进行访谈。访谈结束后,第二作者将访谈录音转写成文本并切分成独立的意义单位(Green, 1998),一共659个。

叙事框架和访谈文本都根据Corbin & Strauss(2008)推荐的三级编码方式(开放式、主轴式、选择性)进行分析。在开放式编码阶段,按照「契合」和「相关」的原则对意义单位进行概念化处理,尽量采用学生自己的语言贴标签,形成具体概念;在主轴式编码阶段,通过把不同概念聚拢成范畴的方式构建主轴范畴,并使其能充分表征定性数据;在选择性编码阶段,综合处理范畴之间的关系,确定核心范畴。典型编码示例见表2。两位作者对所有的意义单位进行独立编码,一致性系数达91%,表明编码信度高。对于不一致的编码,两位作者通过深入讨论达成共识。

4. 研究结果

4.1 学生对师生共建评分标准作用的感知

叙事框架和访谈编码结果(表2)显示学生认为共建评分标准不仅是一种有效的教学手段,也是一种有效的评估手段。

作为有效的教学手段,学生参与师生共建评分标准能促进学习自主性,通过合作获得教学过程中的主导权(Ghaffar et al., 2020),强化了其学习主体地位。在该教学模式下,学生将教师视为学习过程中的合作伙伴(Boud, 2010),课堂的权力从教师重新分配给学生,后者因而有更多机会自评和反思。评分标准的共建过程也起到了促学作用,帮助学生明确教师期望和写作方向,提升写作能力。这与Andrade(2000)的发现一致:当学生能够理解评分标准,意识到教师对他们的期望时,他们更有可能提高学习表现。在共建评分标准的过程中,学生不再扮演知识的被动接受者,而是积极地参与学习和评估,不仅明确了目标,还通过互评和自评观察、体验不同水平学生的语言使用,从而有机会意识到自己的优、劣势并最终提升任务表现。

该发现为Boud(2010)的研究结果提供了实证证据,即学生参与评估的全过程,包括评分标准的构建和使用,有利于提高写作质量。以上结果可以用社会建构主义解释,即在共建评分标准过程中,学习者主动从学习经验中构建意义,在现有经验基础上理解新知识并整合到原有的知识体系中。

作为有效的评估手段,共建过程帮助学生了解评分标准的内涵,培养批判性思维。具体来说,学生开始认识到写作是一个过程,逐渐理解每项评分标准的含义并在写作互评和自评时运用这种理解(Joseph et al., 2020)。Yucel et al.(2014)认为在共建过程之前,师生对评估和评分标准的理解存在差异,而正是共建过程中的师生合作使得双方对评分标准有了共同的认知。此外,共建评分标准使评估过程更公平、更客观(Kilgour et al., 2020; Zhao et al., 2021)。学生有机会建构评分标准,表达对课堂教学的看法,因而评分标准的透明度和公平性得到保证,这进一步提升了教师和学生使用共建评分标准的体验。

此外,研究结果还发现学生肯定师生共建评分标准这种方法,并愿意今后继续参与,如「课堂上有老师循循善诱的导入,也有同学们各抒己见的环节,我的收获不只来源于老师,也有自己的思考,兼顾了老师和学生的不同视角,学习效果更显著」(S14-叙事框架);再如「课堂形式较为新颖,并非老师单方面输出,而是带动我们一起思考,这比单纯给定评分标准更易于接受,我也愿意继续参与其中」(S1-个人访谈)。上述看法和Ghaffar et al.(2020)的研究结果一致:共建评分标准增强了学生的投入,促进了更深层次的学习,帮助他们成为积极的学习者。

4.2 影响学生对共建写作评分标准有用性感知的因素

首先,学生认为教师提供的各类脚手架对有效使用共建评分标准非常重要,如教师提供了往届优秀范文,为学生建构评分标准提供了参考。S5在访谈时指出,「老师提供的往届优秀范文作用很大,能帮助我建构自己的标准;另外,如果能够给共建评分标准终稿的每个等级都提供对应的范文就更好了,这样我们在使用评分标准的时候可以对照这些范文来做决定。」由于理解和讨论范文能帮助学生建立与评分标准等级描述语的关联,实现评分标准的具象化,因此能帮助学生有效使用共建评分标准。

其次,学生认为共建评分标准中不同等级之间的限定词不易区分,因此在互评和自评的时候只能模糊处理,如S2在访谈时谈到,「共建评分标准各维度的第2、3等级包括一些限定词,比如「不够」「较」「基本」等等。由于缺乏更细致的界定,我只能根据自己的主观感受去评判,这些表达容易导致同学之间的判断差异。」Joseph et al.(2020)认为如果评分标准中的术语过多(如「批判性分析」)或难以区分(如「较好」「好」和「非常好」),学生可能误解评分标准从而产生消极态度。因此,在共建评分标准时须特别注意减少学生的误解或模糊认识,确有需要时应提供术语或限定词相关的解释和示例。

最后,学生反映英语写作能力是发挥共建写作评分标准作用的重要调节因素。语言能力相对较弱的学生指出,囿于有限的写作能力,他们对某些共建标准中术语的理解还不够深入,因此评分时常常略过,如S4在访谈时指出,「我的英语写作能力一直很弱,高中的时候经常借鉴模板作文完成写作,里面包括常用的句式和套词,虽然我能基本完成写作任务,但是对如何评估作文还是不太清楚,因此在用共建评分标准的时候感到比较吃力,就会跳过一些没有把握的评分特征,比如‘论证严谨’。」该例说明学生的语言能力是发挥共建评分标准作用的重要影响因素。对于这类学生,教师应提供更多有针对性的个性化指导,为每个小组搭配不同能力的组员并增强对能力较弱学生的培训。

5. 讨论

本研究发现师生共建评分标准具有教学和评估的双重功效。当其作为教学手段时,能增强学生的学习自主性、明确写作方向、改进薄弱点并提升写作水平;当其作为评估手段时,能帮助学生明确标准内涵、培养批判性思维并提高评分公平性。上述结果和国外相关研究相吻合,说明师生共建评分标准作为一种形成性评估形式,能让学生理解评分标准的内涵、设定明确的学习目标、进行自我评估实践、得到同伴和教师的多元反馈,实现「以评促学」;其本身也是一种学习活动,能实现「以评为学」。该方法促学的主要原因如下。

首先,共建评分标准提高了评分标准的透明性。评分标准描述语是否清晰易懂是制约其有效性的关键(Li & Zhang, 2021)。传统课堂评估采用的评分标准因包含复杂、抽象的描述语而被人诟病为「枯燥无味」(Benson & Voller, 1997:177),导致学生在自评和互评中难以使用,阻碍了「以评促学」作用的发挥。在本研究中,学生通过参与共建评分标准,不仅能更深刻地认识教师期望的写作表现,而且能更清楚地理解学术写作评分标准及其各项维度。在此基础上,他们能在互评、自评以及作文修改中应用对评分标准的理解,从而提高写作质量。

其次,共建评分标准增强了学生的元认知能力。学生通过分析二语作文分项式评分标准、讨论优秀范文并参与评分标准共建,然后采用共建的评分标准进行互评和自评,能从多角度、多层次评估他们自己的作文并反思如何才能提高写作质量。毫无疑问,深度参与上述评估活动不仅能有效加深他们对写作质量的理解,而且能帮助他们把以往所学的写作知识迁移、应用到新的场景,从而提升写作能力。

最后,本研究设计结合了师生共建评分标准和学生使用评分标准,形成评分标准开发和使用的闭环(Zhao et al., 2021)。学生参与共建评分标准能加深对写作质量的理解,而进行互评和自评则让他们有机会通过实践进一步内化这种知识。在整个实验中,学生通过与教师和同学的沟通互动,在现有经验基础上主动建构新的意义,充分发挥主观能动性,从而掌握新的知识。

6. 结论

本研究探究非英语专业大学生对共建写作评分标准有用性的感知及其影响因素,发现共建评分标准不仅是一种有效的教学手段,也是一种有效的评估手段,能够实现「以评促学」与「以评为学」。全部学生都对该方法表示认同,主要原因在于该方法改变了以往课堂评估中以教师为中心、学生被动接受评估的局面,能够让学生积极参与教、学、评全流程,凸显学生的评估主体地位,形成以学生为中心的良性课堂生态。

本研究为师生共建评分标准的促学功能提供了中国学习者的证据,值得在我国外语课堂教学中应用推广。在实际教学中,可以采用灵活多样的形式,比如把教学目标、任务设计、师生评分标准共建相结合,提高应用实效;同时应把师生共建评分标准和互评、自评等评估活动结合起来,发挥该方法的最大效能。

本研究也存在以下不足。首先,本研究仅从学生视角进行探讨,未来研究可以从教师视角进行交叉验证。其次,本研究为期只有4周,且只针对通用学术论文一种体裁,因此研究结果还需谨慎解读,下一步研究可以延长周期并扩展至不同体裁。最后,本研究属于探索性定性分析,未来可以采用准实验研究方法,从学生写作成绩、写作策略和自我效能感等方面入手,对比直接提供评分标准和共建评分标准的效果差异。

基金项目:本文为国家社科基金项目「数据驱动的英语语音能力评估标准创建研究」(项目编号:22BYY089)和华南理工大学教改项目「师生共建模式下外语课堂评估的改革与实践」(项目编号:x2wy-C9233142)的阶段性研究成果。

(参考文献 略)

(本文首次发表在【山东外语教学】2024年第4期)