【半直接测试的真实性探讨】 史记真实性探讨

　　 【摘 要】综合各种关于测试真实性的观点，以典型的半直接法测试――新托福网络口语考试为例，从测试文本、测试任务和情景、受试者与测试任务互动、评价标准及评分过程，客观地分析半直接法测试的真实性，并得出结论。
　　 【关键词】半直接测试 真实性 新托福 网络口语
　　 【中图分类号】G 【文献标识码】A
　　 【文章编号】0450-9889（2012）02C-
　　0108-03
　　
　　 语言测试的真实性是一个复杂的问题。人们把真实的语言测试等同于表面效度较高的直接测试。而半直接测试由于缺乏逼真的交际情景和互动，其真实性备受质疑。对半直接测试真实性进行研究，有利于了解语言测试真实性的本质，在实践中运用真实性的研究成果指导语言测试体系的构建和语言教学。
　　 一、什么是半直接测试
　　 语言测试可以划分为间接、半直接和直接测试。
　　 （一）间接法(indirect)
　　 间接法是建立在语言运用能力可分性的基础上，即通过测量受测试者对语言结构各个层面（如语音、词汇及语法等）的掌握情况来衡量他们的整体语言能力。其特点是：一是不追求测试形式与真实交际的密切相关，是一种不具备表面效度测试。由于不受语用条件或语用环境的制约，可以采用的多种测试形式来测试广泛的语言项目。二是题型属于标准化类型，答案一般是唯一的。三是测试和评分过程不同时进行，比较容易保证评分者的信度。
　　 （二）直接法（direct）
　　 直接法的理论基础是交际理论，强调语言在真实的交际过程中的运用，也就是测试要尽可能多地重现实际语言运用情景和过程。其特点是：一是测试任务与真实的语境密切相关，表面效度较高。二是由于交际活动的不可预测性，测试的答案是开发式（open-ended）。同时直接法面临的问题是如何制定客观、公正的评分标准，如何保证评分者信度，如何保证测试手段的有效性，以及测试规模受限的问题。
　　 （三）半直接法（semi-direct）
　　 半直接测试综合了上述两种测试方法的长处，吸收了间接法的公正性和标准化的优点，保留了直接法在特定语境下交际的特点，通过声音和图像模拟交际语境，呈现的内容与真实生活的交际活动相关，受测试者按要求完成测试任务，采用录音或录像的方式收集受测试者的样本，由评分员根据评分标准进行评分。半直接测试的特点是：一是能在短时间内测试许多考生，节省人力和物力；二是考官情绪或水平差异的影响小；三是评分可以由经过培训的专业人员统一在合适的时间和舒适的地点进行；四是考官可以反复听录音，有利于提高评分的准确性。
　　 二、半直接测试的真实性
　　 半直接测试是一种折中的测试方法，在实践中被广泛地使用。尽管半直接测试的操作性很强，但其真实性受到各方的质疑。Valette曾指出半直接测试无法提供逼真的交际情景；Beardsmore曾提及在半直接测试中考生的单向回答不符合真实的交际形式，越来越多的证据削弱了半直接测试的真实性，半直接测试的真实性问题首先要从语言测试真实性的本质着手。
　　 （一）语言测试的真实性
　　 在语言习得理论和语言测试理论发展历史上，关于语言测试真实性的观点有以下这些：
　　 早期的观点：20世纪60年代中期，真实性概念的提出主要用于区分“现实生活”的语言素材和为教学目的而编写的文本。真实性最初只是一个简单的概念，它强调的只是文本材料的真实性，它要求测试的文本来自真实情景未被改动的原始文本。这种观点存在的问题是：测试的真实性会因为交际对象和交际情景的变化而降低，而且受客观条件的限制，在实际的操作过程中不可能不对原始文本作任何修改。
　　 真实生活观（Real-Life approach，简称RL）：测试真实性是“形式和过程尽可能多地重现实际语言运用情景及其过程”。要求测试任务的情景和内容与真实生活中目标语的使用情景和内容一致,强调测试任务的真实性,主张使用直接测试（direct test）和行为测试（performance test），关注的是测试的表面效度、内容效度和预测效度。这种观点存在的问题是：真实生活如果是目的语使用者的真实生活，对于二语学习者来说，测试任务已经失去了真实性。另一个问题是测试任务无法完全重现现实生活中的语言任务。
　　 交互能力观（interactional ability approach，简称IA观)：真实性存在受测试者、测试任务和测试情景之间的相互作用，认为互动程度越强，测试的真实性就越高。这种观点强调真实性的描述应注重交际语言使用的区别性特征，即语言使用者、语境和语篇之间的交互作用，而不是去获取整个语言使用情景，这种观点关注的是测试的结构效度。
　　 一致观：Bachman和Palmer把交互性从真实性的复杂概念中分离出来，对真实性作了区分：情景真实性（situational authenticity）和交际真实性（interactional authenticity）。前者指测试任务特征与目标语使用任务特征的对应，后者指考生与测试任务之间的互动。把真实性定义为“特定测试任务的特征与目标语使用任务特征的一致性程度”，也就是只要测试任务具有目的语使用的主要特征，不必要将非测试情景中的任务原封不动地复制到测试情景中。为匹配目标使用任务特征和测试任务特征，Bachman和Palmer提出了任务特征研究框架，增强了真实性在测试中的可操作性。一致观的“真实性”是一个相对的、动态的概念，语言测试不可能达到百分之百的真实性。
　　 最近的观点：Spence-Brown对测试真实性的内涵进行了扩展和丰富，认为主要包括四个方面：测试任务的真实性；考生与测试任务之间互动的真实性；考生与其他参与者之间互动的真实性；评分过程及其标准的真实性。这一观点包括了真实生活观和交互能力观的内容，同时考虑到测试的互动的社会维度特性，包括考生、测试者以及其他参与者之间的互动。语言测试实践已证明其他的参与者（如搭档或考官）的表现能够极大地影响考生的语言行为。评分标准和评分过程的真实性确保了评价结果的公平性和准确性，确定评分标准时，要考虑到目标语使用域和测试目的，例如Spence-Brown指出了一种确保评分标准真实性的方法，就是让目标语使用域的专家（非语言教师或语言学家）参与到测试开发过程中。在制定评分标准时，应注重考试的语言展示和语言运用的平衡，真实性评分应该侧重学生的语言运用能力，也就是侧重考查学生作答的社会得体性、可理解性、是否完成任务等方面。
　　 （二）半直接测试的真实性问题
　　 和直接测试相比，半直接测试没有考官和其他考生的参与，但这并不意味这类测试的真实性不高。虽然缺乏这类互动，与真实生活中的交际活动情景相差较远，也就是表面效度不高，但表面效度不再是判断测试真实性高低的唯一衡量标准，测试的构想效度同样影响测试的真实性。
　　 测试的构想效度就是“测试中的表现与我们根据能力（ability）或构想（construct）理论所做出的预测在多大程度上相一致”。测试的构想效度不仅是测试分数解释的基础，而且“对考试真实性的论证具有同等甚至更重要的地位”。Hughes是这样解释测试的构想效度：“一项测试、一项测试的一部分，或者一项测试技巧，如果被证明它所测量的就是它被期望测量的能力，那么它就可以说是具有构想效度。”也就是只要证明测试具有合理的理论框架，而且设计的测试任务能体现这个理论框架，就可确定测试的真实性的高低。
　　 三、半直接测试的真实性分析
　　 根据上述关于测试真实性的研究结果来看，真实性是一个复杂的概念，真实性的理论构成及其在测试实践中的实现方式是多元的，从后方法（post-method）
　　的角度出发，Spence-Brown关于真实性的定义更为丰富，可操作性更强。因此，在实践中可以从测试文本、测试任务和情景、受试者与测试任务互动以及评分标准和过程的真实性来判断一个测试体系的真实性的高低，以下以新托福网络口试为例，分析半直接测试的真实性。
　　 ETS公司推出的新托福口语考试是基于互联网的人机对话口语测试模式，由计算机展示测试的任务和要求，新托福口语考试的最大特点是考生的回答经过数字录音并被发送到ETS在线评估网络。每个考生的考试录音都至少有三个以上的评分员进行评估，而且有的时候一个考生的同一个部分的评估也由两个评分员评估，这样来保证学生分数的公正性。这是典型的半直接测试方法，以下从与测试真实性相关的四个方面来分析其真实性。
　　 （一）测试文本的真实性
　　 真实的材料是任何交际语言能力测试必不可少的部分，新托福考试的素材全部取自真实的学术语言环境，内容都与北美大学校园生活有关，是北美学习和生活中所接触到的语言。由于托福是为非英语国家考生设计的考试，考虑到非英语国家考生与本族语者的在语言运用方面的差异，对真实材料的加工处理，使其难度与真实的交际情景相当，这样的处理本身就削弱了文本的真实性，尽管如此，测试文本虽不具备绝对的真实性，但却具有较高的真实性。
　　 （二）测试任务的真实性
　　 新托福模拟了北美大学课堂的学术气氛和学生的校园生活，以下以口语考试任务的特征描述来加以说明：Task1要求考生表达个人喜好和个人经历；Task2要求对其选择的问题进行阐述并说明原因。Task3和Task4：先阅读一段文字，然后听一段与阅读材料相关的听力材料，听力材料的形式可以是对话、演讲或其他形式，考生需要在听录音的过程中通过做笔记，并结合阅读材料中隐含的说话者的观点地答题。Task5和Task6：以听力材料为基础，要求考生回答相关问题，听力材料包括对话情景题和课堂讲解学术题，考生在听录音的过程中做笔记可以帮助其更好的答题。从测试任务特征描述来看，新托福测试任务符合Bachman关于测试任务真实性的标准，测试的任务是考生需要在校园情景、课堂情景中用英语完成的典型任务。
　　 测试情景的真实性是指测试任务的情景与现实生活中完成类似交际任务的场景的相似程度。新托福口试测试和综合测试中情景设置包括日常校园生活情景和学术情景，基本反映了将来考生在北美学习和生活的类似情景的特点，所以具有很高的真实性。
　　 （三）考生和测试任务的互动的真实性
　　 新托福考试属于非直接测试，而且受测试者的个人特征、情感图式、背景知识都会影响其语言运用能力的发挥，由于没有与考官和其他考生直接得交际活动，受试者与测试任务互动的真实性对于整个测试的真实性来说显得至关重要。
　　 受试者与测试任务互动的真实性主要体现在每项任务都有准确的测试指令、真实的任务要求和说话时间的限制，在测试中，考生需要运用口语交际能力、听力、阅读能力、文字记录能力和背景知识来完成各项任务，与真实的北美大学环境下本族语者与相同或类似任务的互动基本一致，具有较高的真实性。
　　 （四）评分标准和过程的真实性
　　 新托福考试的评分采用的是整体评分法，评分的标准包括以下几个维度：考生对话题的展开程度、口语的流利程度与发音的清晰程度，以及回答内容与话题的切合程度。这种方式注重语言能力的总体质量的高低，而对特定语法知识的掌握和不是评判的重心。为弥补整体评分法由于主观因素造成的误差，采用两名以上的评分员进行评价，同时托福考试还提供分析性的反馈报告，说明考生的语言整体水平和各项语言技能的水平，确保分数能真实反映学生在校园情景和学术语境下的口语交际能力。
　　 从上述的四个方面对新托福网络测试的真实性分析可看出，虽然这是属于半直接测试，但由于托福口语测试的构念所包含的内容在测试的输入、情景、评分、受试者与测试任务互动方面得到了较高程度的实现，使得其测试的结果能反映在北美地区的校园生活和学术背景下的语言运用能力，是一种具有较高的真实性的半直接测试模式。
　　 半直接测试法虽然缺乏真实的交际背景和受测试者和考官的互动，从测试真实性的本质来看，仍然可以具有很高的真实性，因为测试的表面效度不是唯一的评判标准，测试的构想效度才是测试真实性的保证，半直接法测试真实性的高低主要看其是否具有合理的构想效度，即具有一个合理的理论框架，测试任务是否能实现测试的构想，而不是仅仅局限于交际情景的真实性，这也是真实性理论多元化的趋势。
　　
　　【参考文献】
　　 ［1］Valette R M. Modern Language Testing［M］.Harcourt Brace Jovanovich，Inc.，
　　1977：39
　　 ［2］Beardsmore H. Testing oral fluency［J］.IRAL，1974（4）
　　 ［3］Bachman L F. and Palmer A S. Language Testing in Practice［M］.Oxford：Oxford University Press，1996：24
　　 ［4］Spence-Brown，R. The eye of the beholder:authenticity in an embedded assessment task［J］.Language testing，2001（4）
　　 ［5］Bachman L F ,Fundamental Considerations in Language Testing ［M］.Oxford：OUP，1990：255
　　 ［6］邹申.试论口语测试的真实性［J］.外语界，2001（3）
　　 ［7］Hughes A．Testing for Language Teachers ［M］.北京：外语教学与研究出版社，2000：26
　　
　　 【基金项目】广西教育科学“十二五”规划2011年度高校大学英语教学研究专项课题（2011ZY028）
　　
　　 【作者简介】蒋曼贞（1964- ），女，广西全州人，柳州职业技术学院副教授；韦鸿发（1969- ），男，广西柳州人，柳州职业技术学院讲师，研究生学历。
　　（责编 黎 原）