教学质量分析与诊断系统功能说明书.doc

教学质量分析与诊断系统功能说明书一、基础功能：说明：基础功能是指学生考试成绩从总分到小题需要设定的分析指标。这些分析指标是最终形成完整分析诊断报告的基数。以下为具体分析指标和适用范围。1、平均分分3个维度计算平均分：单科分数、全科总分。按照用户层级分别统计上述3个维度的平均分：班级、年级（学校）、区县、地市。计算公式：表示平均分数n：表示考生人数（这里分别以班级、年级、区县、地市为单位核算各自的考生人数），：分别表示n个考试分数：表示第i个考试分数，i=1，2，n说明：每科试卷中的每一道小题仅核算得分率，不做更多的分析。2、标准差（S）分3个维度计算标准差：单科分数、全科总分。按照用户层级分别统计上述3个维度的标准差：班级、年级（学校）、区县、地市。计算公式：S：表示标准差n：表示考生人数：表示第i个考试分数，i=1，2，,n：表示平均分数（这里的平均分数是分别以班级、年级、区县、地市为单位的平均分数）3、差异系数（CV）仅按照班级单位，分单科分数、全科总分计算差异系数。计算公式：CV：表示差异系数S：表示标准差（这里是上边计算出的各个班级不同的标准差）：表示平均分数（指各个班级单科分数、全科总分的平均分）说明：CV9%，表示基本无分化；CV20%，表示分化严重；9%CV20%，则表示有分化迹象，应引起重视。4、考试分数分段统计分2个维度统计分数段（系统内置3分一段）：单科分数、全科总分。按照用户层级分别统计上述2个维度的分数段人数：班级、年级（学校）、区县、地市。（上述统计只在后台显示，不出现在前台，这些统计数据是为生成考试分数分布曲线准备的，下文有生成该曲线的方法）系统对客户出具的分数段统计为2个维度下、各层级10分一段的报表（这个是属于正常显示）。同时提供给客户按照1、2、3、5分一段的查询功能。5、考试分数的频数和频率统计以4（考试分数分段统计）中3分一段为基础，统计单科分数、全科总分的频数和频率。频数概念：指落入每个3分区间内的学生人数。频率概念：指落入每个3分区间内的学生人数与考生总人数的比值。（这里的考试总人数分别是各自层级下考生人数，即：全班、全校、全区、全市考生人数）6、考试分数分布曲线概念：以各个分数段为底，画一排竖着的长方形，使每个长方形的面积等于该分数段的考试分数频率w，则该长方形的高为w/3，由此可以得到图形为考试分数分布直方图。将该图形中长方形最上边的中点画出轮廓曲线，就是：考试分数分布曲线。综合4、5、6三部分的数据可以得到按班级、年级（学校）、区县、地市分别统计的单科分数、全科总分的考试分数分布曲线。该曲线最终在系统中显示在各个层级的诊断报告中，不单独做查询功能。7、Z变换（即：线性标准分数）分2个维度计算Z值：单科分数、全科总分。该分析指标是反映单个学生的分数在团体中相对位置的最好统计量。是一个相对分数，具有相对位置的信息。这里的Z值需要分别计算单个班级、年级（学校）两个维度。公式为：Z：表示线性标准分数X：表示学生单科、全科总分原始分数：表示单科、全科总分原始分数的平均分数（这里的平均分数需要分别提供班级、年级（学校）的单科、全科平均分）S：表示单科、全科总分原始分数的标准差（这里的S需要分别提供班级、年级（学校）的单科、全科标准差）说明：一个学生可以按照班级、年级分别计算出2个Z值，分别代表了该学生在班级和年级中成绩的位置，所以才需要提供班级、年级的单科、全科平均分和标准差参与计算。8、确定最低录取分数线首先需要将标准正态分布表内嵌入系统。确定最低录取分数线的步骤如下：（1） 求的全体考生全科总分的平均分数、标准差S。带入公式：。（2） 根据提出的录取率P，可得不录取的概率为1-P。以1-P为正态分布曲线下的面积，反查标准正态分布表，可求得Z值，称为正态化标准分数。（3） 由（1）中的公式可看出，已知Z、S，可求得，即，就是最低录取分数线。（4） 同理，由上述描述我们能够知道，如果高三年级参加模考，可依次由教研部门根据以往的高考情况提出一类、二类、三类、四类高校的录取比率，参照上述计算方法，可依次得到一、二、三、四类高校的最低录取分数线。（5） 在（4）的基础上（即：计算出各类高校的最低录取分数线后），我们能够出具按学校、区县、地市层级分别统计的各类高校录取人数与比率。说明：此功能是专为高三年级准备的，在所有级别的用户界面上要专门开设一个高三年级成绩分析栏目，在最高级别的用户（区县或地市级）界面该栏目下，要添加一个“分数标准设定”子栏目，用户可以在该子栏目操作界面内录入设定参数：四类高校分别录取比率（按文、理科分别设定）、各单科在四类高校录取标准下的最低分数。设定完毕后，由系统自动生成各用户层级的统计报表。（具体统计项目，有样表提供）注：由于有些学校既有理科，又有文科，所以学校的统计报表需要分别按照理、文科各出一份，再按照不分科的情况出一份。相当于文、理科各自调取自己的统计结果后再综合成一份报表。区县、地市级的统计报表只按照文、理科分别统计即可。问题：单科成绩的最低录取标准是设定比率？还是设定最低分数？需要跟市教科院咨询。9、考试分数分布的检验一份比较科学的试卷下，学生考试分数分布应服从正态分布，但实际情况往往会出现正偏态分布曲线、负偏态分布曲线的情况，此处是否有必要做分析，现在尚在思考中，先提个问题备忘。10、T分数（标准分）T分数是以线性标准分数Z值为基础，进一步作线性转换的过程，是为了避免Z值为负、有小数点的不便而设立的。公式为：T：代表其他形式的线性标准分数，即T分数b：是线性转换方程的斜率，起着放缩作用，用来消除原有Z值的小数a：是线性转换方程的截距，起着平移作用，用来消除原有Z值的负值一般对标准分的b,a值做设定，b=100，a=500，公式为：，这样对单科和全科总分都可以转换为标准分来排名。原始分数通过正态转化为标准分的步骤：（1） 将考生原始分数从大到小排序（2） 计算每一实际出现分数X以下的考生人数与全体人数的比值。（3） 以比值为概率P（即正态曲线下的面积），查正态分布表得到正态化标准分数，的取值范围一般在-3到+3之间。（4） 由于正态化标准分数Z有负值及小数的可能，对其再进行线性转换，即：这样可以得到单科、全科总分的正态化的T分数，其取值范围为200-800之间。11、百分等级百分等级表示考生所得分数在全体考生成绩中所处的相对位置。百分等级的计算方法：先列出各原始分数的频数分布表，然后算出低于某一分数的人数（累积频数），将此人数除以考生总人数，便可得到低于该分数的人数的百分比，此百分比与100相乘所得结果即为：百分等级，符号为： 表示百分等级数表示某个学生的原始分数例如：表示某学生单科得分为87分，他在本班的百分等级为90%，即：班上有90%的学生分数不会超过他按照2个维度来分别计算的值：班级、年级（学校）需要依次计算单科分数、全科总分的值这样一个学生的单科分数、全科总分的值就会在班级和年级单位下有2组不同的数据。根据10、11的描述，系统需要做如下开发：高中阶段学生：按照班级、年级（学校）维度，对单科、全科总分依次计算出T分数（标准分），通过记录历次考试学生的T分数，来依次对学生单科、全科总分出具成绩发展态势曲线图（分为班级发展曲线和年级发展曲线）。同时也按照班级、年级（学校）维度，给出每次考试学生单科、全科总分的排名数据（高中可以给）。义务教育阶段学生：按照班级、年级（学校）维度，对单科、全科总分依次计算出T分数（标准分），通过记录历次考试学生的T分数，来依次对学生单科、全科总分出具成绩发展态势曲线图（分为班级发展曲线和年级发展曲线）。同样，给出每一个学生在班级、年级的单科、全科总分百分等级，不提供排名数据（这是一种变相的排名而已）。12、难度值难度值分别为：小题和试卷各自的难度值。要按照这两个项目来分别统计。（是以最高层级的参考人数做为单位计算的，即：地市级）（1）试题的难度值：公式为： （p43页）：表示第j题的难度n：表示全体考生人数：表示第i个考生在第j题上的得分，i=1，2，n：表示第j题的满分值注：这里的全体考生是指参与考试的最大学生数量（即：地市级）（技术人员不用关注下边2段说明文字）说明：试题的难度取值范围为：，试题的难度值大，说明考生得分率高，试题就容易；试题的难度值小，说明考生得分率低，试题就难。在同一份试卷中需要不同难度试题加以合理搭配，大部分试题的难度值应分布在0.3到0.7之间，对易题和难题的安排是少量的，试题的平均难度为0.5左右为宜。常模参照性考试目的是选拔和比较。选拔性考试，试题的平均难度值应与录取率相适应，即：当录取率为30%时，试题平均难度值可定在0.30左右，此时恰好能使30%左右的考生被录取。比较性考试，像高考试题的平均难度值可控制在0.50左右，此时试题最能区分考生水平高低，考试分数分布呈正态分布。系统需要分别计算出每道题目的难度值，统计出试卷中难、中、易三等级的题目数量和所占比例，与下文的试题区分度在一张表格中呈现。说明如下：试题难度一般采用三级划分法，即把试题分为难、中、易三个等级，一份试卷中难、中、易试题要有合适的比例（比例为何值时才算一份优秀的试卷？）： 难题 中等难度题 易题 （P46页）注意：一份试卷试题难度值的分布也应该正态分布为好，即：试卷中特别难的题和特别容易的题较少，中等难度的题目多一些。建议根据一套题目中难、中、易的题目数量，生成一个曲线，看曲线是否符合正态分布。（2）试卷的难度值：试卷的难度是由试卷中每道题的难度决定的，它等于各个试题难度值的加权平均，公式如下： P：表示应用加权平均估计试卷难度b：表示试卷满分值m：表示试卷中试题总数和分别表示第j题的满分值和难度值，j=1，2，m说明：试卷难度取值范围：。试卷难度值越大，试卷越容易，考生总体分数越高；试卷难度值越小，试卷越难，考生总体分数越低。试卷难度为好，为差。这个试卷的难度值我们只给出计算结果，由教研部门自己去关注吧，我们不做评价。13、区分度区分度分别为：试题和试卷各自的区分度。要按照这两个项目来分别统计。（是以最高层级的参考人数做为单位计算的，即：地市级）试题区分度：（1）0、1记分试题（即单选题、填空题，不含多选题 ）区分度是以第j题的得分与试卷总分之间的点二列相关系数来表示，其计算公式为： （P47页）：表示第j题的区分度：表示答对第j题考生的考试总分的平均分：表示答错或未答第j题考生的考试总分的平均分S：表示所有考生的考试总分的标准差：表示答对第j题的人数与总人数的比值（2）非0、1记分试题区分度计算公式试题的得分从满分至0分之间有多种可能结果，称为非0、1记分试题，即：多选题、计算题、论述题、主观题等，称为多值变量。非0、1记分试题的区分度是以第j题的得分与试卷总分之间的积差相关系数来表示，计算公式为：上述公式可以转化为： 注：以本公式为准 （P48页）：表示第j题的区分度： 表示第i个考生在第j题上的得分，i=1，2，n：表示第i个考生的考试总分：表示考生总人数：表示第j题的平均得分：表示考试总分的平均分数：表示第j题的标准差（每一道题目的标准差会计算吗？）：表示考试总分的标准差区分度的使用方法定义：试题区分度的取值范围介于：，试题的区分度越大证明考试结果的区分效果就越好。评价试题区分度等级标准如下： 优秀题 良好题（若能做些修改更好） 一般题（要求修改） 差题（应予以淘汰或修改）系统需要计算出一份试卷中，所有题目的区分度，然后按照上述等级标准分别统计优秀题、良好题、一般题、差题的数量与比率。与每道题的难度值一起罗列在一张表格上。（表格样式后续提供）（3）试题难度与区分度的关系要保证试题理想的区分度，其难度值应保持在之间，最好能达到之间。（这个该如何设定功能暂时还没有想好，开发人员可以不考虑）试卷区分度：试卷区分度是由试卷中每道题的区分度决定的，公式如下：D：表示应用加权平均估计试卷的区分度b：表示试卷满分值m：表示试卷中试题的总数：表示第j题的满分值，j=1，2，m：表示第j题的区分度，j=1，2，m试卷区分度的取值范围介于：，,试卷区分度越大越好。以选拔和比较为目的的常模参照性考试区分度越大越好；以考察知识点掌握情况为目标的目标参照性考试，区分度不必考虑。一般来说：试卷区分度在：为好，若就认为试卷区分度差。提示：根据13、14项的功能说明，试题和试卷的难度值、区分度计算出来后，需要整合在一张报表中呈现，具体如何呈现，我稍后提交模板。14、考试信度考试信度是反映考试可靠性、一致性和稳定性程度的指标。采用分半信度和同质性信度做为最终的考试信度计算的基础。（1）分半信度：计算方法说明：（很关键）将一份试卷按照试题序号的奇数号和偶数号分成2部分，称为奇半卷和偶半卷。第一步：分别计算每个考生奇数号试题的总得分，用表示；偶数号试题的总得分，用表示，i=1，2，n。第二步：分别计算考生奇半卷、偶半卷得分的方差（方差是标准差的平方），公式如下： （p60页）和：分别表示奇半卷、偶半卷得分的方差和：分别表示每个考生奇数号、偶数号试题的总得分n：表示学生总人数根据上述步骤，可求得试卷分半信度。按照弗拉南根公式估计分半信度，公式为： （p60页）：表示应用弗拉南根公式估计整个考试的分半信度和：分别表示奇半卷、偶半卷得分的方差（方差是标准差的2次方）：表示整个考试总分的方差（2）同质性信度 计算方法说明：是考试后将试卷每一个试题做为试卷的一部分，求各部分的一致性程度，采用系数法，用克伦巴赫计算公式为： （p61页）：表示应用系数法估计同质性信度m：表示试卷中试题的总数量：表示第j题得分的方差，j=1，2，m：仍表示考试总分的方差说明：分半信度可以较多的现实试卷反映考生水平的真实程度，分半信度值越高，试卷越能较好的反映考生的真实水平；同质性信度可以较多的显示试卷反映试题的一致性程度，试题一致性越好，越能反映考卷符合考试大纲要求。15、考试效度考试效度是指考试能够测量出它所要测量的特性或功能的准确程度。考试效度较高，则一定具有较高的信度；但较高的信度并不能保证有较高的效度。考试效度按照使用功能的不同，分为：内容效度、效标关联效度和结构效度。前2者可以用公式计算，后者就不做考虑了。（1）内容效度以上一次考试各单科成绩的平均值为标准，内容效度如下： （p73页）：表示应用积差相关系数估计内容效度n：表示考生总人数：表示上一次考试所有考生同科目成绩的平均值，即：表示本次考试每个考生试卷总分，i=1,2,n说明：内容效度本身并不是一个很精确的计算结果，为了实现该功能，只有调取考生上一次的考试结果来进行比对，给技术实现带来了难度。如果无法实现，请提前告知。（2）效标关联效度该指标的计算公式与内容效度相同，但字母代表的变量是不同的，请一定注意，公式如下： （p74页）：表示应用积差相关系数估计效标关联效度n：表示考生总人数：表示上一次考试每个考生相同单科的试卷总分，i=1,2,n：表示该单科本次考试每个考生试卷总分，i=1,2,n说明：考试效度的取值范围为：，一般应在0.50以上，考试才算有效。同理，内容效度与效标关联效度的取值也应在0.50以上，考试才有意义。二、考试成绩分析诊断报告模板：说明：该模板按照小题分数、单科分数、全科总分3个维度，以地市、区县、年级（学校）、班级、学生等5个用户层级分别出具包含上述所有功能的分析诊断报告模板（不同层级用户选取的功能分析点不一样）。将上述功能所统计、计算得出的试卷结论整合在一张表格上，让用户根据各自的需求对每一次考试有最直观的了解和认识。1、地市级用户模板说明：该用户为出题方的教科院与上一级管理部门。本报告主要以分析、评价本次试卷是否达到了出题者意图，考生是否考出了真实水平，试卷本身质量如何为主要内容。（待续。2、区县级用户3、学校级用户（年级用户）4、班级用户5、学生用户（待续。三、考试成绩数据统计报表：说明：设计教研部门需要的统计表报，确认哪些需要提供。（待续。参考指标（可以当功能来做，但不是必要指标，在完成上述工作后再视需要来定）1、中位数指一组考试分数依次递增或递减次序排列，位于正中间位置上的那个分数，用表示。中位数的计算方法：将全部考试分数从高到低（或从低到高）顺序进行排列，若总人数为奇数，位于正中间的那个分数就是中位数；若总人数为偶数，就取最中间的两个分数的平均值作为中位数。2、相关系数比较复杂，详细说明再定。3、考试分数分布偏态检验偏态系数的定义偏态系数的计算方法（近似计算方法）4、等级记分与合格分数（1）五级制等级记分：优、良、中、及格、不及格。考试为目标参照性考试，则转换关系为：当原始分数在：90-100分时，记为优；当原始分数在：80-89分时，记为良；当原始分数在：70-79分时，记为中；当原始分数在：60-69分时，记为及格；当原始分数小于60分时，记为不及格；（2）四级制等级记分：A、B、C、D四个等级，即：优秀、良好、合格、不合格。考试科目原始得分采用百分制，公布成绩可使用A、B、C、D等级制。A、B、C三个等级为合格以上等级，D 为不合格等级。考试为目标参照性考试，则转换关系为：当原始分数在84分以上时，记为A；当原始分数在70-84分时，记为B；当原始分数在60-69分时，记为C；当原始分数在60分以下时，记为D；概念：目标参照性考试：多用于合格性考试，例如：高中模块考试常模参照性考试：是选拔性考试，例如：高考、高中调考等本系统的开发主要是为常模参照性考试服务的。5、评分者信度这个计算很复杂，基本上在网阅中很难实现，不考虑开发，只做讲故事使用。 提交人：张杭豫 2009年12月18日