NOIP官方评测系统使用培训.ppt

NOIP标准评测系统使用培训赵启阳 丁海峰2008.01.282008全国青少年信息学奥林匹克竞赛冬令营Arbiter介绍lNOIP单机版评测系统(Arbiter)是 NOIP 信息学联赛指定的唯一标准评测工具l此评测系统采用与 NOI 网络评测系统完全一致的评测标准，对NOI 选手的学习具有促进和指导作用，便于选手更好地适应NOI系列比赛。系统特性l支持当前主流的 Linux 发行版本Redhat/Fedora CoreUbuntul支持多种语言(C/C+/Pascal)l灵活的可配置性l功能多样化l时间控制的精确性（误差不大于5ms）l有效的内存使用限制开发历程&使用情况l此系统是经CCF授权，由尹宝林教授指导开发完成，目前的版本是1.02，具备良好的可靠性和稳定性。l在NOIP2006和NOIP2007中部分省份评测和全国复评中使用，验证了正确性和效率等关键性能。lNOIP2006中有7个省试用，NOIP2007中有20个省试用，评测结果与全国复评结果的差别明显小于使用非标准评测系统的省份。l很多老师对系统提出了错误报告和改进意见，在此向他们表示诚挚的感谢！提纲l基本安装运行l配置考试l执行评测l成绩统计l评测插件编写l常见问题建议使用环境l硬件环境、编译器版本以竞赛规则为准l当前使用Redhat 9.0版本，将来可能切换到Ubuntu 7.10版本上l建议版本：评测系统安装和启动l从下载最新的评测系统安装文件，保存至当前用户home文件夹，并双击打开l安装完成后，会在桌面上创建一个快捷方式，双击即可启动评测系统l可打开附带的示例考试(example)测试系统是否工作正常评测系统工作原理标准输入数据problem.in标准答案文件problem.ans选手程序problem选手答案文件problem.out评测插件problem_e选手成绩选手源程序problem.c/.cpp/.pas比赛配置l一次比赛可以配置多场考试l一场考试可以配置多道试题l每道试题都提供了多个配置点，为比赛的组织提供了很大的灵活性试题配置点（一）l试题名称题目及相关数据的唯一命名决定了选手程序、评测数据的命名规则使用英文，4-10个字符l提交方式源代码答案文件试题配置点（二）l测试点数目/分值测试点数目，及每个测试点的权值，总权值应为100l数据输入方式文件输入（建议使用）标准输入试题配置点（三）l时间限制选手程序运行时间上限，以秒为单位以进程的用户时间(user time)为准给予选手1.1倍运行时间限制，超时将被强行终止。防止选手程序运行时间过长l内存限制选手程序占用内存上限，以MB为单位(虚拟内存)试题配置点（四）l使用语言/编译选项目前支持在比赛中使用C/C+/Pascal三种语言编译选手程序所需的选项，如-lm 链接数学库l运行参数运行选手程序所需的参数（较少使用）试题配置点（五）l标准评测插件字符串比较l单行/多行/全文(空格过滤)整数比较l单行单个/单行多个/多行单个/多行多个浮点数比较l单行单个/单行多个/多行单个/多行多个(精确度)l自定义插件随测试数据提供，通常命名为 problem_e通过对话框选取，将被复制到filter/目录下试题配置点（六）l所有题目配置完成后，可在试题概要试题概要界面检查试题配置信息是否正确l确认无误后选择保存保存后方可生效准备选手名单l自动导入.CSV格式(Comma Separated Values)l纯文本格式l每条记录占一行l以逗号为分隔符l可用Microsoft Excel 或 OpenOffice Calc编辑和导出第一列为选手编号，第二列为选手姓名l选手编号格式为省份代码-3位数字，如HN-007文件编码为GB2312编码l手动添加CSV文件的示例lNamelist.txtHN-001,罗韬威HN-002,张健HN-004,孟来俊HN-005,蒋哲良HN-007,吴骏准备评测数据l评测数据存放在evaldata/目录下l遵循以下命名规则(不包含中括号)标准输入文件为试题名称测试点编号.in标准答案文件为试题名称测试点编号.ans准备选手目录l选手程序存放在players/目录下l每名选手拥有以自己编号命名的目录l选手目录下，每道试题拥有以试题名称命名的目录l选手程序保存在相应试题目录中，主文件名为试题名称，扩展名为.c/.cpp/.pas注意事项l需严格检查卷面说明与试题配置是否一致需严格检查卷面说明与试题配置是否一致时间限制时间限制内存限制内存限制数据规模数据规模编译选项编译选项l确认评测插件具有可执行权限确认评测插件具有可执行权限chmod+x 文件管理器文件管理器执行评测l评测系统可以多种方式灵活地执行评测可以选定评测的考试场次可以针对全部选手或选定选手可以针对全部试题或选定试题l评测的过程中可以通过“评测选定选手”按钮右侧的进度条和考生列表中的指示灯来掌握评测的进度实用功能l查看选手源程序双击考生列表中某道试题的分数可以弹出一个窗口显示考生该题目的源程序成绩统计l评测系统提供了多种成绩数据统计视图，帮助比赛组织者了解比赛的各方面细节总体统计分组统计试题统计等级统计总体统计l本TAB页可以显示所有考生在本场比赛中所有场次的考试成绩及总分l可以自定义每个分数段的考生人数l可以打印或导出考生的总体成绩单，和每个考生的成绩单总成绩单导出为 csv 格式个人成绩单导出为 ps 格式分组统计l该TAB页可以针对各省代表队成绩进行统计l可以选择自定义统计,即获得每个代表队前几名的总成绩l可以导出打印统计数据试题统计l该TAB页可以显示每道题目的得分情况,以及一些重要的评测数据，如该程序题每个测试点的平均用时、最短用时等l用于帮助命题人了解此次考试的难度、解答情况等等级统计l该TAB页用于评奖,在右边输入评奖规则(既可以是人数也可以是百分比)，就可以在左侧显示学生的得奖情况打印成绩单l在统计工具中导出成绩单后,每名考生的成绩都将被保存在 ps/目录下，相应的考试天数及相应的考生编号目录下lps格式(postscript)可使用以下软件查看或打印linux：ghostview,evincewindows:ghostview,adobe acrobat上报成绩lNOIP省内评测结束后，需上报以下内容：选手名单，包含选手编号和姓名，csv格式成绩单，包含各题目分数和总分数，csv格式选手目录，players/目录下的所有内容选手评测结果目录，result/目录下的所有内容插件编写的规范（一）l评测插件用于评测程序设计题目，由命题人员编写，在评测选手的答案时调用l评测插件根据评测系统给出的参数，判断选手答案的正误，并给出相应的得分插件编写的规范（二）l评测系统按照如下格式调用评测插件:lfiltername inputfilename outputfilename answerfilenamel filtername 评测插件程序名称l inputfilename 测试输入文件名l outputfilename 选手程序输出文件名l answerfilename 标准答案文件名注意:评测系统不保证inputfilename,outputfilename,answerfilename所指定的文件存在，评测插件实现时应进行检查插件编写的规范（三）l评测插件向标准输出打印评测结果l输出结果由两行文本组成第一行为评测信息(evaluation_ info)，是评测插件对评测结果的一行文本描述，例如是否正确、错误原因等第二行为该评测得分(score)，是一个整数数字l评测插件给出的得分，就是该测试点的最终得分，评测系统不作任何附加的处理。多个测试点得分之和为该题总分插件编写的规范（四）l返回值程序正常结束时返回 0，程序异常结束时返回非 0 整数l示例分析常见问题（一）l1.当创建一场考试后，将评测系统关闭，再打开时发当创建一场考试后，将评测系统关闭，再打开时发现考试不存在了？现考试不存在了？l答：注意每次配置过后都要保存，否则配置不生效。l2.评测时显示评测已经结束，但是所有考生的成绩依评测时显示评测已经结束，但是所有考生的成绩依然为然为0分？分？l答：请查看/tmp/_eval_score文件的属性，如果是root用户所有将没有读写权限，在root用户下删除此文件。l如果，依然不能得到评测结果，请查看插件的是否有可执行属性。常见问题（二）l3.评测时某些考生或某些考题出现意外的评测时某些考生或某些考题出现意外的0分情况？分情况？l答：请查看该考生以及该考生的题目文件目录及文件是否存在。l4.评测插件的功能是什么？评测插件的功能是什么？l答：是对比每个测试点考生答案文件与标准答案文件的，它只判明对错，10分就是对，0分就是错误。具体分数是根据配置的测试点分数决定。常见问题（三）l5.如何在如何在windows下显示下显示csv文件和文件和ps文件文件？l答：在windows下可以直接用Excel打开csv格式的文件，双击ps文件，adobe reader 会自动将ps文件转换为pdf文件的。l6.Linux下如何挂载下如何挂载U盘？盘？l答：通过/sbin/fdisk-l可以知道所挂载的U盘为哪硬盘号，比如是sdb1，则在root用户下输入：mount/dev/sdb1/mnt/flash即可将U盘挂载到/mnt/flash下了。在拔下U盘之前要执行umount/mnt/flash。Windows版本预览Windows版本预览Windows版本预览l讲座结束，谢谢！l如有问题请提问