对于英语学习者来说，机器自动批改作文技术已经不再陌生，而全球人工智能专家们正在攻克更具挑战性的堡垒――中文【中文（Chinese），字面意思是中国文字（特指汉字），广泛意思是中国语言文字（包括少数民族语言文学）。】作文批改。

　　12月初，第六届中文语法错误自动诊断大赛(Chinese Grammatical Error Diagnosis，以下简称CGED)公布最终成绩，作为首次参赛的队伍，有道【有道搜索是网易公司的搜索服务，在网易结束与谷歌的合作后，网易公司自行研发的有道搜索成为其搜索服务的内核。】AI自然语言处理【自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。】(NLP【NLP是神经语言程序学 (Neuro-Linguistic Programming) 的英文缩写。】)团队在比赛中的语法纠错Top3赛道斩获冠军，并且在另外两个赛道(语法纠错Top1、错误定位)位列前三，这也标志着有道AI在中文作文批改上取得的又一重大进展。

　　首次参赛的网易有道AI团队拿出了一份亮眼的成绩单

　　CGED大赛已经走到第六年，比赛的方式是由计算机自动对外国人写作的中文句子进行错误的检测和纠错，分为检测是否有错误、错误位置、错误类型、纠错等共计6个赛道。来自国内外14支团队参与了今年的比赛，包括科大讯飞【科大讯飞股份有限公司（IFLYTEK CO.,LTD.），前身安徽中科大讯飞信息科技有限公司，成立于1999年12月30日，2014年4月18日变更为科大讯飞股份有限公司，专业从事智能语音及语言技术研究、软件及芯片产品开发、语音信息服务及电子政务系统集成。】、阿里、上海交大、南京大学【南京大学（Nanjing University），简称“南大”，是中华人民共和国教育部直属、中央直管副部级建制的全国重点大学，国家首批“双一流”、“211工程”、“985工程”重点建设高校，入选首批“珠峰计划”、“111计划”、“2011计划”、“卓越工程师教育培养计划”、“卓越医生教育培养计划”、“卓越法律人才教育培养计划”，九校联盟、中国大学校长联谊会、环太平洋大学联盟、21世纪学术联盟和东亚研究型大学协会成员。】、外研社【外语教学与研究出版社（简称外研社）成立于1979年，是北京外国语大学创办和领导的大学出版社。】、日本东京都立大学【东京都立大学（首都大学东京）始建于1949 年，由旧制的都立高等学校、都立工业专门学校、都立理工专门学校、都立机械工业专门学校、都立化学工业专门学校及都立女子专门学校合并而成，是都内唯一一所公立的综合】、台湾朝阳科技大学【台湾朝阳科技大学，简称朝阳科大、朝科大。】和新华社【新华通讯社，简称新华社，是中国的国家通讯社，法定新闻监管机构，同时也是世界性现代通讯社。】等，科大讯飞和阿里更是前三甲常客。

　　英文【英文是由古代从欧洲大陆移民大不列颠岛的盎格鲁、撒克逊和朱特部落的日耳曼人所说的语言演变而来，上两个世纪英国和美国在文化、经济、军事、政治和科学上的领先地位使得英文成为一种国际通用文字。】语法错误诊断：有道已实现全面产品落地

　　AI作文批改技术在英语学习上的应用，网易有道早已实现落地。

　　2020年年中，网易有道将AI作文批改功能正式落地于网易有道词典App，随后在有道精品课初中英语秋季系统班中成功应用，用户反馈良好。

　　近日，网易有道推出“有道写作”，将原有内嵌在网易有道词典App的AI作文批改功能，延伸至网页浏览器【网页浏览器是个显示网页服务器或档案系统内的文件，并让用户与这些文件互动的一种软件。】、Word插件、PC词典等端口，满足用户的多场景使用需求。

　　AI作文批改受益于有道在神经网络机器翻译任务上的多年数据积累和快速更迭的深度学习【深度学习的概念源于人工神经网络的研究。】技术，使用了基于Transformer【TRANSFORMER，作词：Kenzie（韩文），T-Crash（中文），作曲： Kenzie / Jonathan Yip /Jonathan Yip / Ray Romulus / Ray McCullough，演唱：EXO。】架构的核心引擎，能够对用户的英语作文进行评分、评语和纠错，有效解决了不同年龄段英语学习者的自助学习的需求。

　　中文难于英文：语文作文批改面临更高技术壁垒

　　相比于英文，中文语法纠错任务的研究还较为早期，无论是任务本身的特点，还是数据的积累都与英文有较大的差异。

　　一方面，中文字符连写，传统的语义理解及分析的方法基本上都需要依赖于分词等前置处理模块，而存在错误的文本会放大语言的歧义性，带来基础模块识别质量的下降；另一方面，中文的语法不像英文有较为严格的规则，相对更为随意和复杂，不容易通过定义规则来处理。和英语语法纠错任务相比，比赛方能够提供的中文训练数据是非常有限的，因此很难直接使用较为复杂的深度学习模型充分学习建模。

　　尽管有道AI团队在智能批改纠错方面有较长时间的积累，该任务对技术团队来说仍然是不小的挑战。

　　以一段小学生作文为案例：

　　“人工智能只有通过积累足量的语料后，才可以理解复杂度高的语法错误，进而才能作为产品功能落地。”网易有道首席科学家段亦涛表示，网易有道在教育和学习场景之下深耕多年，在OCR(光学字符识别)、NMT(神经网络翻译)、语音识别技术等方面都已经有良好的技术落地成果，且用户口碑和体验一直好评不断。

　　机器批改作文：Precision(精确率)在工程实践中更具意义

　　值得注意的是，有道AI团队在本次比赛中的语法纠错项目中，在CorrectionTop3和CorrectionTop1综合指标(F1)分别获得第1和第3名的情况下，对应的Precision(精确率)要明显高于其他参赛队伍。这在教育实践场景当中对用户体验更为重要。

　　CorrectionTop1中的Precision数值对比图

　　CorrectionTop3中的Precision数值对比图

　　比赛综合指标F1兼顾了Precision与Recall(召回率)，作为模型精确率与召回率的一种调和平均。前者代表参赛系统给出的所有修改片段中，片段被正确修改的比例；后者代表在所有需要被正确修改的片段中，参赛系统修改的片段占的比例。

　　有道在Precision上的绝对领先，是源于有道AI写作助手的设计理念：错误的修改建议将误导用户进行不正确的修改，从而大大影响用户的体验。而且，在用户本身缺乏辨别能力的业务场景(如：低龄儿童的教育业务)中，该问题还会被进一步放大。

　　因此，在英文语法纠错任务(如：CoNLL-2014和BEA-2019英文语法纠错任务)中，通常会采用F0.5作为评价指标。该指标的计算方法与F1指标类似，区别在于相比于Recall，该指标赋予了Precision更高的权重。

　　在CGED获奖之前，网易有道曾试水了第七届NLPCC中的“中文语法错误修正”共享任务比赛，力压包括阿里、北京大学团队在内的5组全球知名研究团队，斩获冠军。在技术优势积累、K12业务拓展的加持下，网易有道在语文作文修改领域的技术升级进展飞速。

　　目前，网易有道的产品矩阵中已经布局了不少针对CSL(以中文为第二语言)学习者的课程和应用。段亦涛表示，除了设计面向中文学习者的学习工具，未来网易有道还可以与中小学校合作，实现辅助老师进行作文批改等功能，进一步扩大有道AI技术在K12业务上的应用场景。

（文章来源：中新经纬）

Tags： ?赢得第一场比赛！ 网易有道AI团队赢得中文语法错误诊断比赛