Docs

Is ChatGPT a Highly Fluent Grammatical Error Correction System? A Comprehensive Evaluation

输入“/”快速插入

Is ChatGPT a Highly Fluent Grammatical Error Correction System? A Comprehensive Evaluation

飞书用户378

2023年11月14日创建

论文链接：https://arxiv.org/pdf/2304.01746.pdf

简介

这篇是我在Google Scholar上搜索GEC+LLM的相关paper时找到的工作，发布于今年的上半年，半年的引用量有23，感觉算是比较值得阅读的一篇论文。作者是来自澳门大学的博士生，先前的研究领域是Nonlinear integrable systems（非线性可积系统？似乎是数学领域的研究内容），但在今年发表了三篇GEC相关的论文，其中还有两篇被ACL2023的findings接收了，很厉害。​

同时期有另外两篇与本文研究类似的文章，均是在GEC任务中对LLM的性能进行了完整评估与分析，但我认为《ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark》一文对ChatGPT性能评估的维度较少，不如本文的实验全面，仅仅和Grammarly进行了初步的比较；另一篇《Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction》的引用次数较少，虽然比起本文多出了对GPT-4模型的性能评估，但性能分析的粒度同样较粗。所以在综合考量下选择了本文作为本周的阅读内容，本文也是我接触的第一篇和LLM相关的论文。

近期的与LLM相关的GEC工作数量不多，10月有一篇提出了适用于LLM的新评估体系的paper《Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks》，恰巧与本文提出的一些观点有所关联，可以作为下周的阅读内容。

本文的主要工作：

•
对ChatGPT（GPT-3.5）在GEC任务上进行了多维度的性能测评，分句级别、文档级别两种任务类型，在英语、中文、德语三种语言的数据集上进行了纠错性能及纠错结果的流畅程度的测试，还额外使用了人工评估的方式评测其性能；​

•
提出了面向GEC任务的CoT方法，通过few-shot CoT的方法提升了ChatGPT的纠错性能；​

•
基于实验结果，细粒度地按照错误类型分析了ChatGPT在GEC任务上表现不好的主要原因和对应的错误类型。​

我个人认为这篇文章对LLM在GEC任务上的性能分析非常全面完善，作者提出的很多观点都值得继续研究和思考，虽然可能一些任务作为研究主题会显得太小。有所不足的是发布的时间较早，时效性略差，可能许多相关任务都已经有了已发表或正在进行中的相关研究；另外，文中关于CoT的内容探讨有限，研究对象的LLM也仅仅局限于ChatGPT，这两点也有所欠缺。​

相关工作

•

在本文之前，仅有一篇论文对ChatGPT在GEC任务上的性能做了非常初步的研究（即前述的https://arxiv.org/pdf/2303.13648.pdf）

◦
ChatGPT在机器翻译、QA、文本概括任务中均有过相关的研究和论文，但GEC上几乎没有​

◦
该工作只在CoNLL14数据集上抽取了随机的300条句子进行测试，并没有具体地指出ChatGPT在GEC任务上的优势​

◦
但该工作和本文提出了一个共同的观点，就是现有的GEC评估可能会使LLM模型的表现被低估，这一点在后文会提及​

•
大部分的GEC任务都只关注于句级别的纠错，在本文之前，仅有两篇文章围绕文档级别的GEC任务进行了工作​
◦
两篇文章都只是在PLM上进行的训练，本文是第一篇在LLM模型中关注文档GEC任务的论文​

实验

•

文章首先在Zero-shot条件下做了初步实验来验证CoT对性能的提升效果

◦
在zero-shot实验中，要求ChatGPT直接返回纠错完成的句子，并且尽可能保证句子的原本结构不受到改动；zero-shot+CoT的实验中，先要求ChatGPT将整句句子作为一个整体来理解，再逐步地纠正句中的错误​
▪
作者在这里提出CoT方法的动机很奇怪：因为原本的prompt会导致模型产生一系列解释、使回答的格式变得无序，所以才提出了CoT的方法，但"comprehend the sentence as a whole"这一要求有点难以理解。可能在不添加这个要求之前，出现了纠错破坏句子结构等情况，所谓的disorganized并不只是指的返回格式。​
▪
一开始以为在这里强调了"step by step"就算是CoT的表现，但结合后面few-shot实验中的prompt来看，似乎并不是，因为后面的实验中并没有出现这样的引导​

◦

使用了CoT的zero-shot表现优于常规的zero-shot，所以在接下来的实验中，作者都打算采用CoT方法进行实验设置。

▪
个人觉得提升虽然存在但不是非常显著，可能还是prompt的设计不是最优的关系​

•

few-shot的prompt和zero-shot的最主要区别就是提供了纠错的示例：

◦
提供的示例个数对应shot个数，实验中取了1、3、5三种取值​