WA_automat
N 人看过

COLDetector复现

COLD: A Benchmark for Chinese Offensive Language Detection论文原文

选择原因

  1. 在其他项目中使用过该模型进行中文恶评的识别(不过当时是直接用别人训练好的参数
  2. 作为新手比较容易上手复现其中的训练模型部分
  3. 2022年ACL收录论文(近三年

主要工作

使用复现论文中的并按照其中的评价标准检验模型。

这个是基于的一个预训练模型--,使用训练出来的中文文本冒犯性分类模型(分为:

使用预训练模型完成此次论文模型复现

文件结构:

  1. 文件夹:包含训练集、测试集与验证集数据
  2. 文件夹:模型
  3. 文件夹:实现自定义类型
  4. :训练模型文件
  5. :训练后,测试不同更多操作--的句子分类正确率
  6. :训练后,可以通过修改,判断句子是否带有冒犯性。

训练结果

模型对训练集和验证集的效果如下

image-20230810010850056

模型对具体类别的判别正确率

--
0: safe (other-Non-offen)
1: attack individual
2: attack group
3: safe (anti-bias)
image-20230810005441703

可以看出,训练出来的模型还是和论文效果很接近的,除了--一类外,其他类别的正确率甚至高于论文训练的结果了。

由于最终模型参数_达到了,所以在上传附件时就不打包在文件夹中啦。

复现代码放在github仓库