首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >语料标注规则:第一版不用写全,但必须能跑起来

语料标注规则:第一版不用写全,但必须能跑起来

原创
作者头像
AI备案指南当当
发布于 2026-11-09 09:20:08
发布于 2026-11-09 09:20:08
330
举报

本文面向从零起草语料标注规则的团队,讨论第一版应当包含什么、不该包含什么、以及如何进入第二版。文中不含产品推广,不构成法律意见;材料清单与具体要求以属地网信部门口径为准,量化值引用处保留标准原文的"应/宜"性质。


0 先说结论

关于这份材料,容易读到的是"合格的规则应该包含哪十项""常见缺陷有哪六种"这类清单式文章。它们对改稿有用,对起步没用。

原因很直接:第一次写的人,面对一份十项清单,会本能地按清单逐条填满。结果是写出一份结构完整、覆盖全面、但没有任何一条被真正执行过的规则。

结论:第一版的目标不是"写全",是"能跑通"。它只需要一条完整链路,加一处明确留白。

三个判断:

判断一:第一版是探测器,不是说明书。 真实的边界情形,只会在标注过程中暴露,不会在起草会议上想出来。所以第一版的作用是把边界"引出来",而不是提前覆盖它。

判断二:一条跑通的链路,比十条写满的条款有用。 因为跑通的那一条会暴露四类真实问题:判据不够、样本不足、平台不支持、人员来不及。这四条信息,是第二版的全部输入。

判断三:明确写"待定"比含糊写满更专业。 一份标了五处待定的规则,是可维护的;一份处处看似完整的规则,会把问题藏起来,直到被追问时才一次性暴露。

后面按"为什么写不全 → 最小版本包含什么 → 怎么起步 → 不该写什么 → 怎么进入第二版"展开。


1 为什么第一版必然写不全

不是能力问题,是信息位置问题。

规则要处理的,是"这条数据算不算通过"这类判断。而这类判断的难点分布,只有实际标过的人知道:

  • 哪些情形看起来像 A 类、其实是 B 类;
  • 哪些情形两人一定会判不一致;
  • 哪些情形照条款判会得出明显不合理的结论。

这三类信息,全部产生于标注现场,不在起草会议里。起草阶段能拿到的,只有法规要求、标准框架、以及别人的模板——三者都是通用形态,不指向你的语料、你的模态、你的业务场景。

所以第一版的正确姿态是承认无知,并把无知标出来。

反过来,如果第一版就写得很满,会出现一个具体的后果:所有含糊的地方都被措辞盖住了。

比如用"应综合考虑上下文语境"来覆盖一类说不清的情形。这句话在评审时挑不出错,但它不能被判定,也不能被培训——它只是把问题从"规则缺失"转换成了"规则存在但不可用",后者更难发现。

一句话概括这个区别:

空白是可被发现的,含糊是不可被发现的。


2 最小可用版本包含什么

核心概念是最小可运行单元:一个任务类型 × 一种模态 × 一个判定对象,配齐五要素,形成一条从输入到留痕的闭环。

不需要覆盖全部任务类型,也不需要覆盖全部模态。一条就够。

2.1 五个要素,缺一条链路就断

要素

装什么

缺了会怎样

触发条件

什么样的数据进入这条规则

该判的没判,或者什么都往里塞

判定标准

判通过的依据,须可判真伪

判不一致,且无法解释差异

边界说明

什么样的情况不算违反

边缘地带反复争议

违约处置

判错了怎么办,范围多大

发现了但没有动作

证据形态

判定结果以什么形式留下

做了但证明不了

五要素里,起步阶段最容易只写前两项。因为前两项是"怎么写"的问题,后三项是"怎么落地"的问题——前者靠脑子,后者要靠平台、靠人、靠流程。

但恰恰是后三项决定第一版能不能跑通。一条只有"触发条件+判定标准"的规则,写在纸上是完整的,跑起来是断的。

2.2 最小版本的样子

不必写成一本书。一页纸能装下:

项目

填写内容

适用对象

某一个任务类型、一种模态、一个判定对象(例如:文本任务中的对话回复,判断是否含应拒答内容)

判定单位

以什么为单位判(整条回复 / 单句 / 某一段)

触发条件

该判定对象进入哪个环节时触发

判定标准

三类判据之一:可枚举、可计量、可比较

边界说明

三到五个"不算违反"的具体情形

违约处置

判错了的范围与处理方式

证据形态

记录什么字段、存在哪里、谁签

已知空白

明确列出"本版未覆盖的情形"

最后一行是这份文档最值钱的地方,后面单独说。

2.3 为什么只做一条

因为一条链路会把四个约束同时暴露出来:

暴露的问题

具体表现

对第二版的意义

判据不够

标注员问"这条怎么判"超过三次

该条判定标准需要拆细

样本不足

同一情形反复被问到,但没有公认例子

该建反例库了

平台不支持

想记录的依据条款,界面上没有这个字段

要么改平台,要么改条款

人员来不及

按规则判一条要五分钟,产量达不到

判定颗粒度需要调整

这四条,是起草阶段无论如何想不出来的。做一条,全部浮现;做十条,同样只暴露这几类问题,但成本是十倍。


3 起步的四步

四步的顺序不能换:先定对象,再看现场,然后一次写齐,最后标空白。前三步产内容,第四步产可维护性。

3.1 第一步:定对象,不定范围

先回答一个问题:你要判的最小的那个东西是什么?

不是"文本",是"用户提问后系统给出的第一段回复";不是"图片",是"用户上传图片中含人脸的像素区域"。颗粒度落到能被一个人指着说"就是这条",才算定下来。

这一步最常见的错,是把范围当对象。写"本规则适用于文本类语料",这不是定对象,这是划地盘——地盘里仍然什么都有,谁也不知道该从哪判起。

3.2 第二步:抄现场,不抄模板

找一到两个正在做这件事的人,让他连续判二十条,你在旁边记录。记的不是结论,是四样东西:

  • 他在哪一条上停下来了;
  • 他停下来时说了什么(通常是"这个要看情况");
  • 他最后依据什么做了决定;
  • 他判完之后又改了吗,为什么改。

二十分钟的记录,抵得上一周闭门写作。因为这些停顿点,就是规则需要覆盖的位置。

模板可以看,但只用来核对结构有没有缺项,不要用来填内容。模板里那些"应综合考虑""应保持审慎"的表述,属于别人的语境,搬过来只会增加不可判的条款。

3.3 第三步:写一条完整的,而不是十条半截的

选一个最常出现的判定对象,把五要素一次写齐。写的时候有一个硬要求:每一条判定标准后面,能接上一句"违反它的具体表现是什么",并且答得出来。

答不出来,说明写的还是原则,不是判据。这时候有两条路:换成三类判据之一(可枚举、可计量、可比较),或者把它降级为流程要求(比如"须经二人复核"),不再当判定标准用。

3.4 第四步:把空白明确标出来

这是第一版最重要的一步,也是最容易被跳过的一步。

做法很简单:在文档末尾单设一节,标题写"本版未覆盖的情形",逐条列出你在起草时想到但没想清楚的东西。例如:

  • 多轮对话中,前一轮已拒答、后一轮换问法再次询问,如何判定;
  • 引用他人观点并加以批评时,是否构成对某类表述的传播;
  • 同一段内容同时命中两类风险时,按哪类记录。

这三条列出来,不加任何解释,也不写"另行制定"。

为什么这一节有价值: 它把"我不知道"变成了可传递的信息。第二个人读到这一节,就知道哪里不该自作主张,也知道了下次讨论的起点。

反过来,如果把这些情形含糊地塞进正文(比如写一句"应结合具体语境综合判断"),问题就被掩盖了,而且会以"这条到底怎么算"的形式,在每一次标注中重复出现。

3.5 三种起点,三种走法

实际起步时,团队手上拿的东西不一样,第一步也就不同。

第一种,什么都没用,从空白开始。

这是最省事的处境,因为没有被继承的包袱。走法就是上面四步,一条链路一页纸,一到两周能出。

唯一要防的是"去搜一份模板"。搜来的模板通常来自另一个行业、另一种模态,直接套用会把不属于你的情形都写进去,反而增加空白——你写了一条自己业务里根本不存在的判定,它永远不会被触发,也就永远不会被发现是错的。

第二种,手上有集团或前人的旧版。

这种处境的风险是继承,不是缺内容。旧版通常已经写了一两年,条款多、结构完整,看起来可以直接改。

但旧版的前提可能已经不成立:语料来源换了、模态加了、人员从五人变两人。这些前提变化不会写在文件里,只体现在"这条现在没人按它做"上。

建议做法是先做一次判定,不做全文改写:

检查项

判断方式

处理

条款还有执行人吗

每条的判定动作现在谁在做

无人执行的,标为失效

判定对象还存在吗

该模态或该任务类型是否仍在上线

已下线的,整节归档

判据还能对上吗

按条款判十条,看是否与现在的做法一致

不一致的,以现状为准记录差异

指标还做得到吗

现有产能能否支撑

做不到的,降为实际值

四步做完,把失效部分移入"本版未覆盖"或独立归档,剩下的再按最小版本补全。不要在原文件上直接改——原文件是历史记录,改了之后就说不清"我们什么时候停止执行某条"。

第三种,外包方提供了一版模板。

这在外包标注的场景里最常见。模板一般写得挺规范,因为它要适配多个甲方。

问题在于它是通用最优,不是你的最优。它会把各种可能情形都列上,代价是每条都不够细。直接提交会出现一种情况:结构很完整,但每一条被追问时都答不到底。

建议做法是把它当"情形清单"用,不当"规则"用:从里面挑出与你业务真实相关的那些情形,逐条问"我们实际怎么判"。答得出来的写进判定标准,答不出来的列进未覆盖。

同时要处理一件事:外包方自己的操作细则不会主动交给你。 他们为了交付,一定会在模板之外长出一套实际做法。起步阶段就该把这件事写进约定:依据条款要回填,操作细则要报备,冲突时以你的规则为准。

一句话概括这三种起点的差别:

空白起步,怕的是抄模板;有旧版,怕的是照改;有外包模板,怕的是照交。


4 第一版明确不该写的四类内容

清单式文章常说"应该写什么",但起步阶段更需要知道"先别写什么"。以下四类,写了会带来实际麻烦。

4.1 不要写没有执行人的角色

规则里出现"由质量管理部门审核"这类表述时,先问一句:这个角色现在由谁担任,姓名是什么。

答不出来,就不要写。纸面角色的代价不在写的时候,在核对的时候——任何一次现场核验都会问到"这个岗位是谁",届时无法回答,比不写这个角色更被动。

起步阶段的正确做法是写实际情况:由某某兼任,并说明兼岗时如何补偿(例如外部抽检、交叉复核)。承认兼岗不丢人,虚构岗位才是风险。

4.2 不要写做不到的指标

常见的有:全量复核、每条标注双人独立判、每周一次全量抽检。

这些指标在规则里成立,在实际产能下不成立。而写了做不到的指标,后果比不写更重:它把一个可协商的现状,变成了一个可被追责的承诺。

起步阶段建议只写两类指标:一类是已经做到的(哪怕标准不高),一类是有明确机制保证能逐步达到的(写清当前值与目标值)。不写"应尽力达到"这种中间态。

4.3 不要用"另行制定"做出口

"具体细则另行制定""详细流程见相关制度"——这两句在起草时很省事,但它制造了一个空引用。

核验时的追问只有一句:那份细则在哪。拿不出来,这句就是缺口;拿出来了但内容和本文对不上,问题更大。

如果确实还没写,正确写法是列进"本版未覆盖的情形",而不是写成"另行制定"。前者是诚实,后者是假装完整。

4.4 不要抄一套通用风险分类了事

风险分类必须能对上你自己的业务。如果规则里的分类和拦截词库的分类、评估题集的题型都对不上,会出现一个具体的空白:某一类被声明覆盖,但标注阶段没有对应的判据,实际没人在管这一类。

起步阶段不必追求分类的完备性,但必须保证一件事:规则里出现的每一类,都能指出由谁在什么环节判它。


5 从第一版到第二版:什么时候该改

第一版不需要定期修订,需要的是触发式修订。以下四个信号出现任一,就该动。

信号

具体表现

说明什么

同一处被问三次

三个不同的人问同一个"这条怎么判"

判据不足,该拆细

同一情形被收录三次

反例库里同一争议点出现三次以上

条款本身不够,不能一直靠样本兜

判完又改

标注员判完主动回来改结论

边界说明缺失或有歧义

新人上手要问人

不参与起草的人无法独立判完十条

规则不能自解释,需要培训外的补充

四个信号里,"判完又改"最容易被忽略。它通常被理解为个人谨慎,实际是规则在边界处没给方向——判完之后当事人自己也拿不准,于是凭感觉修正。

第二版的做法不是把每条都写细,而是针对上述信号出现的那几条改。改动范围应当小于条款总数的两成,超过这个比例,说明不是在修订,是在重写——重写的成本高,而且会让已经形成的操作习惯失效。

5.1 一次修订要成对

修订几乎总是加法:被问一次,补一条。但条款之间的冲突概率随数量按组合增长——十条有 45 种两两组合,二十条有 190 种。

所以第二版起,建议执行一条纪律:每加一条,同时处理一条——合并、删除,或者明确写出两条的适用顺序。

第三种最常被跳过,也最容易出事:两条都命中而结论不同时,标注员的实际选择取决于个人习惯,而这个选择不会留下任何记录。


6 六种常见的起步错误

错误形态

表现

后果

清单填满

十项要求逐条对应写满

结构完整,无一条被执行过

原则充数

通篇"应充分考虑""应审慎判断"

不可培训、不可验收

角色虚构

写了四个岗位,实际两人兼任

现场核对时无法回答

指标虚高

写了全量复核

承诺无法兑现,反而更被动

空引用

若干处"另行制定"

追问时拿不出来

只写半程

有触发条件和判定标准,无处置与留痕

链路在末端断掉

六种里,"只写半程"最隐蔽。因为前两项写得很扎实,文档读起来也像那么回事;直到有人问"判完之后记在哪",才发现没有答案。

一个简单的自检:把规则从头读一遍,是否能还原出一条完整路径——这条数据什么时候进来、按什么判、判完记什么、判错了怎么办。 任何一环接不上,就是半程。


7 发布前核验清单

22 项,四组。这是给第一版用的清单,标准低于成熟版。

A 对象与范围(5)

  • [ ] 已明确最小判定对象,颗粒度到"能被指着说就是这条"
  • [ ] 已明确判定单位(整条/单句/某段/某区域)
  • [ ] 未把"适用范围"当成"判定对象"
  • [ ] 第一版只覆盖一个任务类型、一种模态
  • [ ] 已知的第二类任务或模态,列入"未覆盖"而非含糊带过

B 五要素完整性(6)

  • [ ] 触发条件写明在哪个环节、由什么动作触发
  • [ ] 判定标准属于可枚举/可计量/可比较三者之一
  • [ ] 每条判定标准都能答出"违反的具体表现"
  • [ ] 边界说明给出三到五个"不算违反"的具体情形
  • [ ] 违约处置写明范围(单条/整批)与处理方式
  • [ ] 证据形态写明记录字段、存放位置、签署人

C 可执行性(6)

  • [ ] 起草者之外,至少一名实际执行者通读过
  • [ ] 规则中出现的每个角色,都能对应到具体担任人
  • [ ] 指标分为"已达成"与"有计划达成"两类,无中间态
  • [ ] 不存在"另行制定""见相关制度"这类空引用
  • [ ] 不参与起草的人,能否独立判完十条(做过一次实测)
  • [ ] 记录所需的字段,标注平台上确实存在

D 空白与演进(5)

  • [ ] 设有"本版未覆盖的情形"一节,至少列三条
  • [ ] 该节内容是不加解释的情形描述,未写"另行制定"
  • [ ] 已约定四个修订触发信号的观察人
  • [ ] 已约定第二版的触发条件(不是日期)
  • [ ] 已知的记录:本版依据什么状态写成(语料、模态、人员)

8 FAQ

问:第一版要不要请外部机构或顾问把关? 答:结构性问题可以请人看,内容问题请不了。外部能判断的是"五要素齐不齐""判据是不是可判",判断不了"你们这条语料到底该怎么标"。建议的用法是:先自己写完一条链路,再请人看结构,避免一开始就被通用框架带走。

问:只有两三个人,最小版本还要不要拆三层? 答:不用拆成三个文件,但心里要分开。"为什么标"(原则)和"怎么判"(规程)在同一份文件里分两段写即可,第三层(已判定的样本)用文件夹或表格承载,不必成文。三个人以下的团队,最容易缺的不是结构,是"曾经判错的样本"没人收集。

问:第一版只写一条链路,会不会被认为覆盖不足? 答:从核验角度看,覆盖不足是可解释的(列在"未覆盖"里),不可解释的是"写了但不可判"。一条跑通的链路,加上一份诚实的空白清单,比十条半截条款更经得起追问。

问:什么时候该出第二版? 答:按触发,不按日期。四个信号出现任一即动:同一处被问三次、同一争议被收录三次、出现"判完又改"、新人无法独立判完十条。若一年内四个信号都没出现,说明第一版覆盖的场景太少,应当扩对象,而不是修订条款。

问:规则里要不要写具体的技术手段(比如用什么模型辅助预标)? 答:起步阶段建议只写边界,不写工具名。可以写"允许使用自动预标,但置信度低于某阈值须转人工",不要写具体产品。工具会换,规则不宜跟着换。

问:这套内容和标准条文是什么关系? 答:材料要求与标注、人员、核验的基本要求,来自《生成式人工智能服务管理暂行办法》与 GB/T 45674—2025《网络安全技术 生成式人工智能数据标注安全规范》(2025-04-25 发布、2025-11-01 实施)等文件。而"最小可运行单元""四类不该写的内容""四个修订触发信号"是实践视角的归纳,用于组织起步工作,不替代标准条文,具体以属地口径为准。


9 结语

第一版最容易犯的错,是按"完整"的标准去写,而不是按"能跑"的标准去写。

这两种标准导向的结果差别很大:按完整写,交出的是一份没人执行过的文档;按能跑写,交出的是一条真实跑过的链路,外加一份诚实的空白清单。

后者看起来不体面,但它有两个前者没有的东西:一是知道哪里会出问题,二是知道下一步该改什么。

判断第一版是否合格,不必问"覆盖了多少情形",问一句更直接的:

把这份规则交给一个没参与起草的人,他能不能独立判完十条,并且说得清依据哪一条?

能,第一版就成立;不能,写多长都不成立。


附:主要依据

  • 《生成式人工智能服务管理暂行办法》——语料来源、标注规范、人员管理与安全评估的规范来源。
  • 《互联网信息服务深度合成管理规定》——训练数据与内容管理要求,备案义务的规范来源。
  • GB/T 45674—2025《网络安全技术 生成式人工智能数据标注安全规范》,2025-04-25 发布、2025-11-01 实施——标注规则、人员管理、质量评估与隔离要求的直接依据;其中标注示例与任务类型附录属资料性内容。
  • GB/T 45652—2025《网络安全技术 生成式人工智能预训练和优化训练数据安全规范》——语料来源、内容安全与授权的前置要求。
  • GB/T 45654—2025《生成式人工智能服务安全基本要求》——服务侧整体要求,其附录对语料安全给出量化参照(属资料性附录)。

说明:文中未引用具体条款号,以避免因标准版本差异造成误引;量化值多以"宜"表述的属推荐性要求。实际填报与内部制度建设,请以正式标准文本及属地网信部门口径为准。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 0 先说结论
  • 1 为什么第一版必然写不全
  • 2 最小可用版本包含什么
    • 2.1 五个要素,缺一条链路就断
    • 2.2 最小版本的样子
    • 2.3 为什么只做一条
  • 3 起步的四步
    • 3.1 第一步:定对象,不定范围
    • 3.2 第二步:抄现场,不抄模板
    • 3.3 第三步:写一条完整的,而不是十条半截的
    • 3.4 第四步:把空白明确标出来
    • 3.5 三种起点,三种走法
  • 4 第一版明确不该写的四类内容
    • 4.1 不要写没有执行人的角色
    • 4.2 不要写做不到的指标
    • 4.3 不要用"另行制定"做出口
    • 4.4 不要抄一套通用风险分类了事
  • 5 从第一版到第二版:什么时候该改
    • 5.1 一次修订要成对
  • 6 六种常见的起步错误
  • 7 发布前核验清单
  • 8 FAQ
  • 9 结语
  • 附:主要依据
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档