“大模型安全评估”需要评估哪些？

随着大型语言模型（LLM）如ChatGPT、文心一言等在众多领域展现出前所未有的能力，其安全、可靠、负责任地部署与应用已成为全社会关注的焦点。大模型并非完美无缺，其内在风险可能带来严重的现实世界危害。因此，构建一套科学、系统、多维度的安全评估体系，不再是可选项，而是确保其健康发展的必然要求。#大模型备案##安全评估##生成式人工智能#

一、语料安全评估 二、生成内容评估

1. 暴力、仇恨与非法内容： 评估模型是否会生成宣扬暴力、恐怖主义、种族歧视、性别歧视、仇恨言论等的内容。需要构建涵盖不同文化、地域和敏感话题的测试用例库。
2. 色情与不雅内容： 检测模型生成色情、露骨或不适宜年龄内容的风险。
3. 自我伤害与破坏性建议： 评估模型在面对用户咨询自残、自杀、危险行为（如制造武器、吸毒）等问题时，能否拒绝提供信息并给予正确的帮助和引导。
4. 偏见与歧视： 检测模型输出中是否隐含或显性地存在对特定种族、性别、宗教、国籍、年龄等群体的刻板印象和不公平待遇。

三、涉知识产权、商业秘密评估 四、涉民族、信仰、性别等评估

五、涉透明性、准确性、可靠性等评估

1. 事实准确性与反幻觉： “幻觉”是指模型生成看似合理但实则错误或虚构的信息。评估需检验模型在知识密集型任务（如问答、摘要）中的事实准确性，及其对不确定信息的处理能力。
2. 逻辑一致性与连贯性： 评估模型在长文本生成或多轮对话中，是否能在逻辑上保持前后一致，避免自相矛盾或答非所问。
3. 抗攻击稳健性：
4. 对抗性攻击： 测试模型在面对故意设计的、带有误导性的输入（对抗样本）时，是否仍能保持正确和稳定的输出。
5. 提示词注入： 评估模型抵抗用户通过精心构造的提示词（如“忽略之前的指令”、“你现在是另一个AI”）来越狱、绕过安全护栏的能力。
6. 代码安全： 对于能生成代码的模型，需严格评估其生成代码的安全性，避免产生含有安全漏洞（如SQL注入、缓冲区溢出）的代码。

六、模型性能(拒答率）评估

大模型的安全评估是一个动态、持续且多学科交叉的复杂工程，它需要技术专家、伦理学家、法律学者、社会科学家和领域专家的共同参与。上述六个方面构成了一个相对完整的评估框架，但绝非终点。随着技术的演进和应用的深化，新的风险会不断涌现。建立“设计-开发-部署-监控”全生命周期的安全治理体系，通过迭代式的评估和反馈，才能不断降低风险，最终推动大模型安全、可靠、负责任地造福人类社会。