中国科学院院士何积丰：大模型的主要安全挑战在隐私保护和价值观对齐

据《科创板日报》9 月 7 日报道，中国科学院院士何积丰在 2023 Inclusion・外滩大会上表示，大模型的主要安全问题一是在隐私方面，大模型训练过程中涉及大量用户个人信息和数据，使用过程涉及很多用户私密信息，这些信息没有受到应有的隐私保护，生成能力让隐私泄露的方式变得多样化，隐私保护更加困难。二是在对齐方面，需要让系统的价值观和人类价值观一致，使其符合设计者的利益和原则，不会产生意外的有害结果。但人类价值观是多元且动态变化的，而且大模型的“有用性”和“无害性”存在冲突，这导致对齐成为复杂的跨学科研究问题。目前，反馈强化学习是实现对齐的技术途径，通过反馈给模型不同的奖励信号，引导模型的高质量输出；基于给大模型提供明确的原则，系统自动训练模型，对所有生成的输出结果提供初始排序。