首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    每日论文速递 | 一次编码平行解码:高效Transformer解码

    摘要:基于Transformer的 NLP 模型功能强大,但计算成本较高,限制了应用场景。经过微调的编码器-解码器模型在专业领域很受欢迎,其性能优于 GPT-4 等大型通用解码器模型。我们为编码器-解码器模型引入了一种新的配置,它能提高结构化输出和问题解答任务的效率,在这些任务中,一个输入需要多个输出。我们的方法,即提示中解码器(PiD),对输入进行一次编码,对输出进行并行解码,通过避免重复输入编码来提高训练和推理效率,从而减少解码器的内存占用。在对话状态跟踪、总结和问题解答任务方面,我们实现了与子任务数量大致成比例的计算量减少,与性能相当或更好的一流模型相比,速度提高了 4.6 倍。

    01

    每日论文速递 | 使用对比Reward改进RLHF

    摘要:来自人类反馈的强化学习(RLHF)是将大语言模型(LLM)与人类偏好相匹配的主流范式。然而,现有的 RLHF 在很大程度上依赖于准确、翔实的奖励模型,而奖励模型对各种来源的噪声(如人类标签错误)很脆弱、很敏感,从而使管道变得脆弱。在这项工作中,我们通过在奖励上引入惩罚项来提高奖励模型的有效性,该惩罚项被命名为contrastive rewards。我们的方法包括两个步骤:(1) 离线采样步骤,获取对提示的回应,作为计算基线;(2) 使用基线回应计算对比奖励,并将其用于近端策略优化 (PPO) 步骤。我们的研究表明,对比奖励使 LLM 能够惩罚奖励的不确定性、提高鲁棒性、鼓励改进基线、根据任务难度进行校准以及减少 PPO 中的差异。通过 GPT 和人类的评估,我们的实证结果表明,对比性奖励可以大幅提高 RLHF,而且我们的方法始终优于强基线。

    01
    领券