首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    每日论文速递 | IntactKV: 用Pivot token进行无损量化的方法

    摘要:大语言模型(LLM)在自然语言处理中表现出色,但需要密集的计算。为了缓解这一问题,人们探索了各种量化方法,但这些方法都会影响 LLM 的性能。本文揭示了 LLM 中一种以前被忽视的异常值类型。我们发现,这类异常值会将大部分注意力分数分配给输入的初始token(称为pivot token),这对量化 LLM 的性能至关重要。有鉴于此,我们提出了 IntactKV 方法,即从全精度模型中无损生成pivot token的 KV 缓存。这种方法非常简单,易于与现有的量化解决方案相结合。此外,IntactKV 可以作为额外的 LLM 参数进行校准,以进一步提高量化 LLM。数学分析也证明,IntactKV 能有效降低量化误差的上限。实证结果表明,IntactKV 带来了持续的改进,并在各种下游任务中实现了无损的只加权 INT4 量化,引领了 LLM 量化的新潮流。

    01

    代码重构(六):代码重构完整案例

    无论做什么事情呢,都要善始善终呢。前边连续发表了5篇关于重构的博客,其中分门别类的介绍了一些重构手法。今天的这篇博客就使用一个完整的示例来总结一下之前的重构规则,也算给之前的关于重构的博客画一个句号。今天的示例借鉴于《重构,改善既有代码的设计》这本书中的第一章的示例,在其基础上做了一些修改。今天博客从头到尾就是一个完整的重构过程。首先会给出需要重构的代码,然后对其进行分析,然后对症下药,使用之前我们分享的重构规则对其进行一步步的重构。 先来聊一下该示例的使用场景(如果你有重构这本书的话,可以参加第一章中的示

    07
    领券