唐国梁Tommy-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

唐国梁Tommy

专栏成员

46

文章

112586

阅读量

21

订阅数

BitNet b1.58: 革命性的1比特语言模型，性能媲美全精度Transformer

函数量化模型内存性能

3.性能对比：与全精度Transformer LLM（FP16或BF16）模型大小和训练tokens相等，困惑度和端到端任务性能相同。

2024-03-20

4070

同济大学发布最新检索增强(RAG)的LLM生成技术综述

模型数据性能优化 LLM

摘要主要介绍了大型语言模型（LLMs）在实际应用中面临的挑战，比如幻觉、知识更新缓慢和答案缺乏透明度等问题，并提出了检索增强生成（Retrieval-Augmented Generation，RAG）作为一种解决方案。RAG通过从外部知识库检索相关信息来辅助大型语言模型回答问题，已经被证明能显著提高回答的准确性，减少模型产生的幻觉，尤其是在知识密集型任务中。

2023-12-21

16.7K0

RoleLLM：打造高效的角色扮演语言模型

模型设计数据系统性能

论文介绍了一种评估和增强LLM在角色扮演方面能力的方法。作者首先提出了一个角色扮演基准（RoleBench），用于综合评估LLM的角色扮演能力，然后设计了一种名为RoleLLM的模型，它通过对话工程和上下文指令生成技术来模仿特定角色的对话风格。

2023-11-24

3.5K1

Self-RAG 框架：更精准的信息检索与生成

self 框架模型数据算法

尽管LLM（大型语言模型）的模型和数据规模不断增加，但它们仍然面临事实错误的问题。现有的Retrieval-Augmented Generation (RAG)方法可以通过增强LLM的输入来减少知识密集任务中的事实错误，但可能会影响模型的通用性或引入无关的、低质量的内容。

2023-11-09

3.3K0

用户意图对齐，无需人工标注，Zephyr-7B 超越 Llama2-Chat-70B

chat 代理模型数据优化

该研究目标是创建一个与用户意图更符合的小型语言模型。通过应用蒸馏监督微调(distilled supervised fine-tuning, dSFT)和蒸馏直接偏好优化(distilled direct preference optimization, dDPO)以及利用AI反馈(AI Feedback, AIF)的偏好数据，研究者成功提升了模型的任务准确性和意图对齐度。ZEPHYR-7B模型以7B参数在聊天基准测试中创立了新标准，无需人工注释，且在MT-Bench测试中超过了之前的模型。此方法的优势包括较短的训练时间和无需额外采样，为开放大型语言模型(LLMs)的发展和微调提供了新方向。同时，研究未考虑模型安全性如可能产生有害输出等问题。

2023-11-02

7060

解锁 vLLM：大语言模型推理的速度与效率双提升

缓存模型内存系统效率

当我们进行微批处理(mini-batch)时，虽然能减少计算浪费并以更灵活的方式批处理请求，但由于GPU内存容量的限制（特别是存储 KV 缓存的空间），仍然限制了可以一起批处理的请求数量，这意味着服务系统的吞吐量受到内存的限制。具体的内存管理挑战有如下三个方面:

2023-10-25

5.9K0

论文解读: 百川大模型7B和13B技术报告

论文模型数据性能优化

百川2技术报告详细介绍了模型的研发细节，包括7B和13B两个版本，以及在2.6T数据上进行了训练。报告还提及模型在数学、代码能力以及医疗和法律任务上的显著改善，并对模型安全性能力的提升方法进行了公布。此外，还展示了Baichuan 2在公共基准测试如MMLU、CMMLU、GSM8K和人为评估中的表现，与其他开源模型相匹配或超越它们。技术报告还详细解释了Baichuan 2的训练过程，包括数据处理、模型结构优化等方面。

2023-10-22

2.3K0

论文解读: streaming-LLM 使各种模型稳定、高效地处理长达400万tokens的文本

streaming 论文模型性能 LLM

为了保持论文中原汁原味的语义信息，保留相关原文，没有刻意翻译成中文，避免造成误解。

2023-10-22

1.5K0

【论文解读】Salesforce开源多模态BLIP-2，在图文交互场景下获得了SOTA的结果

开源 salesforce 连接论文模型

作者团队提出了BLIP-2，它是一种通用且高效预训练的策略，能够基于现有的预训练image encoders和预训练大语言模型(两者的模型参数都冻结)进行图像和语言预训练(vision-languange pretraining)。BLIP-2能够基于一个两阶段预训练的轻量级Querying Transformer (简称: Q-Former) 缩小模态距离(图像与文本)。【Q-Former是一个轻量级的 transformer，使用一组可学习的检索向量(query vectors)从冻结的 image encoder 中来抽取图像特征。】

2023-09-01

4K0

【论文解读】Panda LLM —— 新加坡南洋理工发布中文版LLM模型

基础论文模型数据 LLM

（1）提出的蒲公英项目(Dandelion Project)旨在部署的大型语言模型不仅准确，而且透明，可信，可定制。

2023-09-01

3170

【论文解读】GPT-4-LLM，微软发布基于GPT-4生成的指令数据，基于此训练了LLaMA和奖励模型，并进行了全面评估

gpt 论文模型数据 LLM

在本文中，我们首次尝试使用 GPT-4 生成用于 LLM 微调的指令跟随数据。我们对指令调优的 LLaMA 模型的早期实验表明，由 GPT-4 生成的 52K 英语和中文指令跟随(instruction following)数据在新任务上的零样本性能优于由先前最先进模型生成的指令跟随数据。我们还从 GPT-4 收集反馈和比较数据，以便进行全面评估和奖励模型训练。

2023-09-01

6480

【论文解读】LLaVA 多模态大模型，微软首创用GPT-4生成多模态指令数据集进行指令微调

gpt 对象论文模型数据

在本文中，我们首次尝试使用仅基于语言的GPT-4生成多模态语言-图像指令跟随(instruction following)数据。通过对这些生成数据进行指令调整，我们介绍了LLaVA：Large Language and Vision Assistant，这是一个端到端训练的大型多模态模型，将视觉编码器与LLM连接起来，用于通用目的的视觉和自然语言理解。

2023-09-01

2.9K0

论文解读 LLaMA-Adapter V2 多模态领域又一佳作

adapter 论文模型数据系统

在本文中，我们提出了LLaMA-Adapter V2，一种参数高效的视觉指令模型。具体而言，我们首先通过解锁更多可学习参数（例如，norm、偏置和比例），增强LLaMA Adapter，这些参数在整个LLaMA模型中分布指令跟踪能力。其次，我们提出了一种早期融合策略，只将视觉token输入到早期的LLM层，有助于更好地融合视觉知识。第三，通过优化可学习参数的不相交组，引入了图像-文本对和指令跟踪数据的联合训练范式。这种策略有效地缓解了图像-文本对齐和指令跟踪这两个任务之间的干扰，并通过小规模的图像-文本和指令数据集实现了强大的多模态推理。在推理过程中，我们将额外的专家模型（例如，字幕，OCR系统）集成到LLaMA-Adapter中，以在不增加训练成本的情况下进一步提高其图像理解能力。与原始的LLaMA-Adapter相比，LLaMA-Adapter V2只需在LLaMA上引入14M参数，就可以执行开放式多模态指令。新设计的框架还展示出更强的基于语言的指令跟踪能力，甚至在聊天互动中表现出色。

2023-09-01

2.1K0

论文解读 Chinese-LLaMA-Alpaca 中文版大语言模型

编码部署论文模型数据

https://github.com/ymcui/Chinese-LLaMA-Alpaca

2023-09-01

1K0

【论文解读】SpellGCN 针对中文拼写检查将拼音相似与字形相似融合进语言模型

character line models performance precision

SpellGCN：Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check

2022-06-15

1.1K0

【论文解读】检测字符插入与删除错误的预训练中文BERT

Pretraining Chinese BERT for Detecting Word Insertion and Deletion Errors

2022-06-15

5660

【论文解读】PLOME : 具备错写知识的预训练模型

embedding mask position set token

Pre-trained masked Language mOdel with Misspelled knowledgE

2022-06-15

1.2K0

04-1 轻松学PyTorch 肺部感染识别案例简介

本期视频内容：肺部感染识别案例简介视频地址：http://mpvideo.qpic.cn/0bc3eeabuaaa2aakaclypjrfaioddiqqagqa.f10002.mp4?dis_k=

2022-06-15

5200

03-1 轻松学 PyTorch 手写字体识别 MNIST (理论)

mnist 计算机视频

本期视频内容：手写字体识别 MNIST 视频地址：http://mpvideo.qpic.cn/0bc3lyab2aaa6eaifityebrfaxwddvpaahia.f10002.mp4? (理论

2022-06-15

1.2K0

03-3 轻松学 PyTorch 手写字体识别 MNIST (实战 - 下)

本期视频内容：手写字体识别 MNIST (实战 - 下) 视频地址：http://mpvideo.qpic.cn/0bc3zaab2aaatqak6g3ykfrfbsgddxeaahia.f10002

2022-06-15

8280

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态