在对大语言模型（LLM）进行微调时，有多种技术可选。今天我们分享一下最值得关注的 4 款工具 —— 从单卡 到支持万亿参数的分布式集群，它们几乎覆盖了所有 LL...

还在为 LoRA 训练不稳定、模型融合效果差、剪枝后性能大降而烦恼吗？来自香港城市大学、南方科技大学、浙江大学等机构的研究者们提出了一种简单的渐进式训练策略，C...

本节我们简要介绍如何基于 transformers、peft 等框架，对 XVERSE-7B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，...

本节我们简要介绍如何基于 transformers、peft 等框架，对 Phi-3-mini-4k-Instruct 模型进行 Lora 微调。Lora 是一...

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。

本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。Lora 是一种高效微...

本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。Lora 是一种高效微...

本节我们简要介绍如何基于 transformers、peft 等框架，对 Gemma2b 模型进行 Lora 微调。Lora 是一种高效微调方法，深入了解其原理...

本文简要介绍如何基于transformers、peft等框架，对CharacterGLM-6B-chat模型进行Lora微调。Lora原理可参考博客：知乎|深入...

微调，Fine-Tuning，一般指全参数的微调（全量微调），指是一类较早诞生的微调方法，全参数微调需要消耗大量的算力，实际使用起来并不方便，因此不久之后又诞生...

本节我们简要介绍如何基于 transformers、peft 等框架，对 TransNormerLLM-1B「备注：TransNormerLLM-358M/1B...

本节我们简要介绍如何基于 transformers、peft 等框架，对 Qwen-7B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，深入...

本节我们简要介绍如何基于 transformers、peft 等框架，对 DeepSeek-7B-chat 模型进行 Lora 微调。Lora 是一种高效微调方...

本节我们简要介绍如何基于 transformers、peft 等框架，对 BlueLM-7B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，...

本节我们介绍如何基于 transformers、peft 等框架，对 Yi-6B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，深入了解其原...

本节我们简要介绍如何基于 transformers、peft 等框架，对 Atom-7B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，深入...

这个缩放的本质并没有改变LoRa的参数量大小,本质在于将里面的参数数值做广播乘法,进行线性的缩放。

本节我们简要介绍如何基于 transformers、peft 等框架，对 Baichuan2-7B-chat模型进行 Lora 微调。Lora 是一种高效微调方...

关键词：深度解析、Fine-tuning、LoRA、Prompt-tuning、效能对比、大模型调优、AI性能优化

这是整个过程中最耗时但价值最高的部分。您需要为每一张图片创建一个与之同名的 .txt 文本文件。