高效微调 100 多种大语言模型：先计算法，急速推理！ | 开源日报 No.305

picture

hiyouga/LLaMA-Factoryhttps://github.com/hiyouga/LLaMA-Factory

Stars: 26.9k License: Apache-2.0

LLaMA-Factory 是一个用于高效微调 100 多个大型语言模型（ACL 2024）的 WebUI。

• 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
• 集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
• 多种精度：16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
• 先进算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA 和 Agent 微调。
• 实用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
• 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
• 极速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。

abseil/abseil-cpphttps://github.com/abseil/abseil-cpp

Stars: 14.4k License: Apache-2.0

Abseil-Cpp 是一个包含 Abseil C++ 库代码的开源项目，旨在增强 C++ 标准库。该项目的主要功能、关键特性和核心优势包括：

• 提供了缺失于 C++ 标准库中的部分功能
• 提供了适用于特殊需求的标准库替代品
• 包含了来自 Google 自身 C++ 代码库的经过广泛测试和生产使用的代码
• 不是标准库的竞争对手，而是为了将这些实用工具提供给整个 C++ 社区

这些特性使得 Abseil-Cpp 成为一个有价值的 C++ 开源项目。

scalar/scalarhttps://github.com/scalar/scalar

Stars: 5.2k License: MIT

scalar 是从 OpenAPI/Swagger 文件生成美观的 API 参考文档 。 该项目主要解决了从 OpenAPI/Swagger 文件生成交互式 API 文档的问题。

• 使用 OpenAPI/Swagger 规范
• 支持大量语言和框架的请求示例
• 集成了 API 客户端
• 实时预览编辑你的 OpenAPI/Swagger 规范

langfuse/langfusehttps://github.com/langfuse/langfuse

Stars: 4.8k License: NOASSERTION

langfuse 是一个开源的 LLM 工程平台，提供可观测性、指标、评估、提示管理、沙盒和数据集等功能。它与 LlamaIndex、Langchain、OpenAI SDK、LiteLLM 等项目进行集成。该项目在 YC W23 孵化器中。 以下是 langfuse 的主要功能、关键特性和核心优势：

• 可观测性：为应用程序提供仪表盘和数据导出，跟踪指标（成本、延迟、质量）并从中获取洞察。
• 提示管理：在 langfuse 中管理、版本控制和部署提示。
• 评估：收集和计算 LLM 完成的分数，进行基于模型的评估。
• 沙盒：测试应用程序行为，使用数据集测试输入输出对并进行性能基准测试。
• 集成：与多个项目进行集成，包括 OpenAI、Langchain、LlamaIndex 等。
• 部署：提供云端托管和本地部署选项，使用 Docker 进行自托管。

langfuse 是一个功能丰富的工程平台，适用于开发者进行语言模型相关的工作。

modelscope/swifthttps://github.com/modelscope/swift

Stars: 2.4k License: Apache-2.0

swift 是一个用于微调 200+ LLMs 或 15+ MLLMs 的 PEFT 或 Full-parameter 工具。 该项目的主要功能、关键特性、核心优势包括：

• 支持训练、推断和部署近 200 个 LLM 和 MLLM
• 提供轻量级训练解决方案 PEFT 以及适配器库支持 NEFTune，LoRA+，LLaMA-PRO 等最新训练技术
• 提供 Gradio web-ui 进行控制训练和推断，并提供深度学习课程和初学者最佳实践指南
• 扩展了对其他模态的能力，目前支持全参数培训以及 AnimateDiff 的 LoRA 培训