开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

为什么我的数据集在训练时减少了？

数据集在训练时减少可能有以下几个原因：

数据预处理错误：在数据预处理阶段，可能发生了数据丢失、数据清洗错误或者数据采样不准确等问题，导致数据集在训练时减少。解决方法是检查数据预处理的代码逻辑，确保数据的完整性和准确性。
数据集划分错误：在将数据集划分为训练集、验证集和测试集时，可能出现了划分比例不合理或者划分方法有误的情况，导致训练时数据集减少。解决方法是重新检查数据集划分的代码逻辑，确保划分比例和方法正确。
数据丢失或损坏：在数据存储或传输过程中，可能发生了数据丢失或损坏的情况，导致训练时数据集减少。解决方法是检查数据存储和传输的过程，确保数据的完整性和可靠性。
数据采集问题：在数据采集过程中，可能出现了采集设备故障、网络中断或者数据源变化等问题，导致数据集在训练时减少。解决方法是检查数据采集设备和网络连接的稳定性，确保数据源的可靠性和一致性。
数据样本筛选：在训练过程中，可能对数据样本进行了筛选或者过滤操作，导致数据集减少。解决方法是检查训练代码中的样本筛选逻辑，确保筛选条件合理且不会导致数据集减少过多。

腾讯云相关产品推荐：

数据存储：腾讯云对象存储（COS）是一种高扩展性、低成本、安全可靠的云端存储服务，适用于存储和处理大规模非结构化数据。详情请参考：腾讯云对象存储（COS）
数据库：腾讯云云数据库MySQL是一种可扩展、高性能、高可靠的关系型数据库服务，适用于各种规模的应用场景。详情请参考：腾讯云云数据库MySQL
人工智能：腾讯云人工智能平台（AI Lab）提供了丰富的人工智能服务和开发工具，包括图像识别、语音识别、自然语言处理等。详情请参考：腾讯云人工智能平台（AI Lab）
云原生：腾讯云容器服务（TKE）是一种高度可扩展的容器管理服务，支持容器化应用的部署、运行和管理。详情请参考：腾讯云容器服务（TKE）

相关搜索:为什么我无法在我的数据集上训练YOLOv5？SegNet -训练我自己的数据集为什么我的GPU在训练数据时被中断？GPU在训练大型数据集时内存不足在训练具有批处理数据集的网络时，我应该如何跟踪总损失？为什么keras不能在我的整个图像集上训练在cifar 10数据集上训练cnn时，PC死机为什么我在Keras中的损失在训练我的模型时没有改变？在定义训练和测试nn之前在Pytorch中定义我的数据集当新数据集没有覆盖训练集的所有特征时，如何预测新数据集的标签？当缩放数据时，为什么训练数据集使用“fit”和“transform”，而测试数据集只使用“transform”？我希望将数据帧拆分为具有范围的训练集和测试集为什么在训练tensorflow对象检测ssd移动网络模型时我的训练损失很高 LSTM模型为我提供了99%的R平方，即使我的训练数据集是整体数据集的5%为什么我的循环在表单控件数组中少了一个？在训练时期使用测试数据集的PyTorch教程我在使用逻辑回归算法训练数据时收到警告在R中计算glm函数的训练数据集的AUC 如何格式化我的文本数据集以进行训练？在训练实例分割时，在图像数据集上创建增强的最佳方法是什么？

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

论文推荐：当自监督与遇到主动学习

Reducing Label Effort: Self-Supervised meets Active Learning这篇论文将主动学习和自监督训练结合，减少了标签的依赖并取得了很好的效果。

01

每日论文速递 | TeaMs-RL: 通过强化学习让LLM自己学会更好的指令

摘要：大语言模型（LLM）的开发经常面临挑战，这些挑战源于强化学习与人类反馈（RLHF）框架中对人类注释者的严重依赖，或与自我指导范式相关的频繁而昂贵的外部查询。在这项工作中，我们转向了强化学习（RL）--但有一个转折。与典型的 RLHF（在指令数据训练后完善 LLM）不同，我们使用 RL 直接生成基础指令数据集，仅此数据集就足以进行微调。我们的方法 TeaMs-RL 使用一套文本操作和规则，优先考虑训练数据集的多样化。它有助于生成高质量数据，而无需过度依赖外部高级模型，从而为单一微调步骤铺平了道路，并消除了对后续 RLHF 阶段的需求。我们的研究结果凸显了我们的方法的主要优势：减少了对人工参与的需求，减少了模型查询次数（仅为WizardLM总查询次数的5.73美元/%$），同时，与强大的基线相比，LLM在制作和理解复杂指令方面的能力得到了增强，模型隐私保护也得到了大幅改善。

01

谷歌开源 AI 微调方法： Distilling Step-by-Step

华盛顿大学和谷歌研究中心的一个团队最近开源了 Distilling Step-by-Step（逐步蒸馏），一种用于微调规模较小的语言模型的技术。与标准微调相比，逐步蒸馏需要的训练数据更少，并且生成的模型更小，但模型性能却优于参数规模是它 700 倍的小样本提示大型语言模型（LLM）。

02

每日论文速递 | Google提出PERL：将PEFT与RLHF结合起来

摘要：从人类反馈中强化学习（RLHF）已被证明是将预训练的大型语言模型（LLM）与人类偏好相匹配的有效方法。但是，使用 RLHF 训练模型的计算成本很高，而且整个过程也很复杂。在这项工作中，我们研究的 RLHF 是使用 Hu 等人[2021]提出的参数高效的低库自适应（Low-Rank Adaptation，LoRA）方法来训练底层模型的。我们研究了 "参数高效强化学习"（PERL）的设置，其中我们使用 LoRA 进行奖励模型训练和强化学习。我们比较了 PERL 和传统微调（完全微调）在 7 个基准（包括 2 个奖励建模和强化学习的新数据集）中的不同配置。我们发现，PERL 的性能与传统的 RLHF 设置相当，同时训练速度更快，占用内存更少。这使得 RLHF 的高性能得以实现，同时减少了限制其作为大型语言模型对齐技术的采用的计算负担。我们还发布了两个新颖的向上/向下偏好数据集："Taskmaster Coffee "和 "Taskmaster Ticketing"，以促进围绕 RLHF 的研究。

01

Dynamic Pre-training：实现高效、可扩展的一体化(All-in-one)图像恢复

图像恢复（IR）任务旨在改进低质量的输入图像。尽管 IR 取得了一些进展，但图像中存在的各种降解类型和严重程度仍然构成重大挑战。大多数现有方法隐式学习图像先验，需要针对不同的退化类型、水平和数据集进行单独的网络训练。此外，这些方法需要先验的图像退化知识，以便在测试期间进行有效的模型选择，因此缺乏通用性来满足各种退化的需求。

01

ACL2023 | Multi-CLS BERT：传统集成的有效替代方案

在本文中，介绍了 Multi-CLS BERT，这是传统集成方法的有效替代方案。

02

Epoch不仅过时，而且有害？Reddit机器学习板块展开讨论

有一天，一个调参侠在训练一个深度学习模型，要用到的两个数据集损失函数不同，数据集的大小还不是固定的，每天都在增加。

02

苹果和洛桑联邦理工学院发布全新视觉模型4M-21，单模型可以处理21种模态任务

苹果公司与瑞士洛桑联邦理工学院（EPFL）联手打造了一款前沿的全能视觉模型4M-21，该模型通过跨模态的大规模协同训练，实现了在21种不同模态下的优异表现。4M-21模型的推出，标志着从传统单模态优化模型向多模态综合处理能力的重大转变。

01

DINO-v2笔记 - plus studio

DINO-v2一种无监督学习的预训练方法，可以生成具有强大泛化能力的视觉特征，适用于各种图像分布和任务，而无需进行微调。这篇论文重点介绍了数据和模型规模方面的技术贡献，包括自动构建一个多样化和精心筛选的图像数据集、在多个层级上进行训练、使用Sinkhorn-Knopp居中方法和KoLeo正则化等。实验结果表明，该方法在多个图像理解任务上的表现超过了目前公开的最佳无监督和半监督方法。

01

Texture Underﬁtting for Domain Adaptation

全面的语义分割是鲁棒场景理解的关键组成部分之一，也是实现自动驾驶的要求。在大规模数据集的驱动下，卷积神经网络在这项任务上表现出了令人印象深刻的结果。然而，推广到各种场景和条件的分割算法需要极其多样化的数据集，这使得劳动密集型的数据采集和标记过程过于昂贵。在分割图之间结构相似的假设下，领域自适应有望通过将知识从现有的、潜在的模拟数据集转移到不存在监督的新环境来解决这一挑战。虽然这种方法的性能取决于神经网络学习对场景结构的高级理解这一概念，但最近的工作表明，神经网络倾向于过度适应纹理，而不是学习结构和形状信息。考虑到语义分割的基本思想，我们使用随机图像风格化来增强训练数据集，并提出了一种有助于纹理适配的训练程序，以提高领域自适应的性能。在使用有监督和无监督方法进行合成到实域自适应任务的实验中，我们表明我们的方法优于传统的训练方法。

02

ALBERT：用于语言表达自我监督学习的Lite BERT

本文中蓝色字体为外部链接，部分外部链接无法从文章中直接跳转，请点击【阅读原文】以访问。

01

学界 | 为数据集自动生成神经网络：普林斯顿大学提出NeST

选自arXiv 机器之心编译参与：李亚洲、李泽南普林斯顿大学最近提出的 NeST 方法从新的角度为神经网络优化打开了方向。研究人员提出的新技术可以用「种子」神经网络为基础，对特定数据集自动生成最优化的神经网络，这些生成的模型在性能上超过此前业内最佳水平，同时资源消耗与模型尺寸相比同类模型小了一个数量级。研究人员称，NeST 方法在工作过程中与人类大脑的成长和处理任务方式非常相近。过去十几年，神经网络变革了大量的研究领域，例如计算机视觉、语音识别、机器人控制等。神经网络通过多层抽象从数据集中提取智能的能

05

速度提升5.8倍数 | 如果你还在研究MAE或许DailyMAE是你更好的选择，更快更强更节能！！！

自监督学习（SSL）在机器学习中代表了转变性的飞跃，通过利用未标记数据来进行有效的模型训练[3, 4, 20, 22, 31, 32, 33, 34]。这种学习范式得益于大规模数据集，以学习丰富表示用于小样本学习[8]和迁移学习[13, 23]。互联网上大量的未标记数据激发了对深度神经网络模型在大数据集上训练的需求。目前，SSL的成功通常需要在高性能计算集群（HPC）[8, 11, 17]上训练数周。例如，iBOT [47]在16个V100上训练了193小时，用于ViT-S/16。这些计算不包括在开发SSL框架时测试不同假设所需要的时间，这些假设需要在ImageNet-1K[36]的适当规模上进行测试，ImageNet-1K拥有120万个样本，并且需要相当数量的迭代。因此，高效的预训练配方被高度期望以加速SSL算法的研究，例如，超参数调整和新算法的快速验证。为了减少训练时间，一些研究人员在ImageNet-1K[36]的子集上训练他们的模型，例如10%的样本[3]。然而，当模型扩展到大型数据集时，可能会存在性能差距，即在小数据集上表现成熟的模型可能无法处理复杂问题上的多样性。

01

MobileNetv1 论文阅读

我们针对移动端以及嵌入式视觉的应用提出了一类有效的模型叫MobileNets。MobileNets基于一种流线型结构使用深度可分离卷积来构造轻型权重深度神经网络。我们介绍两个能够有效权衡延迟和准确率的简单的全局超参数。这些超参数允许模型构造器能够根据特定问题选择合适大小的模型。

04

ViT终于有挑战 MobileNet 的勇气了 | HSViT用更少的参数，干翻 MobileNet/EfficientNe！

Vision Transformer, 图像级特征嵌入, 水平扩展, 卷积神经网络, 计算机视觉需要对ViTs进行预训练，因为它们缺乏与卷积神经网络（CNNs）中存在的类似的归纳偏置。特别是，CNNs内在地结合了多种归纳偏置，使它们适合于计算机视觉（CV）任务，如平移不变性、空间局部性和层次化特征学习。

01

语音识别取得了两个里程碑进展 Mozilla发布开源语音识别模型和语音数据集

技术的进步推动了语音界面的发展，通过机器学习工具的普及，使得更多的互联网连接产品能够比以往任何时候都更能倾听和回应我们的声音。许多人将会体验到新的语音设备带来的便利。 Mozilla（缩写MF或MoF

04

ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

传统的方法通常通过将大量文档拼接并切分成等同于模型的上下文长度的训练序列。这虽然提高了训练效率，但也常导致文档的不必要截断，损害数据完整性，导致关键的上下文信息丢失，进而影响模型学习到的内容的逻辑连贯性和事实一致性，并使模型更容易产生幻觉。

01

Ebiomedicine | 通过稀疏可解释网络发现药物作用机制

今天为大家介绍的是来自Angel Rubio团队的一篇论文。尽管深度神经网络（DDNs）在预测癌症药物疗效方面取得了成功，但其决策过程缺乏可解释性仍然是一个重大挑战。先前的研究提出模仿基因本体结构，以便解释网络中的每个神经元。然而，这些先前的方法需要大量的GPU资源，并且阻碍了其向全基因组模型的扩展。作者开发了SparseGO，这是一种稀疏且可解释的神经网络，用于预测癌症细胞系中的药物反应及其作用机制（MoA）。为了确保模型的泛化性，作者在多个数据集上对其进行了训练，并使用三种交叉验证方案评估其性能。该模型的高效性使其能够使用基因表达数据。此外，SparseGO结合了可解释人工智能（XAI）技术DeepLIFT和支持向量机，以计算方式发现药物的作用机制。与其他方法相比，SparseGO的稀疏实现显著减少了GPU内存使用量和训练速度，使其能够处理基因表达数据而不是突变数据。使用基因表达数据的SparseGO提高了准确性，并使其可以用于药物重新定位。此外，基因表达数据可以使用265种药物进行训练来预测其作用机制。

01

每日论文速递 | BiLoRA: 基于双极优化消除LoRA过拟合

摘要：低秩适应（LoRA）是在下游任务中通过学习低秩增量矩阵对大规模预训练模型进行微调的一种流行方法。虽然与完全微调方法相比，LoRA 及其变体能有效减少可训练参数的数量，但它们经常会对训练数据进行过拟合，导致测试数据的泛化效果不理想。为了解决这个问题，我们引入了 BiLoRA，这是一种基于双级优化（BLO）的消除过拟合的微调方法。BiLoRA 采用伪奇异值分解来参数化低秩增量矩阵，并将伪奇异向量和伪奇异值的训练分成两个不同的训练数据子集。这种分割嵌入了 BLO 框架的不同层次，降低了对单一数据集过度拟合的风险。BiLoRA 在涵盖自然语言理解和生成任务的十个数据集上进行了测试，并应用于各种著名的大型预训练模型，在可训练参数数量相似的情况下，BiLoRA 明显优于 LoRA 方法和其他微调方法。

01

广告行业中那些趣事系列38：广告搜索业务中海量高维数据集检索利器Faiss

摘要：本篇主要介绍实际广告搜索业务中经常使用的大规模检索利器faiss。首先是背景介绍，主要讲了相似度匹配任务和大规模检索算法以及如何应用到我们的实际业务场景；然后重点介绍了faiss，包括什么是faiss、大规模检索任务流程、faiss索引类型介绍、各种索引优缺点对比以及线上构建索引经验分享；最后项目实践了faiss。希望对在海量高维向量空间进行大规模检索任务感兴趣的小伙伴有所帮助。

02

将同构迁移学习应用于脑机接口，解决训练数据不足的问题

脑机接口 (BCI) 通过识别大脑活动并将其转化为外部命令，提供了大脑与外部设备之间的另一种通信方式。功能性近红外光谱 (fNIRS) 作为一种非侵入性的大脑活动检测方式正变得越来越流行。

01

1数据集

Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation

01

机器学习系列一：使用线性回归预测波士顿房价

数据集不大，只有506条记录，13个特征，没有缺失值，MEDV就是需要我们预测的。

03

keras中epoch,batch,loss,val_loss用法说明

Keras官方文档中给出的解释是：“简单说，epochs指的就是训练过程接中数据将被“轮”多少次”

04

蒸馏也能Step-by-Step：新方法让小模型也能媲美2000倍体量大模型

机器之心报道编辑：rome 大型语言模型能力惊人，但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决，提出了逐步蒸馏（Distilling Step-by-Step）范式帮助模型训练。该方法在训练用于特定任务的小型模型方面优于 LLM，训练数据远少于传统的微调和蒸馏。他们的 770M T5 模型在一个基准任务上表现优于 540B PaLM 模型。令人印象深刻的是，他们的模型只使用了可用数据的 80%。虽然大型语言模型（LLMs）展现

03

机器学习、深度学习知识点总结及面试题

一、反向传播思想： 1、计算出输出与标签间的损失函数值，然后计算其相对于每个神经元的梯度，根据梯度方向更新权值。（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。 2、无监督逐层训练：预训练：每次训练一层隐结点。训练时将上一层隐结点的输出作为

07

机器学习、深度学习知识点总结及面试题

1、计算出输出与标签间的损失函数值，然后计算其相对于每个神经元的梯度，根据梯度方向更新权值。

01

田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型

上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10 亿以下参数小模型，主打在移动设备上运行 LLM。

01

机器学习、深度学习知识点总结及面试题

1、计算出输出与标签间的损失函数值，然后计算其相对于每个神经元的梯度，根据梯度方向更新权值。

08

【突破】深度学习计算消耗降低95%，KDD2017哈希法研究加速神经网络进化

【新智元导读】莱斯大学两位研究员使用一种基于 Hashing 的新技术，大幅减少了训练和测试神经网络所需的计算量。他们称：“1000 个神经元的网络我们能节能 95％，根据数学推导，10 亿个神经元的网络我们就能节能 99%”。phys.org报道称，这对谷歌、微软和Facebook等有着大量深度学习神经网络训练的大公司来说事关重大。美国莱斯大学（Rice University ）的计算机科学家通过使用被广泛使用的快速数据查找技术，以大幅度减少深度学习所必需的计算量，进而大大地节约了能源和时间。莱斯大

09

机器学习、深度学习知识点总结及面试题

1、反向传播思想：计算出输出与标签间的损失函数值，然后计算其相对于每个神经元的梯度，根据梯度方向更新权值。（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。 2、无监督逐层训练：预训练：每次训练一层隐结点。训练时将上一层隐结点的输出作为输

08

北航&北大 | 提出统一微调框架，整合前沿微调方法，可支持100多种LLMs的微调！

当前开源社区中有许多的大模型，为了能够将其适配至不同应用场景，基本上都需要精心的调整模型参数。为了能够实现对大模型的高效微调，本文作者提出了一个统一的大模型微调框架：LLAMAFACTORY，该框架整合了一系列前沿的高效微调方法，支持对100多种大模型的微调。

01

分享10篇优秀论文，涉及LLM对齐、LLM评估、LLM隐私、RAG增强等热门话题！

紧跟技术发展趋势，快速了解NLP领域最新动态。今天继续给大家分享10篇最新论文，其中涉及大模型幻觉、大模型对齐、大模型剪枝、大模型隐私、大模型毒性、大模型评估、RAG能力增强、Transformer架构优化等热门研究方向。

01

ViT训练的全新baseline！

‍‍‍‍ 来源：机器之心本文约3500字，建议阅读10+分钟本文为你介绍ViT的三种数据增强方法。本文提出了训练视觉 Transformer（ViT）的三种数据增强方法：灰度、过度曝光、高斯模糊，以及一种简单的随机修剪方法 (SRC)。实验结果表明，这些新方法在效果上大大优于 ViT 此前的全监督训练方法。 Transformer 模型 [55] 及其衍生模型在 NLP 任务中取得巨大成功后，在计算机视觉任务中也越来越受欢迎。这一系列的模型越来越多地用于图像分类 [13]、检测与分割 [3]、视频分析

01

机器学习LightGBM实战+随机搜索调参：准确率96.67%

今天给大家分享一下树模型的经典算法：LightGBM，介绍算法产生的背景、原理和特点，最后提供一个基于LightGBM和随机搜索调优的案例。

01

ViT 训练的全新baseline

Transformer 模型 [55] 及其衍生模型在 NLP 任务中取得巨大成功后，在计算机视觉任务中也越来越受欢迎。这一系列的模型越来越多地用于图像分类 [13]、检测与分割 [3]、视频分析等领域。尤其是 Dosovistky 等人 [13] 提出的视觉 Transformer（ViT）成为了卷积结构的合理替代模型。这些现象说明 Transformers 模型已经可以作为一种通用架构，来通过注意力机制学习卷积以及更大区间的操作 [5,8]。相比之下，卷积网络 [20,27,29,41] 本就具备了平移不变性，不用再通过训练来获取。因此，包含卷积的混合体系结构比普通 Transformers 收敛得更快也就不足为奇了 [18]。

01

2024年6月计算机视觉论文推荐：扩散模型、视觉语言模型、视频生成等

6月还有一周就要结束了，我们今天来总结2024年6月上半月发表的最重要的论文，重点介绍了计算机视觉领域的最新研究和进展。

01

Open LLM榜单再次刷新，比Llama 2更强的「鸭嘴兽」来了

为了挑战 OpenAI 的 GPT-3.5 和 GPT-4 等闭源模型的主导地位，一系列开源模型力量正在崛起，包括 LLaMa、Falcon 等。最近，Meta AI 发布了 LLaMa-2 模型，被誉为开源领域最强的大模型，很多研究者也在此基础上搭建自己的模型。比如，StabilityAI 利用 Orca 风格的数据集对 Llama2 70B 模型进行了微调，打造出了 StableBeluga2，在 Huggingface 的 Open LLM 排行榜中也取得了不错的成绩。

05

ViT的复仇：Meta AI提出ViT训练的全新baseline

选自arXiv 作者：Adam Zewe 机器之心编译编辑：赵阳、张倩本文提出了训练视觉 Transformer（ViT）的三种数据增强方法：灰度、过度曝光、高斯模糊，以及一种简单的随机修剪方法 (SRC)。实验结果表明，这些新方法在效果上大大优于 ViT 此前的全监督训练方法。 Transformer 模型 [55] 及其衍生模型在 NLP 任务中取得巨大成功后，在计算机视觉任务中也越来越受欢迎。这一系列的模型越来越多地用于图像分类 [13]、检测与分割 [3]、视频分析等领域。尤其是 Dosov

02

AAAI 2019 | 自动机器学习计算量大！这种多保真度优化技术是走向应用的关键

作者：Yi-Qi Hu, Yang Yu, Wei-Wei Tu, Qiang Yang, Yuqiang Chen , Wenyuan Dai

05

两天star量破千：OpenAI的Whisper被蒸馏后，语音识别数倍加速

前段时间，「霉霉大秀中文」的视频在各个社交媒体走红，随后又出现了「郭德纲大秀英语」等类似视频。这些视频很多都出自一个名叫「HeyGen」的 AI 应用之手。

03

每日论文速递 | 用于参数高效微调的小型集成LoRA

摘要：参数高效微调（PEFT）是一种流行的方法，用于裁剪预训练的大型语言模型（LLM），特别是随着模型规模和任务多样性的增加。低秩自适应（LoRA）基于自适应过程本质上是低维的想法，即，显著的模型变化可以用相对较少的参数来表示。然而，与全参数微调相比，降低秩会遇到特定任务的泛化错误的挑战。我们提出了MELoRA，一个迷你合奏低秩适配器，使用较少的可训练参数，同时保持较高的排名，从而提供更好的性能潜力。其核心思想是冻结原始的预训练权重，并训练一组只有少量参数的迷你LoRA。这可以捕获迷你LoRA之间的显著程度的多样性，从而促进更好的泛化能力。我们对各种NLP任务进行了理论分析和实证研究。我们的实验结果表明，与LoRA相比，MELoRA在自然语言理解任务中的可训练参数减少了8倍，在指令跟随任务中的可训练参数减少了36倍，从而实现了更好的性能，这证明了MELoRA的有效性。

01

清华/浙大/川大来拟合提出Sparse-Tuning | 显著提高预训练ViT模型在微调和推理上的效率！

大规模视觉 Transformer （ViT）模型已经在广泛的下游视觉任务中展示出强大的泛化能力。将这些模型适配到特定任务的普遍方法是遵循先预训练后微调的范式，模型最初在大规模数据集上进行预训练，然后针对每个下游任务进行微调。然而，随着这些预训练的ViT模型规模的不断扩大[57; 7]，完全微调它们变得计算上更加密集。此外，在有限的下游数据集上进行微调时，还存在灾难性遗忘和过拟合的风险。

01

比用Pytorch框架快200倍！0.76秒后，笔记本上的CNN就搞定了MNIST | 开源

这时两次运行的平均准确率在测试集上为99.185%，平均运行时间为2min 52s ± 38.1ms。

05

比谷歌快46倍！GPU助力IBM Snap ML，40亿样本训练模型仅需91.5 秒

【新智元导读】近日，IBM 宣布他们使用一组由 Criteo Labs发布的广告数据集来训练逻辑回归分类器，在POWER9服务器和GPU上运行自身机器学习库Snap ML，结果比此前来自谷歌的最佳成绩快了46倍。英伟达CEO黄仁勋和IBM 高级副总裁John Kelly在Think大会上最近，在拉斯维加斯的IBM THINK大会上，IBM宣布，他们利用优化的硬件上的新软件和算法，取得了AI性能的大突破，包括采用 POWER9 和NVIDIA®V100™GPU 的组合。谷歌云上TensorF

每日论文速递 | AutoLoRA:通过meta learning学习LoRA最优秩

摘要：在各种 NLP 任务中，大规模预训练和针对特定任务的微调取得了巨大成功。由于对大型预训练模型的所有参数进行微调会带来巨大的计算和内存挑战，人们开发出了几种高效的微调方法。其中，低秩适应（Low-rank adaptation，LoRA）在冻结的预训练权重基础上对低秩增量更新矩阵进行微调，已被证明特别有效。然而，LoRA 在所有层中统一分配秩，并依赖穷举搜索来找到最佳秩，这导致了高计算成本和次优的微调性能。为了解决这些局限性，我们引入了 AutoLoRA，这是一种基于元学习的框架，用于自动识别每个 LoRA 层的最佳等级。AutoLoRA 将低秩更新矩阵中的每个秩-1 矩阵与一个选择变量相关联，该选择变量决定是否应丢弃秩-1 矩阵。我们开发了一种基于元学习的方法来学习这些选择变量。通过对这些变量的值进行阈值化处理，确定最佳秩。我们在自然语言理解、生成和序列标注方面的综合实验证明了 AutoLoRA 的有效性。

01

论文推荐：CCNet用于语义分割的交叉注意力

CCNet， Transformer递归交叉自注意力，比非局部神经网络更有效。华中科技大学、地平线、ReLER 和伊利诺伊大学香槟分校联合研发

02

模仿人类智慧——“多任务学习”动手实践

作者 | Kajal Gupta 编译 | 聂震坤作为机器学习下的一个分支，多任务学习的目标是让机器能同时处理多个任务。机器同时学习两个任务，而这两个任务又有助于学习其他任务。因为人可以同时处理多个任务，所以这也是机器模仿人类智慧的一种方式。对人来说，这些运算发生在复杂的大脑中，数十亿个神经元细胞进行相互作用。多年来，研究者试图在机器学习领域效仿这一方法，这便是神经网络。当神经网络处理类似预测颜色的任务时，多任务可以极大地提高效率，因为它有助于分享跨任务的资源与参数，还减少了分开训练模型的时间。进行

03

26秒单GPU训练CIFAR10，Jeff Dean也点赞的深度学习优化技巧

运行速度和算力一直是制约深度学习模型发展的瓶颈。研究人员一直在研究如何能够进一步提升模型的训练和推断速度，并减少对硬件性能的依赖。今日，一位名为 David Page 的 myrtle.ai 科学家和他的团队对 ResNet 训练进行了一系列改造，将在单 GPU 上训练 CIFAR10 数据集并达到 94% 准确率所需的时间减少到了 26 秒，比 DAWNBench 排行榜现在的第一名高了 10 秒以上。这一项目获得了 Jeff Dean 的点赞。

02

26秒单GPU训练CIFAR10，Jeff Dean也点赞的深度学习优化技巧

运行速度和算力一直是制约深度学习模型发展的瓶颈。研究人员一直在研究如何能够进一步提升模型的训练和推断速度，并减少对硬件性能的依赖。今日，一位名为 David Page 的 myrtle.ai 科学家和他的团队对 ResNet 训练进行了一系列改造，将在单 GPU 上训练 CIFAR10 数据集并达到 94% 准确率所需的时间减少到了 26 秒，比 DAWNBench 排行榜现在的第一名高了 10 秒以上。这一项目获得了 Jeff Dean 的点赞。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭