深度学习的基本思路 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

干货丨深度迁移学习方法的基本思路

本文选自《深度学习500问：AI工程师面试宝典》，将重点介绍目前最热门的深度迁移学习方法的基本思路。...从图中的结果可以看出，与传统的非深度迁移学习方法（TCA、GFK等）相比，深度迁移学习方法（BA、DDC、DAN）在精度上具有显著的优势。下面我们来重点介绍深度迁移学习方法的基本思路。...首先来回答一个最基本的问题：为什么深度网络是可迁移的？然后，介绍最简单的深度网络迁移形式——微调。接着分别介绍使用深度网络和深度对抗网络进行迁移学习的基本思路和核心方法。...3 深度网络自适应 ▊ 基本思路深度网络的微调可以帮助我们节省训练时间，提高学习精度。但是微调有它的先天不足：它无法处理训练数据，无法测试不同数据的分布情况。...由此发展而来的对抗网络，也成为提升网络性能的利器。本节介绍深度对抗网络用于解决迁移学习的基本思路及其代表性研究成果。

6403 0

深度 | 使用高斯过程的因果推理：GP CaKe 的基本思路

在统计学和机器学习领域，建模这种复杂系统的时间序列的方法主要有两种：向量自回归（VAR）[Lütkepohl, 2005] 和动态系统理论（DST），后者通常是通过（随机）微分方程（SDE）或差分方程...DCM 确实能更广泛地考虑动态，但是它却不能建模一个变量的变化和另一个变量的动态的变化之间的延迟情况，这是有问题的。...其中 τ 仍然是两个变量之间的时间延后量，而 s 则是脉冲响应的长度范围（这个函数的形状如下图中的红线所示）。为了我们当前的目的，这是一个任意的变量，我们只是随便选取了某个值。...可以看到，这两种方法都可以很好地区分当前存在的和不存在的连接（注意图中的纵轴是不一样的）。...这个模拟实验为 GP CaKe 在实际数据上的应用提供了一个很好的起点。我们看到 GP CaKe 的结果要平滑得多，也可靠得多。这确实需要我们学习能确定响应函数的平滑度、定位和噪声水平的超参数。

6861 0

您找到你想要的搜索结果了吗？

是的

没有找到

【直观梳理深度学习关键概念】优化算法、调参基本思路、正则化方式等

引言深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一，许多卓有建树的论文已经发表，而且已有很多高质量的开源深度学习框架可供使用。...另一方面，即使有了简单易用的深度学习框架，如果对深度学习常见概念和基本思路不了解，面对现实任务时不知道如何设计、诊断及调试网络，最终仍会束手无策。...本文是该系列文章中的第一篇，旨在介绍深度学习基础概念、优化算法、调参基本思路、正则化方式等，后续文章将关注深度学习在自然语言处理、语音识别和计算机视觉领域的应用。...基本概念深度学习是为了解决表示学习难题而被提出的。本节，我们介绍这些深度学习相关的基本概念。...深度学习是目前最成功的表示学习方法，因此，目前国际表示学习大会（ICLR）的绝大部分论文都是关于深度学习的。

89913 0

数据分表分库的基本思路

当一个数据库被创建之后，随着时间的推移和业务量的增加，数据库中的表以及表中的数据量都会越来越多，就有可能会出现两种弊端：（1）数据库的存储资源是有限的，其负载能力也是有限的，数据的大量积累肯定会导致其处理数据的能力下降...；（2）数据量越多，那么对数据的增删改查等操作的开销也会越来越大；所以，当出现如上两种情况，分库分表势在必行。...两种切分方式垂直切分举例场景：表的记录并不多，但是字段却很长，表占用空间很大，检索表的时候需要执行大量的IO，严重降低了性能。这时需要把大的字段拆分到另一个表，并且该表与原表是一对一的关系。...对于常用的列表来说，一般只查看姓名和总分数，对于具体的答案等字段很少需要查看，所以可以考虑把答案拆分成一张独立的表。通过id与t表建立一对一的关系，同样将回答单独放到一张表中。...(这个数是你想要分成多少个表)，那么会得到0-99的数，查询表的时候，将表名qq跟取模的数连接起来，就构建了表名。

5392 0

深度学习的深度学习路程

MyEncyclopedia 公众号主浙大本硕毕业后在BAT做资深工程开发，精通Java，算法和大数据开发，本可以靠着工程能力成为P9，但出于对AI的强烈兴趣，在业余时间，自学多年，从理论到实践，并最终转行到知名公司任资深机器学习岗...MyEncyclopedia 公众号提炼自己在AI多个领域的学习心得体会：深度学习，强化学习，统计机器学习，算法与工程实现。同时，用上述多个视角来全面看待问题，坚持从第一性原理出发理解推导。...凭借着强大的编程能力，公众号还大量使用动画模拟和代码例子的来阐述深奥的概念。...目前，MyEncyclopedia 系列文章包括深度学习论文解析深度强化学习实践和理论基础统计和统计机器学习多维度思考算法题动手学 Sutton 强化学习教程将来，会逐渐完善已有系列并涉及...GNN，NLP，CV，KG，RL 方向的前沿论文和动手实践，并致力于寻求联系深入数学理论，进一步用动画来可视化，建立直觉的联系创意编程，用深度学习，强化学习实践cool idea 如果你也想更广更深的学习深度学习和算法的话

1.2K1 0

JVM GC原理及调优的基本思路

这样做的目的是在年轻代和年老代采用不同的收集算法，以达到较高的收集效率，比如在年轻代采用复制-整理算法，在年老代采用标记-清理算法。...收集过程将所有存活的对象将从收集的区域复制到未分配的区域，比如收集的区域是Eden空间，把Eden中的存活对象复制到未分配区域，这个未分配区域就成了Survivor空间。...年轻代太小，会导致频繁Minor GC，并且很有可能存活期短的对象也不能被回收，GC的效率就不高年老代太小，容纳不下从年轻代过来的新对象，会频繁触发单线程Full GC，导致较长时间的GC暂停，影响Web...总结 CMS来说，我们要合理设置年轻代和年老代的大小。你可能会问该如何确定它们的大小呢？这是一个迭代的过程，可以先采用JVM的默认值，然后通过压测分析GC日志。...如果我们看年轻代的内存使用率处在高位，导致频繁的Minor GC，而频繁GC的效率又不高，说明对象没那么快能被回收，这时年轻代可以适当调大一点。

4662 0

运维技术方案的基本思路

运维技术方案的基本思路主要包括以下几个方面：1.明确目标与需求：首先，需要清晰地定义运维的目标和预期效果，这通常与业务目标、系统稳定性、性能优化等方面紧密相关。...分析现有运维流程、工具和方法，找出存在的问题和瓶颈，为后续优化提供依据。3.技术选型与架构设计：根据需求分析和系统评估的结果，选择适合的运维工具、平台和技术。...设计合理的系统架构和运维流程，确保系统的稳定性、可扩展性和可维护性。4.自动化与智能化运维：利用自动化工具和脚本，实现日常运维任务的自动化执行，减少人工干预，提高工作效率。...7.培训与支持：对运维团队进行技术培训，提升团队的技术水平和应对复杂问题的能力。提供必要的技术支持和维护服务，确保运维方案的顺利实施和长期稳定运行。...通过以上基本思路，可以构建一个全面、高效、可靠的运维技术方案，为企业的数字化转型和智能化升级提供有力支持。

3271 0

深度学习教程 | 深度学习的实用层面

] 本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得，对应的课程视频可以在这里查看。...而在大数据时代，深度学习对监督式学习大有裨益，使得我们不用像以前一样太过关注如何平衡偏差和方差的权衡问题，通过以上方法可以在不增加某一方的前提下减少另一方的值。...吴恩达专项课程 · 全套笔记解读推荐文章深度学习教程 | 深度学习概论深度学习教程 | 神经网络基础深度学习教程 | 浅层神经网络深度学习教程 | 深层神经网络深度学习教程 | 深度学习的实用层面...深度学习教程 | 神经网络优化算法深度学习教程 | 网络优化：超参数调优、正则化、批归一化和程序框架深度学习教程 | AI应用实践策略（上）深度学习教程 | AI应用实践策略（下）深度学习教程...| 卷积神经网络解读深度学习教程 | 经典CNN网络实例详解深度学习教程 | CNN应用：目标检测深度学习教程 | CNN应用：人脸识别和神经风格转换深度学习教程 | 序列模型与RNN网络深度学习教程

1.4K2 2

【深度学习】深度学习

深度学习的起源深度学习（Deep Learning）是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。深度学习属于无监督学习。...深度学习的概念源于人工神经网络的研究。...深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。含多隐层的多层感知器就是一种深度学习结构。...深度学习模拟更多的神经层神经活动，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，深度学习的示意图如图1所示。...深度学习的动机学习基于深度架构的学习算法的主要动机是： ①不充分的深度是有害的；在许多情形中深度2就足够(比如logicalgates, formal[threshold] neurons

2K7 2

YOLO1学习笔记基本思路网络设计训练与预测

基本思路 YOLO（You Only Look Once）是一种目标检测系统，其特点是将物品识别和物品分类融合，使用一个深度学习模型直接计算出物体的位置和类型。...基本思路如下所示： yolo_basic.JPG 首先图片被分为S \times S个框，如最左边的图所示。对于每个框，若一个物体的中心落在该框中，则这个框负责该物体的类型和位置预测。...网络设计网络结构的设计如下： yolo_network.JPG 网络的设计取材与GoogLeNet，其中将Inception结构简单的换成了1x1卷积和3x3卷积的串联。...同时需要注意的是激活函数使用的leaky常数为0.1的leaky relu函数。除此之外，上文所提到的x,y,w,h参数均被归一化——中心位置x,y使用框的尺寸归一化，w,h使用图片尺寸归一化。...对于最后的格点，进行非最大值抑制：即对IOU超过一定阈值且属于同一类的Bounding Box比较置信度，选择置信度最高的Bounding Box。

9524 0

深度学习的学习历程

作者 | mileistone 来源 | https://zhuanlan.zhihu.com/p/34524772 我刚入门深度学习的时候，看了各种深度学习相关的资料，花书、cs231n、neural...又好像什么都不懂，学会这些模块的公式就算会深度学习了吗？整个深度学习的学习周期是怎样的，我下一步应该干啥？这些模块看起来平平无奇，为什么组合在一起就能发挥这么大威力？...我觉得初学者最缺的不是深度学习的资料，以及那一堆公式，而是一个指路人，他能用通俗易懂的方式把深度学习在你面前掰开，又亲手把它给捏回去，还能告诉你深度学习整个的学习周期是怎样的，这样就能让你少走很多弯路，...入门一定要快，不要恋战，比较难理解的知识点先跳过去。入门的目的是对深度学习的历史、概貌有个大致了解，知道深度学习能干什么。...机器学习、深度学习思维导图一张让你代码能力突飞猛进的速查表一文读懂深度学习：从神经元到BERT Github标星3K+，热榜第三，一网打尽数据科学速查表 Github标星2w+，热榜第一，如何用Python

6022 0

深度学习 - 不同深度学习模型间的转换

不同深度学习模型间的转换参考: [Github-Deep Learning Model Convertors].

5674 0

深度学习的学习路线

深度学习是机器学习领域中的一个分支，主要研究如何使用神经网络等深度结构来解决复杂的模式识别和决策问题。...在深度学习中，神经网络的训练和推理都涉及到大量的矩阵和向量计算，因此线性代数知识的掌握对于深度学习非常重要。...了解神经网络的基本结构和原理对于深度学习的学习非常重要。...了解深度学习在不同领域的应用和实践，可以帮助我们更好地理解深度学习的本质和价值。...2.比赛竞赛参加深度学习相关的比赛竞赛，可以锻炼自己的深度学习能力和实战经验，也可以与其他深度学习爱好者交流和学习。目前比较流行的深度学习竞赛有Kaggle、天池等。

1.1K2 0

【深度学习】深度学习中的单元测试

---- 作者 | Manpreet Singh Minhas 编译 | VK 来源 | Towards Data Science 深度学习/机器学习工作流程通常不同于人们对正常软件开发过程的期望。...我们将首先简要介绍单元测试，然后是一个深度学习中的单元测试示例，以及如何通过命令行和VS代码测试资源管理器运行这些测试。介绍单元测试是软件开发人员熟悉的概念。...测试的输入范围很广，通常包括边界和边缘情况。这些输入的输出通常由开发人员手动计算，以测试被测试单元的输出。例如，对于加法器函数，我们将有如下测试用例。（稍后我们将看到一个深度学习的示例。）...有两种类型的setup方法可用于为测试设置类。 setUp -这将在类中的每个测试方法之前调用。 setUpClass-整个类只运行一次。这是你应该用来做深度学习测试的方法。...如果你想节省时间，你可以选择只运行失败的测试，而不是再次运行所有测试。结论本文结束了关于深度学习单元测试的文章。我们简要地了解了什么是单元测试以及它们的好处。

2.1K2 0

【深度学习基础】深度学习导论

本专栏将开启机器学习之旅，并特别关注深度学习（deep learning，DL）的基础知识。深度学习是一套强大的技术，它可以推动计算机视觉、自然语言处理、医疗保健和基因组学等不同领域的创新。...深度学习与经典方法的区别主要在于：前者关注的功能强大的模型，这些模型由神经网络错综复杂的交织在一起，包含层层数据转换，因此被称为深度学习（deep learning）。...深度强化学习（deep reinforcement learning）将深度学习应用于强化学习的问题，是非常热门的研究领域。...四、起源为了解决各种各样的机器学习问题，深度学习提供了强大的工具。虽然许多深度学习方法都是最近才有重大突破，但使用数据和神经网络编程的核心思想已经研究了几个世纪。...虽然深度学习是机器学习的一个子集，但令人眼花缭乱的算法和应用程序集让人很难评估深度学习的具体成分是什么。这就像试图确定披萨所需的配料一样困难，因为几乎每种成分都是可以替代的。

700 0

深度学习教程 | 深度学习概论

有很多人想要学习深度学习的这些工具，并应用它们来完成一些智能化应用，吴恩达老师的《深度学习专业课程》是一个非常好的资源和学习起点。 [AI是新的生产力] AI是新的生产力。...显然，AI的各个分支中，发展的最为迅速的就是深度学习。因此现在，深度学习是在科技世界中广受欢迎的一种技术。...以下为吴恩达老师深度学习系列课程，系列课程对应几门课程，它们主要内容和收益如下： [深度学习专项课程大纲与要点] 1.1 第一门课要点专项课程中第1门课是神经网络和深度学习，内容主要是神经网络的基础知识...推动深度学习变得如此热门的主要因素包括数据规模、计算能力及算法模型的创新。 4.1 为什么深度学习能够如此有效？为什么深度学习能够如此有效呢？要回答这个问题，可以从数据量说起。...推荐文章深度学习教程 | 深度学习概论深度学习教程 | 神经网络基础深度学习教程 | 浅层神经网络深度学习教程 | 深层神经网络深度学习教程 | 深度学习的实用层面深度学习教程 | 神经网络优化算法

3K5 1

深度学习笔记-深度学习实战

深度学习实战前面总结了吴恩达的深度学习课程笔记，博主把后续的深度学习课程笔记总结记录到个人博客里面，以供学习和交流使用。今天总结的是深度学习的超参数调试、正则化和梯度检验。...改善神经网络依次通过数据集、偏差方差、正则化、梯度爆炸和消失来掌握深度学习的基础理论。...为正则化参数属于深度学习超参数的一种，深度学习网络是如何来实现L2正则化的呢？...l}}(w_{ij})^2 我们下面来看看如何实现防止过拟合的，为什么加上L2正则化后会对深度学习模型有效的防止过拟合。...深度学习算法采用BP进行逐步迭代求解参数w和b，那么我们加入正则化后如何进行处理呢？

1.5K6 0

深度学习的“深度”有什么意义？

深度学习的"深度"，早几年讨论的挺多的，身边有不同的理解：深度=更大规模的网络，也有认为：深度=更抽象的特征，近年来物理上也有人侧面显示：深度=玻璃相转变，如果后者的观点成立，那么仅仅引入GPU甚至FPGA...事实上，不断提高数据量，多层感知器模型也能达到目前深度学习的水平（参考文献2），认为深度学习=普通多层神经网络，的确有现实的理由。...---- 深度=更多抽象特征？一连串问题来了，何为特征？何为好的特征？深度学习的特征为何被称为抽象的？多层和抽象的关系是啥？特征=函数展开的基函数？...（参考文献4，5）是特征提升“深度”，还是“深度”提升特征？ ---- 深度=玻璃相转变？何为玻璃相？它对泛化误差的影响是啥？...虽然相的观点仍然说明这只是一个初始化“黑魔法”而已。但这个步骤确确实实在削弱玻璃相区的阻碍。因此本人也有个臆测，加大规模，加大样本，提取深层特征的深度学习是跨越相一个表面技巧而已！

1.3K11 0

深度学习: 论网络深度的利弊

利能以更加紧凑简洁的方式来表达比浅层网络大得多的函数集合。弊不好收敛：更容易过拟合 (即局部最优)。收敛慢。梯度问题 (弥散 / 爆炸)。总结深度神经网络就像一个数学公式。...公式越复杂，最高项次数越高，能表达的模型就越复杂，覆盖的值域也就越广。 But，也越容易陷入过拟合，使得模型性能不增反降。 So，这个是一个trade-off。...---- [1] 深层学习为何要“Deep”（上） [2] 深层学习为何要“Deep”（下）

7293 0

深度学习的深度和宽度的理解

一定深度是有必要的. 1.1.1 更好拟合特征现在的深度学习网络结构基本模块是卷积,池化,激活,这是一个标准的非线性变换模块....更深的模型, 意味着更好的非线性表达能力, 可以学习更加复杂的变化, 从而可以拟合更加复杂的输入。...1.1.2 网络更深, 每一层要做的事情也更加简单神经网络的每一层都各司其职, 比如第一层学到了边缘, 第二层学到了简单的形状, 第三层开始学习到了目标的形状, 更深的网络层能学习到更复杂的表达....如果只有一层, 那么学习到的复杂程度就很小了. 网络加深带来的两个主要的好处, 更强大的表达能力和逐层的特征学习。...总结深度学习的名字带着”深”, 可见深度对模型的重要性. 深度学习成功在于深, 但是宽度也很重要, 甚至不亚于深度, 在计算量上的影响甚至比深度更加重要.

1.9K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭