首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏计算机视觉理论及其实现

    动量(momentum)和Nesterov动量

    一、动量虽然随机梯度下降仍然是非常受欢迎的优化方法,但其学习过程有时会很慢。动量方法旨在加速学习,特别是处理高曲率、小但一致的梯度,或是带噪声的梯度。 动量算法积累了之前梯度指数级衰减的移动平均,并且继续沿该方向移动。从形式上看,动量算法引入了变量v充当速度角色------它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。 名称动量来自物理类比,根据牛顿运动定律,负梯度是移动参数空间中粒子的力。动量在物理学上定义为质量乘以速度。在动量学习算法中,我们假设是单位质量,因此速度向量v也可以看作粒子的动量。 二、Nesterov动量受Nesterov加速度算法提出了动量算法的一个变种。 Nesterov动量和标准动量之间的区别体现在梯度计算上。Nesterov动量中,梯度计算在施加当前速度后。因此,Nesterov动量可以解释为往标准动量方法中添加了校正因子。

    5.9K30编辑于 2022-09-04
  • 来自专栏量化投资与机器学习

    动量因子30年

    因此,如图2a所示,短期而言,公共信息将使价格远离基本价值,向其私人判断的方向发展。从长远来看,公开信息将逐渐使股票价格回归其基本价值。 如图2b所示,最初对信息的反应不足也会引起动量效应。新信息没有被完全纳入股票价格中,使其偏离了基本价值。Barberis等人(1998)认为,保守主义偏见——对新信息的低估——驱动了最初的反应不足。 然而,最近Kelly等人(2021年)发现条件因素暴露有助于解释动量利润。基于过去t-2至t-12个月原始回报率的传统策略年利润为8.3%,而使用条件因子敞口调整回报率的剩余动量策略仅为4.4%。 Hoberg和Phillips(2018)发现,尽管对公共行业分类的同行的股价冲击在1-2个月内传递给一家公司,但对TNIC分类的同行的股价冲击需要长达12个月。 此外,他们构建了一个时间序列动量策略,如果一个因子在回顾期间的回报为正(负),则该策略将做多(做空)。绝对风险敞口由过去收益的幅度和长期波动率决定,但分别限制在−22

    1.5K30编辑于 2023-04-20
  • 来自专栏量化投资与机器学习

    动量扩散比MSR:有效的动量因子收益预测指标

    更具体说,现在动量因子是基于过去t-12至t-2个月股票的累积收益,但是一个聪明的投资者会在t-2之前将更多的权重放在已经在Top组的股票。 如果大家都这么做,最终,反应不足的情况会得到纠正,因此t月的预期动量利润会在早期阶段被吸收。也就是说,一部分动量利润在t-i到t-2月就被消化了(≥2)。 为了捕捉这种效果,我们定义动量扩散比率( ): 其中≥2, 表示根据t-12到t-2个月累计收益率计算的Top组与Bottom组的收益差。 表示以上Top和Bottom组合在t-(1+i)到t-2月份的收益差。我们可以使用这个比率来度量由于行为偏差导致的动量异象带来的利润占所有动量异象利润的比率。 经过以下整理后,从等式7可以看出MSR是小于1的: 如果对于反应不足的行为偏差的假设是正确的,且t-i到t-2月的MSR比较高,那可以认为大部分动量的收益已经被聪明的投资者在t-2月之前收割了;相反如果

    66230编辑于 2022-07-19
  • 来自专栏python pytorch AI机器学习实践

    Pytorch基础知识-动量

    上节课讲了Regularization的原理和使用,它作为一个有效的减少over-fitting的手段使用十分广泛,本节课补充介绍一些小技巧(动量)。 动量(Tricks)的概念来源于物理学,可理解为惯性(momentum)。 动量的概念来源于我们所使用的梯度信息 ? 其物理意义如下图所示 ? 此时若加入不同的参数值也会使其方向发生改变。

    84820发布于 2019-11-17
  • 来自专栏量化投资与机器学习

    多任务时序动量策略

    这种方法可以同时学习影响资产风险和收益的共同因素,权衡不同窗口期的风险和收益,并能提高了时间序列动量策略的表现。 传统时序动量策略 根据Moskowits(2012),传统的时间序列动量策略的收益可以有以下等式表示,及每一期买入或卖出的股票根据该股票过去252天的收益确定,并使用目标波动率确定每只股票的权重。 主要任务:构建时序动量组合 从上文的基于目标波动率的传统时序动量策略可以看出,确定每只股票权重有两个因素:动量的方向和股票的波动率。 rho=\frac{\sigma_{t g t}}{S_t} \sum_{i=1}^{S_t} w_{t-1, t}^i r_{t, t+1}^i-\tau\left|w_{t-1, t}^i-w_{t-2, 波动率预测的有效性会显著影响时间序列动量策略的表现。

    55830编辑于 2023-09-06
  • 来自专栏数说工作室

    量化投资之动量反转

    2)随着市场的发展,出现了一系列无法用现代金融学解释的现象,如股权以均价之谜、动量效应与反转效应、期权微笑等,现代金融学严格的假设条件限制了在实践中的运用。 2. 动量检验法 Jegadeesh和Titman(1993)首次发现并系统论证了动量现象,他们用统计检验来检验股票的动量效应。 (2)对于动量检验法,由于每个月的交易日构建时点,此时进行排序得到一个输家组合和赢家组合,将赢家组合和输家组合各自拆分到数据集w_data和l_data。以w_data为例,数据计算流程见图9: ? 2. MATLAB (1)用时间序列判断法来判定超额收益alpha是否存在动量效应,仍以AR(1)为例。 图10、动量检验法MATLAB计算流程图 code 1 for j =1:114 w_car_data(j,1)=j; %第一列n w_car_data(j,2)=w_data(1+10*(j-

    2.6K100发布于 2018-04-08
  • 来自专栏量化投资与机器学习

    动量因子:行为金融角度新解

    公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业20W+关注者,连续2年被腾讯云+社区评选为“年度最佳作者”。 核心观点 Robeco最近有一篇不错的文章,公众号进行脱水整理,分享给大家: 长期来看,动量因子带来了强劲的收益 动量溢价是由行为而不是风险来解释的 人类犯错的倾向是决定因子持久性的基础 动量投资的概念很简单 由于缺乏足够的基于风险的解释,即使是有效市场假说之父尤金 · 法玛也认为动量是对他的理论的最大挑战。 行为偏差导致动量溢价 相对于新古典主义理论的解释,行为金融学更成功地解释了动量因子的存在。 其次,虽然动量溢价与行为偏差而非风险有关,但如何更好的利用动量因子却并没有那么容易。动量策略已经被证明易于发生罕见但严重的崩盘。因此,动量投资者还需要能够在较长时期内投入资本,并做好面对挑战的准备。 此外,投资者也可以选择仅使用一种动量因子,也可以选择结合多种动量因子,如剩余动量或结合相关的分析师动量。 最后,我们不应该低估人类心理和我们犯认知错误的倾向。

    1.1K20发布于 2021-10-12
  • 来自专栏从流域到海域

    使用动量的梯度下降法

    update your weights instead 指数加权平均参考前一篇博客:https://blog.csdn.net/Solo95/article/details/84837217 使用动量的梯度下降法 使用动量的梯度下降法,“动量”,来自对它的物理上的解释,相当于在一个碗里丢一个小球,通过赋予小球动量,使其减少在碗壁上的左右摆动,让它更快到达碗底,。 使用动量的梯度下降法计算方法 ?

    79320发布于 2019-05-26
  • 来自专栏智能大数据分析

    【深度学习优化算法】06:动量

    eta = 0.6 d2l.show_trace_2d(f_2d, d2l.train_2d(gd_2d)) (三)动量动量法(momentum)使我们能够解决上面描述的梯度下降问题。 _2d))   正如所见,尽管学习率与我们以前使用的相同,动量法仍然很好地收敛了。 eta, beta = 0.6, 0.25 d2l.show_trace_2d(f_2d, d2l.train_2d(momentum_2d))   请注意,我们可以将动量法与随机梯度下降,特别是小批量随机梯度下降结合起来 ('time') d2l.plt.legend();   为了分析动量的收敛情况,我们首先用两个标量重写更新方程:一个用于 x ,另一个用于动量 v 。 简而言之,当 0 < \eta \lambda < 2 + 2 \beta 时动量收敛。与梯度下降的 0 < \eta \lambda < 2 相比,这是更大范围的可行参数。

    20500编辑于 2025-07-19
  • 来自专栏MixLab科技+设计实验室

    机器学习VS动量、反转效应,量化交易1

    基于这些机器学习方法来预测中国股市的动量、反转效应。 01 / 什么是动量效应 Momentum effect 一般又称“惯性效应”,动量效应是由Jegadeesh和Titman(1993)提出的,是指股票的收益率有延续原来的运动方向的趋势,即过去一段时间收益率较高的股票在未来获得的收益率仍会高于过去收益率较低的股票 总的来说,动量和逆转效应是股票市场中常见且有趣的现象。动量效应意味着过去表现良好的股票可能继续优于过去表现不佳的股票。相反,逆转效应表明过去的输家可能会在未来转变为赢家。

    87220发布于 2019-09-16
  • 来自专栏秋枫学习笔记

    SIGIR22「eBay」MP2动量对比框架缓解推荐系统中的标注偏差

    因此,本文提出了一个动量对比框架(MP2),它结合了逐点和成对学习,MP2具有三塔网络结构:一个用户网络和两个item网络。这两个item网络分别用于计算逐点和成对损失。 为了减轻标注偏差的影响,执行动量更新以确保一致的商品表征。 2. MP2框架 2.1 三塔设计 如上图所示为MP2的三塔结构,它由一个用户网络 \phi_u(\cdot,\theta_u) ,一个单纯的商品网络 \phi_v(\cdot,\theta_v) 和一个商品动量网络 商品表征 v^m (逐点学习)通过动量更新而不是正常的梯度反向传播进行优化,这确保了一致的更新。 2) 有差异的权重标签。波动是通过同一商品的两个表征的差异来衡量的,这进一步作为逐点标签的置信度。 另一方面,商品表征不是通过 \phi_v(\cdot,\theta_v) 得到,而是通过动量复制的 \phi_m(\cdot,\theta_m) 得到。

    57350编辑于 2022-09-19
  • 来自专栏机器学习算法与理论

    深度学习—带动量的SGD相关参数

    动量的sgd如下图所示: ? image.png 一、weight decay(权值衰减)的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度,其最终目的是防止过拟合。 2、提升学习速率。归一化后的数据能够快速的达到收敛。 3、减少模型训练对初始化的依赖。 基于128D匹配求解的人脸识别 在数据量增大时,如何优化时间: 是不是可以对库内的数据进行排序。。。

    1.3K50发布于 2018-08-02
  • 来自专栏量化投资与机器学习

    因子投资:价值和动量是否已死?

    2、持有大盘股票是过去五年的发展方向 含义:相对于等权重的投资组合和非大市值的投资组合,市值加权的投资组合看起来很好。 3、动量并未死亡。 含义:没有迹象表明动量应当被遗弃。 投资组合的业绩指标,标准普尔500指数的风险敞口最低,而“Small Decile”投资组合的风险敞口最大: SP500 = SP500总回报指数 SP500 EW = SP500等权重总回报指数 R2K 下图是来自Ken French’s网站的一些投资组合的历史收益,包括:大盘价值/大盘成长(代表价值)和大盘高动量/大盘低动量(代表动量) ? 从长远来看(1963年至今),大盘价值略微优于大盘成长,大盘高动量显著超过大盘低动量 小市值因子表现怎么样? 然后,按市值大小五等分划分的高动量/低动量投资组合图: ? 结论:大市值全面战胜小市值,动量在所有市值上都能发挥作用。

    1.2K30发布于 2019-05-09
  • 来自专栏深度学习自然语言处理

    深度学习优化算法入门:二、动量、RMSProp、Adam

    考虑下图中A点的梯度,可以分解为w1、w2方向的两个分量。w1方向的梯度要大很多,因此梯度的方向大为偏向w1,而不是w2(但w2才是能够更快到达最小值处的梯度方向)。 ? 下面我们来看看动量法如何帮助我们缓解病态曲率的问题。下图中,大多数梯度更新发生在之字形方向上,我们将每次更新分解为w1和w2方向上的两个分量。 也就是说,基于动量法的更新,积累了w2方向上的分量,清空了w1方向上的分量,从而帮助我们更快地通往最小值。从这个意义上说,动量法也有助于抑制振荡。 动量法同时提供了加速度,从而加快收敛。 在我们上面举的例子中,w1的梯度指数平均比w2大得多,所以w1的学习步幅比w2小得多。这就帮助我们避免了脊间振荡,更快地向最小值移动。 第三个等式不过是权重更新步骤。 Adam Adam,即Adaptive Moment Optimization算法结合了动量和RMSProp的启发式算法。 ? 这里,我们计算了梯度的指数平均和梯度平方的指数平均(等式1和等式2)。

    2.8K10发布于 2019-11-19
  • 来自专栏站长的编程笔记

    【说站】python中使用动量交易策略

    python中使用动量交易策略 说明 动量交易策略,动量是物体质量和速度的乘积,动量一方面描述了物体的运动状态,另一方面也描述了惯性的大小。 这种动量可能会继续保持上升或下降,动量可能会越来越小,直到运动状态发生变化。 1、股票资产组合的中期收益存在持续性,即中期价格具有向某个方向持续波动的动量效应。 2、python作差法求动量,即用今天的价格减去一段时间间隔(m期)以前的价格。 以上就是python中使用动量交易策略的方法,希望对大家有所帮助。

    61520编辑于 2022-11-23
  • 来自专栏菩提树下的杨过

    FlashFlex学习笔记(43):动量守恒与能量守恒

    动能公式: 动量公式: 动量守恒: 能量守恒: 根据这些规律可以得到下列方程组: 解该方程组,得到下面的公式: 把这二个公式相减,可以得到: 即: 我们也经常利用这个公式简化运算 基本的动量守恒演示: .y=stage.stageHeight/2; ball1.vx=-5; addEventListener(Event.ENTER_FRAME,EnterFrameHandler); ballB.mass=1; ballA.vx = 5*(Math.random()*2-1); ballB.vx = 5*(Math.random()*2-1); ballA.vy = 5*(Math.random ()*2-1); ballB.vy = 5*(Math.random()*2-1); addChild(ballA); addChild(ballB); addEventListener(Event.ENTER_FRAME /2-70; ballB.y=stage.stageHeight/2; addChild(ballB); btn1.x=stage.stageWidth/2; btn1.y=stage.stageHeight-btn1

    54970发布于 2018-01-22
  • 来自专栏智能制造预测性维护与大数据应用

    研华振动量测公开课视频(上)

    研华振动量测公开课视频,讲述振动量测解决方案,硬件构成、软件特性和应用实例。

    20720编辑于 2022-05-30
  • 来自专栏NFT链游的应用

    动量化交易系统如何设计开发?

    模型:海龟趋势交易系统2、盈亏比为1:1的趋势交易,止损适当放大,靠胜率优势来获利。模型:日内随机交易系统第三步就是量化投资组合研发:好的组合能让整个账户的资金曲线更好的增长,那怎么设计组合呢? 2. 智能组合筛选:查看投资组合过往表现及预期未来投资结果,筛选投资组合。3. 智能组合购买:一键购买,同步买入组合所有品种。

    1.5K40编辑于 2022-06-17
  • 来自专栏量化投资与机器学习

    基于决策树的动态时序动量策略

    在本文中,我们选取N=1作为短周期动量信号,N=12作为长周期动量信号。下图1、2给出了2000年1月到2020年12月,标普500指数的长短周期动量信号。 不同市场波动下的动量表现 当市场相对平稳的时候,长周期的动量策略更能适合市场的走势,相比短周期的动量信号,能获得更高的收益。而在市场波动较大时 ,短周期的动量策略更占优势。 E\left[r_{t+1}\right]+\operatorname{Cov}\left[w_{t, N},\left(r_{t+1}-E\left[r_{t+1}\right]\right)^{2} left[r_{t+1}\right]+\frac{\operatorname{Cov}\left[w_{t, N},\left(r_{t+1}-E\left[r_{t+1}\right]\right)^{2} , r_{t+1}\right]-\frac{\operatorname{Cov}\left[w_{t, N},\left(r_{t+1}-E\left[r_{t+1}\right]\right)^{2}

    98040编辑于 2023-07-08
  • 来自专栏量化投资与机器学习

    价值因子的改进:结合动量的思想

    实证分析 单因子测试 首先来看一下每个指标单独的表现,下表1和2给出了按每个因子,前20%最有价值(最便宜)的股票等权重组合的收益表现。 其中表1是月度收益率的统计,表2是月度收益率相对Fama-French因子及MOM动量因子的回归测试。 从表2可以看出,B/M Trend因子风险调整后的收益要优于HML因子。B/M Trend因子相对HML的回归系数只有0.16。 方法2:Aggregate firm-score allocation method,截面上计算每个因子的z-score,再计算每个股票在6个因子的总得分后排序选择前20%的股票。 下图4及6分别展示了方法1和方法2下Top组和Bottom组的累计收益曲线。表5和表7则是对两个方法的月度收益,进行基于Fama-French和q-factor回归测试的结果。

    95930发布于 2021-07-29
领券