开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

探测率递减的ϵ-贪婪策略

是一种在强化学习中常用的策略，用于在探索和利用之间进行权衡。在这种策略中，ϵ代表探索的概率，即以一定的概率选择随机行动，而1-ϵ代表利用的概率，即以一定的概率选择当前被认为最优的行动。

这种策略的目的是在初始阶段进行广泛的探索，以便发现更多的行动和奖励，然后逐渐减少探索的概率，增加利用的概率，以便在后续阶段更加专注于利用已经学到的知识。

探测率递减的ϵ-贪婪策略在许多领域都有广泛的应用，特别是在强化学习中。它可以用于解决各种问题，如游戏策略优化、机器人控制、自动驾驶等。

在云计算领域，探测率递减的ϵ-贪婪策略可以应用于资源调度和任务分配等问题。通过在初始阶段进行广泛的探索，可以发现不同资源和任务之间的最佳匹配关系，从而提高资源利用率和任务执行效率。

腾讯云提供了一系列与云计算相关的产品，可以帮助用户实现探测率递减的ϵ-贪婪策略。其中，腾讯云弹性伸缩（Auto Scaling）可以根据实际需求自动调整资源规模，腾讯云函数（Cloud Function）可以根据事件触发自动执行任务，腾讯云容器服务（Tencent Kubernetes Engine）可以提供灵活的容器化部署环境等。

更多关于腾讯云产品的详细介绍和使用方法，请参考腾讯云官方网站：https://cloud.tencent.com/

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

强化学习系列案例 | 利用Q-learning求解悬崖寻路问题

悬崖寻路问题（CliffWalking）是强化学习的经典问题之一，智能体最初在一个网格的左下角中，终点位于右下角的位置，通过上下左右移动到达终点，当智能体到达终点时游戏结束，但是空间中存在“悬崖”，若智能体进入“悬崖”则返回起点，游戏重新开始。本案例将结合Gym库，使用Sarsa和Q-learning两种算法求解悬崖寻路问题的最佳策略。

05

谷歌「模型汤」靠微调屠了ImageNet的榜！方法竟然只有半页纸

---- 新智元报道编辑：LRS 好困【新智元导读】ImageNet排行榜又双叒叕被刷新啦！不过这回，新霸主谷歌没有提出新模型，只靠微调「几个」模型就做到了第一，论文通篇都是实验分析，这也引起了网友的争议：全靠财大气粗！最近，谷歌又靠着强大的计算资源豪横了一把，而且还顺手捎上了一位Meta AI的朋友。不得不说，这两个「冤家」的合作可不多见。论文链接：https://arxiv.org/abs/2203.05482 研究团队提出了一种称为「模型汤」的概念，通过在大型预训练模型下使用不同

05

谷歌「模型汤」靠微调屠了ImageNet的榜！方法竟然只有半页纸

---- 点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】ImageNet排行榜又双叒叕被刷新啦！不过这回，新霸主谷歌没有提出新模型，只靠微调「几个」模型就做到了第一，论文通篇都是实验分析，这也引起了网友的争议：全靠财大气粗！最近，谷歌又靠着强大的计算资源豪横了一把，而且还顺手捎上了一位Meta AI的朋友。不得不说，这两个「冤家」的合作可不多见。论文链接：https://arxiv.org/abs/2203.05482 研究团队提出了一种称为「模型汤」的概念，通过在

02

强化学习读书笔记 - 02 - 多臂老O虎O机问题

强化学习读书笔记 - 02 - 多臂老O虎O机问题学习笔记： Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016 数学符号的含义 image.png 多臂老O虎O机问题一般的老O虎O机只有一个臂（杆）。你塞10个硬币，拉一下杆，老O虎O机可能会吐出来一两个硬币，或者100个硬币。多臂老O虎O机有多个杆（象征着多个行动(action)，每个杆有自己特有的吐

07

WebRTC系列分享第五期 | WebRTC QoS方法之Sender Side BWE实现

导语 | 本文为大家详细解读一下WebRTC中Sender Side BWE的实现。文章中引用的WebRTC代码基于master，commit：f412945f05ce1ac372a7dad77d85498d23deaae源码分析。背景介绍 BWE（Bandwidth Estimation）可能是WebRTC视频引擎中最关键的模块了。BWE模块决定视频通讯中可以发送多大码率视频不会使网络拥塞，防止视频通讯质量下降。早期的带宽评估算法比较简单，大多是基于丢包来估计，基本的策略是逐步增加发送的数据量，直到

01

对最大匹配尺寸的均匀边缘样本进行空间有效估计

作者：Michael Kapralov,Slobodan Mitrović,Ashkan Norouzi-Fard,Jakab Tardos

03

强化学习之Q-Learning

我们做事情都会有自己的一个行为准则，比如小时候爸妈常说“不写完作业就不准看电视”。所以我们在写作业的状态（state）下，好的行为就是继续写作业，直到写完它，我们还可以得到奖励（reward），不好的行为就是没写完作业就跑去看电视了，被爸妈发现就会被惩罚，这种事情做的多了，也变成了我们不可磨灭的记忆，这其实就是一个Q-learning的决策过程。

02

技术干货 | 如何选择上班路线最省时间？从A/B测试数学原理说起

当面对众多选择时，如何选才能最大化收益（或者说最小化我们的开销）？比如，怎么选择最优的上班的路线才能使途中花费的时间最少？假设每天上下班路线是确定的，我们便可以在账本中记下往返路线的长度。 A/B测试便是基于数据来进行优选的常用方法，在记录多次上班路线长度后，我们便会从数据中发现到一些模式（例如路线A比路线B花的时间更少），然后最终一致选择某条路线。当A/B测试遇到非简单情况时（如分组不够随机时，或用户量不够大到可以忽略组间差异，或不希望大规模A/B测试长期影响一部分用户的收益），该怎样通过掌握理论知

07

从0单排强化学习原理(四)

双十一刚过，大家要么熬夜加班(比如十方)，要么熬夜购物，是不是都忘了要一起学强化学习了。其实是十方一直没更新(从未见过如此厚颜...)，一元哥已经吐槽十方无数次了，今天必须更，这一系列必须更完。估摸下，原理相关的估计还要更个两三期，看情况开强化学习进阶系列了。

01

什么是近似算法？它适用于哪些问题？这篇文章给你答案

新冠大流行给世界带来了巨大的改变，全球科学家和研究人员在研制有效的疫苗。他们正在做的就是从广阔的样本空间中近似地收紧可能性范围，并尽力得到一些有效解。近似在我们的生活中发挥了重要作用。

06

机器人算法专题介绍

算法算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。如果一个算法有缺陷，或不适合于某个问题，执行这个算法将不会解决这个问题。不同的算法可能用不同的时间、空间或效率来完成同样的任务。一个算法的优劣可以用空间复杂度与时间复杂度来衡量。算法中的指令描述的是一个计算，当其运行时能从一个初始状态和（可能为空的）初始输入开始，经过一系列有限而清晰定义的状态，最终产生输出并

06

[TensorFlow强化学习入门]实战一·使用Python原生编写Q-Learning算法

[TensorFlow强化学习入门]实战一·使用Python原生编写Q-Learning算法参考学习地址测试代码： import numpy as np import pandas as pd import time N_STATES = 6 # 1维世界的宽度 ACTIONS = ['left', 'right'] # 探索者的可用动作 EPSILON = 0.9 # 贪婪度 greedy ALPHA = 0.1 # 学习率 GAMMA = 0.9 # 奖励递减值 MA

02

什么是近似算法？它适用于哪些问题？这篇文章给你答案

选自Medium 机器之心编译作者：Aryan Gupta 编辑：魔王罗素曾说：所有精确科学都被近似思想所主宰。本文介绍了近似算法及其对某些标准问题的适用性。新冠大流行给世界带来了巨大的改变，全球科学家和研究人员在研制有效的疫苗。他们正在做的就是从广阔的样本空间中近似地收紧可能性范围，并尽力得到一些有效解。近似在我们的生活中发挥了重要作用。以在线食品配送为例，我们经常从网上订购食物，享受快速送达的服务。但你想过这些 app 后端运行的什么算法让快递员在更短时间内抵达目的地吗？答案是近似算法。这类问

01

文心一言 VS 讯飞星火 VS chatgpt （223）-- 算法导论16.3 5题

为了证明这个结论，我们可以使用霍夫曼编码（Huffman Coding）作为示例，它是一种广泛使用的最优前缀编码方法。霍夫曼编码满足题目中的要求：如果我们将字母表中字符按频率单调递减排序，那么其码字长度是单调递增的。

02

贪心算法

http://blog.csdn.net/xywlpo/article/details/6439048

02

自我一致性可以提升语言模型中推理的质量

今天为大家介绍的是来自google团队的一篇提升语言模型推理能力的论文。连贯思维提示结合预训练的大型语言模型在复杂推理任务上取得了令人鼓舞的成果。在文中，作者提出了一种新的解码策略——自我一致性，用来替代连贯思维提示中使用的朴素贪婪解码。该策略首先对多样化的推理路径进行抽样，而不仅仅采用贪婪路径，然后通过边际化采样的推理路径来选择最一致的答案。自我一致性利用了这样一个直觉：复杂的推理问题通常会有多种不同的思路，最终导致唯一正确的答案。

02

强化学习（七）时序差分离线控制算法Q-Learning

在强化学习（六）时序差分在线控制算法SARSA中我们讨论了时序差分的在线控制算法SARSA，而另一类时序差分的离线控制算法还没有讨论，因此本文我们关注于时序差分离线控制算法，主要是经典的Q-Learning算法。

06

强化学习（六）时序差分在线控制算法SARSA

在强化学习（五）用时序差分法（TD）求解中，我们讨论了用时序差分来求解强化学习预测问题的方法，但是对控制算法的求解过程没有深入，本文我们就对时序差分的在线控制算法SARSA做详细的讨论。

02

论文趣读：人工智能里程碑？回顾2015年登上Nature的DQN（全文翻译+批注）

文章：Mnih V , Kavukcuoglu K , Silver D , et al. Playing Atari with Deep Reinforcement Learning[J]. Computer Science, 2013. DeepMind链接：(https://deepmind.com/research/publications/playing-atari-deep-reinforcement-learning)

03

有证据了，MIT表明：大型语言模型≠随机鹦鹉，确实能学到语义

机器之心报道编辑：小舟、张倩大型语言模型能否捕捉到它们所处理和生成的文本中的语义信息？这一问题在计算机科学和自然语言处理领域一直存在争议。然而，MIT的一项新研究表明，仅基于文本形式训练、用于预测下一个token的语言模型确实能学习和表示文本的意义。虽然大型预训练语言模型（LLM）在一系列下游任务中展现出飞速提升的性能，但它们是否真的理解其使用和生成的文本语义？长期以来，AI社区对这一问题存在很大的分歧。有一种猜测是，纯粹基于语言的形式（例如训练语料库中token的条件分布）进行训练的语言模型不会

02

强化学习系列之四:模型无关的策略学习

本文介绍了模型无关的策略学习。模型无关的策略学习主要有三种算法: Monte Carlo Control, Sarsa 和 Q learning。这三种算法都能从环境中学习最优策略，其中 Q-learning 算法是一种离策略的算法，而 Monte Carlo Control 和 Sarsa 算法则属于在策略的算法。在实验部分，本文对这三种算法进行了比较，发现 Q-learning 算法在机器人找金币的实验中表现最好，而 Sarsa 算法在跳跃机器人实验中表现最好，而 Monte Carlo Control 算法则表现最差。总的来说，模型无关的策略学习算法在解决强化学习问题时具有重要的作用，并且这些算法在实际应用中可能会面临一些挑战，比如算法的选择、计算资源的限制等等。

05

456. 132 Pattern

思路采用贪婪原则，从后往前遍历数组，维持一个从栈底到栈顶的递减栈，让s2尽可能地大（这样找到s1 < s2时就可以返回true了）。所以s2的寻找分两步：

03

强化学习之不基于模型的控制(五)

-贪婪策略)被提出,其基本思想就是使得某一状态下所有可能的行为都有几率被选中执行,具体通过设置一个比较小的

01

增强学习Q-learning分析与演示（入门）

https://github.com/MorvanZhou/Reinforcement-learning-with-tensorflow/blob/master/contents/1_command_line_reinforcement_learning/treasure_on_right.py

03

深度学习算法(第36期)----强化学习之时间差分学习与近似Q学习

上期我们一起学习了强化学习中的马尔科夫决策过程的相关知识，深度学习算法(第35期)----强化学习之马尔科夫决策过程今天我们学习强化学习中的时间差分学习与Q学习的相关知识。

04

基于时态差分法的强化学习：Sarsa和Q-learning

时态差分法（Temporal Difference, TD）是一类在强化学习中广泛应用的算法，用于学习价值函数或策略。Sarsa和Q-learning都是基于时态差分法的重要算法，用于解决马尔可夫决策过程（Markov Decision Process, MDP）中的强化学习问题。

02

Meta再放「长文本」杀器Llama 2-Long：70B尺寸登顶最强「32k上下文」模型，超越ChatGPT

虽然大型语言模型在处理日常问答、总结文本等任务上表现非常出色，但如何让LLM在不显著增加计算需求、不降低短文本性能的前提下，能够处理「超长文本输入」仍然是一个难题。

02

强化学习笔记9：探索和利用 exploration and exploitation

最佳的策略是用长期的眼光来看，放弃短期高回报获取足够策略是让策略变成全局最优的必要条件

03

强化学习（四）用蒙特卡罗法（MC）求解

在强化学习（三）用动态规划（DP）求解中，我们讨论了用动态规划来求解强化学习预测问题和控制问题的方法。但是由于动态规划法需要在每一次回溯更新某一个状态的价值时，回溯到该状态的所有可能的后续状态。导致对于复杂问题计算量很大。同时很多时候，我们连环境的状态转化模型$P$都无法知道，这时动态规划法根本没法使用。这时候我们如何求解强化学习问题呢？本文要讨论的蒙特卡罗(Monte-Calo, MC)就是一种可行的方法。

02

深入解析HNSW：Faiss中的层次化可导航小世界图

层次化可导航小世界（HNSW）图是向量相似性搜索中表现最佳的索引之一。HNSW 技术以其超级快速的搜索速度和出色的召回率，在近似最近邻（ANN）搜索中表现卓越。尽管 HNSW 是近似最近邻搜索中强大且受欢迎的算法，但理解其工作原理并不容易。

01

强化学习初探 - 从多臂老虎机问题说起

▌背景和问题定义 ---- ---- 2018年我开始了机器学习相关领域的博士生涯，相比于目前流行的深度学习以及类似的需要大量训练数据来生成模型的监督学习方法，强化学习一个重要的不同点是利用训练的数据去评估（evaluate）下一步的行动（action），而不是仅仅指示（instruct）出正确的行动。导师提供了一个有趣的问题作为切入点来深入理解“强化学习”，那就是多臂老虎机问题（multi-armed bandit）。多臂老虎机实验本质上是一类简化的强化学习问题，这类问题具有非关联的状态（每次只从

如何破解止损难题

第一篇《币圈的盈利止损》分析了止损的本质是价格进入下降通道，为避免损失扩大而退出，与买入成本无关，并进一步把止损分为盈利止损和亏损止损。

02

ICML论文｜阿尔法狗CTO讲座： AI如何用新型强化学习玩转围棋扑克游戏

6月19日（美国时间）在纽约举行的国际机器学习大会（ICML）上，来自谷歌、Facebook以及顶尖研究学府的科学家们通过论文和讲座，分享了最尖端的机器学习研究成果。其中，谷歌DeepMind科学家D

06

强化学习系列之六:策略梯度

本文介绍了梯度策略的相关知识，包括策略梯度的定义、策略梯度与价值函数的关系、策略梯度的算法以及策略梯度的应用场景。文章还介绍了蒙特卡罗策略梯度和Actor-Critic算法，并解释了策略梯度在强化学习中的重要性。

05

强化学习读书笔记 - 10 - on-policy控制的近似方法

强化学习读书笔记 - 10 - on-policy控制的近似方法学习笔记： Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016 参照 Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016 强化学习读书笔记 - 00 - 术

05

[Github项目]基于PyTorch的深度学习网络模型实现

今天主要分享两份 Github 项目，都是采用 PyTorch 来实现深度学习网络模型，主要是一些常用的模型，包括如 ResNet、DenseNet、ResNext、SENet等，并且也给出相应的实验结果，包含完整的数据处理和载入、模型建立、训练流程搭建，以及测试代码的实现。

02

机器学习 DQN 算法在火影手游的实践

AlphaGo的出现,让我对机器学习产生了很大的兴趣，学习了 AnderwNG 大神“史坦福大学公开课：机器学习课程”之后开始尝试自己处理相关问题，并在项目中进行实践（一款横板动作游戏），最初采用的是 QLearning 算法（ DQN 算法的前身），在 Unity 中用 C# 实现了 QLearning 算法核心，神经网络和训练等模块，实际效果如下：

学界 | 抱歉我们今天想介绍的这篇论文，刚刚中了CVPR 2018最佳论文

目标识别、深度估计、边缘检测、姿态估计等都是研究界认为有用的和已解决的常见视觉任务的例子。其中一些任务之间有着明显的相关性：我们知道曲面法线和深度是相关的（其中一个是另外一个的导数），或者空间中的灭点（vanishing point）对于定位是有帮助的。其他任务相关性不太明显：关键点检测和空间中的阴影如何共同执行姿态估计。

02

关于Network Discovery的一些思考

资产统计中你拿到巨多的ip，需要为每个ip统计详细到每个端口的信息时，你有没有经历过漫长的等待，看着nmap缓慢的百分比进度，简直想卸载了nmap。

04

Soft-NMS – Improving Object Detection With One Line of Code

非最大抑制是目标检测流程的重要组成部分。首先，它根据所有检测框的得分对它们进行排序。选择得分最大的检测框M，抑制与M有显著重叠(使用预定义阈值)的所有其他检测框。这个过程递归地应用于其余的框。按照算法的设计,如果一个目标重叠在预定义的阈值,就丢弃它。为此,我们提出Soft-NMS,衰变的算法检测的所有其他目标作为一个连续函数的重叠与m。因此，没有目标在这一过程中消除。Soft-NMS获得一致的改善coco-stylemAP指标，在标准数据集PASCAL VOC 2007 (RFCN 和Faster-RCNN上为) MS-COCO (R-FCN上1.3% 和Faster-RCNN上为 .1%) 没有过改变任何额外的hyper-parameters。NMS算法使用Deformable R-FCN，Sost-NMS在单一模型下将目标检测的最新水平从39.8%提高到40.9%。此外，Soft-NMS和传统的NMS计算复杂度很接近，因此能够有效实现。由于Soft-NMS不需要任何额外的训练，而且易于实现，因此可以轻松地集成到任何目标检流程中。

02

Google | 提出CoT解码新方法，无需Prompt，就能让大模型(LLM)进行CoT推理

在增强大语言模型（LLM）的推理能力方面，先前的研究主要集中在特定的Prompt技术上，例如少样本(Few-shot)或零样本(Zero-shot)思维链（CoT）提示。这些方法虽然有效，但通常涉及手工密集型Prompt工程。

01

详解蒙特卡洛方法：这些数学你搞懂了吗？

加州大学洛杉矶分校计算机科学专业的 Ray Zhang 最近开始在自己的博客上连载介绍强化学习的文章，这些介绍文章主要基于 Richard S. Sutton 和 Andrew G. Barto 合著的《Reinforcement Learning: an Introduction》，并添加了一些示例说明。该系列文章现已介绍了赌博机问题、马尔可夫决策过程和蒙特卡洛方法。本文是对其中蒙特卡洛方法文章的编译。更多相关文章和最新更新可访问：https://oneraynyday.github.io

01

【AI初识境】为了围剿SGD大家这些年想过的那十几招

对于凸优化来说，任何局部最优解即为全局最优解。用贪婪算法或梯度下降法都能收敛到全局最优解，损失曲面如下。

02

简化测试用例

软件测试已经发展成为IT行业中的一个重要领域。无可否认，从头开始开发新软件需要巨大的付出，但还要付出更大的努力的检验软件质量。逐行分析代码可能很麻烦。这些错误在计算机语言中被称为“BUG”，可能使任何开发人员都“彻夜难眠”。

02

混合云如何实现IP-Sec-VPN云联网专线实现主备内网互通？

如下图所示，用户在 VPC 和 IDC 中部署了业务，为了实现云上与云下业务交互，用户需要部署网络连接服务来实现业务互通，为实现高可用通信，部署方案如下：

05

详解蒙特卡洛方法：这些数学你搞懂了吗？

之前我们讨论过马尔可夫决策过程（MDP，参阅 https://goo.gl/wVotRL）以及寻找最优的动作-价值函数

00

最强DETR+YOLO | 三阶段的端到端目标检测器的DEYOv2正式来啦，性能炸裂！！！

识别图像中的感兴趣区域并用边界框和类标签对其进行标记是计算机视觉中的一项关键任务，即目标检测。这项任务有许多应用，并且随着深度学习的发展得到了显著改进。在过去的几十年里，已经开发了几种特殊的一阶段和两阶段目标检测模型。R-CNN家族是最著名的两阶段目标检测器，包括Fast R-CNN和Faster R-CNN。

03

简化测试用例

软件测试已经发展成为IT行业中的一个重要领域。无可否认，从头开始开发新软件需要巨大的付出，但还要付出更大的努力的检验软件质量。逐行分析代码可能很麻烦。这些错误在计算机语言中被称为“BUG”，可能使任何开发人员都“彻夜难眠”。

04

迎合扫描器的探测，让攻击者头疼脑热

互联网上有大量自动化漏洞扫描器在运行，不断探测互联网空间的安全漏洞，其中不乏黑灰产等违法犯罪活动，当然也有大量白帽子探测漏洞，获得赏金，然而，常规的安全防御系统，比如 waf 之类的系统，针对漏洞探测，采取拒绝访问的策略，只要匹配到恶意攻击的请求，通过拦截请求或者封禁 IP 的方式进，对于攻击者而言，漏洞是否存在，通过结果就能判断，漏洞扫描器的准确率是比较高的。

02

最佳实践：利用贪婪算法优化企业电脑监控软件任务处理

贪婪算法可是个超级简单又见效的小玩意，对于某些特殊问题来说，简直是神器。说白了，就是帮你把事情弄得更有条理。以优化企业电脑监控软件的任务处理为例，你可以考虑借助贪婪算法，搞定一些基本的任务分派和安排。不过要记得，它有个小毛病，就是可能无法找到世界上最完美的解决方案。所以在实际用的时候，得斟酌一下，斟酌一下，再斟酌一下。

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭