Loading [MathJax]/jax/output/CommonHTML/jax.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >随机过程(6)——泊松过程三大变换,更新过程引入

随机过程(6)——泊松过程三大变换,更新过程引入

作者头像
学弱猹
发布于 2021-08-10 03:32:23
发布于 2021-08-10 03:32:23
2.1K0
举报

上一节笔记:随机过程(5)——无限状态马尔科夫链的进一步探讨,泊松分布引入,复合泊松分布

————————————————————————————————————

大家好!

上一节,我们给大家介绍了泊松过程和复合泊松过程(微信公众号的版本,“过程”写成了“分布”造成了一些误会,读者注意下~)。这一节我们会介绍针对泊松过程的一些变换,掌握它们就可以洞察到更多有趣的泊松过程的性质。具体是什么意思呢?看到下面就知道了。当然,如果有空的话,还会简单介绍一点更新过程的概念。

另外,马尔可夫和马尔科夫在笔记中会混着用(取决于我编辑文档所用的电脑),因此大家看到这两个词,也不要奇怪,因为它们都是可接受的翻译。

那么我们开始吧。

目录

  • 泊松过程变换
    • 稀疏
    • 叠加
    • 取条件
  • 更新过程
    • 更新函数与更新方程

泊松过程变换

稀疏

稀疏(Thinning)变换简单来说,就是考虑每一次到达中,满足特定条件的子集。把这一部分子集抽出来,就会得到一条新的链条。我们后面会提到说,这链条也是一个泊松过程。

把这一个说法用数学描述一下,就是下面这个定理

Theorem 1: 设

是一个速率为

的泊松过程,

是一个取正整数的随机变量,并且假设每一次到达都会得到一个“奖赏”

。设

表示符合

的个数(

),证明

是一个速率为

的泊松过程,并且与原始的泊松过程相互独立。

这个过程大概可以用图表示为下面这样。

这里为了比较简单的说明问题,我们假设这里的

只会取两个值,也就是1或2。我们后面会发现,这样并不影响一般的证明结果。也就是说,我们实际上把原来的

拆分为了

注意这里要说明两点,一是两个随机变量

满足的分布(虽然我们一般用“过程”来描述它们,但它们本质上就是两个随机变量),二是它们俩之间的独立性。所以合在一起,我们就可以通过最后计算出来的分布的可分离性,一下子说清楚这两点。

注意到

到最后其实就说明了我们的结论成立,因为前一半对应

,后一半对应

这一串公式推导还是挺迷惑人的,我们一行一行解释哈。

第一行到第二行,其实是相当于把两条分散的泊松过程又“拼在了一起”。这可以用图表示为如下。

可以等价过来的原因就是,这两句话说的就是同一件事。虽然现在来看还是挺显然的,但说句实话确实不容易往这个方向去想到。

第二行到第三行可以看出就是用了独立性,这是因为这两件事本质上是无关的。一条泊松过程中间到达了

次,和这

次中间到底到达几次1和几次2,当然相互之间是不会产生影响的。

第三行到最后一行其实就是一个概率公式的替代。这里就可以解释为什么我们可以只讨论取两个值的情况,因为如果我们取了多个值,也只是充其量最后的式子

变成多项分布的公式而已。这个细节我们留给读者补充,并不困难。

可能有的人会疑惑在于,只证明两条泊松过程在相同时间段内的独立性,就可以把两个泊松过程的独立性证明出来吗?答案是肯定的。下面这张图可以很好的解释。

这个性质其实最有趣的地方也就在于,所有的“子过程”相互之间是互不干扰的。简单来说,改变一个泊松子过程的性质,不会影响到其他泊松子过程。这个观念还挺反直觉的,因为都是从一个泊松过程中“稀疏”出来的,结果相互之间却毫无关联

通过这个稀疏的性质,其实还可以推出下面这个性质。

Corollary 1: Nonhomogeneous Thinning 考虑一个速率为

的泊松过程,假设点到达数轴上的点

的概率密度函数为

,那么这一些点服从一个速率为

的泊松过程。

说它是theorem 1的推广,很大程度就是因为在这里,我们假设了每一次到达不同点的概率都不一样。这和之前的泊松过程的差别就在于,之前我们只讨论“到达”这一个概念,而什么时候到达仅仅取决于速率

和指数分布

。但是这个情况就相当于多了一个制约因素

,因此这里得到的泊松过程就是一个更复杂一些的结果。

用数学来说,其实就是希望证明

但这个的证明讲白了就是定积分求解的梯形公式那一套。我们可以把区间

拆分为无数个小块,每一块有一个小的增量。假如说某一块是

,那么这一块因为

很小,所以可以认为这一块基本上到达的概率都是

。那么实际上这一块我们可以得到

这个如何利用上Theorem 1呢?简单来说,对于这一个区间,因为到达的概率会变化,所以我们不妨把它抽象为两个状态,一个是到达,得到奖赏为1;另外一个也是到达,但是奖赏为0。这样的话其实相当于在讨论一个同质(homogenous)的随机过程,也就是我们之前一直讨论的泊松过程。而拆出的“奖赏为1”的那一部分,就是我们这个问题所研究的泊松过程。所以为什么我们可以得到系数

,其实是来源于这么一个思考。

有了这个之后,我们把各个区间加在一起,利用泊松分布的可加性不难得到

接下来,我们令

,就可以得到我们的结论。

异质泊松过程(Non-homogeneous)的一个最大的特点就是到达每一个点的概率不一样,所以理解起来要比同质随机过程,要更加困难一些。

我们来举两个例子吧。

Problem 1:

考虑一个电话排队问题。有无穷多条电话线,来电话的个数是一个速率为

的泊松过程,每一个电话所需要的时间服从一个分布

,但只知道

且期望为

。问长期来看(时间

),这个系统里有多少个电话?

是对于这一个排队系统的简单描述。

表示电话到来是服从马尔可夫性的,

表示分布,而

表示电话线的个数,简单来说就是这个系统中,因为电话线无穷多,所以不会有等待的问题

这个问题怎么建模呢?首先我们来看,在一个有限时间

内,电话到来的情况可以怎么样描述。大致可以画出下面这一张图。

那么问题就是,在

这个时间段内,会有多少个人还在打电话。我们不妨假设有一个人在点

处到达,那么如果它在这个时间段内有打电话,它的电话时长一定要大于

。而这个概率为

。总而言之,我们把问题抽象为下面的说法

的概率这个人打不完电话,所以会被计数,相当于到达,得到奖赏为1。其他情况,电话会打完,就不会被计数,相当于到达,但得到奖赏为0。

所以我们可以得到,

,这是用到了Corollary 1的结论。

有了这个之后,我们只需要令

就可以了,我们可以得到

最后一步是用到了期望的一个经典公式

有了这个之后,就可以知道,长期来看,会有

这么多人正在打电话。这是因为泊松分布,参数就是它的期望。

Problem 2: 考虑一个道路上汽车行驶的问题。已知每分钟,在某地经过的汽车数目服从速率为

的泊松过程。其中10%是卡车,90%是轿车。如果知道刚才的一个小时内,经过了10辆卡车,问刚才的一个小时内,经过的车的数量的期望是多少?

这个题乍一看,10辆卡车,占了10%,所以张口就来会经过100辆车。如果得到了这么一个答案,就说明第一印象往往会给人带来很严重的偏差

首先这是一个很明显的可以通过拆分(也就是稀疏)解决的问题。既然我们知道汽车到来的速率为

,那么根据稀疏,我们可以把汽车拆分为“卡车”和“轿车”,那么根据Theorem 1就不难得到,卡车到来的速率为

,轿车到来的速率为

并且二者相互独立

正经计算一下,我们可以得到

所以如果得到100这个答案,就说明忽视了两条“子泊松过程”的独立性。当然如果不清楚这个独立性,也很难得到46这个答案。

叠加

叠加(superposition)就是稀疏的逆向操作,理解起来并不困难。

Theorem 2: 设

是相互独立的泊松过程,且速率分别为

。那么

是一个速率为

的泊松过程。

证明其实和我们之前说的差不多。我们考虑拆分出不同的区间

。那么很明显,

相互独立。另一方面,我们根据条件,又有

这自然是根据独立性和泊松分布可加性得到的。

接下来就是把各个区间加在一起。很容易观察到不相交区间所带来的独立性,因此再次利用泊松分布可加性就可以得到我们这里的结论。

这个证明看上去很容易,不过我们还是希望介绍另一种证明,因为这可以帮助我们更好的理解泊松过程中,到达相距时间

的相关分析。

可以看下面这张图。

以两条泊松过程为例,在把这两条泊松过程加在一起之后,从某一个到达点

到下一个到达点中间距离的时间,其实可以写为

。而这个事实上相当于,在知道

的时候,问

所服从的分布。概率论告诉我们,这个分布就是

,所以这个叠加性也就不难说明了。

好的,我们再来看两个例子。

Problem 3: 已知有两条泊松过程,一条表示的是红色点的到达次数,到达速率为

。另外一条表示的是绿色点的到达次数,到达速率为

。问有4个绿色点到达前,已经有6个红色点到达的概率。

这个题看似很复杂,但实际上可以充分利用泊松过程的变换,把这个题做一个极大的简化。

首先我们考虑做一个叠加,然后再把这个叠加出来的新的泊松过程再做稀疏,这样就相当于得到了一个拆分,这个拆分满足

每一次到达,有

的概率是红色的点,有

的概率是绿色的点。

那么如果要求出现4个绿色点之前,要先出现6个红色点,事实上有很多情况。但不管怎么说,其实只需要前9个点,至少有6个点是红色点就可以了。但是在这么拆分之后,这个问题就完全变成了一个二项分布的问题,因为每一个点是什么颜色的概率都已经知道了,且每一个颜色出现的概率,又具有相互独立的性质。

所以剩下的任务,就是把它拆分成很多情况,然后利用二项分布公式求概率就可以了。所以容易得到答案是

,这里的

取条件

取条件相对前两个来说不是特别好理解。大致可以解释为,在规定了泊松过程的一些条件之后,泊松过程内部的到达时间服从的分布近似于均匀分布。具体来说,设

为泊松过程的到达时间,设

服从均匀分布

,且两两独立。

是将

作升序排序之后的结果。

那么取条件,其实就是这么一个定理

Theorem 3: 在

的时候,

同分布。

这个定理其实要说明的就是,在

的时候,

但是

(想想为什么?),所以我们只需要推出之前那个概率

就可以了。注意到我们有

注意到

相互之间独立,代入指数分布和泊松分布的公式,就可以得到结论。这个计算我们交给读者完成。

事实上,在取条件上,还有另外一个定理。

Corollary 2: 若

,那么有

简单来说,这个定理就是在告诉我们,在

的时候,有

,也就是服从二项分布的意思。

这个定理的证明就是利用了Theorem 3。在

的时候,我们研究

,其实就是希望观察在

之前到达的个数,而因为“到达时间”这个量,在取了条件的时候服从的是一个均匀分布。所以相当于把概率变成了

这其实也是一个二项分布问题(

的概率为

)。所以这个概率的计算很容易,而这就是我们的结论。

好的,我们来看一个取条件的例子吧。

Problem 4: 设

服从一个速率为2的泊松过程。计算

这两个题非常好的对比出了泊松过程的两种取条件的情况,对应的做法也有很大不同。

对于第一个题,我们注意到,相当于知道了之前时间的情况,问之后的泊松过程的期望。因此可以考虑做一个变换,得到

这是因为两个泊松过程的差依然服从一个泊松分布。

第二个题就是反过来,知道了之后时间的情况,问之前的泊松过程的期望。这就是我们这一部分所介绍的内容,根据Corollary 2我们直接可以得到

好的,到此为止,关于泊松过程的变换我们就介绍完了。

更新过程

更新过程(Renewal Process)是泊松过程的一个推广。在泊松过程中,我们假设了相邻两个到达之间相距的时间服从指数分布

,那么去掉这个假设,得到的就是一个更新过程

具体用数学来说,就是下面这一段话。

Definition 1: Renewal Process 设

为相邻两个点到达的时间,相互之间独立同分布,服从分布

,设

,那么

就是一个更新过程。

这里的

就和泊松过程里的

是一个意思。另外容易得到的是

这里的

表示

次卷积。学过概率论的一定明白我在说什么,不过即使你对卷积毫无概念,也不影响后面的理解

一个很有趣的例子就是之前经常讨论的马尔科夫链,假如说我们研究相邻两个状态

之间所满足的分布。那么不管从哪个

出发,到达下一个

中间经过的时间(当然在离散马尔科夫链中就是步数)所服从的分布一定都是相同的,否则就没有马尔科夫性了。下面这一张图表达了这个意思。

这一张图我们也在之前介绍马尔科夫链的时候给大家用过。

讲到这里其实最容易产生的疑问就是,一个一般的分布

所引出的更新过程,会有什么非常特殊或者可用的性质吗?研究起来,会不会难度太大?事实上因为这个推广的存在,对于更新过程的研究总是需要依赖一些更加一般,更加抽象的工具。有的时候相对泊松过程来说,也不是特别好理解。因此可能确实需要大家多一些耐心……

首先我们想先介绍一下在马尔科夫链中已经提到过的大数定律(Law of Large Numbers)。这个大数定律和概率论中的略有区别。

Theorem 4: Law of Large Numbers 设

,若

,那么有

这里的

是almost surely的意思,之前也已经提过两次了。

我们在之前证明大数定律(随机过程(3)——无限状态的平稳测度,返回时间,访问频率:几个定理的证明)的时候,就已经说了,一般这种极限会通过夹逼定理来完成。而一个很显然的结果是

所以简单来说,我们希望研究的就是

的极限情况,或者更一般的说,研究

的极限情况。

注意到

这里用到的就是概率论中,同分布情况下的强大数定律。所以我们有

。这个说明清楚之后,注意到

所以令

就可以了。

但是这个证明是不是万无一失的?有没有发现有一个条件

没用上?这个条件其实是用来保证

的。这个大家可能已经习以为常的结论,还需要额外保证?当然,因为你并不知道

是不是对的。

现在我们假如说

,那么这样的话,相当于说,存在一个

满足

。这样的话就有

这个必须要保证

,但是很明显这个是做不到的,因为这个情况至少要要求

,这和条件是矛盾的。

这个定理揭示了更新过程最基本的极限性质。

更新函数与更新方程

提出更新函数和更新方程的原因是,对于更新过程而言,其核心的性质自然就依赖于

这个函数。而更新函数和更新方程就是为了更好的去描述这么一个概念。

Definition 2: Renewal Function 定义

为更新函数。 Proposition 1: Renewal Equation 更新方程为

更新方程为什么可以写成那样,自然需要一些证明。这里的一个想法是,既然我们在研究

,那么不妨框定一个范围,只讨论一个

的情况。这是因为每一次到达之后,下一次就和上一次无关(每个

相互独立)了。

注意到

倒数第二个式子其实就是用到了重期望公式,我们希望考虑

的情况,所以自然要对

取个条件。

有了这个之后,注意到,可以得到

我们用到的,还是“马尔科夫性”(注意这里严格来说并不是马尔科夫性,我们用这个词,只是想简单的描述“前面与后面无关”这个含义)。虽然已经反反复复,但我们还是决定提醒大家仔细理解这一点,因为真的太重要了。

把这个式子代回,就可以得到最终的更新方程。这个代回的过程我们留给读者。

好的,来看一个计算的例子吧。

Problem 5: 若

,证明

首先根据均匀分布的公式,我们有

所以实际上的更新方程为

简单化简一下我们有

那么求导就可以得到

,结合

(这是根据

),根据基本常微分方程的求解,就可以得到

事实上读者可以自己发现,对于泊松过程,我们有

,而这是符合我们之前的认知的。

最后我们介绍一个后面也会用到,类似于大数定律的一个定理。这个定理我们不证明,原因在于它所依赖的工具比较高阶,对于《随机过程》这个系列来说没有太多了解的必要了。

Theorem 5: Elementary Renewal Theorem

说它“类似于”大数定律,是因为确实长得很像。但是注意不能使用控制收敛定理的证明方式,这是因为

如果使用控制收敛定理的话。原因也很简单,因为找不到一个函数

,使得

好的,那么关于更新过程的初步介绍,我们先说到这里。

小结

本节主要介绍了泊松过程的三大变换和更新过程的一些基本概念与性质。泊松过程的三大变换带来的一些应用很多时候也是有些反直觉的,其通过拆分得到的过程相互之间的独立性,以及取条件中得到的二项分布,都是泊松过程的亮点。更新过程作为泊松过程的拓展,在研究上具备更大的挑战,但我们到后面会发现,这样的一个拓展不仅仅是有必要的,也可以给我们带来研究问题的很多新的视角。

在下一节我们会开始研究更新奖赏过程,如果有空的话,会继续介绍排队模型,并引出排队论的一些定理与应用。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-12-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 学弱猹的精品小屋 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
随机过程(7)——更新奖赏过程:交替更新过程,生存与濒死时间,观察悖论
本节我们开始介绍更新过程中的更新奖赏过程,这是一个很有趣的更新过程的应用,也会占据很大的篇幅。
学弱猹
2021/08/10
1.4K0
随机过程(7)——更新奖赏过程:交替更新过程,生存与濒死时间,观察悖论
随机过程(9)——连续时间马尔科夫链的泊松过程描述,爆炸现象,离散马尔科夫链对比
上一节笔记:随机过程(8)——更新过程在排队论的两个应用,PASTA,连续时间马尔科夫链引入
学弱猹
2021/08/10
2.3K0
随机过程(9)——连续时间马尔科夫链的泊松过程描述,爆炸现象,离散马尔科夫链对比
随机过程(8)——更新过程在排队论的两个应用,PASTA,连续时间马尔科夫链引入
上一节笔记:随机过程(7)——更新奖赏过程:交替更新过程,生存与濒死时间,观察悖论
学弱猹
2021/08/10
1.1K0
随机过程(8)——更新过程在排队论的两个应用,PASTA,连续时间马尔科夫链引入
随机过程(E)——习题课(马尔科夫链-更新过程)
这一节开始我们进入习题课。我们会对于每一个部分的内容给出一些习题,并计划以计算题为主,证明题为辅。注意到在每一节的正文其实或多或少都有一些题目用于概念和性质的理解和应用,所以在这里我们挑选的题目不会特别简单,更多的是需要一些思考或计算的题目,这也是我一直写习题课保持的一个习惯。
学弱猹
2021/08/10
2K0
随机过程(E)——习题课(马尔科夫链-更新过程)
随机过程(5)——无限状态马尔科夫链的进一步探讨,泊松分布引入,复合泊松分布
这一节我们开始对无限状态马尔可夫链做进一步的介绍。无限状态马尔可夫链的性质和有限状态略有不同,因此在一些问题的分析上,需要更加小心和注意。如果还有空的话,会给大家介绍泊松分布的基本概念。
学弱猹
2021/08/10
1.9K0
随机过程(5)——无限状态马尔科夫链的进一步探讨,泊松分布引入,复合泊松分布
随机过程(A)——连续时间马尔科夫链的离出分布,到达时间。排队论模型与排队网络举例
上一节笔记:随机过程(9)——连续时间马尔科夫链的泊松过程描述,爆炸现象,离散马尔科夫链对比
学弱猹
2021/08/10
1.6K0
随机过程(A)——连续时间马尔科夫链的离出分布,到达时间。排队论模型与排队网络举例
随机过程(F)——习题课(连续时间马尔科夫链-布朗运动)
这是《随机过程》系列习题课的第二部分。这一部分我们会介绍从连续时间马尔科夫链到布朗运动的一些习题。这一部分的难度相对大一些,当然了,我们提供的习题也会稍微少一些。
学弱猹
2021/08/10
9250
随机过程(3)——无限状态的平稳测度,返回时间,访问频率:几个定理的证明
上一节笔记:随机过程(2)——极限状态的平稳分布与周期(上),一些特殊的马尔科夫链
学弱猹
2021/08/10
1.9K0
随机过程(3)——无限状态的平稳测度,返回时间,访问频率:几个定理的证明
随机过程(B)——鞅的引入,性质与举例。可选停时定理
上一节笔记:随机过程(A)——连续时间马尔科夫链的离出分布,到达时间。排队论模型与排队网络举例
学弱猹
2021/08/10
3.5K0
随机过程(B)——鞅的引入,性质与举例。可选停时定理
随机过程(D)——鞅的极限性质的应用,布朗运动概述
从这一节开始,我们结束上一节没说完的,关于鞅的极限性质的一个应用,然后就会正式开始介绍布朗运动(Brownian Motion)的相关概念。布朗运动在随机微分方程(Stochastic Differential Equations,SDE)内是一个非常重要的前置内容,但是考虑到难度和内容量,在这一部分我们不会对它做过多地展开。也就是说我们对布朗运动的介绍更多像是一个概述,在不重要的细节上会略有跳过。
学弱猹
2021/08/10
2.2K0
随机过程(D)——鞅的极限性质的应用,布朗运动概述
随机过程(4)——返回时间,访问频率定理应用,离出分布,离出时间
上一节笔记:随机过程(3)——无限状态的平稳测度,返回时间,访问频率:几个定理的证明
学弱猹
2021/08/10
1.1K0
随机过程(4)——返回时间,访问频率定理应用,离出分布,离出时间
随机过程(1)——引入,有限状态马尔科夫链,状态转移,常返与瞬时状态
大家好!这是一个全新的系列,我们会给大家介绍随机过程(Stochastic Process)相关的内容。
学弱猹
2021/08/10
2.4K0
随机过程(1)——引入,有限状态马尔科夫链,状态转移,常返与瞬时状态
随机过程(2)——极限状态的平稳分布与周期(上),一些特殊的马尔科夫链
这一节我们接着上一节的内容,继续介绍与状态分类有关的一些内容。包括上一节最后,利用图来划分状态的方法的解释。以及在这基础上,我们也会对极限状态进行一些探讨。
学弱猹
2021/08/10
2.2K0
随机过程(2)——极限状态的平稳分布与周期(上),一些特殊的马尔科夫链
随机过程(C)——可选停时定理的应用,鞅的不等式与收敛性证明
这一节我们继续对鞅相关内容的介绍。包括可选停时定理的应用,鞅的收敛性质等等。当然最开始,我们自然是要把上一节留下的一个遗留问题给解决了。
学弱猹
2021/08/10
1K0
随机过程(C)——可选停时定理的应用,鞅的不等式与收敛性证明
随机过程在数据科学和深度学习中有哪些应用?
(图源:https://www.europeanwomeninmaths.org/etfd/)
AI研习社
2019/08/20
6970
随机过程在数据科学和深度学习中有哪些应用?
【统计学家的故事】泊松定理、泊松公式、泊松方程、泊松分布、泊松过程的西莫恩·德尼·泊松
西莫恩·德尼·泊松(Simeon-Denis Poisson 1781~1840)法国数学家、几何学家和物理学家。1781年6月21日生于法国卢瓦雷省的皮蒂维耶,1840年4月25日卒于法国索镇。1798年入巴黎综合工科学校深造。受到拉普拉斯、拉格朗日的赏识。1800年毕业后留校任教,1802年任副教授,1806年任教授。1808年任法国经度局天文学家。1809年巴黎理学院成立,任该校数学教授。1812年当选为巴黎科学院院士。泊松的科学生涯开始于研究微分方程及其在摆的运动和声学理论中的应用。他工作的特色是应用数学方法研究各类物理问题,并由此得到数学上的发现。他对积分理论、行星运动理论、热物理、弹性理论、电磁理论、位势理论和概率论都有重要贡献。他还是19世纪概率统计领域里的卓越人物。他改进了概率论的运用方法,特别是用于统计方面的方法,建立了描述随机现象的一种概率分布──泊松分布。他推广了“大数定律”,并导出了在概率论与数理方程中有重要应用的泊松积分。
Ai学习的老章
2019/04/10
4.1K0
R语言小数定律的保险业应用:泊松分布模拟索赔次数
所谓的泊松分布(请参阅http://en.wikipedia.org/…)由SiméonPoisson于1837年进行了介绍。亚伯拉罕·德·莫伊夫(Abraham De Moivre)于1711年在De Mensura Sortis seu对其进行了定义。
拓端
2020/08/05
1.3K0
强化学习通俗理解系列一:马尔科夫奖赏过程MRP
本文写作目的:尽量通俗讲解强化学习知识,使读者不会被各种概念吓倒!本文是第一篇,但是最关键的一篇是第二篇马尔科夫决策过程(Markov Decision Process,MDP),只有充分理解了马尔科夫决策过程,才能游刃有余的学习后续知识,所以希望读者能够将MDP深入理解后再去学习后续内容。
机器学习算法工程师
2018/07/27
8910
强化学习通俗理解系列一:马尔科夫奖赏过程MRP
概率论整理(三)
一组独立同分布的随机变量:\(X_1,X_2,X_3,...,X_n\),期望μ,方差\(σ^2\),则这组随机变量的均值为
算法之名
2023/10/16
3080
概率论整理(三)
[机器学习算法]泊松回归
对因变量是离散型变量的问题建模时,普通的线性回归模型、定序回归模型和逻辑回归模型已经能解决我们大部分的需求。但有一类特殊的因变量记录某个特定事件出现的次数(有序的非负整数),它们被称之为“计数数据”。如果我们按照普通的线性回归模型建模:
TOMOCAT
2020/06/09
1.3K0
[机器学习算法]泊松回归
推荐阅读
随机过程(7)——更新奖赏过程:交替更新过程,生存与濒死时间,观察悖论
1.4K0
随机过程(9)——连续时间马尔科夫链的泊松过程描述,爆炸现象,离散马尔科夫链对比
2.3K0
随机过程(8)——更新过程在排队论的两个应用,PASTA,连续时间马尔科夫链引入
1.1K0
随机过程(E)——习题课(马尔科夫链-更新过程)
2K0
随机过程(5)——无限状态马尔科夫链的进一步探讨,泊松分布引入,复合泊松分布
1.9K0
随机过程(A)——连续时间马尔科夫链的离出分布,到达时间。排队论模型与排队网络举例
1.6K0
随机过程(F)——习题课(连续时间马尔科夫链-布朗运动)
9250
随机过程(3)——无限状态的平稳测度,返回时间,访问频率:几个定理的证明
1.9K0
随机过程(B)——鞅的引入,性质与举例。可选停时定理
3.5K0
随机过程(D)——鞅的极限性质的应用,布朗运动概述
2.2K0
随机过程(4)——返回时间,访问频率定理应用,离出分布,离出时间
1.1K0
随机过程(1)——引入,有限状态马尔科夫链,状态转移,常返与瞬时状态
2.4K0
随机过程(2)——极限状态的平稳分布与周期(上),一些特殊的马尔科夫链
2.2K0
随机过程(C)——可选停时定理的应用,鞅的不等式与收敛性证明
1K0
随机过程在数据科学和深度学习中有哪些应用?
6970
【统计学家的故事】泊松定理、泊松公式、泊松方程、泊松分布、泊松过程的西莫恩·德尼·泊松
4.1K0
R语言小数定律的保险业应用:泊松分布模拟索赔次数
1.3K0
强化学习通俗理解系列一:马尔科夫奖赏过程MRP
8910
概率论整理(三)
3080
[机器学习算法]泊松回归
1.3K0
相关推荐
随机过程(7)——更新奖赏过程:交替更新过程,生存与濒死时间,观察悖论
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档