上一节笔记:随机过程(C)——可选停时定理的应用,鞅的不等式与收敛性证明
————————————————————————————————————
大家好!
从这一节开始,我们结束上一节没说完的,关于鞅的极限性质的一个应用,然后就会正式开始介绍布朗运动(Brownian Motion)的相关概念。布朗运动在随机微分方程(Stochastic Differential Equations,SDE)内是一个非常重要的前置内容,但是考虑到难度和内容量,在这一部分我们不会对它做过多地展开。也就是说我们对布朗运动的介绍更多像是一个概述,在不重要的细节上会略有跳过。
那么我们开始吧。
波利亚之瓮(Polya's Urn)的例子和概率论里的波利亚球的例子是同源的。不过在那里我们介绍的是条件概率的计算和应用,而这里我们主要是来介绍它关于鞅的一个例子。
Example 1: Polya's Urn 考虑一个波利亚的瓮,一开始的时候,瓮里有
个球,它们中间有红球有蓝球,但是保证这
个球里至少有1个红球和1个蓝球。每一次的时候,都会等概率的从中取出一个球,放回之后,再放进这一个颜色的一个球,使得总数变成
个。定义
是红球的占比,那么极限情况下,
服从什么样的分布?
既然这是一个关于鞅的例子,那么很自然的我们要说明
是一个鞅。注意到
这个计算是考虑到在第
步的时候,取到红球(概率为
)和取到蓝球(概率为
)的情况,然后分别做了一个讨论。如果它是一个鞅,我们上一节有说过,就是它的极限是存在的。当然如果极限不存在,这个问题本身也就站不住脚了,毕竟我们问的就是“极限情况下”的
的表现。
这个问题讨论起来不是很容易,我们只考虑最简单的情况,也就是一开始整个瓮只有一个红球和一个蓝球的情况,也就是
。这个时候,首先我们可以知道的是,
对应的是瓮里有
个球的情况,所以这样的话,我们就希望讨论,这个时候有
个红球的概率是多少?
如果一开始有1个红球,那么相当于这
步操作中,一共有
次抽到了红球。但是这里要注意的是,虽然这里的
步操作中,在哪
次抽到红球我们完全不知道,但是大家如果计算一下就会发现,不管是哪一个情况,对应的概率都是
这个如果想清楚逻辑了就是一个非常显然的事情,这里我们画一张
的示意图,读者可以借这张图,思考一下这个结论为什么成立?
这样之后,我们就能知道
这就相当于说,每一个离散点的概率都是相同的,因此极限状态下这就是一个均匀分布(因为相当于把
区间等分成了
份,然后令
)。这也就说明了
。
当然了,直观上也确实是一个比较显然的事情,因为一开始就是一个公平的情况,中间等概率也挺公平的,那么算到最后得到一个“公平的”均匀分布,也不是很让人意外。
读者感兴趣其实也可以计算1个红球和2个蓝球的情况,这个时候对应的极限状态下的分布函数为
。
好的,关于鞅的内容,我们就写到这里。
欢迎来到现实世界!现实世界就是这么让人摸不着头脑!
正如上面所说,布朗运动(Brownian Motion,又叫维纳过程,Weiner Process)是一种连续情况下的随机过程,它确实已经很像一些现实生活中的随机现象了。比方说花粉飘在水上的时候所移动的轨迹就是一种布朗运动。
回到正题。布朗运动的严格定义如下。
Definition 1: Brownian Motion 如果
满足 (1)
(2)
具备独立增量,也就是说
,都有
独立。 (3)
具备平稳增量,也就是说
。 则称其是一个方差为
的布朗运动。
当然如果
,那么就称它是标准布朗运动。我们后面所说的
,如果没有特殊说明,或者没有标清楚方差,都是标准布朗运动。
可以看出,其实它和泊松过程是非常相似的,区别就在于离散和连续。所以它也可以理解为是一个马尔科夫链。
当然了,还有一些其它的性质,这里简单叙述。
Proposition 1: 布朗运动是一个连续时间鞅。
这里“连续时间鞅”的意思就是
。这个很容易验证,注意到
一个比较好直观理解布朗运动的方式是把它理解为一种随机游走的极限。具体来说,设
那么有一个性质就是
,这里
就是布朗运动的意思,使用中心极限定理,设
可以看出来这一点。下面这张图说明了这一点。
左边是一个
所画出来的图,这里
可以取正负1且概率相同。右边是一个实际的布朗运动的描述图,可以看出,两张图还是具有很强的相似度的。
布朗运动与正态分布的紧密联系就暗示了联合概率和条件概率必然会被拿出来说,毕竟多元正态分布在多元统计,回归分析里面都是重中之重的知识点。
联合概率和条件概率的性质,大概可以描述为下面几个
Proposition 2: 设
是多元布朗运动,每一个
都是一个那么它是一个多元正态分布,概率密度为
,并且均值为0,
。
这里友情提醒一下,
。
对应的就是布朗运动中的
。
这个看似是一个很复杂的问题,但是如果利用上增量独立性,就十分显然。注意到
这相当于一个变量代换
那么很容易看出来,Jacobi行列式
是一个三角阵,所以计算行列式就是把对应的对角线元素相乘,也就是
。而写到这里,其实就已经够了,因为增量相互之间独立,所以可以把这个联合密度函数拆开。这其实就对应上了之前密度上所对应的连乘积,这一部分就交给读者完成了。
事实上,通过这个密度函数的分量独立性就应该知道,我们推导
也肯定是利用独立性,而不是通过密度函数的直接计算。事实上,不妨设
,那么我们有
(这是因为
),事实上,如果设
,那么对应的协方差就是
,所以最终可以得到
。
说完联合概率密度,再来看看条件概率。
Proposition 3: 设
,那么
,
第二个结论挺简单的,第一个结论却不太显然,我们仔细看一下。
对于第二个结论,因为
,所以老样子,利用独立性,有
当然这里的方差是由
带来的,
作为了条件,所以是一个常量。
对于
,其实根据结论我们可以反推一下,它的均值是
,所以一个很重要的想法是做一个裂项
这个裂项自然是为了把一个“常数”
分离出来。
之后的做法其实也很相似了,就是利用增量的独立性,但这里的独立性不太显然。我们补一个小结论
Lemma 1: 当
的时候,有
和
相互独立。
这里要注意到的是,虽然这两个我们说是布朗运动,但同时它们也只是两个正态分布。所以要说明独立性,只需要说明协方差为0就可以,这是概率论里提到过的,正态分布独特的特性。
注意到
所以这就得到结论了。
有了这个独立性之后,我们知道
所以这个条件概率我们也可以得到。
关于这个裂项是怎么考虑到的,下面这一张图有一个大致的解释。
所以这个结论倒也不算是灵光乍现出来的,画张图可以看出,还是与一些几何图像有一定的关联的。一个
到直线的纵轴距离,确实应该和
没啥关系。不过这不太严格,就当个辅助理解就好了。
说“简单”的含义是,遇到分析的东西,就妥妥的逃不开纯数的魔爪了(希望学pure math的不要打我……)。因此这里我们只介绍一些直观的结论,而不会介绍其背后的证明。
第一个性质与它的连续性有关系。
Proposition 4: 布朗运动满足
,这里
。
看似看不明白啥意思,但是如果取
,这个结论就可以推导出可导性。但是很明显的一个事情是,这个完全也可以推导出连续性,因此结合在一起,其实相当于说,布朗运动所形成的曲线是一条连续的曲线,但是处处不可导。一个好的例子就是威尔斯特拉斯曲线,这一条曲线也具备这样的性质。
事实上,这里的
可以理解为是一种光滑性的衡量,这里它“处处连续但不可导”,其实就暗示了布朗运动的曲线崎岖,不光滑的特性。
第二个性质依然和连续性有关系,但是是站在实分析角度上去说的。如果没有学过实分析,可以跳过这里。
Proposition 5: 布朗运动具有有限的二阶变差,但是一阶变差并不有限。
这个结论也不难看出来,注意到
所以自然这是一个有限的数,这里的求和相当于把
这一段时间做了划分,划分成了一串区间,然后再令区间的最大长度
趋于0。因为是实分析的细节,这里不着墨太多。
那么为什么一阶变差是无限的呢?其实也不难,注意到
求和就是变差,但是注意到
,所以变差必须是一个无限的数,否则乘在一起就是0了。
学过实分析的就知道,这个性质其实就说明了布朗运动的不可导的性质。
因为我们这里是“布朗运动概述”,所以这里只是列一下这些性质。
Proposition 6: 设
是一个布朗运动,那么 (1)
是一个方差为
的布朗运动。 (2)
是一个方差为
的布朗运动。 (3)
是一个布朗运动。 (4)
是一个布朗运动。 (5)
对于
是一个布朗运动。 (6)
是一个布朗运动 (7) 设
是一个停时,那么
是一个布朗运动。
这些性质要验证都不算困难,除了第7个性质直观来看不是很显然。这里我们画一张图。
可以看出,相当于取了一个
,这之前和之后的曲线,相当于是沿着
的横轴做了一个反射变换。至于为什么要选择一个停时,主要的原因在于停时的信息只会依赖到这个时间之前的。也就是说如果
只是一个常数,那肯定不会有问题,但如果
是一个随机变量,那么这个时候只要保证它不会影响到之后的增量性质,那么反射之后得到的东西就依然还是一个布朗运动。
我们到后面会看到,这个性质可以为证明一些布朗运动特有的数量性质提供非常有趣的解法。当然如果有人要问为什么之后的一段看起来并不像是对称的,我只能说,你手画一个布朗运动试试……
这一部分会相对硬核一些。大白话来说,就是关注布朗运动究竟会移动到哪里,毕竟如果只是单纯的理解它的离散情况(一个随机游走过程),那么似乎一个直观的感觉是,布朗运动不会跑的过远。这些想法合理吗?这一部分可能没办法特别好的回答,但是介绍的性质,其实也算是很有趣的一些小结论。
第一个性质衡量的是布朗运动最远能够跑到的距离对应的概率。
Proposition 7:
(这里个人认为
和
的差距不大,因为布朗运动是连续的。不过这里我是抄的书上的定理,就没改了)
这个性质事实上说明了,在
这一段时间内,其最大值
的概率,恰好是最后一个时间上,最大值
的概率的两倍,相当于说一段时间的结果可以直接被最后一个点给预测出来。
这个证明有两个思路,但我们其实都会利用到停时
,那么这样的话,就会有
那么这样的话,就有
这就证明结论了。
第一个等号是因为,如果
,那么一定会有
,相当于对于一个事件
来说,我添加了一个条件事件
,但是它是
的子集。概率论告诉我们,这个时候对应的概率是不变的。
第二个要注意的点是,
本质上就是一个均值为
的正态分布,所以密度函数是一个偶函数,因此
。
还有一个证明方法其实就是利用之前的结论,可以注意到
这里的思路其实也是根据已有的结论,活生生的造出一些式子(分
的取值讨论)。然后注意到
是一个常数,当然也就是一个停时,所以用
作为
的一个反射(对应Proposition 6的第7个),它依然还是一个布朗运动。这样的话,注意到反射之前和反射之后,在停时这个点的随机变量情况是一致的,所以结合连续性,就可以得到最后的结论。
下一个结论关注的是布朗运动过程中的零点特性。
Proposition 8: 设
,则
这个性质相当于说,给定一个时间点
,那么它之前出现零点的最晚的时刻
的概率是可以计算出来的,并且是一个反三角函数。
这个结论就不是很好证明了,涉及到复杂的推理和计算,不希望的话,可以跳过这一部分细节。
因为
并不是一个停时(因为最后一个零点出现的位置很明显会受制于这个时间之后的信息)。但也正是因为如此,可以给我提供一个转换的思路。换句话说,就是
这里
。它依然还是一个布朗运动。之后的换元自然就是设
,这里做这样的一个拆分,本质上还是希望利用增量独立性。
拆分完之后,下一个点自然是希望利用独立性。这里的
其实也就是
的意思,而这一步实质上在说,
在时间
之前都不会超过
。那么如果利用上之前定义的停时
,实际上的意思就是
当然了在这之后,独立性保证了我们还是可以把这个式子拆分看来,只是现在我们只需要把
看作某一个变量。这样的话,接着上面写,就有
这里的
是首达时间,也是一个布朗运动,并且有
。
因为现在的随机变量未知数只剩下一个
,而它是一个布朗运动,所以也可以拆分成一个概率密度函数的微积分,因此之后就是一个纯的微积分计算问题。注意到
最后一个式子就是一个变量交换顺序和一个换元
。到最后一个式子之后,根据微积分换元
,就有
其实中间都是高等数学里经常锻炼的微积分换元计算,最后一个就是一个简单的反三角函数变换。当然了,整个这一个计算的过程绝对不是容易的事情,读者如果希望练习计算,也可以拿着个性质的证明来练练手。
最后,我们来看看这个性质蕴含着什么样与布朗运动有关的特性。首先容易发现我们这里推导的是一个
的分布函数,那么求导可以得到
可以看出它是一个关于
对称的密度函数,也就是说事实上,固定
,一个布朗运动最容易出现零点的位置就是
这两个边缘的点,而不是中间。
第二个,注意到如果设
,那么可以得到
这就说明了
,而且可以立刻看出来一点就是布朗运动必然会有无数个零点,因为取一个
就可以找到一个零点
,那么下一次只需要取一个比
小的数,就可以得到一个新的比
小的零点。一直往下,因为实数稠密且无穷多,因此一定可以无限进行下去。
我们以这一部分结束对布朗运动的介绍。虽然关于布朗运动还有更多与分析有关的性质和其它的有趣的定义,但碍于字数和难度,我们就不在这一个系列展开了。
因为布朗运动本身也具备鞅的性质,因此也可以利用可选停时定理得到一些其它的结论。
先来看看离出分布的。
Proposition 9: 设
,那么有
,
这里的
定义可以看上面,就是第一次到达
的时间。
这个证明非常简单,如果仔细阅读了上一节的话。注意到
是一个停时,那么我们有
解一下这个方程组就可以了。
这个性质其实也可以昭显一些布朗运动的性质,即
,说明布朗运动具有常返性。
另外,实际上还可以得到
这说明布朗运动是可以到达无穷状态的。这也一定程度上回答了我们在这一部分一开头提出的问题,即虽然布朗运动看上去是一种反复横跳的情况,但是它也完全有可能趋于无穷。
这个结论还有更加严格的说法,不过证明我们就略过了。
Proposition 10:
再来看看离出时间的。
Proposition 11: 设
,
,那么
。
这个证明也不难,考虑到
是一个鞅,我们有
所以有
结合之前算出来的两个概率,我们就可以得到这个结论。
事实上,这个性质也说明了一点就是
,因此结合之前得到的常返性,我们可以发现布朗运动对应的常返性,实质上是一种零常返。这与第5节(随机过程(5)——无限状态马尔科夫链的进一步探讨,泊松分布引入,复合泊松分布)对应的随机游走的理论性质是一致的。
事实上,如果是2维的布朗运动,零常返性还是成立的,但是到3维的情况就不再成立了。因此假如在一个立方体内模拟一个布朗运动,这就是我们的现实世界了,杂乱无章,并且也不会有什么“均值回复”的现象发生了。
好的,关于布朗运动,我们就介绍到这里。
这一节我们介绍的是鞅的极限性质的一个应用,再往后则是分门别类的介绍了一些布朗运动的定义,分析性质,概率性质,数量性质,并且其实也利用可选停时定理,得到了它的常返性。事实上布朗运动的性质远不止这些,只是一般来说,以布朗运动为基础的随机微积分,会被单独拉出来开成另外一节课了。在这里,作为概述,相信也已经说得够多了hh。
下一节我们进入习题课,对之前的一些内容提供对应的习题。希望帮助大家更好的理解和熟悉之前的正文内容。