良心之作，附录中也知识满满-《Global Optimization-A Stochastic Approach》

作 者：Schäffler, Stefan

出版商：Springer; 2013

索书号：O224 /S296 /E

小编又要对不起大家了，关于作者小编只能找到这一点信息，虽然小编访问了作者学校的网站，但是都是德语，翻译软件翻译的也看不懂！

Schäffler, Stefan是慕尼黑联邦国防军大学的教授，他的主要研究方向是有约束和无约束的全局最优化，随机扰动分析，随机微分的理论及其应用和向量优化的随机方法。小编要是翻译错了，还请大家能原谅，还好书是应英语写的。

当今社会，许多工程的核心问题最终都归结为优化问题。最优化已经成为工程技术人员必不可少的计算工具。在计算机已经广为普及的今天，一些大规模的优化问题的求解可以在一台普通的计算机上实现，使得最优化方法得到了比以往任何时候都更加广泛的应用。当今的世界中，随着数据量的不断增加，需要解决前所未有的大规模优化问题。许多现代的优化算法虽然在一定的规模下表现出很好的效率，但是对于大规模的问题就不太适用，随机优化也就应运而生。虽然小编是优化专业的学生，但是对于随机优化还是一个新手。小编本科毕业的时候以为再也不用学概率论了，就拿书换了辣条，现在好后悔！

在正式开始之前，我们先复习一下以前的知识。传统的经典优化算法有最速下降法（也成为梯度下降法），牛顿法，共轭梯度法等。我们用一个简单的例子介绍一下随机优化是怎样工作的。假设我们要最小化目标函数f(x)，当前迭代点为，最速下降法是以负梯度方向为搜索方向，得到下一个迭代点为当前步的步长。而随机搜索则是按照某种分布随机选取n个独立同分布的点，然后选j，使得对任意的都成立，以作为下一个迭代点。这就是本书第一章讲的随机搜索。随机搜索的方法非常灵活，除了分布可以自由选择以外，下一步迭代点也是可以自由选择的，但是宗旨是保证目标函数下降。

本书第二章主要讲述无约束局部最优化。主要讲了最速下降曲线以及数值分析。我们知道在无约束全局最优化中，负梯度方向是下降（或上升）方向，若目标函数是凸的，则梯度为零的点是最优解。对于局部最优化问题，作者得到了一个类似的结论，相知道是什么吗？不给吃的我不说！

全局优化的处理开始于第三章，在这一章作者讨论的是无约束优化问题。基于布朗运动，得到了一个合适的最速下降曲线，并由此得到一类新的非确定性的全局最优化算法。这类算法适用于很多不同种类的目标函数，而且其效率并不依赖于给定优化问题的。作者用大量的数值实例证明了这一点。对于传统的优化算法，优化问题维数越大，需要的存储量以及计算时间都会相应增大，能够做到计算效率不依赖于问题的维数是非常不容的。这么高效的方法，你不想学吗？

小编前段时间读了一篇随机优化的论文，一直不能理解。假设我们的目标函数是n个可微函数的和，当n非常大的时候，每一步计算梯度的工作量就很大，随机梯度法就是在n个函数中随机选取一个或者几个计算梯度，利用它来求解下一个迭代点。可以证明这个算法是依概率收敛的。小编一直不能理解这个算法，直到看过这本书。本书第四章讲述第三章算法的一个应用。好的算法并不一定适用于所有的问题，只要能将某个问题解决得又快又好就OK了！第四章的应用主要是数字计算中高维解码问题，作者用具体的例子证明了第三章中算法的有效性！

本书第五章讲述的是有约束全局最优化。最先讲述的是等式约束，并提出了投影梯度法，同时也给出了投影梯度的随机曲线。紧接着，作者讲述了罚函数方法，即利用罚因子，将有约束问题转化为无约束问题，然后再利用无约束优化问题的算法来求解。

本书最大的特点是处理的问题和处理问题的方法都是最新的。本书从大规模问题入手，所有的方法都用不同的例子来说明，算法的例子来源于数学、运筹学、工程学和经济学等学科。用生产生活中的例子，不但说明了本书方法的实用性，同时还便于读者理解本书中的方法。并且作者还给出了实用的数值算法和算法分析。直接看代码对小编来说无异于看天书，但是本书的作者非常贴心，每一章节的代码都先给出分析过程，这样看起来就容易多了。另外算法分析也会加深读者对算法的理解，便于读者找到算法的优缺点。本书自成体系，提出了新的解决大规模问题的随机优化算法，引入了一些新的约束和无约束随机优化问题的概念。另外，本书还提供了世界各地最近或者正在进行的科学研究的信息。大数据已经热了很多年了，也会持续热下去，本书不但处理大数据这个热点问题，而且方法也是最新的！小编都想买买买了！

初读本书，小编就觉得作者是非常贴心的人。本书第二大特点是所有需要用到的知识都在附录中给出。当初小编看到全局优化的时候还是很开心的，但是翻阅过后就有一点忧伤，因为小编的概率论的书籍都换辣条了。还好作者贴心，本书的附录给出了概率论基础知识，伪随机数和白噪声分布的介绍。读者不要借助其他的书籍和资料，就可以将本书的知识看懂，当然是在读者有一定的优化知识的基础之上。大家应该都有这样的体会，在接触一个新的领域的时候，查资料会花费很多的时间，小编的这些时间都花在了不知道去哪里查资料上了。看这本书就容易多了，因为不懂的，需要查阅的都在附录中。如此贴心的设计，如此新颖的算法，有没有心动呢？

章节目录

前言

第一章全局最优化随机方法的简介

1.1随机搜索

1.2自适应搜索

1.3马尔科夫算法

1.4人口算法

第二章无约束局部优化

2.1最速下降曲线

2.2数值分析

第三章无约束全局最优化

3.1最速下降的随机曲线

3.2数值分析

3.3半隐式欧拉算法

3.4梯度近似的欧拉算法

第四章应用：通讯工程中的最优译码

4.1信道编码

4.2译码

第五章有约束全局最优化

5.1简介

5.2罚函数方法

5.3等式约束

5.4一般情况

第六章向量最优化

6.1简介

6.2控制点曲线

6.3控制点的随机曲线

6.4欧拉方法

6.5约束

附录A：概率论基础知识

附录B：伪随机数

附录C：白噪声分布

参考文献

索引