假设在一个 D 维的目标搜索空间中，有 N 个粒子组成一个群落，其中第 i 个 粒子表示为一个 D 维的向量：
一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达
局部搜索是解决最优化问题的一种启发式算法。因为对于很多复杂的问题，求解最优解的时间可能是极其长的。因此诞生了各种启发式算法来退而求其次寻找次优解，局部搜索就是其中一种。它是一种近似算法（Approximate algorithms）。
基本思想： 根据提出的问题枚举所有可能状态，并用问题给定的条件检验哪些是需要的，哪些是不需要的，能使命题成立即为其解。
粒子群（PSO）算法最早是由美国电气工程师Eberhart和社会心理学家Kennedy在1995年基于群鸟觅食提出来的。
虽然之前做的很多篇启发式的算法都有跟大家提过局部搜索这个概念，为了加深大家的印象，在变邻域主角登场之前还是给大家科普一下相关概念。热热身嘛～
TSP问题（Traveling Salesman Problem）是一个组合优化问题。该问题可以被证明具有NPC计算复杂性。
遗传算法（Genetic Algorithm，GA）是进化计算的一部分，是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。该算法简单、通用，鲁棒性强，适于并行处理。
爬山算法即是模拟爬山的过程，随机选择一个位置爬山，每次朝着更高的方向移动，直到到达山顶，即每次都在临近的空间中选择最优解作为当前解，直到局部最优解。这样算法会陷入局部最优解，能否得到全局最优解取决于初始点的位置。初始点若选择在全局最优解附近，则就可能得到全局最优解。
感兴趣的话可以参考 算法竞赛、小白学DP(动态规划) 学习相关代码的具体实现(Java版)
问题分解为小问题后容易解决 问题可以分解为小问题，即最优子结构 分解后的小问题解可以合并为原问题的解 小问题之间互相独立
贪心法呢，虽然能在极短的时间内找到一个尚且过得去的解，但是呢，有时候求得的解是在是太low啦。
贪心算法 先来比较一下贪心算法和动态规划 贪心算法是指在对问题求解时，总是做出在当前看来是最好的选择，不考虑整体，只考虑局部最优，所以它不一定能得到最优解； 动态规划则是每个步骤都要进行一次选择，但选择通常要依赖子问题的解，所以它是考虑整体的，由于通常要依赖子问题的解，所以一般选自自底向上自带备忘的机制，所以一定是最优解； 最优子结构的概念 如果一个问题的解包含其子问题的最优解，则称该问题具有最优子结构，也就是求解大问题的解，是通过求解小问题取解决 如果理解了最优子结构，则会发现贪心算法和动态规划都
前 排 最近这个春节又快到了，虽然说什么有钱没钱回家过年。但也有部分小伙伴早已经备好了盘缠和干粮，准备在这个难得的假期来一场说走就走的旅行了。毕竟世界这么大我想去看看呵……等等，醒醒吧各位 但是，作为21世纪的新一代青年，即使咱穷，梦想还是要有的，对吧。那么，问题来了，如何用最少的钱，环绕中国各大城市走一波？咳咳，今天小编就是为解决此问题而来的。顺带提一波，最近天冷了。小编在这里给大家送上最真切的关心…… ＊ 内容提要： ＊旅行商问题介绍 ＊模拟退火算法 ＊旅行商问题的解决 我想用最少的钱环游中国一圈 01
粒子群优化(Particle Swarm Optimization, PSO)算法是Kennedy和Eberhart受人工生命研究结果的启发、通过模拟鸟群觅食过程中的迁徙和群聚行为而提出的一种基于群体智能的全局随机搜索算法，自然界中各种生物体均具有一定的群体行为，而人工生命的主要研究领域之一是探索自然界生物的群体行为，从而在计算机上构建其群体模型。自然界中的鸟群和鱼群的群体行为一直是科学家的研究兴趣，生物学家Craig Reynolds在1987年提出了一个非常有影响的鸟群聚集模型，在他的仿真中，每一个个体遵循：
分支限界算法是一种解决最优化问题的常用算法，其基本思想是将问题的解空间划分为一棵树，每个节点代表一个可能的解，从根节点开始搜索，搜索过程中根据约束条件和限界条件，逐步减小搜索空间，只保留可能成为最优解的子树。具体来说，分支限界算法有以下几个基本步骤：
免疫算法是受生物免疫系统的启发而推出的一种新型的智能搜索算法。它是一种确定性和随机性选择相结合并具有“勘探”与“开采”能力的启发式随机搜索算法。免疫算法将优化问题中待优化的问题对应免疫应答中的抗原，可行解对应抗体（B细胞），可行解质量对应免疫细胞与抗原的亲和度。如此则可以将优化问题的寻优过程与生物免疫系统识别抗原并实现抗体进化的过程对应起来，将生物免疫应答中的进化过程抽象成数学上的进化寻优过程，形成一种智能优化算法。它具有一般免疫系统的特征，采用群体搜索策略，通过迭代计算，最终以较大的概率得到问题的最优解。相对于其他算法，免疫算法利用自身产生多样性和维持机制的特点，保证了种群的多样性，克服了一般寻优过程（特别是多峰值的寻优过程）的不可避免的“早熟”问题，可以求得全局最优解。免疫算法具有自适应性、随机性、并行性、全局收敛性、种群多样性等优点。 1.2 算法操作步骤 （1）首先进行抗原识别，即理解待优化的问题，对问题进行可行性分析，提取先验知识，构造出合适的亲和度函数，并制定各种约束条件。 （2）然后初始化抗体群，通过编码把问题的可行解表示成解空间中的抗体，在解的空间内随机产生一个初始种群。 （3）对种群中的每一个可行解进行亲和度评价。（记忆单元的更新：将与抗原亲和性高的抗体加入到记忆单元，并用新加入的抗体取代与其亲和性最高的原有抗体（抗体和抗体的亲和性计算）） （4）判断是否满足算法终止条件；如果满足条件则终止算法寻优过程，输出计算结果；否则继续寻优运算。 （5）计算抗体浓度和激励度。（促进和抑制抗体的产生：计算每个抗体的期望值，抑制期望值低于阈值的抗体；可以知道与抗原间具有的亲和力越高，该抗体的克隆数目越高，其变异率也越低） （6）进行免疫处理，包括免疫选择、克隆、变异和克隆抑制。 免疫选择：根据种群中抗体的亲和度和浓度计算结果选择优质抗体，使其活化； 克隆：对活化的抗体进行克隆复制，得到若干副本； 变异：对克隆得到的副本进行变异操作，使其发生亲和度突变； 克隆抑制：对变异结果进行再选择，抑制亲和度低的抗体，保留亲和度高的变异结果。 （7）种群刷新，以随机生成的新抗体替代种群中激励度较低的抗体，形成新一代抗体，转步骤（3）。 免疫算法运算流程图
PSO（PSO——Particle Swarm Optimization）（基于种群的随机优化技术算法） 粒子群算法模仿昆虫、兽群、鸟群和鱼群等的群集行为，这些群体按照一种合作的方式寻找食物，群体中的每个成员通过学习它自身的经验和其他成员的经验来不断改变其搜索模式。 Kennedy和Eberhart提出粒子群算法的主要设计思想与两个方面的研究密切相关： 一是进化算法，粒子群算法和进化算法一样采用种群的方式进行搜索，这使得它可以同时搜索待优化目标函数解空间中的较多区域。 二是人工生命，即研究具有生命特征的人工系统，它采用的主要工具是计算机，主要方法是利用计算机编程模拟。 Millonas在用人工生命理论来研究群居动物的行为时，对于如何采用计算机构建具有合作行为的群集人工生命系统，提出了五条基本原则： （1）邻近原则（ProximityPrinciple）：群体应该能够执行简单的空间和时间运算。 （2）质量原则（Quality Principle）：群体应该能感受到周围环境中质量因素的变化，并对其产生响应。 （3）反应多样性原则（Principle ofDiverse Response）：群体不应将自己获取资源的途径限制在狭窄的范围之内。 （4）稳定性原则（Principle ofStability）：群体不应随着环境的每一次变化而改变自己的行为模式。 （5）适应性原则（Principle ofAdaptability）：当改变行为模式带来的回报是值得的时候，群体应该改变其行为模式。 其中4、5两条原则是同一个问题的两面。微粒群系统满足以上五条原则。 近十余年来，针对粒子群算法展开的研究很多，前国内外已有多人从多个方面对微粒群算法进行过综述；并出现了多本关于粒子群算法的专著和以粒子群算法为主要研究内容的博士论文。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
1.概念： 将一个难以直接解决的大问题，分割成一些规模较小的相同问题，以便各个击破，分而治之。
穷举法又称穷举搜索法，是一种在问题域的解空间中对所有可能的解穷举搜索，并根据条件选择最优解的方法的总称。数学上也把穷举法称为枚举法，就是在一个由有限个元素构成的集合中，把所有元素一一枚举研究的方法。
1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。 (2) 为什么要做特征选择 在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果： 特征个数越多，分析特征、训练模型所需的时间就越长。 特征个数越多，容易引
粒子群优化算法(PSO)是一种进化计算技术(evolutionary computation)，1995 年由Eberhart 博士和kennedy 博士提出，源于对鸟群捕食的行为研究 。该算法最初是受到飞鸟集群活动的规律性启发，进而利用群体智能建立的一个简化模型。粒子群算法在对动物集群活动行为观察基础上，利用群体中的个体对信息的共享使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得最优解。
爬山算法从当前的节点开始，和周围的邻居节点的值进行比较。 如果当前节点是最大的，那么返回当前节点，作为最大值 (既山峰最高点)；反之就用最高的邻居节点来，替换当前节点，从而实现向山峰的高处攀爬的目的。如此循环直到达到最高点。因为不是全面搜索，所以结果可能不是最佳。
设「S={x1, x2, … , xn}」 是有序集， 且「x1 < x2 < … < xn」, 表示有序集S的二叉搜索树利用二叉树的结点存储有序集中的元素。
优化技术是一种以数学为基础，用于求解各种工程问题优化解的应用技术。归纳而言，最优化问题分为函数优化问题和组合优化问题两大类，其中函数优化的对象是一定区间的连续变量，而组合优化的对象则是解空间中的离散状态。
今天向大家推荐并介绍一篇文章，这篇文章解决的是禁忌搜索算法应用在仿真优化问题时所面临的预算分配问题。文章的作者为同济大学机械与能源工程学院的余春龙助理教授，蒙特利尔大学数学与工业工程学院的Nadia Lahrichi教授，以及米兰理工大学机械工程学院的Andrea Matta教授。
直接或间接地调用自身的算法称为递归算法。 递归是算法设计与分析中经常使用的一种技术，描写叙述简单且易于理解。
粒子群算法，顾名思义是仿生一大堆粒子的整体行为的一种启发式算法，谈到粒子群算法就不得不提到模拟鸟类群集行为的Boid模型
✨分治法的基本思想✨ 将一个规模为 n 的问题分解为 k 个规模较小的子问题，这些子问题互相独立且与原问题相同。递归地解这些子问题，然后将各个子问题的解合并得到原问题的解。
启发式搜索是一种常用于解决路径规划和优化问题的算法，而 A *算法是其中的一种经典方法。本篇博客将深入探讨启发式搜索的原理，介绍 A *算法的工作方式，以及如何在 Python 中实现它。每一行代码都将有详细的注释，以帮助你理解算法的实现。
自适应大邻域搜索算法（Adaptive Large Neighborhood Search），简称（ALNS），是由Ropke与Pisinger在2006年提出的一种启发式方法，其在邻域搜索的基础上增加了对算子的作用效果的衡量，使算法能够自动选择好的算子对解进行破坏与修复，从而有一定几率得到更好的解。
特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。
摘要 现有的启发式搜索算法不能在找到完整的解决方案之前采取行动，所以它们不适用于实时应用。因此我们提出了一种极大极小前向搜索（minimax lookahead search）的特殊情况来处理这一问题，还提出了一种能显著提升该算法的效率的类似于 α-β 剪枝的算法。此外，我们还提出了一种名为 Real-Time-A* 的新算法，该算法能用在动作必须被确实执行而不仅仅是模拟时来进行搜索。最后，我们检查了计算和执行成本之间的权衡的性质。 1.简介 启发式搜索是人工智能领域一个基础的问题解决方法。对于大多数AI问
转载自： https://www.codelast.com/原创信赖域trust-region算法是怎么一回事/
优化问题一般可分为两大类：无约束优化问题和约束优化问题，约束优化问题又可分为含等式约束优化问题和含不等式约束优化问题。
1.把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。
粒子群算法的发展过程。粒子群优化算法（Partical Swarm Optimization PSO），粒子群中的每一个粒子都代表一个问题的可能解，通过粒子个体的简单行为，群体内的信息交互实现问题求解的智能性．由于PSO操作简单、收敛速度快，因此在函数优化、 图像处理、大地测量等众多领域都得到了广泛的应用. 随着应用范围的扩大，PSO算法存在早熟收敛、维数灾难、易于陷入局部极值等问题需要解决，主要有以下几种发展方向。
虽然，深度学习在近几年发展迅速。 但是，关于如何才能设计出最优的卷积神经网络架构这个问题仍在处于探索阶段。
最近在刷算法题目，突然重新思考一下大二时学习的算法分析与设计课程，发现当时没有学习明白，只是记住了几个特定的几个题型；现在重新回归的时候，上升到了方法学上了；感觉到了温故知新的感觉；以下总结自童咏昕老师的算法设计与分析课程和韩军老师的算法分析与设计课程；当我们遇到一个问题的时候，我们先想出一个简单的方法，可以之后再在这个方法的基础上进行优化；
算法，是计算机科学领域的灵魂，是解决问题的重要工具。在算法的世界里，有着各种各样的种类和特性。今天，我将带各位踏上一段探索算法种类的旅程，分享一些常见的算法种类，并给出相应的实践和案例分析。希望通过本文的介绍，能够帮助您更好地理解和应用这些算法，提高解决问题的能力。请您抽出宝贵的时间，与我一同探索这个充满魅力和挑战的算法世界。
目录 01 局部搜索再次科普 02 变邻域搜索 03 造轮子写代码 字数 1936 字 时间 预计10分钟 01 局部搜索科普三连 虽然之前做的很多篇启发式算法都有跟大家提过局部搜索(local search)这个概念，为了加深大家的印象，在变邻域主角登场之前还是给大家科普一下相关概念。热热身嘛～ 1.1 局部搜索是什么玩意儿？ 官方一点：局部搜索是解决优化问题的一种启发式算法。对于某些计算起来非常复杂的优化问题，比如各种NP-难问题，要找到最优解需要的时间随问题规模呈指数增长，因此诞生了各种启发式算法
看了五大常用算法之一这篇博文，感觉理解了很多，可是纯粹都是理论，缺少一些示例，所以准备综合一篇博文，以帮助自己记忆，原文：
蚁群算法是一种基于自组织的优化方法，在文档管理软件中，它可以应用于优化网络资源的分配和利用，具有以下优势：
周日的下午，微信simplemain，老王又来找大伙儿聊技术了~~ 今天想跟大家聊的，是我们经常用到，但是却让大家觉得十分神秘的那个算法：A* 。 想必大家都玩儿过对战类的游戏，老王读书那会儿，中午吃
读者朋友大家好！我是过冷水，最近在学习的过程中遇到极值寻优问题，觉得寻优问题是很多人关注的一个知识点，于是就准备开一个新的连载和大家一起来解决极值寻优过程中遇到的问题。
粒子群算法的发展过程。粒子群优化算法（Partical Swarm Optimization PSO），粒子群中的每一个粒子都代表一个问题的可能解，通过粒子个体的简单行为，群体内的信息交互实现问题求解的智能性。由于PSO操作简单、收敛速度快，因此在函数优化、 图像处理、大地测量等众多领域都得到了广泛的应用。 随着应用范围的扩大，PSO算法存在早熟收敛、维数灾难、易于陷入局部极值等问题需要解决，主要有以下几种发展方向。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
