我国智能驾驶车辆起源于1980年，然而在1992年国防科技大学研发真正第一辆智能车。2003年，清华大学研发的THMR-V可在清晰的车道线上完成车道保持，而且它的最高时速可达到150km/h，如图1所示。
技术解析是由美团点评无人配送部技术团队主笔，每期发布一篇无人配送领域相关技术解析或应用实例，本期为您带来的是无人车横向控制解读
“ 精英人才培养计划是一项校企联合人才培养项目，入选学生将受到业界顶尖技术团队与高校导师的联合指导及培养。培养期间，学生将获得3个月以上到访腾讯开展科研访问的机会，基于真实产业问题及海量数据，验证学术理论、加速成果应用转化、开阔研究视野。同时项目组将引进沟通技巧、商业分析、创新思维等定制课程，定期举办线上线下交流活动，全面提升学生综合素质。入选学生还将获得线上实名社群平台“十分精英圈”的在线访问权限，结识志同道合的科研伙伴，获取业界信息及资源。 ” 今年共有10大方向 81个子课题供大家选择 总有一
选自arXiv 作者：Sergey Levine 机器之心编译 参与：张倩、刘晓坤 虽然强化学习问题的一般形式可以有效地推理不确定性，但强化学习和概率推断的联系并不是很明显。在本文中，UC Berkeley EECS 助理教授 Sergey Levine 提出了一种新的概率模型和理论框架，证明了强化学习的一般形式即最大熵强化学习与概率推断的等价性。在原则上，将问题形式化为概率推断，可以应用多种近似推断工具，将模型以灵活、强大的方式进行扩展。 概率图模型（PGM）为机器学习研究者提供了一种广泛适用的工具（K
车辆控制是自动驾驶汽车、车联网和自动化汽车中最关键的挑战之一，在车辆安全、乘客舒适性、运输效率和节能方面至关重要。本次调查试图对车辆控制技术的现状进行全面彻底的概述，重点关注从微观层面的车辆状态估计和轨迹跟踪控制到宏观层面的CAV协同控制的演变。首先从车辆关键状态估计开始，特别是车辆侧滑角，这是车辆轨迹控制的最关键状态，以讨论具有代表性的方法。然后提出了用于AVs的符号车辆轨迹跟踪控制方法。除此之外，还进一步审查了CAV的协作控制框架和相应的应用程序。最后对未来的研究方向和挑战进行了讨论。本次调查旨在深入了解AVs和CAV车辆控制的最新技术，确定关键的重点领域，并指出进一步探索的潜在领域。
2018：Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
本文的主要内容参考了Kajita等人2003年的论文，Biped Walking Pattern Generation by using Preview control of Zero-Moment Point 以及《仿人机器人》一书，算法的代码已开源，详见文末链接。
自动驾驶的“大脑”——控制工程篇（一） 中国人工智能系列白皮书 -智能驾驶2017 中国人工智能系列白皮书 --智能交通2017（附报告pdf下载） 一文带你看懂自动驾驶 给自动驾驶一双"通天眼"——环境感知器篇 自动驾驶的“大脑”——决策规划篇 ▌智能汽车控制架构设计 ---- 智能驾驶汽车通过搭载先进的车载传感器、控制器和数据处理器、执行机构等装置，借助车联网和 V2X 等现代移动通信与网络技术实现交通参与物彼此间信息的互换与共享，从而具备在复杂行驶环境下的传感感知、决策规划、控制执行等功能，以实现安
生物学可信深度学习 (BPDL) 是神经科学与机器学习交叉领域中的一个活跃研究课题，主要研究如何利用在大脑中可实现的「学习规则」来训练深度神经网络。
建立的系统动力学模型必须按照控制的要求进行简化以便为控制系统的设计提供设计模型。大致可以划分为被动控制和主动控制两大类。
---- 新智元报道 来源：专知 【新智元导读】MIT科学家Dimitri P. Bertsekas在ASU开设了2022《强化学习》课程，讲述了强化学习一系列主题。Dimitri 的专著《强化学习与最优控制》，是一本探讨人工智能与最优控制的共同边界的著作。 本课程将聚焦于强化学习(RL)，这是人工智能目前非常活跃的一个分支领域，并将有选择性地讨论一些基于近似动态规划(DP)方法的算法主题。 逼近值和策略空间，近似策略迭代，推出（策略迭代的一种一次性形式），模型预测控制，多智能体方法，挑战组合优化
中国自动化学会围绕「深度与宽度强化学习」这一主题，在中科院自动化所成功举办第 5 期智能自动化学科前沿讲习班。
本文提出了一个有争议的问题：最优控制理论对于理解运动行为有用还是误导？随着人们开始将运动控制和感知的内部模型混为一谈，这个问题变得越来越尖锐（Poeppel 等，2008；Hickok 等，2011）。然而，运动控制中的前向模型并不是感知推理中使用的生成模型。本视角试图强调运动控制和感知的内部模型之间的差异，并询问最优控制是否是思考事物的正确方式。这里考虑的问题可能对最优决策理论和贝叶斯学习和行为方法产生更广泛的影响。
强化学习在人工智能领域的「扬名立万」，始于2016年DeepMind开发的Alpha Go在围棋竞赛中战胜人类世界冠军李世石。
还记得波士顿动力那些灵活的机器人么，避障碍爬楼梯甚至送快递，在各种地形随意穿梭。
知乎专栏：https://zhuanlan.zhihu.com/p/260707853
LQR (linear quadratic regulator)即线性二次型调节器
Apollo 中横向控制的LQR控制算法在Latcontroller..cc 中实现
首先观看→https://www.youtube.com/watch?v=KcJJOI2TYJA 问题:快速和安全的运动规划 实时自主的运动规划和导航是很困难的，尤其前提是在是否具备安全性的时候。当出
选自BAIR 作者：Andrea Bajcsy 机器之心编译 参与：Nurhachu Null、刘晓坤 可交互机器人通常将人类干预当成干扰，在干预撤除后随即恢复原来的轨迹，像弹簧一样执拗，无法根据人类偏好优化动作。伯克利近日开发出可交互学习的机器人系统，以类似强化学习的范式（目标函数不确定），能根据人类干预对自身轨迹进行修正，以最大化奖励，从而可以实时学习人类偏好。 人类每天都在进行彼此间的物理交互—从某人快要撒掉饮料时扶住他/她的手到将你的朋友推到正确的方向，身体上的物理互动是一种用来传达个人喜好和如何正
一、工业机器人控制系统所要达到的功能 机器人控制系统是机器人的重要组成部分，用于对操作机的控制，以完成特定的工作任务，其基本功能如下： 1、记忆功能：存储作业顺序、运动路径、运动方式、运动速度和与生产工艺有关的信息。 2、示教功能：离线编程，在线示教，间接示教。在线示教包括示教盒和导引示教两种。 3、与外围设备联系功能：输入和输出接口、通信接口、网络接口、同步接口。 4、坐标设置功能：有关节、绝对、工具、用户自定义四种坐标系。 5、人机接口：示教盒、操作面板、显示屏。 6、传感器接口：位置检测、视觉、触觉、
本文介绍了用于机器人和自动化系统的加速和保证安全的方法和设备。具体来说，它涉及用于生成和验证机器人和自动化系统轨迹的算法和技术，以确保它们在存在不确定性和扰动的情况下安全且高效地执行任务。这些方法包括使用强化学习来训练规划器，以便在具有挑战性的环境中进行实时决策，并使用自适应控制技术来确保系统轨迹的准确性和安全性。本文还讨论了这些方法在实际应用中的可能应用，包括用于机器人和自动化系统的控制和导航，以及用于其他领域，如机器人视觉和控制、无人机的导航和无线通信等。
推荐理由：此前已有EfficientNet[1]等工作使用神经架构搜索(NAS)方法对卷积神经网络(CNN)的整体规模（深度，宽度，分辨率）进行探究。这次，作者专门针对CNN中卷积层的通道数开刀，用基于进化算法的NAS算法探究控制网络参数量不变的情况下如何更好地分配网络各层的通道数。作者的实验结果表明，使用本文的NAS算法搜索改进后的分类网络在CIFAR-10和CIFAR-100数据集上可分别达到约0.5%和2.33%的准确率提升。
自动驾驶的“大脑”——决策规划篇 中国人工智能系列白皮书-智能驾驶2017 ▌决策规划技术概述 ---- 智能汽车 ( Intelligent Vehicles) 是智能交通系统(Intelligent Transportation Systems) 的重要组成部分。智能汽车根据传感器输入的各种参数等生成期望的路径，并将相应的控制量提供给后续的控制器。所以决策规划是一项重要的研究内容，决定了车辆在行驶过程中车辆能否顺畅、准确得完成各种驾驶行为。 决策规划是自动驾驶的关键部分之一，它首先融合多传感信
来源：专知本文为书籍介绍，建议阅读5分钟基于模型的强化学习探索了一种全面而实用的强化学习方法。 强化学习是机器学习的一种基本范式，其中智能体执行动作以确保设备的最佳行为。虽然这种机器学习范式近年来获得了巨大的成功和普及，但之前的学术要么专注于理论最优控制和动态规划，要么专注于算法，其中大多数是基于仿真的。 https://www.wiley.com/en-us/Model+Based+Reinforcement+Learning%3A+From+Data+to+Continuous+Actions+wit
1、一般的最优化问题要最小化的性能指标定义在数域上，而变分问题的性能指标（目标泛函）的定义域是函数的集合。
工业机器人由主体、驱动系统和控制系统三个基本部分组成。 主体即机座和执行机构，包括臂部、腕部和手部，有的机器人还有行走机构。大多数工业机器人有3～6个运动自由度，其中腕部通常有1～3个运动自由度。 驱
paper：Deriving time-averaged active inference from control principles
随着腾讯云业务的全球扩张，越来越多的海外节点在陆续的建立起来，跨海，跨洲的长距离传输也越来越成为业务的常态（像直播视频云业务就有海外主播国内乃至全球观看的业务形态）。这种远距离的数据传输，拥有长的RTT(Round Trip Time往返时间)和高的带宽，管道容量（BDP，即Bandwidth和RTT的乘积）大，被称作长肥管道。传统的TCP应用于网络不稳定的长肥管道，传输效率不高，已越来越不能满足业务稳定高速传输的苛刻要求。本文分析了长肥管道存在的问题，并提出了解决此问题的一个思路。
在强化学习（六）时序差分在线控制算法SARSA中我们讨论了时序差分的在线控制算法SARSA，而另一类时序差分的离线控制算法还没有讨论，因此本文我们关注于时序差分离线控制算法，主要是经典的Q-Learning算法。
本次演讲来自Demux-SF Video Technology July 2020，主讲者是Facebook的软件工程师Nitin Garg，介绍了怎样通过更好的拥塞控制进行更有效的传输，进而提高视频质量。
实时自主运动和导航是很难的，特别是当我们关心安全性时。当我们的动力系统复杂，以及外部干扰（如风）和先验条件未知时，这变得更加困难。我们在这项工作中的目标是为了保证“鲁棒性“实时运动系统在动态系统导航过程中的安全。
倒立摆是一个开环不稳定的强非线性系统，其控制策略与杂技运动员顶杆平衡表演的技巧有异曲同工之处，目的在于使得摆杆处于临界稳定状态，是进行控制理论研究的典型实验平台。20世纪50年代，麻省理工学院的控制论专家根据火箭助推器原理设计出了第一套倒立摆实验设备，开启了最初的相关研究工作。倒立摆的种类丰富多样，按照其结构可将其分为：直线倒立摆、环形倒立摆以及平面倒立摆等，按照摆杆级数又可将其分为：一级、二级甚至三级等。
本文提出的方法RB-Modulation（Reference-Based Modulation）是一种训练自由的个性化扩散模型技术。以下是该方法的详细细节：
【新智元导读】本文来自 ICML 2017 的 tutorial，主题是深度学习应用中的决策和控制问题，介绍了与强化学习相关的强化和最优控制的基础理论，以及将深度学习扩展到决策和控制中的一些最新成果，包括基于模型的算法，模仿学习和逆向强化学习，探索当前深度强化学习算法的前沿和局限性。 完整PPT下载：https://sites.google.com/view/icml17deeprl 将“神通广大”的神经网络模型与简单可扩展的训练算法结合在一起的深度学习对包括计算机视觉，语音识别和自然语言处理在内的一系列监
令人怀疑的是，动物是否有完美的肢体逆模型(例如，要到达空间中的特定位置，每个关节必须进行什么样的肌肉收缩)。然而，在机器人控制中，将手臂的末端执行器移动到目标位置或沿着目标轨迹移动需要精确的正向和反向模型。在这里，我们表明，通过从交互中学习转换(向前)模型，我们可以使用它来驱动分期偿还策略的学习。因此，我们重新考虑了与深度主动推理框架相关的策略优化，并描述了一种模块化神经网络架构，该架构同时从预测误差和随机策略中学习系统动态，该随机策略生成合适的连续控制命令以到达期望的参考位置。我们通过将该模型与线性二次型调节器的基线进行比较来评估该模型，并总结了向类人运动控制迈进的额外步骤。
20 世纪，控制论、系统论、信息论，对工业产生了颠覆性的影响。继 2011 年深度学习在物体检测上超越传统方法以来，深度学习在识别传感（包含语音识别、物体识别），自然语言处理领域里产生了颠覆性的影响。最近在信息论里，深度学习也产生了重要影响。使用深度学习可以对不同形式编码的信息进行自动解码。如今，深度学习再次影响控制论，传统控制论往往是模型驱动算法，需要设计复杂的模型和控制方案，而以数据驱动为核心的深度学习用作控制领域的春天即将到来，这将推动数十万亿的工业、服务业的进一步升级。通过深度学习控制，可以让机器人，能源，交通等行业效率显著提升。例如，使用深度学习进行智能楼宇控制，可以节约大楼 20% 的能耗，传统的控制需要多名专家 2 年的时间建立一个楼宇模型，深度学习可以利用楼宇历史数据在一天内得到超越传统方法的模型；在机器人控制和强化学习领域里，相比传统控制方法，本文提出的方法可以节约 80% 以上的运算时间并且提升 10% 以上的控制准确度。
求此泛函极值即为经典变分原理。另一方面，求极值也可看做是最优控制，即二次优化问题。经典变分原理只能解决一类简单的最优控制问题,因为它只能在无约束条件下是有效的。而实际上更多的是属于有约束的一类最优控制问题。对于力学中的一些问题,如弹塑性分析、接触问题分析等,经典变分法在处理这类问题时将会受到一定的限制，需要借助参变量变分原理，注意和广义变分原理的区别。
机器之心发布 机器之心编辑部 近日，百度强化学习团队发布了四足机器人控制上的最新研究进展，采用自进化的步态生成器与强化学习联合训练，从零开始学习并掌握多种运动步态，一套算法解决包括独木桥、跳隔板、钻洞穴等多种场景控制难题。百度已开源全部仿真环境和训练代码，并公开相关论文。 足式机器人的控制一直是机器人控制领域的研究热点，因为相比于常见的轮式机器人，足式机器人可以像人类一样灵活地跨越障碍，极大地扩展机器人的活动边界。波士顿动力（Boston Dynamics）此前对外发布了其商用的第一款四足机器人 Spot
The Intelligent Driving Laboratory (iDLAB) is a part of the School of Vehicle and Mobility (SVM) at Tsinghua University. This lab focuses on advanced automatic control and machine learning algorithms, and their applications on autonomous driving, connected vehicles, driver assistance and driver behavior analysis, etc. Our research interests are loosely divided into four categories: (1) Perception, decision and control for autonomous vehicles and driver assistance systems; (2) Reinforcement learning and optimal control; (3) Distributed estimation, learning and control; and (4) Large-scale optimization and control of eco-automation and electrified powertrain. We have achieved a series of important research results and peer-reviewed publications publicly available through this website.
尽管被认为在神经生物学上是合理的，但主动推理在用于模拟复杂环境中的智能行为时面临困难，这是由于它的计算成本和为主体指定合适的目标分布的困难。本文介绍了两种协同工作来解决这些限制的解决方案。首先，我们提出了一种新的有限时间范围的规划算法，具有非常低的计算复杂度。其次，受控制理论文献中Z-learning的启发，我们简化了为新的和现有的主动推理规划方案设置适当目标分布的过程。我们的第一种方法利用动态规划算法，以其计算效率而闻名，通过贝尔曼最优性原则最小化规划中使用的成本函数。因此，我们的算法以相反的时间顺序粗略地评估了动作的期望自由能。这将计算效率提高了几个数量级，并允许精确的模型学习和规划，即使在不确定的条件下。我们的方法简化了规划过程，即使只指定代理的最终目标状态，也能显示有意义的行为。与定义时间通知的目标分布的更复杂的任务相比，所提出的解决方案使得从目标状态定义目标分布变得简单。这些方法的有效性通过在标准网格世界任务中的模拟进行了测试和演示。这些进步为各种应用创造了新的机会。
一直以来非常陌生但却被知乎在最优化神坛上奉为圭臬的一个方法就是变分法，也成为了一大批数学类专业学生分析解决问题的利器，下面我将用比较简单的话术来解释这个比较抽象又比较实用的方法，一步步推导至揭开它的神秘面纱
导语：TCP拥塞控制不仅仅是网络层的概念，可以将其归属于控制论的范畴。在TCP的演进过程中，出现了很多优秀的思想和算法，以实现网络传输过程中，在公平竞争性的前提下，尽可能地利用带宽资源。本文介绍TCP发展过程中出现的几种拥塞控制算法，并着重介绍BBR的原理。
随着应用场景的日益复杂，机器人对旨在生成无碰撞路径（轨迹）的自主运动规划技术的需求也变得更加迫切。虽然目前已产生了大量适应于不同场景的规划算法，但如何妥善地对现有成果进行归类，并分析不同方法间的优劣异同仍是需要深入思考的问题。以此为切入点，首先，阐释运动规划的基本内涵及经典算法的关键步骤；其次，针对实时性与解路径（轨迹）品质间的矛盾，以是否考虑微分约束为标准，有层次地总结了现有的算法加速策略；最后，面向不确定性（即传感器不确定性、未来状态不确定性和环境不确定性）下的规划和智能规划提出的新需求，对运动规划领域的最新成果和发展方向进行了评述，以期为后续研究提供有益的参考。
IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 在学者的眼中，未来的工业自动化很大程度上需要人类与机器人进行高效率的协作。然而，由于环境的复杂度和人类动作的随机性，机器人系统与机器学习算法的设计一直面临很大挑战。伯克利人工智能研究所（BAIR）近日撰文介绍了旗下机械系统控制实验室（MSC）开发的安全机器人交互系统，可以显著减少人机协作过程中问题的发生几率。 工厂机器人的实用化 现代工厂中的主要劳动力是人类和机器人。出于安全考虑，工厂通常会将机器人限制在金属笼中，以将人类和机器人分开，然
在自动驾驶行业的经典控制方案中，横向控制与纵向控制的求解是模型解耦的独立算法。这种“横纵分离”的控制方案虽然可行，但显然不符合人类的驾驶方式，也不符合横向、纵向紧密联系这一客观事实。本文介绍了一种横纵一体的无人车控制实现方案，在描述车辆横纵耦合、考虑横纵联合约束、统筹横纵跟踪性能方面更具优势。
选自BAIR Blog 作者：Changliu Liu、Masayoshi Tomizuka 机器之心编译 参与：李诗萌、李泽南 在学者的眼中，未来的工业自动化很大程度上需要人类与机器人进行高效率的协作。然而，由于环境的复杂度和人类动作的随机性，机器人系统与机器学习算法的设计一直面临很大挑战。伯克利人工智能研究所（BAIR）近日撰文介绍了旗下机械系统控制实验室（MSC）开发的安全机器人交互系统，可以显著减少人机协作过程中问题的发生几率。 工厂机器人的实用化 现代工厂中的主要劳动力是人类和机器人。出于安全考虑
丰色 Alex 发自 凹非寺 量子位 | 公众号 QbitAI 机器狗会中国功夫是一种什么体验？ 且看下面这只黑白狗，直接就是一个花式过梅花桩： 瞧这单桩跳：腾空一跃，四脚稳稳落在前方小圆盘上，连个趔趄都没打。 当然，站立和起身作揖这样的传统技能也不在话下。虽然是在桩子上，但狗子完全能控制好力道不至于摔跤。 更别提下桩时，它还会耍一个完美的前空翻，稳稳落地结束表演。 真狗都很难做到吧～ 如此身轻如燕的狗子很快就吸引了一波关注。 有人就表示希望再做大一点，这样就能当坐骑了。（话说见过骑狗的吗） 还有网
这是TCP/IP协议栈系列的第三篇文章，之前的一篇面试热点|理解TCP/IP传输层拥塞控制算法讲述了传统的拥塞控制算法基本原理，今天一起来学习下最新Linux内核中增加的拥塞控制算法：TCP BBR算法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
