- 综合排序
- 最热优先
- 最新优先
机器人AI感知系统构建技术解析
机器人AI感知系统的构建挑战在2022年6月某中心re:MARS会议上，机器人AI软件开发经理Bhavana Chandrashekhar发表了题为“如何构建AI驱动的机器人感知系统”的演讲。 该演讲聚焦于智能机器人的构建过程，并以部署在某中心部分履约中心的AI机器人Robin为例进行说明。核心主题演讲重点讨论了为机器人操纵构建AI驱动系统所面临的挑战。 关键要点理解操纵中的感知挑战机器人系统级行为的特点洞察某中心解决的机器人规模问题技术架构特点Robin机器人采用先进的感知系统，能够从自身错误中检测和学习，使其能够在生产规模下从杂乱包裹中挑选单个物品。 该系统整合了以下技术要素：感知技术：处理包裹操纵中的视觉识别问题机器学习框架：实现持续学习能力深度学习模型：处理复杂场景下的物品识别系统级集成：将感知与操纵动作无缝结合行业影响该技术不仅适用于物流和仓储领域 系统设计的可扩展性使其能够处理某中心级别的操作规模需求。本文内容基于2022年re:MARS会议技术演讲整理，聚焦机器人感知系统的技术实现细节。
17600编辑于 2025-09-13- 来自专栏一点人工一点智能
机器人视觉听觉融合的感知操作系统
作者：王业飞，葛泉波，刘华平，等 来源：智能系统学报 编辑：东岸因为@一点人工一点智能 原文地址：机器人视觉听觉融合的感知操作系统 摘要：智能机器人面对复杂环境的操作能力一直是机器人应用领域研究的前沿问题 因此本文构建了一种基于视觉和听觉融合的机器人感知操作系统，该系统利用深度学习算法的模型实现了机器人的视觉感知和听觉感知，捕获自然语言操作指令和场景信息用于机器人的视觉定位，并为此收集了12类的声音信号数据用于音频识别 在此基础上，文献[24-25]增加了触觉传感器，采集了不同材质的电压值信息作为触觉感知，构建了一个触觉和听觉融合的机器人分类系统，大大提高了机器人的工作能力。 整个系统要求机器人能够正确地理解给定的指令，并且结合指示表达定位目标从而实现相应的操作。 本系统的架构主要分为3个模块，分别是视觉语言感知模块、音频感知模块以及机器人操作模块。 02 机器人视听模型 对于不同的感知模块，利用深度学习算法设计相应的网络构建整个系统。本文的模型分为指示表达模型、音频分类模型以及机器人的操作模型。
88130编辑于 2023-04-10 - 来自专栏ATYUN订阅号
AI机器人感知系统可以通过触摸物体来识别物体
受到触摸力量的启发，加州大学伯克利分校的科学家设计了一种机器人感知框架，主要依靠触觉而不是视觉。 在卡内基梅隆大学研究人员和其他人发表的工作基础上，他们着手设计一个AI系统，能够识别物理观察结果是否与特定物体相对应。 我们的感知本质上是多模式的：当我们看到一个柔软的玩具时，我们会想象手指感觉到触摸柔软的表面，当我们感受到剪刀的边缘时，我们可以在脑海中想象它们，包括形状，粗糙度和比例，在这项工作中，我们研究了机器人操纵器如何学习类似的多模态关联 在测试中，AI系统能够在64.3％的时间内准确地从触觉中推断出物体的身份，包括在训练期间没有遇到的物体。 尽管如此，他们认为这是迈向感知系统可以像人类一样从触摸中识别物体的第一步。
1K10发布于 2019-05-13 - 来自专栏Python联盟
Python态势感知系统
一、开发 一个基于linux的态势感知系统，基于python和flask框架开发，项目文件目录如下： admin -核心算法 charts -图表生成 model -类 app.py -主文件
1.3K20编辑于 2023-02-27 - 来自专栏机器视觉工坊
无人驾驶系统-感知
聚焦无人驾驶行业动态，引领智能汽车科技创新 环境感知确保了无人车对环境的理解和把握，无人驾驶系统的环境感知部分通常需要获取周围环境的大量信息，具体来说包括：障碍物的位置，速度以及可能的行为，可行驶的区域 无人车通常是通过融合激光雷达（Lidar），相机（Camera），毫米波雷达（Millimeter Wave Radar）等多种传感器的数据来获取这些信息，本节我们主要介绍一下激光雷达和摄像机在无人驾驶感知中的应用 激光雷达因其可靠性目前仍是无人驾驶系统中最重要的传感器，然而，在现实使用中，激光雷达并不是完美的，往往存在点云过于稀疏，甚至丢失部分点的问题，对于不规则的物体表面，使用激光雷达很难辨别其模式，在诸如大雨天气这类情况下 对于反射点稀疏的目标（比如说行人），基于点云的分类并不可靠，所以在实践中，我们往往融合激光雷达和相机传感器，利用相机的高分辨率来对目标进行分类，利用Lidar的可靠性对障碍物检测和测距，融合两者的优点完成环境感知 在无人驾驶系统中，我们通常使用摄像机作为图像视觉传感器来完成道路的检测和道路上目标的检测。
75330发布于 2020-07-28 - 来自专栏AI系统
【AI系统】感知量化训练 QAT
本文将会介绍感知量化训练（QAT）流程，这是一种在训练期间模拟量化操作的方法，用于减少将神经网络模型从 FP32 精度量化到 INT8 时的精度损失。 感知量化训练流程 传统的训练后量化将模型从 FP32 量化到 INT8 精度时会产生较大的数值精度损失。 感知量化训练（Aware Quantization Training）通过在训练期间模拟量化操作，可以最大限度地减少量化带来的精度损失。 感知量化实践 感知量化训练的技巧 从已校准的表现最佳的 PTQ 模型开始 与其从未训练或随机初始化的模型开始感知量化训练，不如从已校准的 PTQ 模型开始，这样能为 QAT 提供更好的起点。 在大多数情况下，一旦应用感知量化训练，量化推理精度几乎与浮点精度完全相同。然而，在 QAT 中重新训练模型的计算成本可能是数百个 epoch。
83210编辑于 2024-12-06 - 来自专栏机器视觉工坊
无人驾驶感知系统介绍
聚焦无人驾驶行业动态，引领智能汽车科技创新 无人驾驶-感知传感器包括：摄像头、激光雷达、毫米波雷达、超声波雷达。 无人驾驶感知传感器 ? 1、摄像头 摄像头可分为数字摄像头和模拟摄像头两大类。 2、激光雷达 激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统。激光雷达是激光技术与现代光电探测技术结合的先进探测方式,由发射系统、接收系统 、信息处理等部分组成。 激光雷达(LIDAR)是一种集激光，全球定位系统(GPS)和惯性导航系统(INS)三种技术与一身的系统，用于获得数据并生成精确的地面数字高程模型(DEM)。 LIDAR系统的精确度除了激光本身因素，还取决于激光、GPS及惯性测量单元(IMU)三者同步等内在因素。 车载激光雷达又称车载三维激光扫描仪，是一种移动型三维激光扫描系统。
1.7K20发布于 2020-07-28 - 来自专栏机器人网
科普：机器人依靠什么感官来感知世界？
那么你可知道，机器人是依靠什么感官来感知世界，与我们互动的？它们有“眼睛”、“鼻子”、“耳朵”吗？本文为大家盘点几种机器人常用的传感器及其功能。 ? 用于避障的传感器 避障可以说是各种机器人最基本的功能，不然机器人一走动就碰到花花草草就不好了。机器人并不一定要通过视觉感知自己前方是否有障碍物，它们也可以通过触觉或像蝙蝠那样通过声波感知。 图5 夏普GP2D12 红外测距传感器 这种传感器的优点是体积小，测量准确，电源电压与输出信号都较常规，一般单片机系统都可直接使用，缺点是成本较高，购买途径较少。 用于测量速度的传感器 机器人自身的行走速度对于判断机器人运动状态和机器人所在位置非常重要，这里我们主要讨论一下对机器人小车运动速度的测量。 用于检测地面灰度的传感器 很多人最开始做的机器人的基本功能就是循线，白色的地板上贴着一条黑线，让机器人沿着地面的黑线前进。很多机器人高手都是从制作类似的作品成长起来的。
86150发布于 2018-04-20 - 来自专栏一点人工一点智能
智能汽车车身感知系统详解
转载自：钛祺汽车 原文地址：智能汽车车身感知系统详解 本文主要针对车身感知定位系统进行介绍，车身感知主要是感知车辆位置、行驶速度、姿态方位等信息，下文分别介了绍惯性导航、卫星导航系统和高精度地图三种主要的定位技术的发展情况 惯性导航系统是车身感知定位系统的信息融合中心，具有不可替代的作用。 07 “GNSS+IMU+高精度地图”组成多融合车身感知定位系统 车身感知定位系统主要由惯性导航、卫星导航系统和高精度地图组成。 高精度是车身感知定位系统的核心。车身感知定位系统的关键是高精度，定位精度越高，自动驾驶的可靠性越高。 第一，高精度的车身感知定位系统能够不受极端天气和环境等因素的干扰，能持续稳定地提供的车道级位置感知；第二，不同的传感器有不同的工作时钟和延迟，高精度车身感知定位系统能够实现感知信息的时空同步；第三，高精度的车身感知定位系统可以在较少资源下获得较高的定位精度
1.4K30编辑于 2023-03-08 - 来自专栏机器人课程与技术
ROS1云课→24机器人感知配置
接着： ROS1云课→22机器人轨迹跟踪 ---- 以真实和仿真机器人共性知识点展开。 机器人配置包含哪些模块呢？？？ 各部件如何组织？ 导航功能包集需要知道传感器、轮轴和关节的位置。 得益于tf软件库，使得可以向机器人添加更多的传感器和组件，tf会为处理这些设备之间的关系。 time_increment float32 scan_time float32 range_min float32 range_max float32[] ranges float32[] intensities 这是感知外部障碍物的重要传感器 里程信息指的是机器人相对于某一点的距离。 uint8 radiation_type float32 field_of_view float32 min_range float32 max_range float32 range ---- stdr感知配置一般就这样了
36310编辑于 2022-09-30 - 来自专栏机器人课程与技术
机器人感知-视觉部分（Robotic Perception-Vision Section）
15:00 -- 15:15 茶歇交流活动 15:15 -- 17:00 机器人感知 —— 视觉部分 PDF下载 视频链接 张瑞雷 易科机器人实验室 移动机器人全地形自主导航 PDF下载 和人工智能最紧密的是语音交互和视觉系统，其他包括，压力触觉感知，气味辨别及一些IMU姿态传感器等。 ? 02-分享主要为4部8节。不讲述具体实现的细节，但给出相关资源链接。 ? 这里，需要理解二维空间，二维时空，三维空间，三维时空等，机器人视觉系统如果不仅能看到当下，还能看到将来能到达的区域，就可以解决这类问题，自然中的生物，感知范围都远大于控制范围，除此之外，还需注意传感器的布局 14-视觉系统的组成，感知+主控+控制等。 这里推荐NASA的火星车开源项目：https://github.com/nasa-jpl/open-source-rover ? 25-对于是否使用ROS，使用ROS进行机器人视觉系统的设计，这里借用苏轼的一首诗。
2.2K21发布于 2019-01-23 - 来自专栏用户8653471的专栏
服务机器人核心技术之环境感知技术
环境感知是机器人技术体系实现的基础和前提条件，传感器是机器人感知环境及自身状态的窗口 ◆ 环境感知技术作为机器人系统不可或缺的一部分，与智能机器人的地图构建、运动控制等功能息息相关。 一旦机器人失去感知能力将无法帮助人们完成具体工作任务，因此它是机器人的“感知+运控+交互”技术体系融合发展的基础和前提条件。 ◆ 机器人的感知功能通常需要通过各类传感器来实现。 借助传感器，机器人能够及时感知自身和外部环境的参数变化，为控制和决策系统做出适当响应提供数据参考。 激光雷达是基于光和激光的距离传感器，用于获取精确位置信息，在机器人的感知系统中占据核心位置 ◆ 激光雷达是一种用于获取精确位置信息的传感器，可以确定物体的位置、大小等，由发射系统、接收系统及信息处理三部分组成 相较于其他类型的传感器，激光雷达在精度和探测人体的稳定性方面能力十分突出，因此在机器人的感知系统中占据核心位置。 image.png
1.5K10发布于 2021-08-11 - 来自专栏RTMP推送
机器人视频感知架构深度解析：7条技术法则，打造低延迟实时感知与交互
在这一轮深度洗牌中，机器人公司比拼的已不再是表面的AI算法演示，而是底层系统架构的工程实力。其中，一个决定产品能否真正走出实验室、走进工厂、仓库、商超，甚至家庭的关键因素，就是实时感知与视频交互链路。 行业现状：从算法PK到系统博弈早期的机器人创业公司，几乎都把重点放在AI算法精度上，宣传PPT里动辄是“感知识别准确率 99%”“路径规划精度厘米级”。 原因在于，机器人是一套高度复杂的“系统工程”，AI只是大脑，真正的神经系统，是底层的数据链路。 这正是为什么，我们在总结行业经验后，提出了**“机器人公司 7 条技术生存法则”**，帮助企业在设计感知和控制链路时建立系统性思维。 法则三：三大核心性能指标——质量、吞吐量、稳健性机器人系统的感知链路，必须满足三个指标： 质量（Quality）：1080p甚至4K画质，细节清晰，方便AI目标检测。
23410编辑于 2025-08-27 - 来自专栏喔家ArchiSelf
感知人工智能操作系统
从设备复杂性的维度来看，大体可以分为可分为智能卡操作系统、实时操作系统、传感器操作系统、嵌入式操作系统、个人微机操作系统、多处理器操作系统、网络操作系统和大型操作系统等等。 什么是人工智能操作系统？ 回到主题，什么是人工智能操作系统呢？首先，它是一个操作系统，应该具有操作系统的相关功能。那人工智能操作系统是具备了人工智能能力还是提供了人工智能能力的操作系统呢？ 个人觉得，大概是提供并具备人工智能能力的操作系统。 人工智能操作系统应具有通用操作系统所具备的功能，并且包括语音识别、机器视觉、执行系统和认知行为系统。 具体的来说大概包含以下子系统：文件系统、进程管理、进程间通讯、内存管理、网络通讯、安全机制、驱动程序、用户界面、语音识别子系统、机器视觉子系统、执行子系统、认知子系统等等。 ? 不同维度的操作系统，如果具备并提供了人工智能的能力，大概都可以被认为人工智能操作系统，而不仅仅局限在机器人的领域。 现如今，有没有人工智能操作系统供我们使用呢？
1.7K20发布于 2019-03-11 - 来自专栏机器人技术与系统Robot
多模感知：机器人灵巧手位置传感器
机器人的传感器分为内部传感器和外部传感器，一般来说，机器人的内部传感器用于感知自身的状态，机器人可以知道自身在任意时刻的位置、速度和驱动力等信息，机器人的外部传感器用于感知外部的状态信息，如距离，交互力 在当今社会，机电一体化设备除了关键的机械元器件，驱动原理，高精度和高可靠性传感器是机电系统的重要元器件。传感器的性能将决定系统的实际性能。 而位置传感器作为自动控制系统的重要元件得到了迅速的发展。 一般光电式位置测量系统由光学系统、位敏元件、前置电路、数据处理等部分构成，有的系统还有反馈执行元件。 一般说来， PSD位置测量系统比较简单，具有很好的抗杂光干扰能力和较小的位置温度系数，以及高精度、低噪声的优点，但是由于光学系统工艺要求高，不仅价格昂贵，易受振动影响，而且系统的集成度很低。
2.3K2012发布于 2021-03-17 - 来自专栏机器人网
技术猿 | 借力MEMS 机器人全面进入感知时代
另一个应用是设计精致小巧的可穿戴式机器人系统，甚至用于内窥镜检查医疗应用的可吞咽机器人胶囊（见图2）。 ? （图2：对于空间受限的应用，规格较小的芯片或内置了微控制器的芯片最适用。 协同作用 在传感器系统设计中，下一步是借助您能够并且应该拥有的所有“感官”，来实现机器人性能目标。这通常被称为传感器融合，支持传感器系统利用各个传感器的优势生成更准确的数据和更好的产品设计。 在机器人周围添加了耦合了气动带的压力传感器后，此系统拥有两个不同的传感信息源，可提高“碰撞事件”检测的精度。 更加融合 图像识别是另一项伟大技术，可帮助自主机器人导航并避开障碍物。 将视频图像处理信息与距离和速度雷达数据相结合，可帮助智能导航算法计算出更精确的数据，并更好地构建机器人周围环境的3D地图。 雷达系统主要为自动应用而设计，也可轻松应用于其它系统。 高性能射频工艺、设计专业知识，再加上数字波束赋形技术和信号处理算法，使雷达系统能够满足高容量汽车和机器人应用的尺寸和成本要求。
91060发布于 2018-04-13 - 来自专栏机器之心
全球首个人形机器人通用视觉感知系统，Humanoid Occupancy建立多模态环境理解新范式
这直接造成机器人在实际应用中频繁出现感知失效问题，严重制约了任务执行效率。 为此，北京人形机器人创新中心推出 Humanoid Occupancy 感知系统，为破解这一行业难题提供了革命性方案。 该系统通过创新性融合多模态传感器信息，构建起基于语义占用 (occupancy) 表征的通用感知框架，能够精准捕捉环境中的语义属性与几何特征，为机器人的任务规划和导航决策奠定坚实基础，也为人形机器人向实际场景大规模部署迈出了关键的一步 三大关键技术，构建完整感知体系 Humanoid Occupancy 系统构建了一套覆盖硬件布局、数据集构建及多模态融合网络设计的全链条解决方案，为人形机器人提供了通用化的感知技术路线。 推动人形机器人迈向通用化感知时代 Humanoid Occupancy 系统的推出，不仅为人形机器人提供了强大的环境感知能力，更解决了传感器布局、数据标注和多模态融合等关键挑战，奠定了通用感知模块标准化的技术基础 此外，我们构建了首个人形机器人的全景占用感知数据集，并在天工机器人上验证了该系统的有效性。 未来，团队计划进一步扩展数据集、优化时序融合策略，并探索在更多人形机器人平台上的应用。
50010编辑于 2025-08-06 - 来自专栏数据派THU
「机器人感知与控制关键技术」最新2023研究综述
机器人需要感知周围环境和识别作业对象。从二维到多维信息的感知和融合。实现快速、精准的环境感知和目标识别。充当机器人系统“眼睛”。感知环境之后。结合智能规划决策和自适应控制等方法。 像“大脑”一样为机器人系统提供最恰当的控制命令。以使得机器人做出相应的动作和反应。近年来，随着深度学习、大数据、智能控制等技术的快速发展。机器人的智能感知与自主作业的水平也在迅速提升。 01 智能制造机器人共性关键技术 1.1 机器人感知关键技术 视觉感知是机器人系统的重要组成部分，在复杂的三维工业场景中利用视觉传感器获取周围环境的真实空间信息，并进行预处理、配准融合以及空间场景表面生成等过程 智能制造机器人通过视觉等感知系统，具备了实时观察作业场景的能力，可以极大地增强其智能化程度，如图1所示。本节将对双目三维环境感知、3D点云配准、位姿估计等技术进行介绍。 2）新一代智能制造系统由通信、计算、感知、控制与安全体系等组成，通过新一代人工智能技术，智能制造系统将具备“感知−决策−执行”的闭环特征，而在动态环境中构建机器人的感知−决策−控制协同作业机制具有重要意义
67220编辑于 2023-05-18 - 来自专栏一点人工一点智能
「机器人感知与控制关键技术」最新2023研究综述
机器人需要感知周围环境和识别作业对象。从二维到多维信息的感知和融合。实现快速、精准的环境感知和目标识别。充当机器人系统“眼睛”。感知环境之后。结合智能规划决策和自适应控制等方法。 像“大脑”一样为机器人系统提供最恰当的控制命令。以使得机器人做出相应的动作和反应。 近年来，随着深度学习、大数据、智能控制等技术的快速发展。机器人的智能感知与自主作业的水平也在迅速提升。 01 智能制造机器人共性关键技术 1.1 机器人感知关键技术 视觉感知是机器人系统的重要组成部分，在复杂的三维工业场景中利用视觉传感器获取周围环境的真实空间信息，并进行预处理、配准融合以及空间场景表面生成等过程 智能制造机器人通过视觉等感知系统，具备了实时观察作业场景的能力，可以极大地增强其智能化程度，如图1所示。本节将对双目三维环境感知、3D点云配准、位姿估计等技术进行介绍。 2）新一代智能制造系统由通信、计算、感知、控制与安全体系等组成，通过新一代人工智能技术，智能制造系统将具备“感知−决策−执行”的闭环特征，而在动态环境中构建机器人的感知−决策−控制协同作业机制具有重要意义
3.6K20编辑于 2023-04-04 - 来自专栏高速公路那点事儿
隧道机器人 | 巡检机器人系统设计篇-通信系统
机器人的通信系统复杂也简单，主要是通讯设备选型，其通讯链路从逻辑上梳理大概如下： 隧道机器人通过无线链路连接到隧道环网； 隧道环网通过监控网络连接到监控中心的远端服务器； 无线通讯设计 设计原则 搭建无线双频微波通信传输 基站AP为一体式网桥，这样安装简便，巡检机器人采用工业级客户端无线网桥，与基站建立无线链路实现数据传输。 目前隧道内常见的AP安装样式： 隧道侧壁安装无线基站为控制柜与机器人提供互通无线网络，每隔1500m设置1处室外AP基站。 机器人通过无线客户端接入隧道区域AP，与上位机通讯，将机器人巡检画面实时传送到工作人员操作的控制终端上，实现远程对机器人的动态进行监控管理。 无线基站和无线客户端都采用成熟产品。 现场WiFi 原来考虑增加LORA来实现机器人的本地遥控，后来发现不太合理，尤其是现场人员站在洞口的时候，当机器人离开后，lora的传输将不可控。
16000编辑于 2025-07-03
腾讯云开发者
