具身分步实现机器人的操作

ref：A Survey of Embodied Learning for Object-centric Robotic Manipulation

具身学习的数据来源涵盖广泛，包括视觉输入、肢体动作和即时环境反馈，这种学习机制具有高度动态性，使机器人能够通过与环境的物理交互及传感器反馈进行学习，从而适应新场景，技术强调机器人通过物理交互和实践经验获取知识，能持续优化行为模式与操作策略，通过实时互动和反馈循环不断进化，赋予机器人的环境适应能力，使其能够应对变化的环境条件，完成更复杂精细的任务，方法包括三类：

1. 高级感知能力：涉及利用不同传感器捕获的数据来理解目标物体和外部环境，一方面，仅通过RGB图像构建有效表征，基于RGB-D图像提取二维位姿、点云位姿和三维位姿，以及基于触觉传感器感知与物体的接触和细微的表面变化；另一方面，进行特定物体位姿估计、某类物体的位姿估计以及未知新物体的位姿估计；最后，通过位姿学习特定物体的功能以及从交互过程中学习其可用性。
2. 精准的策略生成能力：通过分析感知信息来做出最优决策，一方面，学习包括平移、旋转和插入等确定性的动作、未明确显示的隐式行为策略以及基于扩散概率模型新获得的策略；另一方面，在获得策略的表征后，通过强化学习 、模仿学习以及融合了两者元素或完全采用不同学习范式进行策略的规划生成。
3. 任务执行能力：确保系统能够通过优化执行流程以实现最大效率，从而适应特定任务，一方面，包括单目标、多目标的抓取；另一方面也包括粗糙及精细作业能力。

739e812711205353e60a751a54848556.png

8f520e96c3b840dc353e39114e7f9526.png