首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >小米CyberDog四足机器人的AI运动系统的实现

小米CyberDog四足机器人的AI运动系统的实现

作者头像
阿志小管家
发布于 2024-02-02 12:03:21
发布于 2024-02-02 12:03:21
4830
举报

2021年8月10日,雷军进行继宣布造车之后的第二次演讲。

在现场的展示中,小米发布了首款四足行走机器人——铁蛋,英文名CyberDog。这只“人类高质量宠物”可以行走、站立、小碎步跳舞等等。

铁蛋现场展示

在官方给出的运动性能参数中,介绍到,除了这些,CyberDog还支持恢复站立、姿态展示、缓慢趴下、缓跑、小跑、奔跑、跳跑、跳跃、倒地恢复、打滚、握手、跳舞、转圈、作揖、坐下等一系列功能动作。

这只看起来像小狗的机器人其实是当前业内备受关注的新产品形态——仿生四足机器人。CyberDog全身拥有11组高精度传感器时刻待命,可主动探测外部细微变化,它搭载了AI超级计算机——NVIDIA JETSON XAVIER NX平台,可处理来自多个传感器的海量数据。于此同时,CyberDog使用了自研的高性能伺服电机,通过全志MR813芯片对全身的运动模块进行控制。

如果把传感器组比作CyberDog的“眼睛”,那NVIDIA JETSON XAVIER NX就是它的“大脑”,伺服电机就是它的“肌肉”,Allwinner MR813就是“小脑”。

下面就来了解一下铁蛋的各个“器官”是如何组成它的运动系统的。

#01 大脑-英伟达主控

CyberDog 的“大脑”是英伟达的 Jetson Xavier NX 平台,这是一台用于嵌入式和边缘系统的 AI 超级计算机。它集成了6个core NVIDIA Carmel ARM v8.2 64-bit CPU、搭载 384 NVIDIA CUDA cores 和 48 Tensor cores的GPU、2个 NVDLA 引擎深度学习加速器、7路VLIW视觉处理器。可以提供最高21T的算力。这保证了 CyberDog 可以毫无障碍地处理从传感器系统捕获的大量数据,准确领会主人的意图。同时支持2个 MIPI CSI-2 D-PHY lanes、以太网、WIFI/BT、HDMI、多路USB等。

有了这个大脑,这台机械狗甚至可以直接外接显示输入设备变身一台“电脑”,当然并不是我们传统意义上使用的那种个人用电脑,而是用于开发等用途。

Nvidia Jetson Xavier NX

#02 眼睛-11组高精度传感器

为了让铁蛋真的像一条狗,小米为其配备了超过11组高精密传感器,包括Intel Realsense D450深度摄像头、AI交互相机、双目超广角相机、TOF传感器、环境光传感器、超声波传感器、惯性测量单元、GPS模组、地磁传感器、光流计、6MIC环型阵列、触摸传感器等。有了这些丰富的传感器,CyberDog就像一个拥有白眼的“感知型忍者”,可以敏锐地感觉都周围流动的“查克拉”,并做出避障、预警等行为。

不仅仅是堆砌硬件,小米手机影像部门还亲自介入,将自己在手机方面深耕多年影像的技术运用至四足机器人领域,将硬件的性能发挥到极致。比如CyberDog的自主跟随能力就是源自人脸识别技术的衍生,以及SLAM建图和导航避障功能都来自影像技术的延伸的视觉探知技术,CyberDog通过影像技术感知环境后,通过算法创建出地图并导航,最终规划出最优路线。

#03 肌肉-自研伺服电机

CyberDog全身的自由度是12,单腿的自由度是3,即每只脚大腿关节处有两个电机,小腿关节处有一个电机,共12个电机。12个电机的组合让CyberDog可以自由地做出奔跑、跳跃、空翻等高难度动作。据悉,这12个伺服电机均由小米自研,单个最大扭矩达32N·m,最大转速为220rpm,可以让这只14KG重的CyberDog以11.5km/h的速度前进,这个速度大概和一个普通人晨跑的速度相当,让主人带着CyberDog跑步遛狗成为可能。

伺服电机性能参数

#04 小脑-全志MR813

CyberDog“小脑”使用的国内知名芯片设计厂商全志科技的Allwinner MR813。MR813将负责MPC算法的执行、运动控制、电源系统管理和OTA系统管理等工作。即CyberDog的四只脚以及上面的12个伺服电机,都将在MR813的控制下有序地行动,让CyberDog不会出现顺拐或者“扑街”。

MR813是全志针对运动机器人市场推出的高性能SoC,4核A53架构,主频高达1.6GHz,拥有丰富的音视频接口和运动驱动接口。

据悉,MR系列芯片已经在在扫地机器人产品上被广泛应用,其中包括小米、石头、追觅等知名厂商。本次CyberDog使用MR813也是复用追觅已经成熟的运动驱动模块,这样可以保证产品的性价比、稳定性和可量产性。

也就是说,MR813在其它产品上都是作为“大脑”,而在CyberDog中只用作“小脑”,可见MR813性能的强大,也透露出小米对CyberDog用料选项的踏实和良心。

CyberDog的MPC算法使用的则是知名开源四足MPC算法 MIT Mini Cheetah。对于仿生四足机器人MPC算法的研究一直是近年的热点。MIT这套算法广受开发者欢迎,许多DIY开发者甚至专业厂商,都会基于这套算法进行开发。MR813则是为算法的运行提供了一个高效稳定的环境。

MR813系统框图

米家扫地机器人1T,使用MR813作为“大脑”

#05 神经系统-系统整合

在整体系统框架方面,CyberDog使用的是主流的机器人开源架构ROS 2,它提供一系列程序库和工具以帮助软件开发者创建机器人应用软件,同时提供了硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等诸多功能。

其中,Jetson Xavier NX 运行的是Ubuntu 18.04操作系统,11组高性能传感器获取到的环境信息传到Jetson Xavier NX后,由Jetson Xavier NX进行处理,并将运动信息通过千兆网口下发到MR813,由MR813进行运动总控制,分别控制一个MCU进行OTA和电池包的管理和另一个MCU进行电机的控制,与12个高性能伺服电机通过CAN 2.0进行通信。

小米CyberDog系统框图

#市场前瞻

目前仿生领域四足机器人的研究比较成熟,世界上最有名的四足仿生机器人研发团队当属波士顿动力,旗下研发的“大狗”系列仿生机器人已经有十几个产品型号分支,但售价却达到了惊人的7.5万美元(约合人民币48万),这个价格让很多普通消费者都望而却步

今年 6 月,国内的宇树科技发布了 Unitree GO1,共有三个版本:售价 2700 美元的 G01 Air base 型号、售价 3500 美元的 G01 和售价 8500 美元的 G01 Edu,这个价格可以说率先打开了四足机器人在普通消费人群中的市场,不过碍于功能的不足,依然难以进入大众眼界。

也就是说,Unitree GO1 起步价仅需 1.6 万元人民币,然而这个价格纪录目前已被小米9999的CyberDog打破了。

但是从目前供应链获取到的信息来看,Jetson Xavier NX核心模块的市场报为3000+元,Intel Realsense D450深度摄像头的市场报价约为1500元,这两个关键元器件的成本,就已经接近CyberDog硬件成本的一半。全志的芯片虽然一直以高性价比著称,但是作为一个扫地机器人大脑级别的芯片,再加上12个伺服电机、电池、金属外壳等材料,CyberDog 卖9999元的价格,真的是“交个朋友”了。截止2021年8月底,CyberDog 产品虽然未交货,但是已经有人以数倍的价格收购名额了。

小米副总裁常程在微博对于“为什么要做这样一个机器人”的问题是这样回应的:

“这还是一项投资未来的决策。

一方面仿生机器人未来在服务、工程、安防、医疗等诸多领域蕴含着巨大的市场潜力。另一方面小米作为全球化的科技公司,有必要尽早在前沿领域进行几乎布局,夯实专利储备。探索仿生机器人的过程也是在做技术预研,其中机器视觉、导航避障、人机交互、AI语音算法等技术可以反哺手机、智能家居等产品。

与此同时,我们在这个产品中看到了小米强大的模块整合能力,在项目中,分别调动了核心的手机影像部门、小爱同学AI部门、语音算法部门、生态链公司追觅、芯片原厂全志科技等众多部门、合作伙伴,从概念设计到机械结构设计、BSP、算法移植、系统联调到最终产品交付,只用了10个月的时间。

上一次我们看到这样集全集团之力去做一个玩具的场景,是《四驱兄弟》里的三国藤吉集合三国重工最高科技而打造他的疾速眼镜蛇。而这些模块其实也是自动驾驶会用到的技术热点,结合之前宣布造车的消息,外界猜测,CyberDog其实是在为小米汽车的团队搭建和技术预研做准备

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-02-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
Git 代码分支管理规范
Git 是优秀的分布式代码管理软件。但是俗话说,“无规矩不成方圆”,代码分支的管理规范没有制定好,就会带来一系列的问题,比如:
leon_橙
2020/03/02
13K0
Git 代码分支管理规范
从 gitlab 配置管理聊聊团队项目管理
每个团队都有适合各自的管理方法,本文仅记录我现在的团队所使用的项目管理方法。本文主要聊的是通过 gitlab 的里程碑以及 git 的分支管理项目的开发和送测的代码合并问题
林德熙
2020/12/07
1.1K0
基于GitLab的Code Review教程
也就是说,使用GitLab进行Code Review就是在分支合并环节发起Merge Request,然后Code Review完成后将代码合并到目标分支。
KenTalk
2018/09/11
7.6K0
基于GitLab的Code Review教程
Git 分支管理的 23 条军规
1 GIT,在技术层面上,绝对是一个无中心的分布式版本控制系统,但在管理层面上,我建议你保持一个中心版本库。
DevOps时代
2019/08/28
7220
Git 分支管理的 23 条军规
03·灵魂前端工程师养成-git本地仓库
-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
DriverZeng
2022/09/26
2450
03·灵魂前端工程师养成-git本地仓库
Git操作
版本控制 说到版本控制,脑海里总会浮现大学毕业是写毕业论文的场景,你电脑上的毕业论文一定出现过这番景象! 1 2 3 4 5 6 7 8 9 10 11 毕业论文_初稿.doc 毕业论文_修改1.doc 毕业论文_修改2.doc 毕业论文_修改3.doc 毕业论文_完整版1.doc 毕业论文_完整版2.doc 毕业论文_完整版3.doc 毕业论文_最终版1.doc 毕业论文_最终版2.doc 毕业论文_死也不改版.doc ... 以上就是
用户1214487
2018/01/24
1.7K0
Git操作
Git 代码分支管理 / 版本管理
即使只有一个人发开,也会考虑代码的安全而分多个分支。多人协同开发时,可能每个人在不同的分支开发,也可能不同团队在不同的分支开发,还有就是不同的功能在不同的分支开发。
Python碎片公众号
2021/02/26
2.4K0
Git 代码分支管理 / 版本管理
开发流程与版本管理规范(下)
紧急修复分支跟 release 分支类似,都是为发布版本准备的。当线上生成环境有重大的 bug 需要紧急修复,而此时 develop 分支还不稳定,无法发布,我们在 master 分支基础上创建一个 hotfix 分支, 修复 bug 后合并到 master ,再发布到生成环境。
用户1348170
2021/07/09
1.9K0
Git项目管理
Git Flow实际上是一种软件项目管理模型,由大牛Vincent Driessen提出,核心思想如所图 1示。从中可以看出,主分支有master、develop两个组成,分别用于产品发布、功能开发;余下的三个辅助分支——hotfixes、release branches、feature branches,分别用于已发版本的bug修复、新版QA发布、新功能开发。
似水的流年
2019/12/06
1.4K0
论与美女搭讪的正确姿势
不好意思放错片子了。。。同样是搭讪,今天来聊聊如何与GitHuber的"搭讪"艺术。附上封面图补偿一下。。。
用户3904122
2022/06/29
5070
论与美女搭讪的正确姿势
基于GitLab实现端到端DevOps流水线实践
创建issue --> 创建特性分支 --> 特性分支提交流水线 --> 合并分支流水线 --> 发布分支流水线
DevOps云学堂
2020/05/27
1.4K0
四、git与gitlab项目准备
如果git和gitlab之间没有配置ssh免秘钥,推送和克隆的时候会要求输入用户名密码,最好先配置免秘钥,配置方式免秘钥不赘述
jackxiao
2021/11/16
2270
Git基础和规范-协同开发
关于版本控制 什么是版本控制: 官方说法:版本控制是一种记录一个或若干文件内容变化,以便将来查阅特定版本修订情况的系统,你可以对任何类型的文件进行版本控制。 版本控制系统变迁 要做好版本控制,少不了相
用户1257215
2018/01/30
1.4K0
Git基础和规范-协同开发
Git的分支工作流与Pull Request
  上一篇文章介绍了常用的版本控制工具以及git的基本用法,从基本用法来看git与其它的版本控制工具好像区别不大,都是对代码新增、提交进行管理,可以查看提交历史、代码差异等功能。但实际上git有一个重量级的功能“分支”,git的分支与其它工具的分支不同,git分支的操作完全在本地进行,所以可以快速的创建和切换。
星哥玩云
2022/07/24
8380
Git的分支工作流与Pull Request
前端小微团队的Gitlab实践
首先要说的是分支管理,分支管理是git工作流的基础,好的分支设计有助于规范开发流程,也是CI/CD的基础。
程序员白彬
2020/07/10
1.6K0
前端小微团队的Gitlab实践
GitLab 冷知识:试用 git push 创建 Merge Request
在使用 GitLab 时,创建 Merge Request 是最常用的功能之一,每天有大量的 Merge Request 被 Create、Review、Approve 和 Merge,尽管 GitLab 的产品经理和 UX 设计师们已经尽力的将 UI 设计的简洁易懂好操作,并提供了一些诸如使用 Email、API、Web IDE、VS Code 插件等创建 Merge Request 的功能,但这些操作都逃不过:create new branch ==> git push ==> create merge request 这三步。
郭旭东
2022/12/05
4.8K0
GitLab 冷知识:试用 git push 创建 Merge Request
DevOps Tools
DevOps Tools OS Software Configure Managment Install Ubuntu $ cd /usr/local/src/ $ git clone https://github.com/oscm/devops.git $ cd devops $ python3 setup.py sdist $ python3 setup.py install CentOS $ cd /usr/local/src/ $ git clone https://github.com/oscm/
netkiller old
2018/03/05
1.1K0
项目管理和GIT版本控制工具
注意: git checkout -b [branch_name] 可以同时完成创建分支和切换分支的工作合并分支
杨丝儿
2022/03/20
6990
项目管理和GIT版本控制工具
【GIT版本控制】--项目管理与工具
将Git与项目管理工具集成在一起可以有效地跟踪和管理软件开发项目。以下是如何使用Git与项目管理工具(如GitHub、GitLab、Bitbucket和Jira)进行集成的关键方法:
喵叔
2023/10/08
4560
Git 从入门到放不下
https://github.com/gafish/gafish.github.com
良月柒
2019/09/26
2.3K0
Git 从入门到放不下
相关推荐
Git 代码分支管理规范
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档