Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Cozmo&AI作业

Cozmo&AI作业

作者头像
zhangrelay
发布于 2022-04-29 12:20:00
发布于 2022-04-29 12:20:00
30900
代码可运行
举报
运行总次数:0
代码可运行

学习下面链接内容,将其实现并应用到Cozmo或mrobot机器人中。


参考链接:

1. ros_caffe:github.com/tzutalin/ros_caffe

2. Tensorflow_in_ROS:github.com/shunchan0677/Tensorflow_in_ROS

3. cozmo-tensorflow:github.com/whatrocks/cozmo-tensorflow

ros_people_object_detection_tensorflow

github.com/cagbal/ros_people_object_detection_tensorflow

广泛使用的ROS工具箱,用于物体检测和跟踪以及面部/动作识别,具有2D和3D支持,使机器人了解周围的环境。

技术

此repo使用许多开源项目来正常工作:

对于Tracker部分:

  • scikit学习
  • scikit图像
  • FilterPy

安装

首先,应在您的系统上安装tensorflow。

然后,

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ cd && mkdir -p catkin_ws/src && cd ..
$ catkin_make && cd src
$ git clone --recursive https://github.com/cagbal/
ple_object_detection_tensorflow.git
$ git clone https://github.com/cagbal/cob_perception_common.git
$ cd cob_people_object_detection_tensorflow/src
$ protoc object_detection/protos/*.proto --python_out=.
$ cd ~/catkin_ws
$ rosdep install --from-path src/ -y -i
$ catkin_make
$ pip install face_recognition

repo包含最快的基于mobilenet的方法,因此您可以跳过以下步骤。

然后,从 Models Zoo中安装tensorflow对象检测模型

并将这些模型放入src / object_detection /,最后设置launch / cob_people_object_detection_tensoflow_params.yaml的model_name参数

运行

在ROS中打开相机驱动程序,并在启动目录下的yaml配置文件中设置输入RGB主题名称。默认值为openni2。

用于运行一切,(这将适用于2D和3D)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ roslaunch cob_people_object_detection_tensorflow alltogether.launch

上面的代码将启动所有内容。它非常适合从这个回购开始。但是,如果您需要一些灵活性,则需要逐个启动每个节点。如下:

对于物体检测:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ roslaunch cob_people_object_detection_tensorflow cob_people_object_detection_tensorflow.launch

然后,它开始为每个检测到的对象分配ID,并将结果发布到/ object_tracker / tracks。请注意,检测到的跟踪对象编号可能不同。

如果您还想运行跟踪器,

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ roslaunch cob_people_object_detection_tensorflow cob_people_object_tracker.launch

如果您还想运行face_recognition,

将人脸图像放入人员文件夹并启动:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ roslaunch cob_people_object_detection_tensorflow cob_face_recognizer.launch

如果你还想运行深度探测器,

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ roslaunch cob_people_object_detection_tensorflow projection.launch

并设置detections.pose.pose.position.x / y / z并将其设为pusblishes。

如果您还想运行动作识别,

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ roslaunch cob_people_object_detection_tensorflow action_recognition.launch

然后,您将看到/ action_recognition / action_predictions上发布的概率

Subscibes:订阅

  • 到* params.yaml文件中设置的任何RGB图像主题。

     Publishes:发布

  • / object_detection / detection(cob_perception_msgs / DetectionArray)包括所有具有概率,标签和边界框的检测
  • / object_detection / detections_image(sensor_msgs / Image)带有边界框的图像
  • / object_tracker / tracks(cob_perception_msgs / DetectionArray)仅包含跟踪对象及其边界框,标签。这里,ID是跟踪器分配的检测ID。示例:DetectionArray.detections [0] .id
  • / face_recognizer / faces(cob_perception_msgs / DetectionArray)带有面部和人物边界框的面部标签
  • / action_recognition / action_predictions(cob_perception_msgs / ActionRecognitionmsg)使用Kinetics 600数据集标签的动作识别概率

性能

我的计算机(Intel(R)Core(TM)i7-6820HK CPU @ 2.70GHz)的最后五次检测时间为几秒钟:

  • 0.105810880661
  • 0.108750104904
  • 0.112195014954
  • 0.115020036697
  • 0.108013153076
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-12-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
ROS(indigo) 用于机器人控制的图形化编程工具--code_it robot_blockly
编程语言有汇编,高级语言,解释语言等,现在图形化编程也越来越流行。图形化编程简单易学。8年前,微软推出了VPL用于机器人程序设计,如Python和JavaScript都可以用图形化框图实现程序,有趣直观。
zhangrelay
2019/01/23
1.7K0
Ubuntu 16.04 + ROS Kinetic 机器人操作系统学习镜像分享与使用安装说明
链接: https://pan.baidu.com/s/1hulIXwC 密码: 7udr
zhangrelay
2019/01/23
1.2K0
深度相机Astra Pro测试教程
最近在微信群内,很多群友在群友的推荐下,购买了Astra pro的深度相机,价格地道,物超所值!群友反馈积极,所以这里出一波简单的教程。以下内容抛砖引玉,主要讲解windows下和Ubuntu上的测试用例。希望有其他相关分享的小伙伴可以联系dianyunpcl@163.com
点云PCL博主
2019/07/30
4.6K0
深度相机Astra Pro测试教程
ROS功能包- RRT_exploration使用RRT随机数进行地图探测
1 ROSwiki:http://wiki.ros.org/rrt_exploration
zhangrelay
2021/03/03
2K0
ROS机器人项目开发11例-ROS Robotics Projects(4)物体检测与识别
以find_object_2d为例(http://wiki.ros.org/find_object_2d):
zhangrelay
2019/01/23
1.7K0
ROS_安装一个第三方仿真软件包——机器人模拟世界
注意:以上命令非常重要,缺少依赖将导致软件包无法正常编译和运行。 在开始编译之前,需要确保Gazebo在7.0版本以上
凌川江雪
2018/10/09
2.3K0
ROS_安装一个第三方仿真软件包——机器人模拟世界
【C++】ROS:fsd_algorithm架构与源码学习
------------------ 叮叮叮!!! ------------------
DevFrank
2024/07/24
1250
GitHub项目推荐 | 精细农业图像数据的几何茎检测
项目链接:https://github.com/PRBonn/geometrical_stem_detection
AI研习社
2018/12/28
9120
GitHub项目推荐 | 精细农业图像数据的几何茎检测
ROS联合webots实战案例(三)使用外接手柄控制机器人[2]
在上文中我们提到了/joy发布信息的类型为sensor_msgs/Joy,头文件就需要加入#include <sensor_msgs/Joy.h>
锡城筱凯
2021/02/07
1.6K0
ROS联合webots实战案例(三)使用外接手柄控制机器人[2]
树莓派Pi4B+激光雷达SLAM建图环境搭建(Ubuntu20.04.3 + ROS Noetic)
原文:树莓派Pi4B+激光雷达SLAM建图环境搭建(Ubuntu20.04.3 + ROS Noetic)
一点人工一点智能
2023/03/04
4.4K0
树莓派Pi4B+激光雷达SLAM建图环境搭建(Ubuntu20.04.3 + ROS Noetic)
【VSLAM】VINO-Mono安装部署与运行
Github地址:https://github.com/HKUST-Aerial-Robotics/VINS-Mono
DevFrank
2024/07/24
2940
【VSLAM】VINO-Mono安装部署与运行
ros rviz 滴滴数据可视化
https://aws.amazon.com/cn/premiumsupport/knowledge-center/connect-to-linux-desktop-from-windows/
CreateAMind
2018/07/24
1.4K0
ros rviz 滴滴数据可视化
ROS机器人程序设计(原书第2版)补充资料 (零) 源代码、资料和印刷错误修订等 2017年02月22日更新
可参考:https://www.shiyanlou.com/courses/854  邀请码 U23ERF8H
zhangrelay
2019/01/23
7850
ROS机器人虚拟仿真挑战赛本地电脑环境配置记录
上述过程是一个详细的步骤列表,用于在ROS Noetic环境中设置并运行Tianbot的Tianracer项目。这个过程涉及多个方面,包括更新软件包、安装ROS包、克隆源代码、构建工作空间、配置环境以及启动仿真。以下是对整个过程的详细总结:
zhangrelay
2024/05/25
2550
ROS机器人虚拟仿真挑战赛本地电脑环境配置记录
ROS机器人操作系统新发布软件包摘录--(2018.03)
1 https://wiki.ros.org/vtec_ros 2 https://github.com/lukscasanova/vtec_ros 。
zhangrelay
2022/04/29
1.4K0
ROS机器人操作系统新发布软件包摘录--(2018.03)
ROS机器人项目开发11例-ROS Robotics Projects(9)虚拟现实VR头戴设备和Leap Motion手势操控
除了自动驾驶汽车/人工智能外,还有一个火爆的科技热点就是虚拟现实/增强现实设备,这也是本书的第11章。
zhangrelay
2019/01/23
8400
最火爆的ROS教程-机器人操作系统入门-Melodic-
原文链接:https://github.com/anchuanxu/ROS-Academy-for-Beginners-Book-Melodic
zhangrelay
2019/08/15
3K0
最火爆的ROS教程-机器人操作系统入门-Melodic-
基于ROS的Most Stars开源代码汇总(自动驾驶汽车+RGBDSLAMv2+ROS2+人识别与跟踪等)
Autoware受BSD许可证保护。请自行负责使用。为了安全使用,我们为不拥有真正自主车辆的人提供基于ROSBAG的仿真方法。如果您使用Autoware与真正的自主车辆,请在现场测试之前制定安全措施和风险评估。
zhangrelay
2022/04/29
2.8K0
基于ROS的Most Stars开源代码汇总(自动驾驶汽车+RGBDSLAMv2+ROS2+人识别与跟踪等)
ROS机器人操作系统最佳实践指南
----ROS Best Practices:https://github.com/ethz-asl/ros_best_practices/wiki----
zhangrelay
2022/04/29
9500
ROS机器人操作系统最佳实践指南
https://github.com/CPFL/Autoware 自动驾驶框架比较齐全
Integrated open-source software for urban autonomous driving, maintained by Tier IV. The following functions are supported:
CreateAMind
2018/07/24
2K0
https://github.com/CPFL/Autoware 自动驾驶框架比较齐全
推荐阅读
相关推荐
ROS(indigo) 用于机器人控制的图形化编程工具--code_it robot_blockly
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验