几天不见，Crossin 又去做什么游戏去了呢？这次我做的不是游戏，而是游戏机！而且是体感游戏机。
选自IEEE Spectrum 作者：Prachi Patel 机器之心编译 编辑：袁铭怿 不需要繁琐的设备、键盘，也不需要佩戴笨重的手环，只需在手上打印一条线就能实现凭空打字？近日，一项由斯坦福大学的研究人员开发的智能皮肤系统登上 Nature 子刊，它可以精确定位用户在键盘上想输入的位置，还可以与应用程序甚至是物体交互。 图源：KYUN KYU “RICHARD” KIM / 斯坦福大学 新的 AI 学习机制结合了智能皮肤，可以破译人手的动作，以识别打字、手语，甚至是简单日常物体的形状。开发人员说，这
近年来，由于视频理解成为实现 VR/AR 以及视频共享社交网络服务等实际应用的关键组件，学术界对该领域的研究越来越感兴趣。每天有数百万个视频上传到 TikTok、抖音和西瓜视频进行处理。但是，视频流的爆炸式增长对执行视频理解所需的高准确率和低计算成本提出了挑战。 作为视频理解的一个基本问题，动作识别在内容审核和推荐等视频相关的应用中被提出了越来越高的要求。随着 VR 等技术的飞速发展，与时序相关的动作识别也成为了近年来的研究热点。 时空性、特征和运动模式是视频动作识别任务的重要组成部分。目前，学界主流方法
选自Google Research 机器之心编译 参与：路雪 视频人类动作识别是计算机视觉领域中的一个基础问题，但也具备较大的挑战性。现有的数据集不包含多人不同动作的复杂场景标注数据，今日谷歌发布了精确标注多人动作的数据集——AVA，希望能够帮助开发人类动作识别系统。 教机器理解视频中的人类动作是计算机视觉领域中的一个基础研究问题，对个人视频搜索和发现、运动分析和手势交流等应用十分必要。尽管近几年图像分类和检索领域实现了很大突破，但是识别视频中的人类动作仍然是一个巨大挑战。原因在于动作本质上没有物体那么明
作者： Chunhui Gu & David Ross 编译：魏子敏，龙牧雪，谭婧 就在昨天，谷歌blog发布了一个堪比“视频版”ImageNet的数据集-AVA（A Finely Labeled Video Dataset for Human Action Understanding ），为视频动作识别这一图像识别中的重大课题提供了新的“原材料”。这个崭新的数据集填补了在复杂的场景下，多人执行不同操作的标注空白。 以下为google blog原文，大数据文摘对其进行了编译： 在计算机视觉领域，教会机器在视
本文是对我们 CVPR 2021 接收的工作 "ACTION-Net: Multipath Excitation for Action Recognition" 的介绍。主要针对强时序依赖行为识别这个场景，设计了一组卷积模块。
最近，来自加州大学伯克利分校和挪威奥斯陆大学的Anat Perry 、Jamie Lubell 等学者在Brain杂志上发表了一项研究，表明即使是单侧损伤前额叶皮层，无论是否涉及到镜像神经元的关键区域额下回（IFG），都会导致情绪识别能力的降低，而对动作识别能力的影响只体现在反应时延长，并且情绪识别能力与β节律抑制成显著负相关。 实验分别选用了17位单侧脑损伤被试和18位年龄匹配的健康对照组被试。为了进一步验证镜像神经元核心区域IFG的在动作和情绪识别中的作用，将这17位脑损伤被试分为IFG损伤的被试（n=
人体姿态分析/行为分析/动作识别AI算法，是一种利用人工智能技术对人体行为进行检测、跟踪和分析的方法。通过计算机视觉、深度学习和模式识别等技术，可以实现对人体姿态、动作和行为的自动化识别与分析。
“陪伴是最好的表白。”科幻电影中的智能机器人，早已可以满足人类的心灵需求。因为更加智能，相比宠物，未来的机器人应该是最好的玩伴。那么，现阶段机器人发展到什么程度？人类应该以什么样的目光看待这些机器人呢
1973年，人类第一次用上了鼠标：施乐帕罗奥多研究中心(Xerox PARC)推出了配备鼠标的Alto电脑。1984年，Macintosh(后简称Mac)也第一次将鼠标作为一种输入方式引入个人计算机。 接下来的这三四十年的时间里，鼠标和键盘几乎统治了人与计算机的交互方式，即便是触摸板，也算是鼠标的变种。 之后，我们又见到了触摸屏幕，再之后，随着个人电子设备的移动化，传统的交互方式更是应时而变。实际上，无论从纯技术还是商业角度看，已经有了不少令人惊喜的、革命性的交互方式不断涌现。 所谓
AI科技评论按：在计算机视觉研究中，识别视频中人的动作是一个基础研究问题。个人视频搜索和发现、运动分析和手势交流等应用中，都会用到这项至关重要的技术。尽管过去的几年里在图像中分类和识别物体的技术上，我们已经取得了令人振奋的突破，但识别人类的动作仍然是一个巨大的挑战。从本质上来说，视频中人的行为更难被明确定义，而物体的定义更为明确。所以构建精细动作标记的视频数据集非常困难。目前虽然有许多基准数据集，比如UCF101、ActivityNet和DeepMind Kinetics，采用基于图像分类的标签方案，为数据
在计算机视觉研究中，识别视频中人的动作是一个基础研究问题。个人视频搜索和发现、运动分析和手势交流等应用中，都会用到这项至关重要的技术。 尽管过去的几年里在图像中分类和识别物体的技术上，我们已经取得了令人振奋的突破，但识别人类的动作仍然是一个巨大的挑战。从本质上来说，视频中人的行为更难被明确定义，而物体的定义更为明确。所以构建精细动作标记的视频数据集非常困难。目前虽然有许多基准数据集，比如 UCF101、ActivityNet 和 DeepMind Kinetics，采用基于图像分类的标签方案，为数据集中的每
这篇论文应该是3DCNN的鼻祖，对于视频数据来说，作者认为3D ConvNet非常适合于时空特征学习，这里也就是视频分析任务上。 摘要： 我们提出了一种简单而有效的时空特征学习方法，该方法使用在大规模有监督视频数据集上训练的深层三维卷积网络(3D ConvNets)。我们的发现有三个方面：1)与2D ConvNet相比，3D ConvNet更适合时空特征学习；2)具有小的3×3×3卷积核的同质结构是3D ConvNet中性能最好的结构之一；3)我们学习的特征，即C3D(卷积3D)，在4个不同的基准上优于最先进的方法，并在其他2个基准上与当前最好的方法相媲美。此外，特征紧凑：在只有10维的UCF101数据集上达到了52.8%的准确率，而且由于ConvNets的快速推理，计算效率也很高。最后，它们在概念上非常简单，易于培训和使用。
手势是人类表达信息的重要途径之一，通过手势识别，我们可以获得表达者所要表达信息（例如对方竖起大拇指，表达了对方的表扬之意）。本项目将基于PaddleVideo来训练一个手势识别模型，利用模型对七种手势进行识别，分别是点击、放大、向下滑动、向上滑动、缩小、旋转以及抓取。
之前我们公众号报道了一个项目，看这个天才老爸如何用Jetson NANO做一个带娃机器人, 文章中的爸爸叫：
PoseC3D是一种基于 3D-CNN 的骨骼行为识别框架，同时具备良好的识别精度与效率，在包含 FineGYM, NTURGB+D, Kinetics-skeleton 等多个骨骼行为数据集上达到了SOTA。不同于传统的基于人体 3 维骨架的GCN方法，PoseC3D 仅使用 2 维人体骨架热图堆叠作为输入，就能达到更好的识别效果。
多模交互融合是普适计算和自然交互中最重要的组成部分。笔者认为，实现完整的多模交互融合需要分成四个阶段，分别为独立工作阶段、初步融合阶段、语义理解阶段和任务自适应阶段。
近期，机器人技术和自动驾驶系统利用实时的深度传感器，如激光雷达（LiDARs），来实现三维感知。激光雷达产生的点云可以提供丰富的几何信息，并帮助机器理解环境感知。早期方法集中于从静态点云中解析现实世界，忽略了时间变化。为了更好地理解时间变化的世界，近期研究更专注于在4D空间理解点云视频，包括三个空间维度和一个时间维度。已有几项工作在4D点云建模方面取得进展。这些方法要么旨在设计改进的网络来建模4D点云，要么采用自监督方法来提高4D点云表示的效率。
陶建华, 巫英才, 喻纯, 翁冬冬, 李冠君, 韩腾, 王运涛, 刘斌. 2022. 多模态人机交互综述. 中国图象图形学报, 27(6): 1956-1987
据优图实验室 AI 手语识别项目组研究员阳赵阳介绍，优图 AI 手语翻译机以普通摄像头作为手语采集装置，依托高性能计算机进行后台运算，用户只需面对摄像头完成手语表达，翻译机屏幕界面就能快速把手语转换为文字，帮助听障人士和健听人士进行正常交流，未来有望在机场、高铁、民政窗口等公共场所部署应用，助力信息无障碍城市建设。
“AI跳绳”是近期某钉应用新发布运动健康较火热的轻量应用。主要用于运动健康、教育打卡等应用上的娱乐游戏，为了扩展相关领域应用和娱乐，提交运动数据，当做“课程作业”，老师也能在后台查阅相关数据，作业数据提交，任务提交等场景，结合抗疫，提升抵抗力，互动排行榜等激发学生和运动学员的参与性和积极性等作用;;
机器之心报道 编辑：杜伟、陈萍 有了这个项目，大家终于可以亲身体验一把人体姿态估计成像的神奇之处了！ 在 CV 领域，人体姿态估计（human pose estimation）利用目标检测模型和姿态估计模型来识别出人体各个关节的位置和网格，并已在动作识别、动画、游戏、运动捕捉系统中有着广泛的应用。 但遗憾的是，人体姿态估计常常见诸于学术研究中，普通读者很难亲身体验它的神奇成像效果。 近日，机器之心在 GitHub 上发现了一个有趣的项目「air-drawing」，作者创建了一个利用深度学习的工具，使你在配有
目前，比奇创新正在进行Pre A轮的融资，预计到7月结束。 相信很多人是听过心电、脑电的，但是，你听说过肌电吗？ 比奇创新创始人&CEO李玮琛告诉你，肌电不仅是生物电的一种，我们还能利用它感知人体行为
根据中国互联网络信息中心（CNNIC）第47次《中国互联网络发展状况统计报告》，截至2020年12月，中国网民规模达到9.89亿人，其中网络视频（含短视频）用户规模达到9.27亿人，占网民整体的93.7%，短视频用户规模为8.73亿人，占网民整体的88.3%。
在大数据可视化领域，国内的发展也已经逐渐走向成熟，每年都有许多可视分析系统不断涌现。近年，沉浸式大数据可视化得到了发展，浙江大学的探索了如图 1所示的无缝结合羽毛球比赛数据绘制的2D和3D可视化视图的问题，Chu等人(2022)探索了结合高度来凸显羽毛球数据中多个战术之间存在的差异性问题，如图 2所示。由此可以看出，沉浸式大数据可视化对数据分析和展示问题提出了有效的解决方法。
本文盘点所有CVPR 2020 动作识别（Action Recognition ）相关论文，该方向也常被称为视频分类（Video Classification ）。从后面的名字可以看出该任务就是对含人体动作的视频进行分类。
本文将介绍一种用于行为识别的时间交错网络(TIN temporal interlacing network)。该网络想较当前SOTA的基础上，在实现6倍加速的同时，还多个评测数据集上获得了4%的提升。同时该方法作为主力方法，在2019年的ICCV Multi Moments In Time challenge中取得了冠军(Leaderboard)。我们还release了一个基于PyTorch的开源动作识别代码库X-Temporal，希望可以进一步推动动作识别社区的发展。
通常情况下，我们通过观看来知道别人的动作。从视觉数据中自动进行动作识别的过程已成为计算机视觉界众多研究的主题。但是如果太暗，或者人被遮挡或在墙壁后面怎么办？
北京冬奥会即将开幕，全民健身如火如荼。2020年夏季奥运会有46项体育项目，2022年冬奥会有15项体育项目，丰富的项目涉及的姿势标准也各有区别。运动员如何科学地进行体育锻炼、准确矫正健身动作？教练员如何借助技术提供更智能化的训练和战术分析？体育视频行业如何高效定位精彩片段，分享更多精彩运动瞬间？“AI+体育”正在交出答卷。
原文来源：Lemberg Solutions Ltd 作者：Zahra Mahoor、Jack Felag、 Josh Bongard 编译：嗯~阿童木呀、KABUDA 现如今，与智能手机进行交互的方式有很多种：触摸屏、硬件按钮、指纹传感器、视频摄像头（如人脸识别）、方向键（D-PAD）、手持设备控制等等。但是我们该如何使用动作识别功能呢？ 我们可以举一个例子来说明这个问题，比如当你持手机将其快速移动到左侧或右侧时，可以非常精确地显示出想要切换到播放列表中下一首或上一首歌曲的意图；或者，你可以将手机快
关于人机交互，关于AI和AR的未来，我们应该如何看待？ 2017年7月9日，由镁客网、振威集团联合主办的“3E‘硬纪元’AI+产业应用创新峰会”在北京国家会议中心盛大开幕。现场200位来自全球AI行业的顶级专家、知名创投机构、创业公司团队和知名媒体齐聚一堂，共谋AI+行业的创新应用，探讨AI的当下与未来。 现场，华捷艾米联合创始人沈瑄给我们带来了主题为“3D视觉系统——打造AR&AI生态”的内容分享。沈瑄表示，未来的人机交互一定是回归到人与人之间交流的本质，即视觉+语音的交互，如此才能相互理解，继而进行充分
Rokid于近日推出首款家庭机器人。该机器人拥有声纹识别技术和远距离声音识别功能，能够辨别家庭成员。同时，产品所具备的深度学习功能，能够帮助Rokid家庭机器人与用户之间进行良好的互动体验，了解家庭成
动作识别已成为研究界的主要关注领域，因为许多应用程序都可以从改进的建模中受益，例如视频检索、视频字幕、视频问答等。基于 Transformer 的方法最近展示了最先进的技术 在多个基准测试中的表现。 虽然与 ConvNet 相比，Transformer 模型需要数据来学习更好的视觉先验，但动作识别数据集的规模相对较小。 大型 Transformer 模型通常首先在图像数据集上进行训练，然后在目标动作识别数据集上进行微调。
编者按：近日，计算机视觉顶会 CVPR 2020 接收论文结果揭晓，从 6656 篇有效投稿中录取了 1470 篇论文，录取率约为 22%。中科院VIPL实验室共七篇论文录取，内容涉及弱监督语义分割、活体检测、手势识别、视觉问答、行人搜索、无监督领域自适应方法等方面，本文将予以详细介绍。
工厂人员作业行为动作识别检测算法通过SVM+R-CNN深度学习算法框架模型，工厂人员作业行为动作识别检测算法实时识别并分析现场人员操作动作行为是否符合SOP安全规范流程作业标准，如果不符合则立即抓拍告警提醒。人员作业行为动作识别检测算法首先基于R-CNN进行人体检测，之后并对其进行追踪，并以相同的帧率生成MHI。之后，将所有边界框映射到由相同RGB图像序列生成的相应MHI，并在边界框中提取每个子MHI的HOG特征，最后使用SVM进行分类。
机器之心发布 作者：张皓 本文将介绍视频理解中的三大基础领域:动作识别(Action Recognition)、时序动作定位(Temporal Action Localization)和视频 Embedding。 1.视频理解背景 根据中国互联网络信息中心（CNNIC）第 47 次《中国互联网络发展状况统计报告》，截至 2020 年 12 月，中国网民规模达到 9.89 亿人，其中网络视频（含短视频）用户规模达到 9.27 亿人，占网民整体的 93.7%，短视频用户规模为 8.73 亿人，占网民整体的 88
AI 科技评论按：第 32 届 AAAI 大会（AAAI 2018）日前在美国新奥尔良进行，于当地时间 2 月 2 日至 7 日为人工智能研究者们带来一场精彩的学术盛宴。AAAI 2018 今年共收到论文投稿 3808 篇，接收论文 938 篇，接收率约为 24.6 %。
百度工程师用 PaddlePaddle 训练出一套模型，能够对吸烟人群进行识别和适当提示。当摄像头捕捉到正在吸烟的同学，就会投射到大屏幕上。图为李彦宏和某个员工的对话，对话员工的头像正是周围某个吸烟员工的「吸烟照」，而且其面部用表情包替换了。
我们提出了一种few-shot动作识别框架STRM，它在学习高阶时间表示的同时，增强了特定类特征的区分能力。我们的方法的重点是一个新的时空增强模块，它将空间和时间上下文与专用的局部帧级别和全局帧级别特征丰富子模块聚合在一起。局部帧级别的扩展捕获基于外观的动作特征。另一方面，全局帧级扩展明确编码了广泛的时间上下文，从而捕获了随时间推移的相关对象特征。然后，利用得到的时空丰富表示来学习查询和支持动作子序列之间的关系匹配。我们进一步在帧级丰富的特征上引入query类相似性分类器，通过在所提出的框架中的不同阶段加强特征学习来增强特定类特征的可区分性。在四个不同的少样本动作识别数据基准上进行了实验：Kinetics、SSv2、HMDB51和UCF101，我们所提的方法达到最佳水平。
本文分享论文『Higher Order Recurrent Space-Time Transformer for Video Action Prediction』，由 NVIDIA 开源《HORST》，用Transformer解决 Early Recognition 和 Anticipation 任务，惊叹又一任务被Transformer攻陷！
动作识别的主要目标是判断一段视频中人的行为的类别，所以也可以叫做 Human Action Recognition。
本文分享论文『ActionCLIP: A New Paradigm for Video Action Recognition』，假设视频动作识别不是分类问题，而是检索问题？并基于 CLIP，浙大提出 ActionCLIP，用检索的思想做视频动作识别！性能 SOTA！代码已开源！
原标题 | New Datasets for Action Recognition
PhotoMaker 是由腾讯与南开大学联合开发的 AI 图像生成工具，不仅能够捕捉人物的面部特征，还能根据喜好生成逼真的人物图像，将个性化定制推向了新高度。无论是想要一个全新的社交媒体头像，还是为游戏设计独特的角色都能满足。
视频处理与动作识别是计算机视觉中的重要任务，广泛应用于监控系统、智能家居、体育分析等领域。通过使用Python和深度学习技术，我们可以构建一个简单的动作识别系统。本文将介绍如何使用Python实现视频处理与动作识别，并提供详细的代码示例。
本文介绍的是CVPR2020 满分论文《FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding》，作者为香港中文大学博士邵典。
ICCV2021 “多模态视频分析与推理比赛”开放注册。此次比赛提供四项分任务竞赛：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
