首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

结合机器学习技术,AR虚拟钢琴应用《AR Pianist》

1月28日青亭网报道,此前,软件开发者和3D艺术创作者Fayez Salka在社交媒体分享了一段AR软件的体验视频获得大量网友关注。

据了解,这是一个基于《AR Pianist》软件的视频,该软件是一个基于钢琴的AR软件,当你将手机摄像头对准一架钢琴时,就会弹奏乐曲,并且钢琴按键会对应颜色标识。

不仅如此,软件还会模拟一个AR弹奏着,通过虚拟化身的形式进行演奏。甚至,最终只识别钢琴,然后进行整个AR环境的模拟。

据悉,《AR Pianist》结合了机器学习技术,其通过Core ML模型,重点在于可以在任何光照环境下,识别任何品牌的钢琴,无需使用特殊带有marker的图像或标记等,也无需扫描任何钢琴的3D模型。

目前,该应用仅在iOS端提供。Fayez Salka表示:这款AR应用潜力巨大,是一个基于手机上体验钢琴演奏的新方式,并且是一个有效的音乐教育资源。例如,你可以将歌曲速度放慢100倍,来查看手部动作,未来这些体验将无缝迁移到AR头显上。

实际上,Fayez Salka以及团队此前开发的另一款与钢琴有关的应用《Piano 3D》就是一个非常优秀的应用,其也内置了AR模式,并且多次被App Store推荐,下载量超700万次。而这款《AR Pianist》也是基于此前《Piano 3D》的一些成就。

参考:VRscout

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200128A0AEIR00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券