华人一作登顶刊封面！神奇触摸屏为元宇宙而生：透过屏幕能摸到真实物体

新智元报道

编辑：小咸鱼

【新智元导读】德克萨斯A&M大学的一项新技术可以让我们通过触摸屏「感受」物体，这项新技术将「定义」下一代手指与设备的交互方式，进一步发展则有希望超越目前触摸屏对人们触摸的匮乏感知和反应。该研究最近发表在《高级材料》（Advanced Materials）杂志的封面上，一作是华人学者。

刚刚过去的双十一，你网购了吗?

现在，网购这种形式占购物方式的比重已经越来越大了，可是总有些东西是在网上直接买的时候感觉半信半疑的。

衣服的料子是什么样的？真皮沙发上的材料摸起来到底如何？

虽然，网店里的示意图介绍得天花乱坠的，可触觉这种东西形容起来可真不容易。

既然如此，有没有一种方式，让人在家也能摸到商店里的商品呢？

如今，这个问题总算有点眉目了！

将来买新沙发的时候，可能再也不用出门去感受新沙发材料的质感了。

Cynthia Hipwell是得克萨斯A&M大学机械工程系的讲座教授。

她正在领导一个团队，致力于「定义」下一代手指与设备的交互方式，希望有助于技术的进一步发展，超越目前屏幕对触摸的感知和反应。

https://onlinelibrary.wiley.com/doi/10.1002/adma.202170240

该团队的研究最近发表在《高级材料》（Advanced Materials）杂志的封面上，一作是华人学者。

新型人机界面

推进这种新的人机交互界面的最终目标是通过技术模拟物理物体给人的感觉，让可触摸设备能够为用户提供更丰富的基于触摸的体验。

Hipwell分享了潜在实现的例子，从更沉浸式的虚拟现实平台到像汽车仪表板中的触控显示界面，以及让用户在购买材料之前感受材料质感的虚拟购物体验。

「这可以让你真正感受到屏幕上的纹理、按钮、幻灯片和旋钮」，Hipwell说，「它可以用于基于触摸屏的交互式显示器，但这种技术的「圣杯」肯定是能够将触摸带入购物，这样你就可以在网上购物时感受到织物和其他产品的质感。」

触觉技术的细化

Hipwell解释说，本质上，当前触摸屏技术中的「触摸」更多的是从屏幕角度出发去设计的，而不是从用户出发的。

随着越来越复杂的触觉技术的出现和完善，用户和设备之间的关系可以变得更加互惠。

她补充说，增加触摸作为感官输入将丰富虚拟环境，并减轻目前音频和视频承载的交流负担。

「当我们在体验虚拟现实技术时，现在主要的呈现方式是音频和视频，我们可以获得超负荷的音频和视频」，Hipwell说，「将触摸带入人机界面可以带来更多的功能和真实感，并且可以减少这种过载。触觉效果可以用来吸引你的注意力，让事情更容易理解，减少认知负荷」。

Hipwell和她的团队正在通过观察用户手指和设备屏幕之间界面的多物理现象来进行研究，多物理现象是指同时发生的涉及多个物理场的耦合过程或耦合系统。这个界面非常复杂，会随着不同的用户和环境条件而变化。

「我们正在研究电润湿效应（由施加的电场产生的力）、静电效应、手指特性的变化、设备的材料属性和表面几何形状、接触力学、流体运动、电荷传输等等方面。实际上，是界面上发生的一切，以了解如何将设备设计得更可靠、性能更高」，Hipwell说。

最终，他们的目标是创建一个「千人千面」的预测模型，而不是让设计师设计出一个只关心触觉效果，而对用户和环境变化没有感知能力的屏幕。

随着这项技术的研究和开发不断进展，Hipwell说，她预测消费者将在未来几年开始看到该技术的一些早期元素被应用到普通设备中，而他们的一些早期产品已经在开发中。

「我认为它的雏形肯定会在未来五年内出现」，Hipwell说，「那么，这将只是一个技术不断成熟的问题，以及它变得多么先进、多么现实和多么广泛的问题。」

迪士尼的异曲同工

与Hipwell的研究有异曲同工之妙的还有另一项工作。

2013年，迪士尼研究人员宣布了可以向触摸屏添加纹理的方法，该方法使用一种算法来修改用户手指和屏幕之间的摩擦力，以增加手指的触感。

这项技术被称为「3D特征的触觉渲染」，而迪士尼公司的工程师当时已经开发了一种早期版本的渲染算法。

用户触摸屏幕上的实时视频源，该视频源不仅用于传输音频和视频，还用于传输触觉（或触摸）信息。（图片：迪士尼）

该算法通过基于虚拟表面的斜率产生细微的电压来修改摩擦力，即使屏幕表面实际上是平的，微小的电子脉冲也能欺骗你的手指，感知到类似「有凸起和有纹理」这种感觉。

例如，如果屏幕上有一个圆顶，增加的摩擦力可能会让用户感觉自己的手指越过了一个「肿块」。

迪士尼研究公司表示，这项技术可以再现边缘、脊、突起和凸起以及其他感觉。

迪士尼互动集团（Disney Interaction Group）负责人伊万·波佩列夫（Ivan Poupyrev）在当时一份新闻稿中表示：「触摸互动已经成为智能手机、平板电脑甚至台式电脑的标准，因此设计能够将视觉内容转化为可信触觉的算法，对于丰富用户体验具有巨大潜力。」

但在当时，这项技术太过超前，也没有太多的应用领域，后来也就没了下文。

那这一次「元宇宙」的空前热潮，能不能将真正的「触摸」屏带入现实呢？

参考资料：

https://www.unite.ai/new-technology-could-allow-us-to-feel-objects-through-touchscreens/

https://today.tamu.edu/2021/10/12/enhanced-touch-screens-could-help-you-feel-objects/

https://www.dailymail.co.uk/sciencetech/article-10133547/Futuristic-touch-screen-technology-let-consumers-feel-textures-physical-objects.html