Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >登上Science!将2D图像打印成3D可触,盲人离科学更近一步

登上Science!将2D图像打印成3D可触,盲人离科学更近一步

作者头像
大数据文摘
发布于 2022-08-26 05:22:25
发布于 2022-08-26 05:22:25
4100
举报
文章被收录于专栏:大数据文摘大数据文摘

大数据文摘授权转载自AI科技评论

作者:王玥

编辑:陈彩娴

一位视障人士想要成为科学家,需要付出多少努力?

作为视障人士,仅仅是阅读期刊文章,对化学家 Matthew Guberman-Pfeffer 来说都意味着要克服一系列困难:

首先,他得下载 PDF 转换成文本,再用阅读器把文中句子大声朗读出来。

阅读器有时候不认识科学术语,有时会句子读到一半念广告,有时会把每个编号都读出来,数据乱得让人一头雾水。

这些都还不算大问题,对盲人来说,最大的拦路虎仍然是图像。

论文里少不了科学图像,但视障人士惯用的盲文、转语音等接收数据方式无法处理图像,这大大限制了他们学习科学的可能性。是时候让科学变得更包容,更可得了,这个世界需要一种可以被视障人士和一般人都轻松可视化的高分辨率数据格式。

于是四位视障学者与生物化学家 Bryan Shaw 团队合作,开发出了一种让盲人“阅读”的简单方法。这四位作者自出生或幼年就失明,是克服了视觉障碍成为科学家的极少数人;而 Bryan Shaw 带头这项研究,则是为了帮助自己先天双眼患有肿瘤的儿子“看到”科学的样子。

这项研究提出的可视化方法是将图像3D打印为可触图像,利用 lithphane 效应让可触图像以视频分辨率发光。以这种方式打印出的凝胶电泳图、显微图、电子和质谱、教科书插图等图像,全都可以通过触摸和视力两种方式“看到”,准确率≥79% (n = 360)。

朝花夕拾

该研究中使用的  lithphane,其实并不新奇,这是一种被称作“透光浮雕”的传统艺术方式。研究者们尝试此方法,是因为 lithphane 可以同时用触摸和视力两种方式“看到”。

Lithphane 通常是一块薄薄的、半透明的浮雕,材料是薄瓷或蜡,通常厚度小于 2 mm。参考下图A,Lithphane 在环境光或前照光下并不透明。

但当光从背后射来时(如下图B和C),Lithphane 就会像数字图像一样发光。

光通过半透明材料的散射,使得较薄的区域看起来更亮,而较厚的区域看起来相对暗,因此形成了一种可视化效果。

就这样,一块薄薄的浮雕便具备了成为通用可视化数据形式的要素:既能让视障人士触摸阅读,也能让普通人通过视觉观看。

其实早在17 世纪,欧洲就已经有这种艺术,lithphane 甚至在唐朝时候就在中国出现了。lithphane虽然早已存在,但从来没有被当成过一种通用的可视化数据形式。

而 Bryan Shaw 发现 lithphane 的经历也相当有趣:当时他和一个学生正在制作 3D 打印图。Bryan Shaw说,“如果我们把这些图做得更薄,就可以打印得更快,而且用的树脂也更少。”

于是学生便将图片做得像薯片一样薄。Bryan Shaw 拿了一张图将其举到灯光下,他发现那张图不仅有3D的凹凸效果,而且透光后看上去就像一张照片。

那之后的一个礼拜,Bryan Shaw 都以为自己和学生发明了一种新技术,然后才慢慢发现 lithphane 在 1000 多年前就被发明了。眼下许多科学都在用新方式去使用旧技术,Bryan Shaw 的团队很高兴能够实现这样的「朝花夕拾」。

对比实验

在研究中,学者们使用小型商用 3D 打印机来制作 Lithophane,成本小于5000 美元。研究团队做了对比实验,比较视障对象、蒙眼对象和视力正常对象分别通过触觉和视力来“阅读” Lithphane 的效果。

一开始研究团队使用了生物化学中最常见的图像:SDS-聚丙烯酰胺凝胶电泳。如果能让视障人士“看见”电泳图,那他们学习生命科学的机会就会大大提升。

图注:SDS-聚丙烯酰胺凝胶电泳-对比实验

受试对象分为三组,一组是106 名(有视力的)蒙眼对象与 5 名眼盲对象,他们被要求用触觉来解释 Lithphane 上的数据。

而另一组没有被蒙住眼睛的、视力正常的对象(n= 106) 被要求用视力解释 Lithphane。

为了将 Lithphane 的清晰度与原图像进行比较,第三组视力正常的对象被要求使用视力来解释计算机屏幕上的原始数字图像(n = 143)。

从上图可以看出,在“阅读”电泳的 Lithphane 形式时,眼盲对象的平均解释准确率为93.3%,视力正常对象的平均解释准确率为91.4%,蒙眼对象的平均解释准确率为59.1%。通过视力在计算机屏幕上解读数字图像的准确率为 79.6%。

研究团队又增加了其他4种图像(蝴蝶鳞片扫描电子显微镜图、蛋白质质谱图、铁卟啉蛋白的紫外-可见(UV-vis)光谱、七链β折叠蛋白二级结构图)的 Lithphane 形式并组织对比实验。

团队最终得出,5种 图像 Lithphane 的平均解释准确率为:眼盲对象为 96.7%,视力正常对象的视觉解释为 92.2%,蒙眼触觉解释为 79.8%。

通过视力在计算机屏幕上解读数字图像的准确率为 88.4%。

针对约 80% 的问题,眼盲对象的触觉准确度等于或优于直接的视觉解释。

这个结果表明, Lithphane 的确可以作为一种通用、共享、无障碍的数据格式。

图注:Matthew Guberman-Pfeffer 用手指“阅读” lithphane

Data for All

找到了 Lithphane 这种通用可视化方法后,该研究团队发散思路,寻找了其他能将自定义 2D 图像转换为触觉形式的方法。他们发现了另一种常见的方法,即膨胀形式技术(swell form technology),也称为“瞬间图片”技术。

在这种技术中,专用纸(即“膨胀纸”)被用来制作柔软、泡沫状的可触图形。加热时,纸张中的微米级酒精颗粒会在已用黑色墨水或墨粉打印的区域中引起膨胀(彩色墨水不凸起)。

图注:黑色墨水部分凸起的可触图案

与 Lithphane 方法相比,膨胀形式技术的主要优势在于比 3D 打印更快,而缺点是在精度、分辨率和可控性上无法与3D打印相比。

同时,团队也在研究彩色数据的可视化。例如,热图和 2D 彩色图的 Lithphane 可以通过投射单调灰度来制作。为了能做到定量数据解释,需要将数字图像转换为颜色空间,比如“立方螺旋(cubehelix)”。

Cubehelix是一种色盘生成算法,其生成的色表在转换为灰度或替换色调后,其强度的变化不会有影响。

该研究合著者Mona Minkara也是一位视障科学家,她兴奋地表示,这项研究可以彻底改变她与学生的沟通方式,因为视障学者可以和健康人士同时讨论相同的信息了。随着类似研究的不断丰富,数据的普遍可访问性将成为社会基础,这种无障碍的境界正是科学的最大意义。

在这几位视障学者的就学经历中,他们都遇到过很多障碍,并意识到盲人是不鼓励学习科学的,也一直被排除在实验室之外。但在科学面前,这种能力主义其实大可不必——

原子和分子小于 250 nm,恰好是可见光的衍射极限。面对这种尺度的科学,人类的视觉也派不上用场,必须使用光谱学、显微镜,或者培育出能够衍射 X 射线(或中子、电子)的晶体来进行研究。而对于视障人士来说,为了深探科学而为自己制作人工眼睛,这才是科学带来的平等。

参考链接:

https://www.science.org/doi/10.1126/sciadv.abq2640

https://www.science.org/content/article/how-3d-printing-could-help-blind-researchers-see-data

点「在看」的人都变好看了哦!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-08-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据文摘 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
吃糖学知识?通过舌头传感器,让视障人群“看见”形状
由Bryan Shaw领导的贝勒大学研究团队发现,复杂三维结构的口腔触觉“可视化”可以做到与视力一样准确
大数据文摘
2021/07/06
3010
Cell. Syst. | 几何深度学习融合多实例学习,解读3D图像预测药物效果
今天为大家介绍的是来自伦敦癌症研究所癌症生物学系Chris Bakal教授带领团队发表的一篇论文。这项研究介绍了一个名为MorphoMIL的创新计算方法,它结合了几何深度学习(geometric deep learning)和基于注意力的多实例学习(attention-based multiple-instance learning),用于分析细胞及其细胞核的三维形态特征。研究团队采用3D点云数据作为输入,不仅能在单个细胞层面捕捉形态特征,还能分析整个细胞群体的特征,同时考虑了细胞群体中个体差异(表型异质性)。他们对超过95,000个黑色素瘤细胞进行了实验,这些细胞分别接受了具有临床意义的药物处理、基因改造,以及影响细胞内部支架结构的处理。该方法不仅能准确预测药物对细胞的影响和细胞状态,还能发现药物带来的细微形态变化,找出与细胞信号活动相关的关键形状特征,并帮助我们理解为什么同一群细胞会表现出不同状态。MorphoMIL不仅表现出色,而且适用于各种不同类型的数据集,这为未来在药物研发中进行大规模、高效的细胞形态分析开辟了新途径。
DrugAI
2025/05/02
740
Cell. Syst. | 几何深度学习融合多实例学习,解读3D图像预测药物效果
几乎零能耗零延迟!UCLA科学家发明光衍射神经网络,登上Science
深度学习,现在已经成立几乎每一个图像识别、语音识别、机器翻译系统的标配组件,而它的缺点也一直在被各界人士吐槽:
量子位
2018/08/08
4030
几乎零能耗零延迟!UCLA科学家发明光衍射神经网络,登上Science
为了搞懂AI的「脑回路」,腾讯走出了重要的一步
2020 年 6 月,杜克大学一项发表在 AI 顶会 CVPR 的研究曾经引发人们的讨论热潮。一个名为 PULSE 的人工智能算法可以把加了马赛克的人脸照片恢复成清晰的面部图像。
机器之心
2022/02/23
3240
为了搞懂AI的「脑回路」,腾讯走出了重要的一步
震惊科学界!微软154页研究刷屏:GPT-4能力接近人类,「天网」初现?
---- 新智元报道   编辑:编辑部 【新智元导读】在通往AGI的路上我们还有多远?微软豪华作者团队发布的154页论文指出,GPT-4已经初具通用人工智能的雏形。 GPT-4会演变为通用人工智能吗? Meta首席人工智能科学家、图灵奖得主Yann LeCun对此表示质疑。 在他看来,大模型对于数据和算力的需求实在太大,学习效率却不高,因此学习「世界模型」才能通往AGI之路。 不过,微软最近发表的154页论文,似乎就很打脸。 在这篇名为「Sparks of Artificial General Int
新智元
2023/03/29
4890
震惊科学界!微软154页研究刷屏:GPT-4能力接近人类,「天网」初现?
年龄两岁,教龄一年半:婴儿AI训练师登上Science
在公开采访中,图灵奖得主 Yann LeCun 多次提到,现在的 AI 模型和人类婴儿相比,学习效率实在是太低了。那么,如果让一个 AI 模型去学习婴儿头戴摄像头拍到的东西,它能学到什么?
机器之心
2024/02/06
1800
年龄两岁,教龄一年半:婴儿AI训练师登上Science
视觉研究的前世今生(上)
序 ▼ 视觉是人类最重要的知觉,没有视觉人类很难定位,识别物体,了解坏境,得以生存发展。20世纪两次世界大战,使得西方各国,不论是为了飞机安全着陆,还是导弹精确制导,都对视觉研究有了非常大的兴趣,系列的欧洲视知觉会议(ECVP,1978),杂志“视觉研”(vision research,1961)在上世纪的出现,都不同程度源于得到了各大基金和有关军方的支持NASA,NIH NSF, officeof Navel, Air Force Research)。至今在西方各国视觉研究依然是一个热门研究方向。 80
大数据文摘
2018/05/25
2K0
激光雷达还是摄影测量?两者数据融合如何提高点云质量
是否可以通过将激光雷达与摄影测量技术相结合来提高点云的精度和密度?激光雷达数据可以穿透树木并测量阴影区域,以生成非常精确的点云。被动成像相机可导出更详细的 3D 模型,并使用多光谱信息对点云进行编码,从而实现有用的彩色点云分类。如果有可能合并这些技术呢?中性密度滤镜会对点云颜色产生什么影响?本文更详细地探讨了定量和定性点云增强。
3D视觉工坊
2023/04/29
8860
激光雷达还是摄影测量?两者数据融合如何提高点云质量
尴尬的2.5D :3D的「里子」,2D的「面子」
2D和3D是机器视觉领域两个重要的概念,一个维度之差,带来的是从平面信息到空间信息的质的飞跃。
AI掘金志
2023/09/24
1.9K0
尴尬的2.5D :3D的「里子」,2D的「面子」
中国一作研究再登Science子刊:磁驱动折叠机器人,3D打印仅需20分钟
但科学家们目前研发出来的微型机器人原型都是刚性的,而且通常很慢,无法即时响应发给它们的无线指令。
新智元
2019/05/13
2.1K0
中国一作研究再登Science子刊:磁驱动折叠机器人,3D打印仅需20分钟
谷歌发布史上最详细的大脑扫描3D图像
谷歌及其合作伙伴今天发布了有史以来规模最大、最详细的大脑扫描集。该项目涵盖了果蝇大脑的近三分之一,并包括了具有2000万个突触和超过25000个神经元的详细映射。他们选择果蝇的原因是,与以前的科目相比,它们足够复杂,但仍然拥有较小的脑袋,使得这项工作可控。与蠕虫或其他低等动物不同,果蝇具有内置的导航系统,并具有高级行为功能,例如求爱舞蹈。它很像我们,只是规模小得多。
AiTechYun
2020/02/21
6060
图像识别技术的应用及发展趋势
移动互联网、智能手机以及社交网络的发展带来了海量图片信息,根据BI五月份的文章,Instagram每天图片上传量约为6000万张;今年2月份WhatsApp每天的图片发送量为5亿张;国内的微信朋友圈也是以图片分享为驱动。不受地域和语言限制的图片逐渐取代了繁琐而微妙的文字,成为了传词达意的主要媒介。图片成为互联网信息交流主要媒介的原因主要在于两点:
小白学视觉
2022/02/14
1.4K0
图像识别技术的应用及发展趋势
如何11步转行数据科学家 (适用数据员/ MIS / BI分析师)
数据科学作为一个专业领域迅速崛起,吸引了来自各种职业背景的人。工程师、计算机科学家、市场和金融毕业生、分析师、人力资源人员——每个人都想尝一块 “数据科学馅饼”。
大数据文摘
2019/04/26
7680
如何11步转行数据科学家 (适用数据员/ MIS / BI分析师)
多模态人机交互国内研究进展
在大数据可视化领域,国内的发展也已经逐渐走向成熟,每年都有许多可视分析系统不断涌现。近年,沉浸式大数据可视化得到了发展,浙江大学的探索了如图 1所示的无缝结合羽毛球比赛数据绘制的2D和3D可视化视图的问题,Chu等人(2022)探索了结合高度来凸显羽毛球数据中多个战术之间存在的差异性问题,如图 2所示。由此可以看出,沉浸式大数据可视化对数据分析和展示问题提出了有效的解决方法。
一点人工一点智能
2022/12/27
1.4K0
多模态人机交互国内研究进展
如何高效入门数据科学?
说明:本文是我数据科学系列教程的导读。因为微信公众号文章一经发布,便不能大篇幅编辑内容,后续发布的新教程无法加入进来。所以我只得选择不定期更新发布本文的最新版,以便你能更方便地找到自己需要的知识组块。
王树义
2018/08/22
8230
如何高效入门数据科学?
计算机视觉入门大全:基础概念、运行原理、应用案例详解
「机器能够模拟人类视觉系统」的幻想已经过时了。自 1960 年代第一批学术论文出现以来,计算机视觉已经走了很远,现代系统已经出现,且它们可以集成到移动应用中。
OpenCV学堂
2019/11/11
1.4K0
一行文本,生成3D动态场景:Meta这个「一步到位」模型有点厉害
机器之心报道 机器之心编辑部 不再需要任何 3D 或 4D 数据,来自 Meta 的研究者首次提出了可以从文本描述中生成三维动态场景的方法 MAV3D (Make-A-Video3D)。 仅输入一行文本,就能生成 3D 动态场景? 没错,已经有研究者做到了。可以看出来,目前的生成效果还处于初级阶段,只能生成一些简单的对象。不过这种「一步到位」的方法仍然引起了大量研究者的关注: 在最近的一篇论文中,来自 Meta 的研究者首次提出了可以从文本描述中生成三维动态场景的方法 MAV3D (Make-A-Vide
机器之心
2023/03/29
5070
一行文本,生成3D动态场景:Meta这个「一步到位」模型有点厉害
如何用《玉树芝兰》入门数据科学?
链接起散落的文章,给《玉树芝兰》数据科学系列教程做个导读,帮你更为高效入门数据科学。
王树义
2018/08/22
1.4K0
如何用《玉树芝兰》入门数据科学?
追求高性能触觉反馈:腾讯Robotics X用执行器助力盲文读取、VR沉浸体验
执行器是实现高性能触觉反馈的重要组成部分。如果说传感器是感觉器官,则执行器是控制器官。良好的触觉反馈是继视觉与听觉之后增强交互沉浸感的决定性因素,对于人机交互、人人交互具有其它感知无可取代的特殊性与重要性。
机器之心
2022/12/16
9490
追求高性能触觉反馈:腾讯Robotics X用执行器助力盲文读取、VR沉浸体验
NC:无线耳脑电图(ear EEG)监测嗜睡
摘要:神经可穿戴设备能够为飞行员和驾驶员提供监测嗜睡和健康的功能。当前的神经可穿戴设备前景广阔,但大多数需要湿电极和笨重的电子设备。本项工作展示了使用入耳式干电极耳机和紧凑硬件来监测嗜睡状态的方法。该系统集成了用于干式、通用型耳机的增材制造技术、现有的无线电子设备和离线分类算法。记录了九名受试者在进行嗜睡诱导任务时的35小时电生理数据。支持向量机分类器在评估已见过的用户时准确率为93.2%,在评估从未见过的用户时准确率为93.3%。这些结果表明,无线、干式、通用型耳机在分类嗜睡状态方面的准确率与现有最先进的湿电极入耳式和头皮系统相当。此外,这项工作还展示了在未来电生理应用中实现基于人群训练的分类的可行性。
悦影科技
2024/10/15
2330
推荐阅读
相关推荐
吃糖学知识?通过舌头传感器,让视障人群“看见”形状
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档