据 IT 之家 12 月 31 日报道,近日,第 37 届神经信息处理系统年会在美国新奥尔良市举行。在会上,有科学团队提出,人工智能模型 Transformer 具有类似 NMDA 受体的功能。除了这项发现,他们还设计了新的非线性函数,让 Transformer 模型模拟 NMDA 受体的动力学性能。
NMDA 受体是一个“智能”通道,可以促进记忆和技能的形成。如果大脑中存在谷氨酸,神经细胞会变得兴奋,向 NMDA 受体传递神经递质。同时,镁离子会负责把关,当镁离子被从 NMDA 受体上挤走,神经递质才被允许进入下一个神经细胞。在海马体中,顺畅的物质传递才能保证短期记忆有效地转化为长期记忆,同时镁离子负责选择性地让物质通过。
在新研究中,科学家发现 Transformer 模型中也有类似于 NMDA 受体中镁离子把关的过程,并且,调整 Transformer 模型的参数可以使模型的记忆能力增强。这一发现促使研究人员思考,是否可以通过研究 NMDA 受体中镁离子把关的机制,来制定出调控 Transformer 模型记忆巩固过程的方法,并使模型具有系统的长期记忆,甚至具备意识。
领取专属 10元无门槛券
私享最新 技术干货