当我们谈到 Transformer 模型时，往往聚光灯都会打在 自注意力机制（Self-Attention） 上。然而，Transformer 中还有一个 “不...

在过去六个月中，一种强大的神经网络新方法已为自然语言处理领域整合成型。这种新方法可以概括为一个简单的四步公式：嵌入（Embed）、编码（Encode）、注意力机...

近200年前，物理学家Claude-Louis Navier和George Gabriel Stokes完成了描述流体如何旋转的一组方程。近200年来，Navi...

编者按： Alexa团队最近推出了一种新的长篇内容朗读风格，使Alexa在阅读长篇文章时听起来更加自然。如果您更喜欢听而不是阅读，下文是利用此长篇朗读风格制作的...

过去几年，这类方法在不同社区中以各自独立的形式快速发展 —— 有的来自对抗鲁棒性与迁移学习，有的服务于下游任务适配，有的则成为大模型对齐与应用的基础工具。然而，...

不知道大家是否还有印象，当年有一个尝试给大模型装上「虫脑」的初创公司，他们的研究人员受到秀丽隐杆线虫的神经结构启发，研发出一种新型的灵活神经网络，也被称为液态神...

“一圈又一圈的循环融资，投资回报率却不尽如人意，这些 AI 系统实际用起来也远没有想象中好用，或许方向本身就站不住脚。”

改变一个像素，可能肉眼完全看不出区别，但分类器会彻底崩溃。本文会用FGSM（快速梯度符号法）演示如何制作对抗样本，并解释神经网络为何如此脆弱。

对多体动力系统进行高精度、可解释且可实时的建模，是理解自然系统与工程系统行为的关键。传统基于物理的模型在复杂系统中难以扩展且计算代价高，而纯数据驱动方法（如图神...

卷积神经网络（CNN）、循环神经网络（RNN）和Transformer架构推动了计算机视觉、自然语言处理（NLP）等领域的革命，如AlphaGo、ChatGPT...

人工智能领域的传统观点认为，神经网络的大小必须根据其要解决的问题和可用训练数据的量来仔细调整。如果网络太小，它无法学习数据中的复杂模式；但如果变得太大，它可能只...

Sakana AI的创始人、研究科学家Llion Jones，和其他7位合著者，一起发明了Transformer。

对多体动力系统进行高精度、可解释且可实时的建模，是理解自然系统与工程系统行为的关键。传统基于物理的模型在复杂系统中难以扩展且计算代价高，而纯数据驱动方法（如图神...

基于分子的不同表示，研究者通过DNN，CNN，RNN，Transformer等不同的神经网络进行药物发现。该论文介绍了这些网络的基本原理和框架，并且介绍了它们之...

An Amazon Web Services (AWS) senior applied scientist and collaborators learned ...

从电子健康记录中提取以自由文本形式记录的患者体征和症状对于精准医学至关重要。一旦提取出来，通过映射到本体中的体征和症状，可以使这些信息变得可计算。从自由文本中提...

对多体动力系统进行高精度、可解释且可实时的建模，是理解自然系统与工程系统行为的关键。传统基于物理的模型在复杂系统中难以扩展且计算代价高，而纯数据驱动方法（如图神...

本文的目标是解释为什么现代LLM架构在前馈部分使用 SwiGLU 作为激活函数并且已经放弃了 ReLU。

本示例演示tanh()作为神经网络激活函数的使用，模拟一个简单的单隐藏层神经网络，对输入数据进行非线性转换。