深度学习模型的使用越来越大众化，在很多行业中都是不可或缺的。然而，高效神经网络的实现通常需要架构的知识和大量的时间，在不停的迭代过程中使用我们的知识的探索合理的解决方案。神经网络的形式和结构会根据具体需要而有所不同，所以针对不同的任务和不同需求需要设定特定的结构。但是以试错的方式设计这些网络是一项耗时且乏味的任务，不仅需要架构技能还需要专业领域的知识。一般的情况下，专家们会利用他们过去的经验或技术知识来创建和设计神经网络。
【GiantPandaCV导读】本文是笔者第一次进行翻译国外博客，第一次尝试，由于水平的限制，可能有的地方翻译表达的不够准确，在翻译过程中尽量还原作者的意思，如果需要解释的部分会在括号中添加，如有问题欢迎指正。本文翻译的是《Everything you need to know about AutoML and Neural Architecture Search》获得了4.8k的高赞。
AutoML和神经结构搜索(NAS)是深度学习城堡的新国王。它们是一种快速的方法，可以在不需要太多工作的情况下为机器学习任务获得很高的准确性。
神经网络模型经常被研究人员戏称为「堆积木」，通过将各个基础模型堆成更大的模型，更多的数据来取得更好的效果。
本文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。在Penn Treebank数据集上，ENAS实现了55.8的测试困惑度；在CIFAR-10数据集上，其测试误差达到了2.89%，与NASNet不相上下（2.65%的测试误差）
网络存储技术是指使用网络连接的方式，将数据存储在网络连接的设备上，使得数据可以从网络上的任何连接点进行存取和管理。这种技术允许多个用户和应用程序通过网络共享存储资源，从而提高数据访问效率和灵活性。
技术博客TowardDataScience有一篇文章，就全面介绍了关于AutoML和NAS你需要了解的一切。
作者：Quanming Yao ，Ju Xu，Wei-Wei Tu，Zhanxing Zhu
NAS：网络上直接挂接的存储设备，其实就是处于以太网上的一台利用NFS、CIFS等网络文件系统的文件共享服务器。
云原生时代，容器凭借其易移植、云上云下自由运行、自由迁移的特点，得到了众多企业的青睐。容器是一种轻量的虚拟化技术，启动更快、占用资源更少，容器化已经成为企业数字化转型中IT建设的新方向。企业选择容器，除了容器技术优势，还具备高度灵活性，可避免被单一厂商所绑定，自由选择多家容器管理平台构建容器PaaS平台。
神经网络搜索（Neuarl Architecture Search)是近年来兴起的热门方向。在这次 ICML 的文章中，我们提出了 Few-shot NAS， 通过分割搜索空间，对分割后的子空间独立建立了一个子超网络（sub-supernet）来预测网络性能。通过建立 one-shot NAS 和传统挨个训练 NAS 的联系，few-shot NAS 巧妙继承了两种方法的优点，兼有 one-shot NAS 的快速和传统 NAS 的准确网络性能评估。大量实验表明 few-shot NAS 是一个简单易行的方法，在不同任务上和数据集上能提升当下几乎所有的 NAS 方法，包括 ImageNet 及 CIFAR-10 的分类任务和 GAN 这样的生成任务等。该文章被 ICML-2021 接收为 long talk。
作者：Sirui Xie、Hehui Zheng、Chunxiao Liu、Liang Lin
这篇paper[Single-Path NAS: Designing Hardware-Efficient ConvNets in less than 4 Hours]是2019年4月在arxiv上的新文章，来自CMU、微软和哈工大，论文提出了Single-Path NAS，将搜索时间从200 GPU时降低至4 GPU时，同时在ImageNet上达到了74.96% top-1的准确率。
AI 科技评论按：近年来，深度学习的繁荣，尤其是神经网络的发展，颠覆了传统机器学习特征工程的时代，将人工智能的浪潮推到了历史最高点。然而，尽管各种神经网络模型层出不穷，但往往模型性能越高，对超参数的要求也越来越严格，稍有不同就无法复现论文的结果。而网络结构作为一种特殊的超参数，在深度学习整个环节中扮演着举足轻重的角色。在图像分类任务上大放异彩的ResNet、在机器翻译任务上称霸的Transformer等网络结构无一不来自专家的精心设计。这些精细的网络结构的背后是深刻的理论研究和大量广泛的实验，这无疑给人们带来了新的挑战。
在计算机领域，SAN（Storage Area Network）和NAS（Network Attached Storage）都是常见的存储解决方案。它们在数据存储、访问方式和应用场景上有着显著的区别。本文将详细介绍SAN和NAS的定义、特点以及它们之间的区别。
代码：https://github.com/xujinfan/NASP-codes
在日常的工作生活中，我们有大量的资料、文件需要存储在电脑或者其他终端设备中，但是这种方式需要电脑配备高容量的硬盘，而且需要随时随地的带着，这样是不是很麻烦？
【新智元导读】由圣母大学史弋宇教授和匹兹堡大学胡京通教授领衔的90后华人伉俪，姜炜文博士与杨蕾博士两年前的研究如今修成正果，斩获IEEE TCAD的最佳和DAC的University Demo双项冠军，可以说是理论和实践两开花！并且这篇论文也是开创了NAS的一个新领域，拉开了神经网络与硬件协同搜索的新时代。
选自arXiv 机器之心编译 参与：黄小天、刘晓坤 本文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。在Penn Treebank数据集上，ENAS实现了55.8的测试困惑度；在CIFAR-10数据集上，其测试误差达到了2.89%，与NASNet不相上下（2.65%的测试误差）。 1. 简介 神经架构搜索（NAS）已成功用来设计图像分类
本文对悉尼科技大学博士生董宣毅发表于 ICLR 2020 的录用Spotlight论文《NAS-BENCH-201: Extending the Scope of Reproducible Neural Architecture Search》进行解读。这篇论文提出的NAS-Bench-201，可在很大程度上提高NAS算法的可复现性，并降低了NAS算法的计算需求（例如仅用0.1秒便可以完成搜索）。
最近几年AutoML炙手可热，一时风头无两。各大公司都推出了自己的AutoML服务。 谷歌云的Cloud AutoML
下面是整个AutoML的pipeline，全文也是围绕这个pipeline对AutoML技术做了回顾和总结。
谈到虚拟化，在云计算中有计算、存储、网络、安全四大虚拟化，而在存储虚拟中一般提得比计算虚拟化少。今天我们就来谈谈在公有云、私有云中的存储虚拟化是怎么做的。
作者：Xinbang Zhang, Zehao Huang, Naiyan Wang
构建在深度卷积上的Inverted bottleneck layers已经成为移动设备上最先进目标检测模型的主要构建模块。在这项工作中，作者通过回顾常规卷积的实用性，研究了这种设计模式在广泛的移动加速器上的最优性。
神经结构搜索(NAS)在设计最先进的(SOTA)模型方面表现出了巨大的潜力，既准确又快速。近年来，BigNAS 等两阶段 NAS 将模型训练和搜索过程解耦，取得了良好的搜索效率。两阶段 NA S在训练过程中需要对搜索空间进行采样，这直接影响最终搜索模型的准确性。尽管均匀抽样的广泛应用是为了简化，但它不考虑模型性能的帕累托前沿，而帕累托前沿是搜索过程中的主要关注点，因此错过了进一步提高模型精度的机会。在这项工作中，我们建议关注于采样网络，以提高性能的帕累托。在训练过程中，本文还提出了有效识别帕累托网络的算法。无需额外的再训练或后处理，就可以通过广泛的 FLOPs 同时获得大量的网络。本文发现的模型家族 AttentiveNAS 模型在 ImageNet 上的准确率最高，从77.3%到80.7%，优于包括 BigNAS、Once-for-All networks 和 FBNetV3 在内的 SOTA 模型。并且本文还实现了 ImageNet 的精度为80.1%，只需491 MFLOPs。
DAS即直接连接存储（Direct Attached Storage） NAS即网络接入存储（Network Attached Storage） SAN即存储区域网络（Storage Area Network）
本文作者对NAS任务中强化学习的效率进行了深入思考，从理论上给出了NAS中强化学习收敛慢的原因。该论文提出了一种全新的经济、高效且自动化程度高的神经网络结构搜索（NAS）方法。他们通过深入分析NAS任务的MDP，提出了一个更高效的方法——随机神经网络结构搜索，重新建模了NAS问题。与基于强化学习的方法（ENAS）相比，SNAS的搜索优化可微分，搜索效率更高。与其他可微分的方法（DARTS）相比，SNAS直接优化NAS任务的目标函数，搜索结果偏差更小。此外，基于SNAS保持了随机性（stochasticity）的优势，该论文进一步提出同时优化网络损失函数的期望和网络正向时延的期望，自动生成硬件友好的稀疏网络。
论文: EfficientNetV2: Smaller Models and Faster Training
以机器自动设计网络结构为目标的神经网络搜索（NAS，Neural Architecture Search）有望为机器学习带来一场新的革命。
随着深度学习模型的进步，它们在医学图像处理中的应用在当代诊断不可知过程中变得至关重要。事实上，这项技术使专家能够比以前更早、更准确地检测疾病。尽管这场革命跨越了多种数据类型和任务，但操作模型的设计仍然成本高昂。
很早之前，我就想入手 NAS 了。当时手中已有三块笨重的移动硬盘，里面系统地存放着各类编号目录，依次存储着各种高清电影、电视剧、纪录片、公开课、无损音乐、全套漫画、课件PPT、系统iso镜像、单机游戏等等文件。我给它们起名叫「移動式電磁信息交互矩陣」，编号I（已坏）、II、III、IV。根目录还特意放了「文件索引列表.txt」、「失主联系.txt」、「磁盘保养.txt」。它们就是我的个人数据中心。
将磁盘使用scsi或sata母线直接与主板相连给系统提供存储的一种方式，如我们的笔记本默认就是这种方式。
AI 前线导读： 由图卷积网络（GCN）推动的基于骨骼数据的人体动作识别由于其非欧氏结构数据具有强大的建模能力而备受关注。然而，许多现有的 GCN 方法都提供了预定义的图结构，这可能会丢失隐式的联合相关性。因此，探索更好的 GCN 架构则成为了亟需解决的问题。为了解决这些问题，本文的作者使用了神经结构搜索（NAS）的思路，提出了第一个可自动化设计的 GCN，该模型可用于基于骨骼数据的行为识别。在充分研究节点之间的时空相关性之后，作者通过提供多个动态图模块来丰富搜索空间。此外，作者引入了多跳模块，希望突破一阶逼近对表示能力的限制。相关论文已被 AAAI 2020 接收。本文是 AI 前线第 100 篇论文导读，我们将详细介绍这一搜索方法。
一. 硬盘接口类型 1. 并行接口还是串行接口 (1) 并行接口，指的是并行传输的接口，比如有0~9十个数字，用10条传输线，那么每根线只需要传输一位数字，即可完成。 从理论上看，并行传输效率很高，但是由于线路上的物理原因，它的传输频率不能太高，所以实际的传输速度并不和并行度成正比，甚至可能更差。 (2) 串行接口，指的是串行传输的接口，同样是0~9十个数字，用1条传输线，那么需要传输10次，才可以完成。 从理论上看，串行传输效率不高，但是由于它的数据准确性，高频率的支持，使得传输速度可以很高。 (3) 并
EfficientNetV2是由 Google Research，Brain Team发布在2021 ICML的一篇论文，它结合使用NAS和缩放，优化训练速度和参数效率。并且模型中使用新操作（如 Fused-MBConv）在搜索空间中进行搜索。EfficientNetV2 模型比EfficientNetV1的训练速度快得多，同时体积小 6.8 倍。
模型效率在计算机视觉领域中越来越重要。作者研究了神经网络结构在目标检测中的设计选择，并提出了提高检测效率的几个关键优化方案。
AI 科技评论按：本文作者陈泰红，邮箱 ahong007@yeah.net，他为 AI 科技评论撰写了 Google 利用神经网络搜索实现语义分割的独家解读。
随着深度学习的发展，设计高效的神经网络架构变得越来越重要。神经架构搜索（NAS）和自动机器学习（AutoML）是两种自动化设计和优化神经网络的方法。本文将详细介绍如何使用Python实现这两种技术。
高质量模型的设计和更新迭代是当前 AI 生产开发的痛点和难点，在这种背景下，自动化机器学习（AutoML）应运而生。2017年，谷歌正式提出神经网络架构搜索（Neural Architecture Search，NAS），并成为 AutoML 的核心组成部分。美团技术团队也对AutoML领域进行了积极探索，本文系美团与上海交通大学合作的一篇被深度学习顶会 ICLR 2021 收录的论文解读。
本文介绍了两个用于数据预处理的函数，具体是用于处理缺失值和异常值的。这些函数可以极大地提高数据预处理的速度，方便进行后续的建模和结果分析。
岳排槐 发自 LZYY 量子位 出品 | 公众号 QbitAI 去年，谷歌大脑团队发布神经网络自动架构搜索（NAS）。这个方法理论上能够更好地、自动化地设计神经网络的架构。 尽管NAS表现出色，但却要
存储按照对外提供服务的方式分为：块存储、文件存储、对象存储。块存储即我们日常说的SAN存储；文件存储即我们日常说的NAS存储；对象存储是最近几年才兴起的一种存储接口。
作者的两阶段神经网络架构搜索（NAS）方法，将粗略搜索与细粒度搜索分开，显著提升了搜索效率，并促进了比先前最先进模型显著更大的模型的创建。此外，结合离线蒸馏数据集，减少了NAS奖励测量中的噪声，从而提升了模型质量。
前言： 数据中心机房设备分类众多，大大小小的设备零部件及部位，都是决定着数据中心是否安全运营的基础，下面普及总结中心技术名词，SAN、NAS、DAS，是什么意思？它们之间有什么关联？ （1）SAN SAN是一种储存技术，也是是千兆位速率的网络，它依托光纤通道为服务器和存储设备之间的连接提供更高的吞吐能力、支持更远的距离和更可靠的连通，SAN可以是交换式网络，也可以是共享式网络，以目前的技术，其中任何一种网络都能够提供更好的伸缩性、故障恢复和诊断信息;此外，以其中任何一种网络为基础建设SAN都不需要对现有
深度学习模型在很多任务上都取得了不错的效果，但调参却是一项非常痛苦的事情，大量的超参数和网络结构参数会产生爆炸性的组合。因此最近几年神经网络的架构搜索和超参数优化成为一个研究热点。此外，对于架构设计新方法、新机制的探索，也是当下深度学习研究与落地的重点课题之一。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
