首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

你也可以训练超大神经网络!谷歌开源GPipe库

深度神经网络(DNN)推动了许多机器学习任务的发展,包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT 2.0取得的近期进展表明,DNN模型越大,其在任务中的表现越好。视觉识别领域过去取得的进展也表明,模型大小和分类准确率之间存在很强的关联。例如,2014年ImageNet视觉识别挑战赛的冠军GoogleNet以400万的参数取得了74.8%的top-1准确率,但仅仅过了三年,冠军的宝座就被Squeeze-and-ExcitationNetworks抢去,后者以1.458亿(前者的36倍还多)的参数量取得了82.7%的top-1准确率。然而,在这段时间里,GPU的内存只提高了3倍左右,当前最优的图像模型却已经达到了谷歌云 TPUv2的可用内存。因此,我们急需一个能够实现大规模深度学习并克服当前加速器内存局限的可扩展高效架构。

03

你也可以训练超大神经网络!谷歌开源GPipe库

深度神经网络(DNN)推动了许多机器学习任务的发展,包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT2.0取得的近期进展表明,DNN模型越大,其在任务中的表现越好。视觉识别领域过去取得的进展也表明,模型大小和分类准确率之间存在很强的关联。例如,2014年ImageNet视觉识别挑战赛的冠军GoogleNet以400万的参数取得了74.8%的top-1准确率,但仅仅过了三年,冠军的宝座就被Squeeze-and-ExcitationNetworks抢去,后者以1.458亿(前者的36倍还多)的参数量取得了82.7%的top-1准确率。然而,在这段时间里,GPU的内存只提高了3倍左右,当前最优的图像模型却已经达到了谷歌云 TPUv2的可用内存。因此,我们急需一个能够实现大规模深度学习并克服当前加速器内存局限的可扩展高效架构。

02
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    总结过去三年,MIT发布AI加速器综述论文

    过去这一年,无论是初创公司还是成熟大厂,预告、发布和部署人工智能(AI)和机器学习(ML)加速器的步伐很缓慢。但这并非不合理,对于许多发布加速器报告的公司来说,他们花三到四年的时间研究、分析、设计、验证和对加速器设计的权衡,并构建对加速器进行编程的技术堆栈。对于那些已发布升级版本加速器的公司来说,虽然他们报告的开发周期更短,但至少还是要两三年。这些加速器的重点仍然是加速深层神经网络(DNN)模型,应用场景从极低功耗嵌入式语音识别和图像分类到数据中心大模型训练,典型的市场和应用领域的竞争仍在继续,这是工业公司和技术公司从现代传统计算向机器学习解决方案转变的重要部分。

    02

    【ARM攒机指南——AI篇】5大千万级设备市场技术拆解

    作者:重走此间路 编辑:闻菲 【新智元导读】单做算法无法挣钱,越来越多的公司都开始将核心算法芯片化争取更多市场和更大利益,一时间涌现出AI芯片无数。与CPU,GPU这样的通用芯片不同,终端AI芯片往往针对具体应用,能耗规格也千差万别。本文立足技术分析趋势,总结深度学习最有可能落地的5大主流终端市场——个人终端(手机,平板),监控,家庭,机器人和无人机,汽车,以及这些终端市场AI芯片的现状及未来。小标题以及着重部分是新智元转载时编辑增加,点击“阅读原文”了解更多。 近一年各种深度学习平台和硬件层出不穷,各种x

    06

    韩国如何发展成为区域性的科技创业枢纽

    韩国政府投资30亿美元致力于区域性科技创业枢纽的努力获得了回报,吸引了像谷歌和脸谱,以及风险投资和孵化器入驻首尔。 韩国拥有世界上最高的宽带普及率达到97%,在研发强度,生产率,研发人员高比重以及其他方面的优势使得韩国在彭博最具创新力国家排名中位居前列。作为三星的所在地,韩国正在从依靠大型财团和制造业向依靠技术创新转变。韩国政府设立了一系列的支持计划对推动创新发挥重要作用,同时韩国政府拨出高额预算匹配国际投资者的资金,在大学设立国际创业项目,设立了很多研究机构,为独立创新创业的科学家提供保障。 直到最近

    06
    领券