前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >从底层到应用,百度大脑“幕后”架构探秘

从底层到应用,百度大脑“幕后”架构探秘

作者头像
IT创事记
发布于 2022-06-16 13:33:20
发布于 2022-06-16 13:33:20
5210
举报
文章被收录于专栏:IT创事记IT创事记

2600年前,春秋时期,赵国。

晋国大夫赵朔被屠岸贾杀害,赵朔死前将遗腹孤儿托付给门客程婴。程婴舍去己子,携赵朔的孤儿赵武潜入盂山藏匿15年之久,后人就把盂山改名为藏山。而藏山的所在地,就是如今的山西阳泉。

说起阳泉这个地方,可谓是人杰地灵。几千年前,这里就是古仇犹国的所在地,而在近代历史中,这里更是“百团大战”的主战场。而阳泉这一次进入我们的视野,则是得益于一个熟悉的名字——百度。

在百度创始人李彦宏的家乡阳泉,有一座占地360亩的超大规模数据中心——百度云计算(阳泉)中心。在这里,百度部署了大量整机柜服务器、HVDC(高压直流)、OCU(置顶冷却单元)等一系列业界领先的设备,也是目前百度全国几十家数据中心里规模最大的一家。

“数据中心按照T3+标准设计建造,建筑面积12万平米,包括共4期8个模组,设计容纳16万台服务器,拥有400+项专利技术。自2014年9月正式开始运行,到今天已经安全运行了1534天,”百度云计算(阳泉)中心负责人,百度系统部高级经理顾鹏如是说。

其实别看占地面积这么大,阳泉这座数据中心运营团队只有几十个人。“我们全部采用先进的自动化、智能化控制技术,需要巡视、维护、调控人员极少,每个班组2~3人就可以完成2个模组约3万平米7×24小时运营”顾鹏介绍。

作为超大规模的高端数据中心,这里不仅仅在管理上实现了自动化,更重要的是在节能方面成效显著。在数据中心模块的楼顶,我们看到了大片的太阳能光伏板,这也是数据中心电力获取的来源之一。“我们充分利用了模组楼顶的空余地方,安装了即发即用的清洁能源,阳泉数据中心是国内首个应用光伏发电的数据中心”。

其实除了太阳能发电的电力来源之外,风能电力也是阳泉数据中心的供电来源之一。据统计,2017年百度阳泉数据中心一共用了将近2600万度风电,占比整个用电量的16%。“2018年,我们基本上风电能达到5500万度,清洁能源预计占比可能达到23%以上。园区全部投产以后,数据中心年节约用电量预计达到2.5亿度,可相当于13万个家庭全年的用电量”。

除了电力供应之外,在数据中心普遍存在的发热高、散热难问题上,阳泉数据中心充分利用室外自然冷源,搭配多种空调末端技术,通过提高冷冻水供回水温度、服务器进风温度等措施,全年超过96%以上时间免费冷却(Free Cooling),将单模组年均PUE(能源使用率)降低至1.10,这个数据在全球业界也处于领先范畴。

如今,阳泉数据中心已经承载了众多百度的核心业务,大家熟知的“百度大脑”也部署其中。“数据中心为百度大数据业务、人工智能提供了强有力的支持,包括语音、图像、搜索、无人车、加速计算等业务都是如此,成为百度大脑的动力引擎”。

说起百度大脑,其实就在不久前刚刚结束的上海“2018世界人工智能大会”上,搭载百度大脑110+先进AI能力的百度云,还展示了包括在人工智能、大数据、云计算在各个领域的落地。

其实说起百度与英特尔的合作,已经有超过十年的历史了。在此之前,双方就已经在百度大脑、百度云、DuerOS等方面进行了广泛而深度的合作。

2018 ABCSUMMIT百度云智峰会上,百度云与英特尔再联手,宣布采用新一代对象存储系统,首次推出Optane+QLC存储设计方案,以及基于OpenVINO的视觉计算方案等等。

OpenVINO是用于增强视觉AI计算能力的软件包,可以部署在数据中心到边缘等多种硬件平台上。曾经在百度云智峰会上展示的苏州环卫局实现渣土车实时监控的方案,就是百度云视觉计算的典型应用业务。此前在与爱奇艺的合作中,百度云基于英特尔至强6148处理器开展视频黄暴内容识别业务,取得了相较之前平台最高8.8倍的性能提升。

对于全面转向AI的百度来说,AI的新型应用对存储系统提出了新的挑战,更智能的AI应用需要对大规模数据的高效处理,这也对于存储的读写性能提出了新的挑战。为此,百度云基于英特尔最新的Optane和QLC SSD存储介质打造了新一代对象存储系统。该系统充分发挥了Optane介质的优势,相比传统基于HDD的对象存储性能提升21倍,同时又挖掘了QLC介质高性价比的特点,使得最终系统的总体成本大大低于目前市面上的全闪存方案。

此外,在无人驾驶领域中,英特尔也参与到百度自动驾驶L3和L4领域的解决方案研发中,包括传感器融合,控制和规划,以及Halo Creek和Car Branch的高清图像集成。

9月25日,百度与Intel共同发起的“5G+AI边缘计算联合实验室”正式揭牌成立,旨在加速国内边缘计算(MEC)技术研发。双方将充分发挥在技术和应用开发领域的优势,共同对人工智能、车联网、5G、边缘计算、搜索、在线翻译、VR/AR、物联网等方面的技术、产品和商业模式进行探索。

可以说,在这个智能化、数据化的时代,我们需要类似百度大脑这种人工智能能力的集大成者,深度的理解真实世界,进而更好的支撑各种应用。但在这些酷炫的高科技背后,离不开强大的数据中心底层硬件支撑,特别是英特尔至强可扩展处理器、傲腾内存这样更快速、更高效的平台支持。

正如百度创始人李彦宏描述的那样——让机器去替代人的体力,我们在工业化时代已经解决了这个问题;如今,我们要解决的是,让机器能够像人一样思考。

- END -

【IT创事记】创见科技未来,旨在为读者提供科技企业和科技趋势的前瞻分析与评论。创始人祁萌,为资深科技自媒体人,曾任《商业伙伴》副总编、《电脑商报》主编、都市媒体记者编辑,从业超过14年。

【IT创事记】同名专栏入驻各主流媒体平台。


本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-10-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 IT创事记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【人工智能的架构趋势】AI专有芯片版百度大脑首次解密
在今年9月份召开的百度世界大会上,百度高级副总裁王劲在接受采访时曾透露,百度已经打造了FPGA版的百度大脑,性能远超此前的版本。“这在当年是百度的一个秘密项目,不过,现在可以对外公开了”。 王劲所提到
新智元
2018/03/13
9370
【人工智能的架构趋势】AI专有芯片版百度大脑首次解密
“电老虎”数据中心,AI如何发挥作用?
在过去几年,一座座数据中心拔地而起,大规模的服务器串联而成的计算系统支撑了海量的数据处理和运算。数据中心机架数量由2016年的124万架上升至2019年的227万架,四年间上涨了83.1%。
科技云报道
2022/04/16
4270
“电老虎”数据中心,AI如何发挥作用?
两会关注绿色低碳发展 云智一体助力实现双碳目标
作者 | 曾响铃 文 | 响铃说(xiangling0815) 两会期间,代表委员们围绕“绿色低碳推动经济高质量发展”的话题建言献策,低碳、减排等词汇成为热议话题。 在碳达峰、碳中和的“双碳”国家经济社会主题下,一方面,行业的转型升级开始走向数字化与低碳化“双转型”的道路;另一方面,正如两会代表、中国社会科学院数量经济与技术经济研究所研究员刘强所言,“应该推动互联网大数据、人工智能、5G等新兴技术与低碳产业深入融合”,科技公司必须推动数字化与低碳化同时前行而不能只顾一个方面,行业数字化不再仅仅是一件带来
曾响铃
2022/03/16
3920
鹅,更绿了!
我们把AI人工智能融入数据中心的能源优化,通过机器学习的方法,把该关的空调关掉,该开大的空调开大,并且系统可以实时接收并处理各种能源数据,并智能预测未来用电量、发电量。
小腾资讯君
2024/01/05
2620
百度为何要做超级计算机Minwa?
封面图:百度投资47亿元建设的阳泉数据中心是亚洲最大数据中心。 《华尔街日报》5月12日报道,百度近日表示已在人工智能基准测试中取得了全球最佳成绩,其研发的超级计算机Minwa扫描了ImgaeNet数据库里的100多万张图片,并能按照先前制定的标准,自动将其分为1000多种不同的类别,错误率仅为4.58%,而人眼在ImageNet物体分类测试中的错误率约为5%,微软和谷歌分别为4.94%和4.8%。同时百度还透露正在通过超级计算机,进一步完善百度搜索引擎的中英语音识别系统。未来18个月,百度计划研发出一个更
罗超频道
2018/04/28
1.2K0
重构内存数据库,优化体验和成本
我们早已进入大数据时代,但是大众更多关心的是数据有多大,而不是这些数据存放在哪里,虽然后者关系到存储和访问数据的性能与成本。
大数据在线
2020/01/02
1.1K0
实现碳中和,中国科技企业还有多远的路要走?
作为地球村的一员,中国以实际行动为应对气候变化而做出了努力。 2020年9月,中国在联合国大会上提出,力争于2030年前实现碳达峰,2060年前实现碳中和。
科技云报道
2022/04/16
4520
实现碳中和,中国科技企业还有多远的路要走?
#数字中国万里行# 以十万之名 腾讯云业务的跃升
由E企学院主办的“2018年数字中国万里行暨北方区数据中心之旅”,聚焦中国超大规模数据中心,走访腾讯、阿里巴巴、京东、今日头条、抖音、华为、中国联通、中国移动等多家数据中心,将中国互联网、通信、制造业等多个领域的顶尖数据中心展示出来,让更多人了解互联网与云计算高速发展背后的奥秘。
IT创事记
2022/06/16
7150
#数字中国万里行# 以十万之名 腾讯云业务的跃升
百度发布「AI大底座」:一口气把10年AI技术积累打包了
鱼羊 发自 凹非寺 量子位 | 公众号 QbitAI 技术创新的节点性时刻,往往是以基建变革的形式展现。 现在,中国AI头号玩家百度,再次明确复现了这一规律: AI大底座,已正式对外推出。 就在刚刚结束的百度AI开发者大会上,李彦宏判断,深度学习算法是第四次科技革命的标志。 并且“创新驱动增长,反馈驱动创新”,这种技术力量向产业蔓延的过程中,真正的应用创新要靠在产业实际应用中的“反馈”才能实现。 △百度创始人、董事长兼首席执行官李彦宏 而集百度AI能力之大成的AI大底座,正是百度交出的答卷。 什么是AI
量子位
2023/02/28
3300
百度发布「AI大底座」:一口气把10年AI技术积累打包了
如何推动AI惠及千行百业?百度飞桨与英特尔携手交出答卷 | Q推荐
作为推动 AI 应用大规模落地的关键力量,深度学习平台的重要性日益凸显。近年来,全球人工智能学术界以及产业界各研发主体陆续开源旗下自主研发深度学习技术,搭建人工智能开放平台,推动人工智能产业生态的建立。 据 2021 年 IDC 报告显示,中国首个自主研发、开源开放的产业级深度学习平台百度飞桨,在中国深度学习平台市场综合份额位列第一。以飞桨为代表的深度学习平台正在发展成为更适合产业需求、更受中国开发者欢迎的 AI 新型基础设施。 11 月 30 日,由深度学习技术及应用国家工程研究中心主办的 WAVE S
深度学习与Python
2023/03/29
2770
如何推动AI惠及千行百业?百度飞桨与英特尔携手交出答卷 | Q推荐
英特尔发布CPU、傲腾硬盘、100G以太网:一切为了数据中心和AI
今天,这家半导体巨头,一口气发布了Cascade Lake架构、第二代至强可扩展处理器、Optane DCPMM数据中心持久内存、Agilex FPGA、800系列以太网适配器等产品。
量子位
2019/04/22
4640
英特尔发布CPU、傲腾硬盘、100G以太网:一切为了数据中心和AI
【深度】谷歌、百度、IBM,哪个适合作为你的 AI 和机器学习平台
【新智元导读】Zdnet 网站推出机器学习平台横向比较系列文章,以下内容分析谷歌、百度和 IBM 三家大公司 AI 实力,以及是否适合作为你的机器学习平台。谷歌的机器学习平台的优势在于构建更广泛的研究社区,围绕机器学习和民主化机器学习工具和服务的业务。作为在中国对标谷歌的百度,其 AI 平台是百度大脑,并开源机器学习平台 PaddlePaddle,在语音识别和深度学习知识经验方面占有优势。IBM的机器学习平台则以Watson解决方案为核心,实力来自三个关键因素:IBM研究、收购实力及其咨询顾问能力。 选择
新智元
2018/03/26
7780
【深度】谷歌、百度、IBM,哪个适合作为你的 AI 和机器学习平台
AI新基建哪家强?百度“秀肌肉”,意在C位
新基建号角吹响,国内各大科技巨头蠢蠢欲动——大手笔投资加码之时,也有玩家率先秀出肌肉。
量子位
2020/06/16
5380
智慧丽江:百度 4183 万元中标
2021年5月25日,智慧丽江城市大脑(一期)项目招标公告发布,预算4207万元。招标人为丽江市数字经济产业投资有限公司。 项目概况: 智慧丽江城市大脑(一期)项目将搭建一个基础设施(智能边端、传输网络)、一个人工智能计算中心、智慧大脑三大中台(包括智能城市数据中台、智能交互中台、AI中台)、以及N个业务应用(智能应用开放生态、新一代智能指挥调度中心),以1+1+3+N的模式服务丽江(未来考虑进入感知中台,形成1+1+4+N模式),满足党建政务、社会治理、文化旅游、交通管理等多行业的智慧化应用需求,未来支撑
云头条
2022/03/18
1K0
发布AI芯片昆仑和百度大脑3.0、L4自动驾驶巴士量产下线,这是百度All in AI一年后的最新答卷
首先亮相的是百度创始人、董事长兼首席执行官李彦宏。在大会的主 Keynote 环节中,李彦宏介宣布,全球首款 L4 级自动驾驶巴士量产下线。此自动驾驶巴士由百度与金龙客车合作制造,取名为阿波龙。当前,阿波龙巴士在北京雄安、广州、深圳、东京等地开始商业运营。其中阿波龙客车在东京的商业运营,是百度与软银合作进行的。
机器之心
2018/07/26
4830
发布AI芯片昆仑和百度大脑3.0、L4自动驾驶巴士量产下线,这是百度All in AI一年后的最新答卷
腾讯,「绿」到飞起
年初,鹅在天津的数据中心,装了一颗「绿色心脏」(光伏+小储能创新微电网),成为园区绿电的「模范生」。
小腾资讯君
2024/11/29
2430
从“徒弟”到“师傅”:探秘英特尔大连工厂,解读存储创新DNA
2019年,150多名英特尔大连存储工厂的工程师风尘仆仆地赶赴美国新墨西哥州。他们此行不是去拜师学艺,而是到英特尔该州生产基地协助生产。从2007年开始建厂,成为英特尔众多基地中的“小学徒”,到如今为其他生产基地的“传道授业解惑”,英特尔大连存储工厂只用了十余年就实现了“反向技术输出”。
大数据在线
2020/02/14
1.7K0
从“徒弟”到“师傅”:探秘英特尔大连工厂,解读存储创新DNA
上万张照片怎么找?百度网盘:你只管说,我们帮你找
「没有 xx 的结果,请尝试新搜索词。」有多少人在使用手机自带的相册搜索功能时收到了这样的反馈?
机器之心
2023/08/08
7280
上万张照片怎么找?百度网盘:你只管说,我们帮你找
英特尔AI产品事业部CTO专访:谷歌TPU表明纯GPU不是最佳架构
【新智元导读】去年,英特尔以 4 亿美元收购深度学习芯片研发公司 Nervana,将其作为公司深度学习的核心,并围绕Nervana 在今年年初成立统一的人工智能部门。日前,该部门负责人 Amir 接受新智元专访,针对英伟达GPU和谷歌的TPU谈到了他对目前AI芯片市场格局的看法和相关技术发展态势。他认为,深度学习模型在某种程度上可能朝着暴力计算发展。深度学习将向两大方向发展:一是越来越强的计算力,一是整合异构计算。谷歌 TPU 和 TensorFlow 的优势只是暂时的,英特尔正在开发我们认为比 TPU 第
新智元
2018/03/27
6840
英特尔AI产品事业部CTO专访:谷歌TPU表明纯GPU不是最佳架构
中国经济全产业数字智能化升级 百度成为核心推手
通过加载数据,理解数据,最终唤醒数据,AI,正成为新一轮产业变革与“数字中国”建设的核心驱动力。近日,人民日报整版讨论“数字中国”建设,指出全球经济范式已开始从传统经济向数字经济转变。这一过渡期中,中国作为全球AI双引擎之一,拥有实现弯道超车的新机遇。
罗超频道
2018/09/28
5520
推荐阅读
相关推荐
【人工智能的架构趋势】AI专有芯片版百度大脑首次解密
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档