点击上面观天者说

,获取全球气象行业资讯

眼见冬去春来,阿里巴巴的气象offer依旧悬而未定。本文观天者来围观下大洋彼岸,美国大气和海洋管理局(NOAA),如何与云计算服务商们共建气象IT生态,以及对我们有哪些启示。

2015,大数据计划(BDP)
数据是气象行业的基石。在世纪初,气象行业面临着庞大、复杂、分散的数据,依赖着复杂的、分布式的系统和基础设施,而且,数据量呈指数级增长。
2015年4月,美国大气与海洋管理局(NOAA)启动了大数据计划(BDP),同时和云计算三大巨头:亚马逊的AWS,谷歌云平台以及微软Azure开展合作。

BDP本质上是一个为期三年的商业试验,学名叫“非竞争性合作研究与开发协议(CRADA)”,其目的有三: 一是盘活家底。NOAA把天气,海洋,气候,渔业,生态系统和其他环境数据,放在商业云平台上面向用户,看数据产生的社会价值,是不是能cover存储和传输这些数据的成本。
二是激发火花。该研究活动还在调查现代云基础架构上NOAA数据的可用性,是否可以提供NOAA数据的更广泛或更复杂的应用,并为美国工业带来新的商机。
三是降低成本。NOAA自己管理大数据又苦又累又费钱,大数据项目利用公私合作伙伴关系,减少了与数据访问服务相关的成本,也降低了自己管理数据的风险。

在NOAA的BDP官网,上云的数据集咔咔一列,点进去直接链接到三大云平台的网站上,而这些云平台网站都比较友好,都顺带了很多数据服务信息:
世界上没有无来由的爱,云平台的殷勤是有原因的。根据合同,云平台提供商对NOAA数据本身免费开放访问,只能通过数据云计算及其他服务收费。

在NOAA话语体系里,故事是这样的:
“大数据项目旨在结合三种强大资源,来消除公众使用该机构数据的障碍——”
瓜吃到这里好像终于摸到了点门道:原来NOAA并不是甲方,亚马逊等大厂也不是NOAA的乙方,而是NOAA和亚马逊等云平台联手,请“美国经济的创新力量”买单,最终为公众利益服务。

2019,R2O
三年一晃而过,大数据计划(BDP)获得了巨大的成功,把超过130个NOAA数据集上云后,GOES卫星数据访问速度增加了10倍,历史气象数据的调用量增长了10倍, 而NOAA访问负荷降低了一半。
而且据NOAA评估,云平台释放了NOAA环境数据的潜力,带来了科技进步和经济利益双丰收:卫星数据应用、数值天气预报、海洋模式、大数据分析存储传播等领域,技术水平都得到了显著提高。
2019年,NOAA正式宣布,大数据云计算战略从研究走向业务(R2O),与亚马逊网络服务(AWS),谷歌云和微软签订多年期合同,向公众提供基于云的NOAA环境数据集的访问,包括卫星,雷达,船舶,数值预报以及其他来源生成的,共计每日数十TB的数据。
以新一代天气雷达数据(NEXRAD)为例:
NEXRAD数据始于1991年,由NOAA和北卡罗莱纳州立大学联合研发。2014年《美国民用地球观测计划》评估了362个高影响力公共管理观测系统中,全球定位系统GPS排名第一,NEXRAD排名第二,地球静止轨道环境卫星GOES排名第三。
2015年后,AWS通过与UCAR合作,实现了NEXRAD云平台免费开放,并在Climate Corporation等公司得到了成功应用。联邦政府,私营企业和学术界的共同努力,帮助NEXRAD数据创新了更多应用,而美国纳税人却没有任何净成本。

2014年7月到2016年7月
NCEI和AWS上NEXRAD二级数据逐月访问量
值得关注的是,在美帝各行业的云技术应用横向比较中,气象毫不逊色——
商而优则仕的NOAA前任局长Neil Jacobs博士说:“NOAA大数据项目是美国政府中首个此类公私合作项目,将有助于加快科学和经济增长的新领域。”
2019年11月,NOAA大数据项目获得了美帝“2019年度最佳政府创新奖”,说明NOAA对云计算的创新应用,在更好地实现政府使命,更有效服务公众的方面,得到了联邦政府的认可。


2024,云战略草案
开局貌似不错,后面怎么玩儿还需要战略谋划。2020年7月,NOAA发布了《云战略草案》,旨在最大化NOAA云服务的价值。

所谓“草案”,的确十分简略,核心内容有两项:一是明确了NOAA云服务架构的性质,是代理的、多供应商、多租户的商业云平台,二是明确了NOAA云服务的五项目标及各项子目标。
云战略五项目标如下:

这样说来可能有点虚,举个栗子。2017年NOAA发布了备受瞩目的《天气研究和预报创新法案》,随后成立的地球系统预测创新中心(EPIC)被给予厚望,希望借此设计能够在数值预报领域重新领跑世界(许小峰局长曾经专门写了一篇解读文章:美国天气研究与创新法案影响几何?)
2019年8月,在地球系统预测创新中心(EPIC)研讨会上,NOAA前任局长Neil Jacobs博士点出:云计算战略是EPIC的基础,因为只有高性能云计算架构,才能使外部研究合作伙伴能够合作,共同开发、测试并提供建设性的反馈,从而加速地球系统建模改进。


云战略是NOAA去年发布的六个科技战略之一
其余五个分别是:公民科学战略、数据战略、
“非机载系统”战略、人工智能战略、“组学”战略
我承认,有两个连名字都没看懂><

观天者说
热闹看完,观天者尝试从技术和产业变革的大背景下,去看美国气象的云战略,有一点感受:
NOAA大数据项目是美国商务部2018-2022战略计划的一部分,即支持联邦政府“将数据作为战略资产并加以利用”的目标。听起来耳熟不?这翻译过来,和十九届四中全会提出的“加快数据要素市场化”,似有异曲同工之妙。

《关于构建更加完善的要素市场化培训体制机制的意见》
明确提出“研究建立促进气象等公共数据开放和
数据资源有效流动的制度规范”
中美两个超级大国都走到了同样的路口,将数据资源视为推动科技创新和经济增长的关键点。对内来讲,迫切需要改变基础业务IT支撑架构,对外来看,都要求开放数据资源,创新驱动发展,孵化新的产业增长点。
这就遇到一个问题:如果“云”不够大,只是部门云或者单位云,很难挖掘出数据价值的潜力;如果“云”太大,以公有云的方式提供公共服务,成本太高,政府气象部门负担太重,云服务商吃不饱。
美国探索了一条变公共服务为商业服务的路子:优点是将数据资源释放到整个科技产业中,能够将其市场价值充分挖掘出来;缺点是有来自各方用户的吐槽,使用数据的成本变高了。
对于中国来说,如何重新考量传统占山占水的思维,来理解气象大数据的所有权和价值——以前是“拿住”数据的人拥有话语权,现在可能是“放开”数据的人拥有话语权,基于中国国情,发挥中特社的体制优势,不断完善我们的气象云计算解决方案,未来非常值得期待。