前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >直面极端天气:GPU 帮助初创公司革新天气预测

直面极端天气:GPU 帮助初创公司革新天气预测

作者头像
气象学家
发布于 2020-06-30 07:33:47
发布于 2020-06-30 07:33:47
4420
举报
文章被收录于专栏:气象学家气象学家

文章来源 | 英伟达NVIDIA中国 2017-11-06、www.climacell.co

三名以色列军人创立了一家气象科技公司,他们使用 NVIDIA Tesla GPU 加速器,快速频繁地将气象数据可视化、运行算法、分析信号,提供更准确、时间更临近的气象预报。

在美国,气象数据基本上都出自美国国家海洋和大气管理局 (NOAA) 。其高分辨快速更新模型(HRRR)可每15 分钟分析一次观测数据,并每小时提供一次最新天气预报。

要想获得比 NOAA 更准确的数据,你可能需要投入上亿美元构建新的传感器层,或者聘请一群专业的博士进行一系列复杂的数据科学研究。

比NOAA更准确的天气数据

位于波士顿的初创公司 ClimaCell 有个更好的主意,那就是软件。

三名以色列军人 Shimon Elkabetz、Itai Zlotnik 和 Rei Goffer 在 2015 年创立了一家气象科技公司。他们三人在军队服役期间都曾接触到大量的气象信息。无论是实时的、历史的还是未来相关的信息,都需要他们了解相应的天气状况。

图中为 ClimaCell 创办人 Shimon Elkabetz

但他们逐渐注意到,他们所接收到的信息中普遍存在重大偏差,数据导入也不够迅速,他们的预测工作也缺乏相应的准确性。

几年之后,他们在哈佛大学和麻省理工学院 (MIT) 攻读研究生学位时重聚,并将他们的经历进行了比较。他们意识到可以通过超本地化的、准确的高清“临近预测”来彻底革新天气数据的使用,从而帮助企业和个人做出更好的决策。

Elkabetz 表示:“为了让我们的工作变得更加有意义,我们必须改进对建模以及计算能力的看法。我们的下一个阶段是从气象信息提供者变为情报信息提供者。”

气象洞察数据的新来源

ClimaCell 努力争取的市场不仅仅是在线查看天气。他们还计划为航空、军事、驾驶、建筑、金融、活动策划等市场提供天气信息背后的数据。

Elkabetz 表示,为了实现这个目标,我们必须利用和改进实时天气数据的来源。公司创始人提供了一个解决方案:编写一个能够利用现有通信网络信号创建更多传感器的软件。ClimaCell 使用散布在整个地理区域内的节点来感知其环境并提取实时天气数据。

Elkabetz 说:“我们正在获取的是来自各种网络的信号和测量数据。我们正在不断组合网络,并且非常快速地分析信号,将其与 NOAA 数据集成,然后将所有内容都集中到依靠 GPU 运行的模型当中。”

ClimaCell 使用这些数据创建一个临近预测模型,为随后的三到六个小时提供短期天气预报。换句话说,该公司的解决方案建立在 NOAA 数据基础之上,可提供内容更准确、时间更临近的数据。

Elkabetz 说:“我们的模型每分钟更新一次。它的更新速度要比 NOAA 快很多很多。”

ClimaCell的全球影响力之路

ClimaCell 技术中的一个关键要素是 GPU。该公司在多个层面上使用 NVIDIA Tesla GPU 加速器,用于快速频繁的数据可视化、运行算法、分析信号,以及最终运行的预测模型。

英伟达CEO黄仁勋 2020年”煤气灶“新品发布

Elkabetz 对现代 GPU 的可购性、速度和可用性大加赞赏,且不论它们对于云提供商的用途,单是帮助 ClimaCell 这样的年轻公司来构建前所未想的服务就值得记下一笔。

尽管 ClimaCell 的工作让该公司把目光投向许多新兴市场,其中包括保险、户外娱乐以及拼车等按需服务,但这一份研究工作最大的影响可能并非只是公司的营收,而是对于世界的改变。

Elkabetz 说:“最激动人心的是,这项技术正在服务于那些气象数据不够可靠的其他国家和地区。”

参考资料

[1]https://mp.weixin.qq.com/s/Bymld4MJMlcNTbiafCOfXw

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-06-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 气象学家 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
[源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行
在前面的文章之中,我们已经学习了PyTorch 分布式的基本模块,接下来我们通过几篇文章来看看如何把这些模块应用到实践之中,顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何使用 RPC 来完成分布式管道并行。
罗西的思考
2021/12/21
8170
[源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行
[源码解析] PyTorch 分布式(14) --使用 Distributed Autograd 和 Distributed Optimizer
在前面的文章之中,我们已经学习了PyTorch 分布式的基本模块,接下来我们通过几篇文章来看看如何把这些模块应用到实践之中,顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何把分布式自动微分和分布式优化器结合起来训练一个模型。
罗西的思考
2021/12/15
1.1K0
[源码解析] PyTorch 分布式(14) --使用 Distributed Autograd 和 Distributed Optimizer
[源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架
在前面的文章之中,我们已经学习了PyTorch 分布式的基本模块,接下来我们通过几篇文章来看看如何把这些模块应用到实践之中,顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何把DDP和RPC framework结合起来。
罗西的思考
2021/12/17
6080
[源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架
[源码解析] PyTorch 分布式(15) --- 使用分布式 RPC 框架实现参数服务器
在前面的文章之中,我们已经学习了PyTorch 分布式的基本模块,接下来我们通过几篇文章来看看如何把这些模块应用到实践之中,顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何使用分布式 RPC 框架实现参数服务器。
罗西的思考
2021/12/15
1.5K0
[源码解析] PyTorch 分布式 Autograd (1) ---- 设计
本文以几篇PyTorch官方文档为基础来了解分布式 autograd 的设计和内部结构,在翻译时并没有逐字翻译,其中加入了自己的部分理解。分布式 autograd 后续文章的分析也会基于本文进行。
罗西的思考
2021/12/01
3580
[源码解析] PyTorch 分布式 Autograd (1) ---- 设计
[源码解析] PyTorch分布式优化器(2)----数据并行优化器
本系列介绍分布式优化器,分为三篇文章,分别是基石篇,DP/DDP/Horovod 之中数据并行的优化器,PyTorch 分布式优化器,按照深度递进。
罗西的思考
2021/12/09
1K0
[源码解析] PyTorch分布式优化器(2)----数据并行优化器
PyTorch 2.2 中文官方教程(十九)
本教程使用 Resnet50 模型演示了如何使用torch.distributed.rpc API 实现分布式管道并行。这可以看作是单机模型并行最佳实践中讨论的多 GPU 管道并行的分布式对应。
ApacheCN_飞龙
2024/02/05
3820
PyTorch 2.2 中文官方教程(十九)
PyTorch 2.2 中文官方教程(十八)
在大规模训练 AI 模型是一项具有挑战性的任务,需要大量的计算能力和资源。同时,处理这些非常大模型的训练也伴随着相当大的工程复杂性。PyTorch FSDP,在 PyTorch 1.11 中发布,使这变得更容易。
ApacheCN_飞龙
2024/02/05
3840
PyTorch 2.2 中文官方教程(十八)
[源码解析] PyTorch 分布式(16) --- 使用异步执行实现批处理 RPC
在前面的文章之中,我们已经学习了PyTorch 分布式的基本模块,接下来我们通过几篇文章来看看如何把这些模块应用到实践之中,顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何使用异步执行操作来实现批处理 RPC,大家可以学习到PyTorch对参数服务器一个新的实现方式。
罗西的思考
2021/12/17
8750
[源码解析] PyTorch 分布式(16) --- 使用异步执行实现批处理 RPC
【AI系统】流水并行
在大模型的训练中,单个设备往往无法满足计算和存储需求,因此需要借助分布式训练技术。其中,模型并行(Model Parallelism, MP)是一种重要的方法。模型并行的基本思想是将模型的计算任务拆分到不同的设备上执行,以提高训练效率和处理更大规模的模型。模型并行主要分为朴素的模型并行、张量并行和流水线并行。下面将详细介绍模型并行中的流水并行。
用户11307734
2024/12/09
1700
[源码解析] PyTorch分布式优化器(1)----基石篇
我们接下来通过几篇文章来看看分布式优化器。本系列分为三篇文章,分别是基石篇,DP/DDP/Horovod 之中数据并行的优化器,PyTorch 分布式优化器,按照深度递进。
罗西的思考
2021/12/09
2K0
[源码解析] PyTorch分布式优化器(1)----基石篇
分布式训练框架Horovod初步学习
Horovod 是 TensorFlow、Keras、PyTorch 和 Apache MXNet 的分布式深度学习训练框架。Horovod 的目标是使分布式深度学习快速且易于使用。
BBuf
2020/11/09
3.3K0
[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline并行来复现 GPT3,值得我们深入分析其背后机理。
罗西的思考
2022/05/09
2.8K0
[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
Pytorch分布式训练
简单来说,如果数据集较小时推荐尽量使用Map式Dataset,数据量过大、数据量未知、训练内存无法满足时只能使用Iterable式构建Dataset。
iResearch666
2023/09/13
1.3K0
Pytorch分布式训练
[源码解析] PyTorch 分布式(11) ----- DistributedDataParallel 之 构建Reducer和Join操作
因为前文已经围绕Reducer相关的各种成员变量做了相关分析,所以本文开始做动态逻辑分析,目的是:把前面几篇文章串联起来,为后面分析前向传播和反向传播设定基础。
罗西的思考
2021/11/29
1.4K0
[源码解析] PyTorch 分布式之 ZeroRedundancyOptimizer
PyTorch Zero Redundancy Optimizer 是一类旨在解决数据并行训练和模型并行训练之间权衡问题的算法。Zero Redundacy Optimizer 的思想来源于微软的ZeRO,具体实现是基于 Fairscale 的OSS。
罗西的思考
2022/05/09
1K0
[源码解析] PyTorch 分布式之 ZeroRedundancyOptimizer
当代研究生应当掌握的并行训练方法(单机多卡)
每天给你送来NLP技术干货! ---- 排版:AI算法小喵 1. Take-Away 笔者使用 PyTorch 编写了不同加速库在 ImageNet 上的使用示例(单机多卡)。需要的同学可以当作 quickstart 将所需要的部分 copy 到自己的项目中(Github 请点击下面链接): nn.DataParallel[1] 简单方便的 nn.DataParallel torch.distributed[2] 使用 torch.distributed 加速并行训练 torch.multiprocessi
zenRRan
2022/08/26
1.7K0
当代研究生应当掌握的并行训练方法(单机多卡)
[源码解析] PyTorch 分布式(4)------分布式应用基础概念
本文以 PyTorch 官方文档 https://pytorch.org/tutorials/intermediate/dist_tuto.html 为基础,对如何编写分布式进行了介绍,并且加上了自己的理解。
罗西的思考
2021/11/16
2.7K1
[源码解析] PyTorch 分布式(4)------分布式应用基础概念
[源码解析] PyTorch 分布式(1)------历史和概述
本文主要在对PyTorch官方文档的翻译之上加入了自己的理解,希望给大家一个PyTorch分布式的历史脉络和基本概念,有兴趣的朋友可以仔细研究一下历史,看看一个机器学习系统如何一步一步进入分布式世界 / 完善其功能。
罗西的思考
2021/11/04
1.3K0
[源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略
在前文中,我们介绍了PipeDream的总体架构,Profile阶段,计算分区阶段,模型转换阶段,运行时引擎和通信模块,本文是 PipeDream 系列最后一篇,介绍 1F1B 策略,这是 PipeDream 最大的贡献。
罗西的思考
2021/09/23
7500
[源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略
推荐阅读
相关推荐
[源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档