Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >[新知] 研究人员利用深度学习精确预测极端天气事件

[新知] 研究人员利用深度学习精确预测极端天气事件

作者头像
阿泽
发布于 2020-03-26 09:13:05
发布于 2020-03-26 09:13:05
1.1K0
举报

利用胶囊神经网路技术建构的极端天气预测系统,可快速且以88%的准确率,预测寒流与热浪发生的位置。

莱斯大学的研究人员,开发了一个以深度学习技术作为基础的天气预测系统,能以80%精确度预测5天后的极端天气事件。由于新方法计算成本低廉,因此可用来辅助传统数值天气预测模型,缩小需要精确计算的范围。

天气预测技术已经发展了数十年,绝大多数的进步,都是改进数值天气预测(Numerical Weather Prediction,NWP)模型,以取得更好的结果,但是即便数值天气预测模型越来越複杂,投入更多的运算资源与时间,但是在预测极端天气时仍遇到许多困难。

研究人员提到,当有热浪或是寒流出现时,观测天气图通常会发现喷射气流呈现不寻常的状态,像是大量或是不移动的高压系统等异常现象,而气压分布是决定天气变化的关键因素,研究人员认为,预测极端天气是一种模式辨识问题,而不使用数值方法来处理。

研究人员同时使用了卷积神经网路(CNN)以及胶囊神经网路(CapsNet),并以1920年到2005年的历史天气资料来训练模型。胶囊神经网路是一种机器学习系统,属于人工神经网路的类型,可以更好地表示模型阶层关係。

用来训练神经网路的资料有地表温度,以及对流层中层大规模环流模式(Z500),使用胶囊神经网路可预测寒流与热浪的发生,以及出现的区域,准确率达到88%,研究人员提到,胶囊神经网路的效能,比卷积神经网路和逻辑回归方法还要好。

这个研究证明,多变量由数据驱动的框架,有望实现准确且即时的极端天气预报,研究人员不认为这个方法可以立即取代数值天气模型,但是可作为早期极端天气警报,帮助缩小需要利用数值天气模型,特别精确计算的范围。

https://agupubs.onlinelibrary.wiley.com/doi/full/10.1029/2019MS001958

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-03-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Flink实战应用指南 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
大数据面试杀招——Spark高频考点,必知必会!
前面两篇文章分别为大家介绍了大数据面试杀招 关于Hive 与 Hadoop 的内容,收到读者朋友们一致的好评和赞赏。嘿嘿,本篇文章我们就继续来研究,关于Spark的面试热点,又有哪些~
大数据梦想家
2021/01/27
1K0
大数据面试杀招——Spark高频考点,必知必会!
Spark RDD 整体介绍
RDD 介绍     RDD 弹性分布式数据集          弹性:具有容错性,在节点故障导致丢失或者分区损坏,可以进行重新计算数据         分布式: 数据分布式存储,分布式计算(分布式执行)         数据集:传统意义上的数据集,不过这个数据集不是真实存在的,只是一个代理,正真数据集的获取 需要通过Task来或者     RDD 真正意义上不存储数据,只是代理,任务代理,对RDD的每次操作都会根据Task的类型转换成Task进行执行     Spark中关于RDD的介绍:         1. 分区列表(分区有编号,分区中包含的切片迭代器)         2. 提供了切片的计算入口函数(RDD具有一些列的函数(Trans/Action))         3. 其他RDD的一系列依赖(一个RDD 可以依赖于其他RDD)         4. (可选) 分区RDD (一个RDD也可以是一个分区RDD,可以对分区RDD进行处理)         5. (可选) 对RDD提供了一系列的计算函数 (RDD提供了对一些了切片的首选执行方法)     RDD 有俩类函数,transformations (懒加载)/Action(立即执行)     transformations 与Action最明显的区别在于:         1. transformations  为懒函数,action是实时函数         2. transformations 执行完毕后任然为RDD ,但是Action 执行完毕为 scala数据类型。     transformations函数为懒加载函数,调用该函数时函数不会立即执行,只记录函数执行操作,相当于pipeline,只是定义了RDD的执行过程,只有当Action函数出发以后,才会调用前面的Transformation。     Action函数为实时函数,执行了就会通过Master下发Task任务到Worker端,执行相应的处理。     transformations类函数:此类函数只会记录RDD执行逻辑,并不正真下发任务执行数据处理     函数列表:
Freedom123
2024/03/29
1440
图解大数据 | Spark Dataframe/SQL大数据处理分析
教程地址:http://www.showmeai.tech/tutorials/84
ShowMeAI
2022/03/08
1.8K0
图解大数据 | Spark Dataframe/SQL大数据处理分析
图解大数据 | 大数据分析挖掘-Spark初步
教程地址:http://www.showmeai.tech/tutorials/84
ShowMeAI
2022/03/08
2.1K0
图解大数据 | 大数据分析挖掘-Spark初步
Spark入门基础深度解析图解
  Ⅱ、默认情况下Scala不需要语句终结符,会默认将每一行作为一个语句,如果一行要写多条语句则必须要使用语句终结符 – " ;",也可以用块表达式包含多条语句,最后一条语句的值就是这个块表达式的运算结果。
挽风
2021/04/13
5450
Spark入门基础深度解析图解
大数据技术之_19_Spark学习_02_Spark Core 应用解析+ RDD 概念 + RDD 编程 + 键值对 RDD + 数据读取与保存主要方式 + RDD 编程进阶 + Spark Cor
  我们需要一个效率非常快,且能够支持迭代计算和有效数据共享的模型,Spark 应运而生。RDD 是基于工作集的工作模式,更多的是面向工作流。   但是无论是 MR 还是 RDD 都应该具有类似位置感知、容错和负载均衡等特性。
黑泽君
2019/05/10
2.6K0
大数据技术之_19_Spark学习_02_Spark Core 应用解析+ RDD 概念 + RDD 编程 + 键值对 RDD + 数据读取与保存主要方式 + RDD 编程进阶 + Spark Cor
如何应对大数据分析工程师面试Spark考察,看这一篇就够了
可以说Spark几乎是企业搭建大数据平台必备组件,作为数据分析工程师在工作中执行程序、调试程序、查询数据都会和Spark打交道,所以对Spark知识的考察也就顺理成章了。
AI科技大本营
2019/09/03
1.7K0
图解大数据 | 流式数据处理-Spark Streaming
教程地址:http://www.showmeai.tech/tutorials/84
ShowMeAI
2022/03/08
1.5K1
图解大数据 | 流式数据处理-Spark Streaming
Spark系列课程-0020Spark RDD图例讲解
我们从这节课开始,讲Spark的内核,英文叫做Spark Core,在讲Spark Core之前我们先讲一个重要的概念,RDD, image.png 我们Spark所有的计算,都是基于RDD来计算的,
Albert陈凯
2018/04/08
6460
Spark系列课程-0020Spark RDD图例讲解
图解大数据 | 综合案例-使用spark分析新冠肺炎疫情数据
教程地址:http://www.showmeai.tech/tutorials/84
ShowMeAI
2022/03/08
5.3K0
图解大数据 | 综合案例-使用spark分析新冠肺炎疫情数据
Spark RDD详解 -加米谷大数据
1、RDD是什么 RDD:Spark的核心概念是RDD (resilientdistributed dataset),指的是一个只读的,可分区的分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。
加米谷大数据
2018/03/21
1.6K3
Spark基础
1.Spark 使用DAG 调度器、查询优化器和物理执行引擎,能够在批处理和流数据获得很高的性能。2.spark把运算的中间数据(shuffle阶段产生的数据)存放在内存,迭代计算效率更高,mapreduce的中间结果需要落地,保存到磁盘;3.Spark计算框架对内存的利用和运行的并行度比mapreduce高,Spark运行容器为executor,内部ThreadPool中线程运行一个Task,mapreduce在线程内部运行container,container容器分类为MapTask和ReduceTask。Spark程序运行并行度高;
857技术社区
2022/05/17
4640
Spark基础
大数据技术之_27_电商平台数据分析项目_02_预备知识 + Scala + Spark Core + Spark SQL + Spark Streaming + Java 对象池
List 元素的追加 方式1-在列表的最后增加数据 方式2-在列表的最前面增加数据
黑泽君
2019/06/14
2.8K0
大数据技术之_27_电商平台数据分析项目_02_预备知识 + Scala + Spark Core + Spark SQL + Spark Streaming + Java 对象池
Spark 基础面试题
答:RDD(Resilient Distributed Dataset)叫做分布式数据集,是spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可以并行计算的集合
Tim在路上
2020/08/05
7740
图解大数据 | 导论-大数据生态与应用
教程地址:http://www.showmeai.tech/tutorials/84
ShowMeAI
2022/02/25
7140
图解大数据 | 导论-大数据生态与应用
Spark入门系列(二)| 1小时学会RDD编程
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2,下载spark并解压
AI科技大本营
2019/07/19
8710
Spark入门系列(二)| 1小时学会RDD编程
Apache Spark 2.2.0 中文文档 - Spark 编程指南 | ApacheCN
本文介绍了 Apache Spark 的 RDD 程序设计指南,从 RDD 的基本概念、创建与操作、缓存与存储、性能优化等方面进行了详细阐述,并提供了丰富的实例和代码以帮助读者更好地理解和掌握 RDD 的使用方法。
片刻
2018/01/05
1.7K0
Apache Spark 2.2.0 中文文档 - Spark 编程指南 | ApacheCN
大数据开发!Pandas转spark无痛指南!⛵
Pandas 是每位数据科学家和 Python 数据分析师都熟悉的工具库,它灵活且强大具备丰富的功能,但在处理大型数据集时,它是非常受限的。
ShowMeAI
2022/11/24
8.6K0
大数据开发!Pandas转spark无痛指南!⛵
RDD原理与基本操作 | Spark,从入门到精通
欢迎阅读美图数据技术团队的「Spark,从入门到精通」系列文章,本系列文章将由浅入深为大家介绍 Spark,从框架入门到底层架构的实现,相信总有一种姿势适合你,欢迎大家持续关注:)
美图数据技术团队
2018/09/18
5K0
RDD原理与基本操作 | Spark,从入门到精通
大数据开发-Spark编程
https://www.psvmc.cn/article/2022-04-21-bigdata-spark-idea.html
码客说
2022/04/28
4840
推荐阅读
相关推荐
大数据面试杀招——Spark高频考点,必知必会!
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档