npj | ESA-ECMWF: 机器学习在地球系统观测和预测方面应用的最新进展和研究方向

MeteoAI

发布于 2023-01-18 10:36:57

7880

发布于 2023-01-18 10:36:57

文章被收录于专栏：MeteoAI

Schneider, R., Bonavita, M., Geer, A. et al. ESA-ECMWF Report on recent progress and research directions in machine learning for Earth System observation and prediction. npj Clim Atmos Sci 5, 51 (2022). https://doi.org/10.1038/s41612-022-00269-z

来源：npj Climate and Atmospheric Science

翻译：Google translator （机器翻译，如有不当请见谅！）

本文简要总结了2021年11月15日至18日由欧洲航天局（ESA）和欧洲中期天气预报中心（ECMWF）组织的地球系统观测和预测机器学习（ML）研讨会（ESOP / ML4ESOP）的成果。为期4天的研讨会有30多位演讲者和30位海报展示者，吸引了来自全球85个国家的1100多名注册者。该研讨会旨在根据参与者的反馈，展示传统ESOP应用程序和ML方法之间的融合在何处以及如何显示出局限性，突出的机遇和挑战。来自ML4ESOP领域的所有主题领域也强调了未来的方向。

该研讨会由欧洲航天局（ESA）与欧洲中期天气预报中心（ECMWF）合作主办，目的是将对传统地球系统观测和预测（ESOP）应用与机器学习（ML）方法之间的融合感兴趣的多元化社区聚集在一起。本报告总结了研讨会期间讨论的范围和深度，并强调了ML4ESOP中当前的局限性，挑战和机遇。

第二期研讨会分为4天（2021年11月15日至18日）。前3天主要来自四个主题领域（TA）的专家的33个口头报告：（1）用ML加强卫星观测，（2）混合数据同化 - ML方法，（3）使用ML和混合模型进行地球物理预测，以及（4）用于后处理和传播的ML。讲习班还举办了一次现场电子海报会议，在单独的虚拟会议室举办了30场海报展示，以促进网络和培育新的合作。在最后一天，是时候颠倒顺序并听取参与者的意见了，他们来自学术和行业背景，在ESOP应用程序的当前ML方法方面具有丰富的经验和专业知识。分成TA的工作组带来了一个多元化的社区，与更传统的方法相比，讨论了ML的优势和局限性，并概述了未来的方向。

研讨会开幕式上，Pierre-Philippe Mathieu（欧空局Φ实验室探索办公室主任）和Andy Brown（ECMWF研究主任）提供了发展愿景，使ESA和ECMWF的成员国和合作国都能从ML在卫星观测，天气和气候建模方面的进步中受益。按照介绍性发言中概述的步骤，Devis Tuia（瑞士联邦理工学院洛桑分校副教授，ESA Φ-lab客座教授）和Alan Geer（ECMWF首席科学家）分别就ESA和ECMWF目前如何研究和应用ML功能进行了补充概述，从而开始了科学讲座。既作为内部项目，也与外部 ML 专家合作。

Tuia博士强调了推进可解释的ML工具的重要性，他提到了ML方法，人类可以在预测之外进行解释（因为ML工具通常被视为“黑匣子”），并了解模型的内部功能，从给定参数定义到最终模型输出的内部决策。还有人强调，深度学习（DL）方法在遥感应用中的分布非常偏向于一个已解决的问题：特征检测（例如建筑物测绘，道路提取等）。根据Tuia及其同事，地球科学议程中的新ML已经到来，以彻底改变从地球观测（EO）卫星图像/视频中提取的价值，例如：事件识别（文化事件与表现形式），从景观感知中检测人类感觉，以及基于城市规划法规文本挖掘的建筑许可控制。

Geer博士还介绍了EO产品对数据同化系统的重要性，提供了地球物理大气状态的初始条件和参数估计，以描述进行地球物理预测所需的复杂物理动力学。将ML方法合并到数据同化中可以尝试模拟动态系统的全部或部分;因此，为该过程带来新功能。

以下各节将更详细地描述每个TA的讨论，涵盖三个关键主题：（1）当前的ML应用，（2）限制，机遇和挑战（3）未来方向。

研讨会内容（录音、幻灯片和电子海报）可在ECMWF网页上找到：https://events.ecmwf.int/event/291/timetable/。

TA1：利用 ML 增强卫星观测

当前的 ML 应用程序

由Begüm Demir（柏林工业大学教授）和Bertrand Le Saux（欧空局高级科学家）主持的工作组团队概述了使用ML / DL方法（例如集合方法，随机森林，卷积神经网络等）进行地表监测，例如森林和生物量估计。.雷达反向散射（如欧空局的哨兵1 C波段）和光学图像（如欧空局的哨兵2多光谱仪器）被描述为估计森林生态系统清单的相关环氧运动产品。还提到了火山羽流监测，它既可以由地球静止和低地球轨道卫星（例如.MSG-SEVIRI和Sentinel 5P）观测，也可以通过化学运输模型（例如哥白尼大气监测服务（CAMS））进行模拟/跟踪（即其灰烬和气体扩散）。ML的探索可以与几个火山相关的主题联系起来，例如，使用Full-Physics逆神经网络检索灰分和二氧化硫层高度。此外，它还讨论了ML回归方法通过使用EO数据估计冰盖质量平衡的强大功能。因此，开放访问EO数据（例如哥白尼服务））带来了很多好处，将ML技术推向了EO应用。

限制、机遇和挑战

在讨论局限性时，参与者提到了ML训练和验证过程中的地面真实性可靠性问题，这可能需要使用弱监督学习。或半监督策略，处理大数据集，通常需要满足某些ML算法的学习过程，已经与存储和处理能力一起被精确定位为约束。

迁移学习（TL）是一种跨ML / DL应用程序的相关方法，已被参与者归类为限制和机会。TL 意味着将训练的 ML 模型应用于不同地理区域或时间周期，以解决相同或类似的问题。一些专家认为，这种对未知区域或时间步长的推断可能会产生高度不可靠的估计。同时，这种知识转移据称可以节省时间和资源，因为不必从一开始就训练许多ML模型来在其他地方执行类似的任务。此外，它还可以填补由于缺乏训练数据而造成的地理数据空白。

工作组会议期间讨论了许多挑战。从 ML 输出中的不确定性开始，这些不确定性来自许多需要正确量化的来源（嘈杂的数据、训练的样本大小不足和模型不完美）。ML中已知的“黑匣子”挑战也被一些参与者强调。缺乏人类可解释性促使研究人员开发工具，以更好地理解和信任ML算法对特定参数值，模型设计和估计做出的决策。这些工具被称为可解释的人工智能（AI）。

最后，ML与基于物理的传感器模型的结合观察到的系统被认为是一个优先事项：ML方法非常注重任务，并且可能难以对物理过程（例如火山活动）进行预测，因为它们缺乏关于他们想要描述的系统的早期知识。后者将在TA3中更详细地介绍。

未来发展方向

在TA1的背景下，一个被认为是可持续解决方案的研究方向是TL方法。TL仍然存在一些限制和挑战，但其泛化能力对于没有足够的数据进行培训的位置来说是一个真正的游戏规则改变者，为多种应用（例如粮食安全，气候变化缓解）提供了可行的解决方案。

TA2：混合数据同化 — ML 方法

当前的 ML 应用程序

由Rossella Arcucci（伦敦帝国理工学院助理教授）和Alan Geer（ECMWF首席科学家）主持的工作组团队概述了使用ML的好处，特别是神经网络，在准确性和效率方面进行数据同化。神经网络在近似非线性系统和从高维数据中提取有意义的特征方面表现出了强大的能力。这些属性在数据同化应用中可能非常有用。自动编码器对降维很感兴趣，一个新兴的应用是将非高斯问题转换为与使用传统数据同化方法一致的高斯问题。对于构建代理模型，神经网络可以学习数据背后的动态，也可以用于预测-校正数据同化周期。或者例如完全替换基于物理的模型或应用纠错，在四维数据同化模型中。数据同化和神经网络的杂交有望产生更快、更准确的同化预测系统。帮助合并数据同化和ML的事实是，这两个字段都是反向方法，可以在贝叶斯框架下统一.

限制、机遇和挑战

在数据同化中，观测算子将感兴趣的地球物理变量（例如海冰分数或风）与观测到的量（例如卫星观测到的辐射度）联系起来。通常没有足够的基于物理的运算符，因此ML可以帮助创建经验观察运算符。一个挑战是不存在完整的训练数据集，因为观测值通常对任何模型都无法完全模拟的变量敏感。可能需要一种生成方法，其中未知的物理变量在潜在空间中表示。

在创建经验预测模型时，使用物理约束的需求是显而易见的，并且技术越来越可用，例如，损失函数中的附加物理层或项。其他问题涉及多制度混沌系统中的外推 - 在一种制度中训练的ML模型是否可以外推到另一种制度？但我们也可以开始使用ML模型来理解和预测系统的政权依赖性。

未来发展方向

在不久的将来，使用ML进行模型误差估计和偏差校正将非常重要。可以保留不完美的物理模型，但可以通过神经网络进行增强，该神经网络学习在模型的每个时间步执行与状态相关的纠错。

另一个有趣的应用是因果关系，尽管ML是线性方法（如相关性）的非线性扩展，但同样的问题就是它可以学习关联或模式，而不是因果关系。但是，一些ML技术试图学习因果关系，例如气候变量之间的关系。

神经网络在开始产生可靠的结果之前可能需要大量数据，架构越大，需要的数据就越多。此外，如果可用的数据过于嘈杂，过于稀缺或缺乏突出的特征来表示问题，则网络将无法正常运行。物理知情神经网络（PINN）是一种神经网络，它使用一般非线性偏微分方程描述的给定物理定律的约束来解决监督学习问题，还有助于减少所需的训练数据量。

标准数据同化和神经网络在非结构化甚至自适应网格方面可能存在问题。但图神经网络有望开始包括具有不同节点数的非结构化和自适应网格。

TA3：使用 ML 和混合模型进行地球物理预测

当前的 ML 应用程序

由Claudia Vitolo（ESA高级科学家）和Peter Dueben（ECMWF的ML和AI活动协调员）主持的工作组团队概述了各种类型的ML和混合模型应用程序，其范围从应用程序到加速复杂且耗时的处理（例如模型仿真器））到专注于诊断的应用程序（例如，无监督学习和因果发现））和模型改进（例如，从观测和高分辨率数据中学习）），或用于不确定性量化和误差分析）。ML还允许从数据中学习整个模型。这个应用是最有争议的，因为ML科学家相信他们很快就能击败作战天气模型。而大多数领域科学家都相信纯ML模型不会很快击败传统模型。

限制、机遇和挑战

深度学习的优点是计算效率高（由于密集线性代数和降低的数值精度），简单的算术使工具非常灵活（例如关于自动微分），以及灵活地组合来自各种数据源的信息，包括物联网（IoT）数据）。当不了解底层物理过程时，DL工具可以用作黑匣子，这也是一个优势。深度学习以外的统计方法的优点是健全的数学公式和（对于某些方法）提取物理理解的能力。在专门的口头会议上介绍了上述申请的一些成功实例。

主要限制是对数据集的有限访问。如果可用，许可证限制可能会限制其使用。从建模的角度来看，一些地球系统过程是罕见的（例如热带气旋等极端事件），并且难以在统计上表征。例如，在分类算法中，这种不平衡可能会产生误导并导致置信度过高。需要更多的AI就绪数据集（所谓的基准数据集），改进以使数据处理更容易，以及访问更多预先训练的ML模型，这些模型只需要针对特定应用程序进行自定义。

挑战在于，由于无法推断出看不见的天气制度和有限的概括，人们对ML工具缺乏信任。它需要更多的工作来促进在操作天气和气候预测中使用ML工具。此外，数据伦理与物联网数据相关。

未来发展方向

该领域将进一步发展，并受益于定制ML硬件的可用性，可解释的AI和物理知情ML的改进，为天气和气候应用建立的基准数据集，更开放的数据集，更多的传输和再强化学习，以及软件的进步 - 例如传统和ML工具的耦合以及ML的大规模使用。因此，ML将改进天气和气候建模工作流程中的所有相关组件。还将有更多的科学家可以同时做ML和地球系统科学，他们将帮助将这两个社区联系起来。在欧洲数字战略下可以提供进一步的机会，例如目的地地球倡议（由欧洲联盟委员会协调，由欧空局、欧洲空间联合会和欧盟气象卫星应用组织联合实施）和迁移学习的应用。

TA4：用于后期处理和传播的 ML

当前的 ML 应用程序

由Rochelle Schneider（欧空局研究员）和Massimo Bonavita（ECMWF高级科学家）主持的工作组团队与来自广泛不同的专业背景，ML和ESOP经验以及ML在TA4领域使用的观点的参与者进行了讨论。来自不同领域的参与者，如运营气象服务、能源（如风能和太阳能预报）和水文（如洪水预报））部门在使用ML进行后处理以优化其预测建模系统方面有着共同的兴趣，并提供从短期（数小时到数天）到扩展范围（月）再到季节性前景的预测。其他与会者就使用ML方法缩小全球/当地气候和大气模型的产品规模进行了有趣的观察，以改善提供给陆上/海上风电场的气象信息。这种超分辨率ML应用也被认为有利于环境健康的研究。和可持续城市，这些城市需要在地表水平上以高时空分辨率提供天气和空气质量数据.

限制、机遇和挑战

毫不奇怪，与其他工作组的发现类似，模型训练的异构地面实况分布和计算成本被确定为潜在的挑战。当其中一位参与者将“基准”概念带入对话时，开始了丰富的讨论。这里有趣的情况是，这个主题被报道了三种不同的含义。目前，文献中还没有关于正确评分不同ML模型的共识，这些模型旨在执行相同（或类似）的任务。2.这种情况表明需要开发一个标准基准，以帮助未来的研究人员根据先前研究中发现的性能推进其模型设计。最后，实现一刀切的基准测试方法也具有挑战性，以验证不同的ML模型设计。讨论还提出了一个问题，即缺乏可用于解释模型架构的已发布信息，以及用于生成训练的ML模型的报告性能的样本大小。

主席询问在私营部门工作的参与者，为什么ML方法尚未普遍实施到他们的服务中。答案是，由于缺乏基本信息（例如，公开可用的数据集和代码），文献中发布的许多ML框架都难以复制。此外，运营/用户服务不愿意探索ML方法，这可以通过（基准）统计方法的强大可解释性和可信度，以及对由于不可预见的ML模型问题而导致的可能服务中断的担忧来解释。

未来发展方向

已知ML方法受到泛化问题的影响，即在处理训练分布中的异常值时出现问题。尽管如此，在不断变化的气候中，最重要的问题之一是预测极端事件，在这种情况下，预测状态将位于训练分布的尾部（甚至外部）。出于这些原因，工作组强调需要调整ML模型，以扩大其预测范围的大小，以捕获由于对社会和经济的灾难性影响而导致的严重事件。最后，一些参与者对使用数字孪生引擎来提供高时空分辨率数据持怀疑态度，因为后处理和降尺度方法（与ML方法相关联）可以更有效地执行这些任务。