Galaxy Release (v 21.05)，众多核心技术栈变更

章鱼猫先生

发布于 2021-10-15 11:16:36

5700

2021年6月初，Galaxy Project 正式发布了 release 21.05 版本；随后6月中旬，发布该版本的 announcement 文档。这里总结一下该版本一些主要的更新内容，为关注和从事 Galaxy 相关工作的中文用户提供参考。

重点更新

¡Galaxy, ahora en español!

感谢 Wendi Bacon (Pull Request 11891)，Galaxy 平台的西班牙语翻译已经完成和合并，所以如果你喜欢在 Galaxy 上使用西班牙语，现在你可以！这次更新将是 Galaxy 社区内的西班牙语使用者正在进行的项目的一部分，以保持 Galaxy 界面本地化的最新情况，并在 GTN (Galaxy Training Network) 制作一些西班牙语培训材料。

修正错误和稳定性

Bugfixes and Stability。这个 Release 21.05 的 Galaxy 版本具有比较少的面向用户的改变，因为诸多的开发人员把大量的时间都花费在这个版本的测试、稳定性提升和一系类的错误修正上。但是请注意，这一切都是在为下一个 Galaxy 21.09 的版本做准备，这个版本将会有一些近年来最大的用户界面变化！

远程文件: FTP 支持

Remote Files: FTP Support。在上一个版本中，增加了远程文件界面，允许直接访问 Galaxy 中的大量远程数据源。在最新版本中增加了 FTP 服务器的支持，所以现在你可以连接例如 NCBI FTP 服务器来满足所有的基因组数据需求。

从报告中下载数据集合

Download Collections from Reports。Workflow reports 正在变得越来越流行和更多特性支持(gaining popularity and features)！您不仅可以在您的 reports 中插入集合的预览，还可以直接从您的 report 界面去下载它们。

新的开发堆栈

New development stack。Galaxy 发行版 21.09 将提供一个新的 web 框架( fastAPI )、Celery 任务队列和使用 Circus 的流程管理。现在可以通过运行APP_WEBSERVER=dev ./run.sh来预览新的 stack。

使用 Celery 处理后台任务

Celery for background tasks。Galaxy 现在可以在后台运行某些任务。Celery workers 目前不是必需的，但如果激活可以执行某些长期运行的任务，如创建历史导出档案。Celery tasks 将在网络请求期间处理的快速请求和需要大量且相对缓慢设置的任务之间架起桥梁。(Pull Request 11789, Pull Request 11772, Pull Request 11720)

更健壮的作业处理程序选择

More robust selection of job handlers。通过使用多个外部作业处理程序进程启动 Galaxy，可以增加作业吞吐量。传统上，作业由创建作业的 web 处理程序或工作流处理程序进程分配给作业处理程序进程。自19.01版以来，Galaxy 支持使用数据库序列化技术的其他机制，使作业处理程序能够为自己分配进程。这种机制更加健壮，并且不需要所有的作业处理程序流程都是 alive 的，并且被 web 处理程序流程所识别（This mechanism is more robust and doesn’t require that all job handler processes be alive and known by the web handler process.）。现在，如果没有显式设置任务分配方法，Galaxy 系统将根据所使用的数据库确定分配任务的最佳方法。在 Galaxy 21.09版中，旧的工作分配方法将被删除。有关详细信息，请参阅 Job Handler Assignment Methods section。(Pull Request 11792)

弃用公告

在 Galaxy 21.09 版中放弃对 Python 3.6 的支持

这个 Galaxy 版本(21.05)将是最后一个支持 Python 3.6 或更新版本的版本。如果可能的话，我们鼓励更新到更新的 Python。

废弃 uwsgi 和 paste

这个 Galaxy 发行版(21.05)将是最后一个支持 WSGI 标准，以及附带的 uwsgi 和 paste 的发行版。从 21.09 版本开始，Galaxy 将成为 ASGI 应用程序。在即将到来的开发周期中，我们将更新文档和 playbooks，以实现平稳过渡。

配置变更

Added

新增加以下配置。

config/user_preferences_extra_conf.yml.sample

    - preferences.dropbox
    - preferences.owncloud

config/galaxy.yml.sample:galaxy

    - mapping.galaxy.mapping.cache_dir
    - mapping.galaxy.mapping.enable_celery_tasks
    - mapping.galaxy.mapping.flush_per_n_datasets
    - mapping.galaxy.mapping.matomo_server
    - mapping.galaxy.mapping.matomo_site_id
    - mapping.galaxy.mapping.plausible_domain
    - mapping.galaxy.mapping.plausible_server
    - mapping.galaxy.mapping.statsd_mock_calls

Changed

下列配置选项已更改。

config/user_preferences_extra_conf.yml.sample

其中，preferences.localization.inputs 已经从：

[{'label': 'Prefered language',
  'name': 'locale',
  'options': [['Navigator default', 'auto'],
              ['Chinese', 'zh'],
              ['English', 'en'],
              ['French', 'fr'],
              ['Japanese', 'ja']],
  'required': False,
  'type': 'select'}]

变更为：

[{'label': 'Prefered language',
  'name': 'locale',
  'options': [['Navigator default', 'auto'],
              ['中文', 'zh'],
              ['English', 'en'],
              ['Español', 'es'],
              ['Français', 'fr'],
              ['日本語', 'ja']],
  'required': False,
  'type': 'select'}]

Removed

下列配置选项已被完全删除。

config/galaxy.yml.sample:galaxy

    - mapping.galaxy.mapping.transfer_manager_port

New Configuration Files

以下文件为新文件，或最近转换为 yaml 文件。

config/file_sources_conf.yml.sample

新的可视化效果

感谢 @dlal-group，SimText 工具套件已经作为一个交互式工具添加到 Galaxy 中。您可以在相关的 GTN 教程中了解如何使用这个新的交互式工具。

新的数据类型

添加流式细胞术和 MetaCyto 数据类型(感谢 @pcm32). Pull Request 9807
添加对 Mrc2014 格式图像的支持，用于显微镜(感谢 @gregvonkuster). Pull Request 11220
添加 meryl 和 mercury 工具使用的 meryldb 数据类型，它们都是 VGP 工作流的一部分。(感谢 @bgruening). Pull Request 11694
增加 PretextMap 输出的数据类型。Pull Request 11747
为 ome.tiff 数据类型添加 Avivator GEDA 和 sniffer。Aviator 是一个高分辨率复用生物成像数据的网络可视化工具。(感谢 @qiagu). Pull Request 11801
添加 Jellyfish db 数据类型，Jellyfish 数据库文件是二进制格式的 k-mer counts。(感谢 @astrovsky01). Pull Request 11802
在 Galaxy 中添加对 JPEG 2000的支持，广泛用于存储卫星地图，例如来自 EU Copernicus Sentinel 的支持。(感谢 @annefou). Pull Request 11812
Add an H5 format for Machine Leaning models (thanks to @qiagu). Pull Request 11825
为机器学习模型添加 H5 格式。(感谢 @qiagu). Pull Request 11825
添加对显微镜的 Relion STAR 数据格式的支持。(感谢 @gregvonkuster). Pull Request 11831
添加 toml 数据类型，这是一种通用的配置文件格式，可供蛋白质组学应用程序使用。(感谢 @jj-umn). Pull Request 11909

内置工具更新

filter，grep，tail 和 head 工具现在都支持使用包含头行的文件（support working with a file containing a header line）。(感谢 @bernt-matthias). Pull Request 11365, Pull Request 11859