通过官方网站提供的下载地址：https://download.open-mpi.org/release/open-mpi/v3.1/openmpi-3.1.0.tar.gz，下载3.1版的openmpi，在命令行执行如下命令，会将openmpi-3.1.0.tar.gz文件下载到当前目录：
IB（InfiniBand）和 RDMA（Remote Direct Memory Access）是一种高性能网络技术，通常用于加速数据传输。它们不是基于传统的 TCP/IP 协议栈，而是使用自己的协议栈，以实现低延迟、高带宽的数据传输。
Ubuntu - openmpi 源码安装 sudo apt-get install openmpi # 安装版本比较低 1. Ubuntu 程序源码安装 主要包括三个步骤: 1 - ./configure 2 - make 3 - make install 这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤。 ./configure是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC，并不是需要CC或GCC，它是个shell脚本。 m
虽然笔者写过 ARM 比 Intel CPU 要有低功耗、高性能等优势，但是目前来说 Intel 芯片仍然是主流，毕竟大部分实验室所使用的服务器、工作站以及个人普通 PC 基本上都是 Intel 芯片。在 Intel 平台我们可能对于软件和依赖库的支持不需要太担心，正常来说不管 Linux 或者 Unix 系统都会有。这里笔者采用 Ubuntu Server 20.04 来举例介绍 Intel 平台下 CONQUEST 的编译安装。
Simulation joint debugging and testing between PLC and Touch Screen based on Step 7 PLCSIM and TIA Portal WinCC
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。
由于CASCI/CASSCF计算量随活性空间呈指数增长，超过(16,16)的计算在高配机器上几乎不可能。近似求解大活性空间的方法通常有DMRG, selected CI等等。Block-1.5是做DMRG计算的经典程序，由Sandeep Sharma和Garnet Chan开发，虽然早在5年前就不更新了，但其计算速度仍高于很多同类程序。Block-1.5一般结合PySCF使用，可以进行DMRG-CASCI，DMRG-CASSCF和DMRG-SC-NEVPT2等计算。笔者之前在公众号上将该程序的安装拆分为几篇短文
在之前的博客中我们介绍过concurrent等python多进程任务的方案，而之所以我们又在考虑MPI等方案来实现python并行计算的原因，其实是将python的计算任务与并行计算的任务调度分层实现。在concurrent和multiprocessing等方案中，我们的python计算任务和调度任务是一体化的，而且还有一个比较大的限制是没办法跨节点操作的，这对于任务与环境的定制化程度要求是比较高的。而MPI的方案在设计初期就考虑到了多节点之间通信的问题，而这种分层式的任务调度解决方案其实在架构上看也更加的合理。做计算的人只要考虑单个进程下的任务如何执行就可以了，至于任务如何并行如何调度，那就是上层的MPI该做的事情了。
在现代科学和工程中，数值计算工程师会遇到大量复杂的数学计算问题。这些问题突出的共性表现在高维数、计算规模大、多时空尺度、强非线性等方面。批量处理Batch拥有一套完整的并行计算框架，适配常见的并行模型（MPI应用）。利用海量弹性的云资源，有力地支撑高性能科学计算应用软件和算法。
本文以 PyTorch 官方文档 https://pytorch.org/tutorials/intermediate/dist_tuto.html 为基础，对如何编写分布式进行了介绍，并且加上了自己的理解。
AI 研习社消息，日前， Facebook 人工智能研究院发布 wav2letter 工具包，它是一个简单高效的端到端自动语音识别(ASR)系统，实现了 Wav2Letter: an End-to-End ConvNet-based Speech Recognition System 和 Letter-Based Speech Recognition with Gated ConvNets 这两篇论文中提出的架构。如果大家想现在就开始使用这个工具进行语音识别，Facebook 提供 Librispeech
方法一、在/etc/ld.so.conf文件中添加路径，vi /etc/ld.so.conf
RPC指远程过程调用（Remote Procedure Call），通俗一些理解就是两台服务器A、B，一个应用部署在A服务器上，想要调用B服务器上应用提供的函数/方法，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语义和传达调用的数据。（远程过程调用是相对于本地过程调用来说的）
大家好，又见面了，我是你们的朋友全栈君。 1.硬件 Hi3516支持内置AudioCodec/外置音频解码芯片； 由于这里硬件上外接FM1288,故走的是外置,通过I2S接入, 通过MIC单端/差分输入音频. 由于之前一直调试内置Codec，这里任然保留内置相关代码; 2.重要概念 2.1. I2S相关概念 （1）LRCLK (帧时钟，也称为WS) 当LRCLK为低电平时表示传输左声道,高电平时表示传输右声道, LRCLK的频率 = 采样频率 （2）SCLK(串行时钟) ,也叫BCLK(位时钟)；
Message Passing Interface (MPI) is a standardized and portable message-passing standard designed by a group of researchers from academia and industry to function on a wide variety of parallel computing architectures. The standard defines the syntax and semantics of a core of library routines useful to a wide range of users writing portable message-passing programs in C, C++, and Fortran. There are several well-tested and efficient implementations of MPI, many of which are open-source or in the public domain. These fostered the development of a parallel software industry, and encouraged development of portable and scalable large-scale parallel applications.
有任务需要处理一堆收集来得开源数据集，在服务器单机跑了一天才给结果，多方咨询有HPC可以用，或者叫supercomputer，或者叫计算机集群，大部分的简称grid。看了wiki、confluence，给出一堆链接在脑海中织出密密麻麻的蜘蛛网——无从下手。居然没有use case出发端到端的参考demo，真是无力吐槽。自力更生求助google，youtube，stack overflow，梳理下来，简而言之，可以理解分而治之多线程的多处理核（cpu/gpu）的版本，涉及算力资源调度引入slurm，涉及通讯引入mpi。
在高性能计算中，经常会用到MPI或者MPI-IO，那MPI和MPI-IO到底是什么呢？
计算机网络通信中最重要两个衡量指标主要是 带宽 和 延迟。分布式训练中需要传输大量的网络模型参数，网络通信至关重要。
如果报错说“Aborting because C++ compiler does not work.”，就安装下编译器：
MPI(Message Passing Interface) 是一种可以支持点对点和广播的通信协议，具体实现的库有很多，使用比较流行的包括 Open Mpi, Intel MPI 等等，关于这些 MPI 库的介绍和使用，本文就不多赘述了，各位可以看看官方文档。
最近编译 horovod框架过程中，需要使用openmpi 4.0但是环境中的openmpi版本比较低，所以在手动安装openmpi4.0 用于编译，下面对过程进行简要记录，进行备忘：
之前的文章中介绍了天河二号的架构，我们大致了解到了天河二号是一个由很多计算节点组成的具有强大运算能力的超级计算机。
0x00 前言 本篇是MPI的入门教程，主要是为了简单地了解MPI的设计和基本用法，方便和现在的Hadoop、Spark做对比，并尝试理解它们之间在设计上有什么区别。 身处Hadoop、Spark这些优秀的分布式开发框架蓬勃发展的今天，老的分布式编程模型是否没有必要学习？这个很难回答，但是我更倾向于花一个下午的时候来学习和了解它。 关于并发和并行编程系列的文章请参考文章集合 文章结构 举个最简单的例子，通过这个例子让大家对MPI有一个基本的理解。 解释一些和MPI相关的概念。 列举一些MPI的常用函数
IOR是一个并行的IO基准，可用于测试使用各种接口和访问模式的并行存储系统的性能。接口和访问模式的并行存储系统的性能。IOR资源库还包括mdtest基准，专门测试不同目录结构下存储系统的元数据峰值速率。在不同目录结构下存储系统的元数据峰值速率。这两个基准都使用一个共同的并行 I/O抽象后端，并依靠MPI进行同步。本文档由两部分组成。用户文档包括安装说明（Install），初学者教程（IOR的第一步），以及关于IOR的运行时选项的信息。开发者文档包括用Doxygen生成的代码文档和一些关于与Travis的连续整合的说明。IOR/mdtest用户和开发者文档的许多方面都是不完整的，我们鼓励贡献者 鼓励贡献者直接评论代码或在此基础上扩展文档。
http://sourceforge.net/projects/boost/files/boost/1.44.0/
在计算机科学中，程序运行效率是一个重要的考量因素。针对需要处理大量数据或复杂计算任务的程序，使用并行计算技术可以大幅度加速程序的运行速度。C++作为一种高性能的编程语言，提供了多种并行计算的工具和技术，可以帮助开发人员充分利用计算资源，提高程序的性能。
在运行 mpi-operator 之后，想进去容器查看一下，于是执行下面的命令报错。
TSN是”temporal-segment-networks”的简称，是视频动作识别任务里面当前最好的方法。虽然这个结构是在ECCV2016的论文里面提出来的，代码也放出来挺长时间了，但是这个项目里面集合了Caffe， OpenCV，CUDA，CUDNN等几大神坑项目，不同版本之间的依赖、选择等问题很麻烦，因此我之前编译了好几次都没有能够编译成功。这次花了近一天的时间来重新编译了一下整个项目，虽然还是有些问题，例如MPI编译没有通过，CUDA8貌似不支持，CuDNN v5好像也不支持，但最后总算是编译通过，可以运行了。所以记录一下整个的过程，期望对自己和别人能够有所帮助。
官方文档: https://openucx.readthedocs.io/en/master/
Intel oneAPI 是一种统一的跨架构的的编程模型，提供了CPU、GPU、FPGA、专用加速器的产品。
hi3559v100是海思推出的camera soc处理器。采用的是双核处理器。一个是a7,运行的linux3.18内核。一个是a17使用的是huaweiliteos操作系统，Hi3559V100 系统中 Huawei LiteOS 负责系统媒体编解码相关业务。两个操作系统实现amp的构建形式。
还记得今年4月伯克利BAIR实验室发布的那个会“18般武艺”的DeepMimic模型吗？他们使用强化学习技术，用动作捕捉片段训练模型，教会了AI智能体完成24种动作，走路、跑步就不用说了，还包括翻跟斗、侧翻跳、投球、高踢腿等等高能动作。
进行深度学习的训练向来不被认为是CPU的强项，但是以CPU研发见长的英特尔并不甘心屈服于这个定位，在过去的几年里，英特尔及其合作伙伴一直在探索用CPU来进行快速有效的深度学习开发的方法。代号KNL的Xeon Phi至强芯片是英特尔的努力尝试之一，同时在深度学习算法的改进上，英特尔也做了一些努力。 近日，在美国旧金山举行的IDF16大会上，与英特尔联合宣布启动了KNL试用体验计划的浪潮集团副总裁、技术总监胡雷钧做了基于英特尔至强融合处理器KNL和FPGA上的深度学习的试用体验报告。报告介绍了高性能计算和深度学
torch.distributed 支持三个后端，每个后端具有不同的功能。下表显示哪些功能可用于CPU/CUDA张量。仅当用于构建PyTorch的实现支持时，MPI才支持CUDA。
近期由于一些原因接触到了并行计算，对于这个陌生的领域我最先接触到的是MPI框架。MPI（Message Passing Interface），可以理解为是一种独立于语言的信息传递标准。目前它有两种具体的实现OpenMPI和MPICH，也就是说如果我们要使用MPI标准进行并行计算，就需要安装OpenMPI或MPICH库。本文以MPICH为例，在ubantu中安装MPI的环境，并对vscode进行配置。
选自GitHub 作者：Ronan Collobert等 机器之心编译 参与：李亚洲、刘晓坤 近日，Facebook AI 研究院开源了端到端语音识别系统 wav2letter，本文是该架构的论文实现，读者可据此做语音转录。 GitHub 地址：https://github.com/facebookresearch/wav2letter wav2letter wav2letter 是 Facebook AI 研究院今天开源的简单高效的端到端自动语音识别（ASR）系统。该实现的原作者包括 Ronan Col
Horovod 是一款基于 AllReduce 的分布式训练框架。凭借其对 TensorFlow、PyTorch 等主流深度学习框架的支持，以及通信优化等特点，Horovod 被广泛应用于数据并行的训练中。
1 背景 图像连通域标记算法是从一幅栅格图像（通常为二值图像）中，将互相邻接（4邻接或8邻接）的具有非背景值的像素集合提取出来，为不同的连通域填入数字标记，并且统计连通域的数目。通过对栅格图像中进行连
CP2K安装的方法有很多（我们曾分享过CP2K 5.1版本的安装及简单介绍），笔者最近尝试在课题组新买的服务器上从源码编译安装CP2K，过程中遇到了各种问题。根据这次安装的经验，在此笔者想和大家分享如何从零开始安装CP2K（支持PLUMED）。
ABAQUS是一款广泛应用于工程领域的有限元分析软件，具有以下主要功能：结构分析：ABAQUS可以进行静态和动态分析，包括线性和非线性分析，可以求解各种结构的应力、应变、位移、稳定性等问题。热力学分析：ABAQUS可以进行热传递、热膨胀、热应力等问题的热力学分析。动力学分析：ABAQUS可以进行振动分析、冲击响应、疲劳分析等动力学问题的求解。流体-结构耦合分析：ABAQUS可以进行流体-结构耦合分析，包括流固耦合、热流固耦合等问题。复合材料分析：ABAQUS可以对复合材料的层合板、复合材料结构的力学性能进行
nccl-test 工具是 nvidia 开源的一项用于测试 NCCL 集合通信的工具。可以用于检测集合通信是否正常、压测集合通信速率。官方开源地址：https://github.com/NVIDIA/nccl-tests
作者 | 刘文志 责编 | 何永灿 随着深度学习（人工智能）的火热，异构并行计算越来越受到业界的重视。从开始谈深度学习必谈GPU，到谈深度学习必谈计算力。计算力不但和具体的硬件有关，且和能够发挥硬件能力的人所拥有的水平（即异构并行计算能力）高低有关。 一个简单的比喻是：两个芯片计算力分别是10T和 20T，某人的异构并行计算能力为0.8，他拿到了计算力为10T的芯片，而异构并行计算能力为0.4的人拿到了计算力为20T的芯片，而实际上最终结果两人可能相差不大。异构并行计算能力强的人能够更好地发挥硬件的能力，而
HCA方案将所有的信道分为两部分：一部分信道固定配置给某些小区，即部分信道隔离；另一部分信道则保留在中心存储区中，为系统中的所有用户所共享，即部分信道共享。HCA是FCA和DCA的折中，故成为混合分配。（关于FCA和DCA参见相应词条）
说明：下面内容仅针对Linux环境（boost官网为：http://www.boost.org/，可从这里下载它的源代码包，这里要求下载.tar.gz包，而非.7z、.zip或bz2包）。
具体来讲，本文首先介绍了分布式计算的基本概念，以及分布式计算如何用于深度学习。然后，列举了配置处理分布式应用的环境的标准需求（硬件和软件）。最后，为了提供亲身实践的经验，本文从理论角度和实现的角度演示了一个用于训练深度学习模型的分布式算法（同步随机梯度下降，synchronous SGD）。
CFOUR程序的全称为Coupled-Cluster techniques for Computational Chemistry，是一款专注于高精度量子化学计算的程序。从名字可以看出，其专长为耦合簇方法，支持在CC级别下做单点、几何结构优化（如CCSD(T)级别）、激发态计算（如EOM-CCSDT）、性质计算（如CCSD(T)级别的NMR计算）。其官方网站为
前言: 前段时间由于工作需要,在Python的web开发框架Django中使用到了libtorrent这个C++扩展库来解析链接或种子数据.特了解和尝试了libtorrent库的安装.一般情况下,为了方便Python解释器版本和依赖库的管理,python项目都是工作在虚拟环境之下.在此情况下,便出现了一个挺严重的问题:C++编写的libtorrent库如何引入到虚拟环境之中.
熟悉redis的朋友都知道，大key是在应用的设计和实践当中应该尽量避免的风险。大key的危险有很多，例如：
合成测试程序根据统计的真实负载发生规律，如请求的读写比例，大小，频率和分布等信息。建立响应的io存取模型。在测试时产生符合存取模型的io请求序列。发送给存储系统。这类程序包括 IOMeter,IOZone 和 Bonnie++。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
