运行python并行进程
运行Python并行进程是指在Python程序中同时执行多个进程，以提高程序的运行效率和性能。并行进程可以利用多核处理器的优势，将任务分配给不同的进程并同时执行，从而加快程序的运行速度。
Python提供了多种实现并行进程的方式，其中最常用的是使用multiprocessing模块。该模块提供了一个Process类，可以创建和管理进程。以下是对运行Python并行进程的完善且全面的答案：
概念： 运行Python并行进程是指在Python程序中同时执行多个进程，以提高程序的运行效率和性能。
分类： Python并行进程可以分为两种类型：同步和异步。同步进程是指多个进程按照顺序执行，一个进程执行完毕后再执行下一个进程；异步进程是指多个进程同时执行，互不影响。
优势：
- 提高程序的运行效率和性能：通过并行执行多个进程，可以充分利用多核处理器的优势，加快程序的运行速度。
- 提高系统资源利用率：并行进程可以充分利用系统的CPU、内存等资源，提高系统资源的利用率。
- 增加程序的可扩展性：通过并行执行多个进程，可以将任务分配给不同的进程并同时执行，从而提高程序的可扩展性。
应用场景： 运行Python并行进程适用于以下场景：
- 大规模数据处理：当需要处理大量数据时，可以将数据分成多个部分，分别由不同的进程并行处理，提高处理速度。
- 复杂计算任务：当需要进行复杂的计算时，可以将计算任务分解成多个子任务，由不同的进程并行执行，加快计算速度。
- 并发网络请求：当需要同时发送多个网络请求时，可以将每个请求分配给不同的进程并行发送，提高网络请求的效率。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了多个与云计算相关的产品，以下是其中一些与并行进程相关的产品和其介绍链接地址：
- 云服务器（Elastic Cloud Server，ECS）：腾讯云的云服务器产品，提供了高性能、可扩展的计算资源，可以用于运行并行进程。详细介绍请参考：https://cloud.tencent.com/product/cvm
- 弹性容器实例（Elastic Container Instance，ECI）：腾讯云的容器实例产品，可以快速创建和管理容器，适用于运行并行进程。详细介绍请参考：https://cloud.tencent.com/product/eci
- 云函数（Serverless Cloud Function，SCF）：腾讯云的无服务器函数计算产品，可以按需运行代码，适用于并行处理任务。详细介绍请参考：https://cloud.tencent.com/product/scf
以上是关于运行Python并行进程的完善且全面的答案，希望能对您有所帮助。
相关·内容
我在一个共享集群上工作。我看到人们在这个集群上运行并行c代码，当我使用top查看正在运行的进程时，显示它使用(例如) 400%的CPU，因为他们在单个代码实例中使用四个处理器。
现在有人正在运行一个并行化的Python代码(据我所知)。然而，不是top显示的代码使用了400%的CPU，而是显示为四个不同的进程，每个进程都使用自己的处理器( 100%)。
我想知道，Python (当并行化时)是否使用top显示运行的不同进程(相对于C)，还是这段Python代码实际上不是并行运行的？
我不知道Stack Exchange会不会是一个更适合这个问题的地方。因为我正在使用top，所以我认为这个地方会
浏览 0提问于2014-06-13得票数 3
回答已采纳
我试图在mpi4py python脚本: hello.py上运行16个实例。我存储在这类的s.txt 16命令中：
python /lustre/4_mpi4py/hello.py > 01.out
我是通过aprun命令在Cray集群中提交的，如下所示：
aprun -n 32 sh -c 'parallel -j 8 :::: s.txt'
我的目的是在time.The脚本中的每个节点运行8个这样的python作业，运行时间超过3个小时，并且没有创建任何*.out文件。从PBS调度器输出文件中，我得到了以下内容：
Python version 2.7.3 loaded
浏览 5提问于2017-04-20得票数 1
回答已采纳
2回答
我想在~6500个目录中运行一个简单的python脚本。最简单、最不有效的方法是：
for d in *_directorynumber; do (cd "$d" && cp ../script.py . && python ./script.py );done
这显然要花很长时间。相反，我尝试并行运行：
task(){
cd "$d" && python ./script.py .
}
然后按如下方式运行此任务：
for d in *_directorynumber; do
task "$d
浏览 0提问于2021-03-24得票数 1
回答已采纳
我在python中使用Multiprocessing并行运行两个模型，代码如下：
def pro(process):
#print(process)
os.system('python {}'.format(process))
def run_model_multiprocessing(ml_model1,ml_model2):
processes = (ml_model1,ml_model2)
pool = Po
浏览 22提问于2020-05-14得票数 1
2回答
我在RMarkdown中使用reticulate，并试图通过并行处理来运行本地定义的Python函数。我环顾四周，我发现是最接近于解决我的问题的，除了我使用的函数不是在单独的Python脚本中定义的，而是在Rmarkdown中定义的。下面是一个使用llply的简化示例，它给出了错误Error in unserialize(socklist[[n]]) : error reading from connection。
我还尝试过foreach()，它即使使用reticulate::py$function也不能识别py$对象。
我还尝试了mclapply和pbmcapply，它们似乎运行并占用所有
浏览 2提问于2019-10-22得票数 2
3回答
我有一个python脚本domaincheck.py和一个json文件domain.json，如果我可以对任何domainname进行查找，这将为我提供查询域的name。
#Usage 1 : python domaincheck.py cnn.com
#Usage 2 : python domaincheck.py bbc.com
#Result 1 : CNN
#Result 2: BBC
现在，我有一个输入文件set_3.txt，它大约有65000行域。我编写了一个小的shell逻辑来进行批处理。
$for i in $(cat set_3.txt); do python
浏览 8提问于2016-04-14得票数 0
回答已采纳
我是新接触Airflow的，我正在尝试使用airflow来构建数据管道，但它总是遇到一些例外。我的airflow.cfg是这样的：
executor = LocalExecutor
sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@localhost/airflow
sql_alchemy_pool_size = 5
parallelism = 96
dag_concurrency = 96
worker_concurrency = 96
max_threads = 96
broker_url = postgresql+psyco
浏览 30提问于2019-11-20得票数 1
我有FOLDER1 FOLDER2 FOLDER3。所有这些都包含一个PYTHON_CODE.py，，所有的文件夹都位于同一个位置。如何从这三个文件夹中运行所有三个PYTHON_CODE.py？
是否有可能让它们同时运行，而而不是，就像FOLDER1的第一次FOLDER1的结束，然后是第二次和第三次(同样不是这样)。
浏览 4提问于2021-05-24得票数 0
我有一个python脚本，在其中我使用subProcess运行两个命令。我希望这些命令并行运行。当我在我的机器上运行python脚本时，这些命令确实并行运行，但是当我通过Jenkins运行脚本时，它会一个接一个地运行它们。如何在jenkins中并行运行这些命令？
reg_path = os.environ['PWD']
command1 = f'python3 {python_script_path} {reg_path} '
command2 = f'python3 {python_script_path} {reg_path}
浏览 3提问于2022-09-16得票数 -1
在这个任务中有两个涉及的的python脚本。
当前的任务要求我在GCP实例上的29个可用区域中的每个区域运行一个长进程(每个过程大约需要一两天，这是第一个python脚本)。为了尽可能快地完成任务，在一次分离出29个VM之后，我尝试在每个实例中同时运行每个进程。
由于通过SSH对每个实例手动运行first脚本非常麻烦，所以我编写了一个python脚本(第二个脚本)，该脚本将SSHs放入每个区域的VM中，并运行前面提到的first脚本。
在不同区域运行 first script的第二个脚本的问题是，在第二个区域的VM中运行完之后，才开始在第二个区域的VM中运行first script，而需要第二
浏览 4提问于2022-03-16得票数 0
回答已采纳
2回答
在一个目录中运行所有Python文件的最佳方式是什么？
python *.py
仅执行一个文件。在shell脚本(或make文件)中为每个文件编写一行似乎很麻烦。我需要这个b/c，我有一系列的小matplotlib脚本，每个创建一个png文件，并希望创建所有的图像一次。
附言:我正在使用bash shell。
浏览 1提问于2011-02-16得票数 17
回答已采纳
在我的python代码中，我使用了抓取python，并尝试在ope python脚本中打开3个站点。
我现在的代码是：
from grab import Grab
...
g = Grab(interface=ip, headers=headers)
a = g.go('http://site1.com');
g = Grab(interface=ip, headers=headers)
b = g.go('http://site2.com');
g = Grab(interface=ip, headers=headers)
c = g.go('
浏览 2提问于2013-12-04得票数 0
1回答
我正在编写一个C++应用程序，希望在其中使用嵌入式Python3.7并发运行多个Python脚本。这些脚本应该彼此独立运行，因此它们不应该共享任何变量。 我想我终于想通了。但我只想确定这是不是正确的方式。任何人都可以确认这段代码是否没有任何隐藏的问题，或者是否有更好的方法来解决问题？ #define PY_SSIZE_T_CLEAN
#include <Python.h>
#include <thread>
#include <chrono>
PyThreadState *threadState;
void longRunningFunction ()
浏览 26提问于2019-09-16得票数 1
当执行PL/Python过程时，python解释器将执行Python代码。我的问题是，Python解释器是作为一个单独的进程运行，还是一个连接到调用数据库进程的共享库？
我关心的是，当我们称之为plpy.execute(.)时会发生什么。如果python解释器作为一个单独的进程运行，我认为将sql查询的结果传递回python解释器需要大量开销，这需要从文件或管道中读取。
浏览 5提问于2022-09-08得票数 1
回答已采纳
我正在尝试创建一个批处理脚本，它并行运行2个python脚本，如果其中一个脚本(或两者都是错误的)返回一个错误代码。如果这两个脚本都正确运行，则应该运行下一个python脚本。
当我使用下面的脚本时，进程将并行运行，但是！错误级别！总是0，即使这两个脚本都有错误。
如果我只使用start /wait命令运行了一个python脚本，或者如果我使用&&而不是_是否正确返回。
如何在仍然输出正确的错误级别的同时并行运行这些脚本？
setlocal enableDelayedExpansion
start /wait python apirequest_0001.py | start
浏览 4提问于2022-02-10得票数 1
回答已采纳
我写了一个python代码来进行遗传算法的优化，但是它太慢了。我想知道如何利用多个CPU在并行模式下运行相同的程序？
为了更清楚，我的代码将调用另一个python代码，比如说一个接一个调用100次，我想在4个CPU之间进行分配。因此，每个CPU要处理25倍的外部python代码。从而提高了速度。如果有人能帮我解决is问题，我将不胜感激。
提前感谢！
浏览 1提问于2015-01-19得票数 0
我有一个python脚本，它每天通过CRON作业调用两次，以触发循环运行的警报，并通过按下物理按钮并在按下该按钮时调用销毁函数来终止该脚本。
到目前一切尚好。
现在，我想通过PHP检查该脚本是否正在运行-所以在按下按钮之前，但在通过CRON调用它之后。
我该怎么做呢？
-我尝试过以下几种方法：
exec("jobs", $pids);
if(!empty($pids)) {
print_r($pids);
}
但它似乎没有返回任何值。在使用python3 alarm.py &直接调用脚本时，从终端调用jobs的工作方式与预期一样，并将作业列为正在运行。
我觉得
浏览 0提问于2017-07-26得票数 3
我有一个项目，在这个项目中，我必须定期使用shell脚本对文件进行一些预处理。它必须按照项目要求和遗留原因这样做--我继承了这段代码的大部分。 处理完这些文件后，输出文件将由Python脚本进一步处理。 有没有什么好的方法可以并行运行呢？现在，这是我的工作流程的样子。 Call shell script, processing thousands of files.
Once finished, call Python script, processing even more files.
Once finished, call SQL script to insert all of the
浏览 18提问于2020-04-23得票数 0
关于mongodb db和collect的快速问题，我已经设置并尝试使用python来更新每个文档。 基本上，我有一个大约260万条邮政编码记录的集合，并有我的python脚本，它使用邮政编码作为键从csv文件中获取数据。 所有邮政编码都是唯一的，DB和CSV都有相应的密钥。我导入的数据本身并不重要，这更多的是为了找到使用python更新文档的最佳方法，因为我稍后将计划用更有意义的数据做一些事情。我在mongo集合中的postcode列中添加了一个索引，但这似乎并没有加快处理速度。 当我运行下面的代码时，似乎每个文档需要大约1秒的时间来更新，正如您可以猜到的那样，等待更新所有这些记录的时间太
浏览 60提问于2019-03-25得票数 1
4回答
我看过问题，但我不确定我是否正确。
我已经打开了py魅力和一个python脚本及其运行(它的主题建模)。
此外，我还有另一个python脚本，在这个脚本中，我在同一个服务器中打开了另一个py魅力。我还负责管理。
现在这两个程序运行在同一台服务器上，我应该指出，我没有更改任何配置，无论是服务器还是py魅力。
你觉得这样行吗？或者一个脚本在技术上不会运行(就进度而言，我的意思是它只是显示它正在运行，但实际上不会运行)，直到另一个脚本完成？
浏览 1提问于2018-07-12得票数 12
回答已采纳
我有一个很重要的输入管道，它包括读取基本事实和原始数据，并对它们执行预处理，用Python编写。为一个样本运行输入管道需要很长时间，所以我让多个进程(来自python多处理包)并行运行和排队，以便快速执行操作并预取数据。然后使用feed_dict将输出提供给我的网络。在我的训练循环中，这个过程的开销比实际的tf.Session.run()时间少2个数量级。我试图转移到tf.data应用程序接口，通过包装tf.py_func我的read+preprocess函数，但它运行很慢，可能是由于GIL，即使增加了多个调用的数量。我希望将我的训练扩展到多台机器上，但不确定在这种情况下数据获取的行为如何，而
浏览 63提问于2018-04-25得票数 5
回答已采纳
1回答
假设在Python脚本中创建了一个环境变量(它是一个进程)。环境变量的生存期是否与运行时脚本的生存期相同？我已经设置了我的环境变量，并运行了Python代码，直到完成，如果我尝试这样做
回波$MY_CREATED_ENV_VAR
它是空的。我知道我的脚本创建了这个环境变量，因为我可以在脚本本身中使用它。
下面是脚本的一部分
import os
os.environ['MY_CREATED_ENV_VAR'] = "1"
# Returns-> MY_CREATED_ENV_VAR = 1 (and usable by other process
浏览 2提问于2018-06-09得票数 1
回答已采纳
假设我使用python文件运行nohup作业：
nohup python -u train_model.py 2>&1&
如果我更改了python文件并保存它，nohup作业会受到影响吗？
浏览 2提问于2021-04-29得票数 0
回答已采纳
1回答
我希望获得一些帮助，以便使用多处理模块并行运行多个python测试用例。我创建了一个类FooTest，其中包含10个测试用例(testA，testB.)。在类之外有一个测试用例test_foo。
如何使用python多处理模块并行运行所有测试用例？谢谢你的帮助。
import unittest
import time
def setUp():
print "module setup"
def test_foo():
pass
class FooTest(unittest.TestCase):
# preparing to test
def
浏览 0提问于2015-12-20得票数 2
回答已采纳
我正在尝试从macos终端并行运行多个python脚本
python a.py &
python b.py &
python c.py &
这是并行、异步地并发运行脚本吗？还是继续按顺序运行？我打算为前者节省时间。此外，这些脚本的输出似乎在终端窗口中重叠。是否有办法将每个程序的输出筛选到不同的终端窗口，甚至可能将其写入单独的文本文件。
浏览 1提问于2019-01-20得票数 1
回答已采纳
假设我有一台多芯笔记本电脑。
我用python编写了一些代码，并运行它；然后，当我的python代码运行时，我打开matlab并运行一些其他代码。
下面是怎么回事？这两个过程会被并行地使用多核自动处理吗？
或者计算机等待一个完成，然后处理另一个？
谢谢！
我指的两个程序在本质上可以被认为是最简单的程序，例如计算1+2+3.....+10000000
浏览 1提问于2016-12-11得票数 0
回答已采纳
现在是否可以在运行在无服务器平台Zeit上的Python程序中使用并行处理(例如线程、进程、异步任务)？
浏览 1提问于2019-07-01得票数 0
回答已采纳
1回答
上下文：，我正在编写一个Django脚本，如下所示。据我所知，下面的循环将阻止Django应用程序并阻止其他进程运行(例如。请求处理程序)。
问题：，我应该怎么做，Django将运行下面的循环，产生来运行其他脚本，当它们被触发时。当所述脚本完成后，循环将在同一索引上恢复。
# ./app.py
while True:
items = queryItems()
for item in items:
process(item)
约束：答案应该在Python 2.7中工作，并且只使用支持Python 2.7的库。
浏览 1提问于2017-08-17得票数 0
回答已采纳
我正在尝试Bodo ()来加速某些Pandas操作，第一个是pd.read_csv(...)。Bodo要求兼容的熊猫代码在一个独立的功能中，与非Bodo兼容代码分开。例如，这是我的代码：
与Bodo:
import bodo
@bodo.jit
def loadDataFileWithJIT(filePath):
df = pd.read_csv(filePath, header=0, sep="\t", names=["patid", "eventdate", "prodcode", "consid",
浏览 2提问于2022-08-28得票数 0
回答已采纳
2回答
子线程内部的多处理
、、、、
我在学习多进程和多线程技术。
据我所知，线程运行在同一个内核上，所以我想知道如果我在一个子线程中创建多个进程，那么它们是否也被限制在单个内核上呢？
我使用python，所以这是一个关于特定语言的问题，但是我想知道它是否与其他语言相同？
浏览 0提问于2018-08-28得票数 4
回答已采纳
1回答
运行两个python进程
、、、
我正在运行两个由两个不同的文本编辑器(Eclipse )编辑的python代码，从任务管理器中我看到了两个python.exe进程。，这两个进程会互相干扰吗？，我很担心，因为我在这两个脚本中使用了几乎相同的变量名，而且这两个代码都在处理相同的数据输入，数据结构非常相似。
浏览 2提问于2014-07-11得票数 4
回答已采纳
如果我有两个名为test1.py和test2.py的python程序，那么如何在终端中并行运行它们呢？有吗？
python test1.py|python test2.py
这么做？
浏览 3提问于2016-10-11得票数 0
回答已采纳
一般情况下，python由于全局解释器锁而不能很好地处理多线程。
这是否也会影响在多线程本地模式(localn)中运行的火花放电应用程序？
浏览 2提问于2015-06-04得票数 1
回答已采纳
假设我的网站需要运行以下python代码
每次加载的时候..
f = open('/aaa', 'a')
f.write('test' + '\n')
它所做的就是..“追加”..“测试”到"/a“文件。
但也许有一种方法可以在不影响网站加载时间的情况下运行此命令。
也许它可以被分叉？
但要做到这一点，唯一的办法是..使用
import os
os.popen()
这听起来会让事情变得更沉重。
根据我的理解..像“APACHE”这样的东西..
可以以惊人的速度向error_log等文件添加行。
我想我在某处读到过apach
浏览 3提问于2014-08-23得票数 1
我有一些python，它可以创建多个进程来更快地完成任务。当我创建这些进程时，我传入一个队列。在进程内部，我使用queue.put(数据)，以便能够在进程之外检索数据。它在我的本地机器上运行得很好，但是当我将zip上传到AWS函数(Python3.8)时，它说Queue()函数在AWS中运行得不是很好，我只是去掉了队列功能，所以我知道这是我目前唯一挂起的。
我确保通过使用"pip多进程-t ./“和"pip boto3 -t ./”将多处理包直接安装到python项目。
我是python的新手，特别是AWS，但是我最近遇到的研究可能会指向SQS。
阅读这些SQS ，我不确定这是
浏览 8提问于2020-01-08得票数 6
回答已采纳
2回答
我想在bash中并行运行多个脚本/命令。下面是bash脚本：
python test_script.py &
docker stop process &
docker stop process1 &
sleep(1)
wait
docker start process1 &
docker start process &
wait
在这里，我正在运行多个docker，并且希望在我的脚本python test_script.py运行时启动/停止docker。
例如: python脚本正在运行，在并行运行时，我想停止进程& process1 dock
浏览 0提问于2017-11-17得票数 1
1回答
我想做这样的事情：
for entry in catalog:
do some operation
每个条目不一定具有相同的负载，但由于有数千个条目，我猜将它们分解为1000个条目或多或少会使事情变得均匀。因此，我希望运行多个进程，每个进程对应一大块条目，以缩短总体运行时间。
我已经为其中的100个尝试了类似以下的东西：
from multiprocessing import Process
p1 = Process(target=myfunc, kwargs=dict(start=0, end=50))
p2 = Process(target=myfunc, kwargs=dict(
浏览 4提问于2013-09-05得票数 2
1回答
我目前正在使用python2.6，并且尝试使用不同的输入多次运行另一个python脚本，无论我在后台运行它做了什么，脚本似乎都在等待进程完成，然后再转到下一行。我试过用
subprocess.Popen(Some.Func(Args))
和
T1 = threading.Thread(Some.Func(Args)) T1.start()
我希望能够在不等待任何特定类完成的情况下运行对某个类的多个调用。
浏览 2提问于2017-11-16得票数 1
回答已采纳
我对python非常陌生，我不确定在分布式集群上实现多线程/多进程代码的最佳方法是什么。
我试图使用Python编写一个包装器脚本，该脚本使用PBS队列系统调用运行在大型集群上的外部MPI程序。下面给出了一个(非常)简化的脚本类型版本，代码移到特定目录中，运行外部MPI程序并检查结果，以查看是否有任何重大更改。
#!/local/python-2.7.1/bin/python2.7
import os
import subprocess as sp
import coordinate_functions as coord_funcs
os.chdir('/usr/work/cmur
浏览 7提问于2011-11-15得票数 0
基本上，正如标题所述，我需要将输出从一个进程发送到两个进程的输入。下面是这个想法的一个简单代码示例：
from subprocess import Popen, PIPE
input = Popen(['python', 'input.py'], stdout = PIPE)
proc1 = Popen(['python', 'print.py'], stdin = input.stdout)
proc2 = Popen(['python', 'print.py'], stdin = input
浏览 2提问于2019-01-17得票数 0
回答已采纳
我正在尝试将bash脚本迁移到Python。
bash脚本并行运行多个OS命令，然后等待它们在恢复之前完成，即：
command1 &
command2 &
。
命令&
等
命令
我希望使用Python子进程实现同样的目标。这个是可能的吗？在继续之前，我如何等待subprocess.call命令完成？
浏览 2提问于2015-06-06得票数 19
回答已采纳
3回答
同时运行同一程序的多个版本
、、、、
我有一个python脚本，需要一天才能运行。我需要为不同的参数运行相同的代码。然而，使用for循环来迭代所有参数是不可能的，因为这会导致更长的计算时间。这是描述情况的一个简单例子：
ValuesParams=[1,2,3,4,5]
for i in ValuesParams:
do something
output file_i.csv
我想运行5个不同的程序(在一个计算机集群中)，具有5个不同的值，输出5个不同名称的csv文件，但同时执行。因为在一个程序中运行循环需要5天的时间。实际上，它不仅仅是5个参数，而且程序不是一个简单的循环。
我该怎么做？任何关于寻找什么的建议或
浏览 6提问于2020-08-21得票数 2
回答已采纳
我试着用铁锈来加速数据传输。该管道包含一些我不想修改的Python代码，因此我试图按照-使用和多线程从Rust运行它们。但是，性能与我所期望的不一样，它实际上与在单个线程中顺序运行python代码位相同。
在阅读文档时，我理解在调用以下内容时，您实际上得到了一个指向一个Python解释器的指针，该解释器只能创建一次，即使您单独从多个线程运行它。
let gil = Python::acquire_gil();
let py = gil.python();
如果是这样的话，这意味着Python实际上也阻止了所有在Rust中的并行执行。有办法解决这个问题吗？
下面是我测试的代码：
浏览 2提问于2020-02-10得票数 2
回答已采纳
我正在尝试通过从另一个笔记本启动jupyter笔记本来并行运行它们。我使用papermill保存notebooks的输出。 在我的scheduler.ipynb中，我使用的是multiprocessing，这也是some people曾经成功使用过的。我从一个基本的笔记本创建进程，这似乎总是在它第一次运行时工作。我可以在13秒内用sleep 10运行3台笔记本电脑。如果我有一个后续的单元格试图运行完全相同的东西，它产生的进程(多个notebooks)将无限期地挂起。我尝试添加代码以确保衍生的进程具有退出代码并已完成，甚至在它们完成后对它们调用terminate -不幸的是，我的第二次尝试从未
浏览 25提问于2021-01-05得票数 7
回答已采纳
假设我想要运行：
python script1.py &
python script2.py &
每个脚本都是相同的，只是处理不同的文件。我如何才能计算出我可以拆分成多少个这样的脚本？
与CPU核心计数或线程数有什么关系？(内存方面，我可以解决这个问题)
浏览 0提问于2020-03-13得票数 1
我希望能够运行一个脚本(比如python脚本或其他对这些事情最有意义的东西)，这些脚本可以做一些与以下类似的事情：
$ program -i input -k 0.1 -m 0.01 &
$ program -i input -k 0.2 -m 0.22 &
$ program -i input -k 0.3 -m 3.03 &
我想在脚本中设置我想要的任何参数，只需输入"python script.py“，并让它运行我想要的程序的许多实例，所有这些都在后台并行运行。我见过人们推荐subprocess.Popen()，但我不知道如何设置它来并行运行多个作业。我怎
浏览 1提问于2018-11-05得票数 1
回答已采纳
我使用一个脚本运行多个python和shell脚本。很少有人使用&并行运行。我的要求是跟踪这个并行运行任务的进度，并显示它，我也希望获得脚本的exit_code，如果任何脚本在执行日志中失败，它说脚本-1/2/3由于x原因失败。
我试过使用下面的一组代码。所有东西都适用于串行处理，但对于并行处理命令，我将得到最后一个执行进程Id：
#!/bin/bash
LOG_DIR_LOC=$1
export python_path='/usr/bin/python'
export log_file=${LOG_DIR_LOC}/log_parallel_exec_`date &#
浏览 11提问于2017-08-21得票数 0
回答已采纳
1回答
我以前是一个只使用Matlab的用户，现在正在自学Python。我现在正在学习如何使用Python的并行处理。Matlab的并行编程在很大程度上主要是通过一个命令来执行的：parfor。很简单。
Python中的可用选项似乎比Matlab中的多得多。这是压倒性的。例如，在multiprocessing包中，我找到了Pool和Process类，每个类都允许使用几个参数和选项。
鉴于我是python的新手，而且我是自学的，有人会花几分钟时间解释一下Pool和Process之间的总体区别吗？在什么情况下使用Pool比使用Process更合适
对于上下文:我目前的编程工作要求我并行化一个输出数据向量的
浏览 0提问于2019-09-08得票数 1
1回答
我正在设法处理python中的多线程问题。我有计算单词数，文本行数的工作代码，并用每个单词的计数创建一个数据集。它在类似于代码注释中提到的小文件上运行得很快。不过，我通常使用glob来提取多个文件。当我这样做时，我的运行时间显著增加。同时，由于我的脚本是单线程的，我看到我还有另外3个核心空闲着，而另一个内核没有运行。
我想我应该给pythons多线程模块一次机会，以下是我迄今为止所做的(不工作)：
#!/bin/python
#
# test file: http://www.gutenberg.org/ebooks/2852.txt.utf-8
import fileinput
from
浏览 1提问于2012-06-03得票数 3
回答已采纳
我正在使用Python3.7将数据从Postgres DB移动到AWS Redshift。我创建了一个SQL查询，它在执行时检索查询集(我使用where子句进行查询)。因此，对于每次查询执行，我都要更改正在传递的ID )。
我将在中运行这个脚本，它最终将在Kubernetes上运行。我已经在中公开了一个POST方法，其中我将收到一个I列表，这些I需要在DB上进行查询，数据需要使用Python移动到Redshift。
我想一次执行多个查询并移动数据，因为我收到的POST请求中可能有很多I。
但是，由于我使用的是Python3.7，我知道GIL将成为一个瓶颈，无论您运行多少个线程，在任何时候都只执
浏览 3提问于2019-10-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
