1回答
一个非常直接的问题，也许是--我经常看到一个芹菜任务进程在我的系统上运行，当我使用celery.task.control.inspect()的active()方法时，我找不到它。通常这个进程会运行几个小时，我担心它是某种僵尸。通常它也会占用很多内存。
有没有办法通过linux的pid来查找任务？芹菜或AMPQ结果后端可以保存吗？
如果不是，有没有其他方法可以找出哪个特定的任务正在耗尽内存？
-更新：
当active()告诉我在一个特定的机器上没有任务在运行，但是机器的内存已被完全使用，并且htop显示这些工作池线程正在使用它，但同时使用0%CPU时，我该怎么办？如果事实证明这与我当前racks
浏览 0提问于2013-01-22得票数 2
回答已采纳
1回答
灯中的用户隔离
、、
据我所知，在典型的LAMP (或LEPP)设置中，所有PHP代码都是使用相同的用户和组("www“或类似的)执行的。在多用户场景中(例如，允许Linux用户帐户用PHP代码传播public_html目录的一些变体)，这难道不会对其他用户的web空间或属于"www“的其他资源造成很大的危害吗？
常见的建议似乎是禁用“危险的”PHP函数(即exec的变体)，并设置PHP选项open_basedir以限制PHP可以访问的文件。
这些措施虽然可以理解，但似乎不可靠：
open_basedir旁路不被认为是安全问题。
https://bugs.php.net/bug.php?id=811
浏览 0提问于2023-02-24得票数 4
回答已采纳
我对Java和web开发都很陌生，所以我正在阅读这个，它说servlet模式相对于CGI的一个优点是：
更好的性能:因为它为每个请求创建一个线程，而不是进程。
不过，我实在不明白为何要这样做。基于这个，至少对于Linux来说，普遍的共识似乎是，线程不一定比进程更快，使用进程而不是线程可能实际上是有利的。
在本教程中，CGI的工作方式如下：
对于每个请求，它启动一个进程，Web服务器仅限于启动进程。
当考虑到进程的启动成本时，这可能是有意义的。但是，我不知道为什么有必要为每个请求启动一个新进程，而不是让一个运行CGI shell的池为排队的请求服务。
浏览 2提问于2017-04-06得票数 0
回答已采纳
erlang如何处理异步进程，如记录或写入具有高写入率的表的mnesia？我为每个写/日志产生一个新的进程，并用gen_server测试以处理日志进程本身。gen_server进程的内存很快就会积累起来，并导致erlang崩溃。
怎样处理这样的过程呢？
浏览 2提问于2018-12-10得票数 0
1回答
我有一个例子来说明我想做什么
queue = 2
def function():
print 'abcd'
time.sleep(3)
def exec_times(times):
#do something
function()
def exec_queue(queue):
#do something
function()
exec_times(3)
#things need be working while it waiting for the function finish
time.sleep(10)
结果应该是
浏览 1提问于2010-07-19得票数 1
回答已采纳
1回答
我想制作一个应用程序，根据数据库中的数据启动几台游戏服务器，然后在它们崩溃时重新启动，并在应用程序退出时停止它们。
我想知道我的示例代码是好的还是应该使用另一种方法。
这个有什么坏处吗？
到目前为止我的代码：
import shlex
import subprocess
import time
# replace following with a database
servers = [
{
"name": "Server #1",
"path": "/home/myuser/server1/&#
浏览 0提问于2013-09-18得票数 1
1回答
在python多处理中，可以创建一个由30个进程组成的多处理池，以便在某些ID上处理一些长时间运行的等式。下面的代码在一台8核机器上产生30个进程，load_average从未超过2.0。事实上，30个使用者是一个限制，因为承载it的postgresql数据库的服务器有32个核，所以我知道如果我的数据库能够处理它，我可以产生更多的进程。
from multiprocessing import Pool
number_of_consumers = 30
pool = Pool(number_of_consumers)
我花了时间来安装芹菜，但无法重新创建这30个过程。我以为设置并发性，例如-c
浏览 6提问于2014-11-22得票数 3
2回答
多工序泡菜
、、、、
以下代码的目标仅仅是用0到9填充数组a：
import multiprocessing
import numpy as np
from joblib import Parallel, delayed
num_cores = multiprocessing.cpu_count()
inputs = range(10)
a = np.zeros(10)
def processInput():
def testNested(t):
a[t]= t
Parallel(n_jobs=num_cores, backend="threading")(de
浏览 4提问于2018-01-06得票数 1
我想为我的MacBook上的长期存储生成一串密钥。
什么是一个好方法：
测量熵的数量，并确保它在生成每个键之前就足够了，并且
如果需要的话增加熵？
类似于Linux的/dev/urandom和/dev/random…
浏览 0提问于2013-09-20得票数 20
回答已采纳
ThreadPool和Pool在multiprocessing模块中有什么区别？当我尝试我的代码时，我看到的主要区别是：
from multiprocessing import Pool
import os, time
print("hi outside of main()")
def hello(x):
print("inside hello()")
print("Proccess id: ", os.getpid())
time.sleep(3)
return x*x
if __name__ ==
浏览 3提问于2017-09-05得票数 99
回答已采纳
1回答
准入控制嵌入在每个impalad守护进程中，并通过statestore服务进行通信。impalad守护进程确定查询是立即运行还是排队。但是，如果突然的请求流导致并发运行的查询比预期的多，则总体Impala内存限制和集群级别的Linux cgroups机制将作为硬限制，以防止内存过度分配。当查询达到这些限制时，Impala会取消查询。
这是否意味着在单个Impala守护进程级别或群集级别强制实施Impala资源限制？
浏览 3提问于2017-09-16得票数 0
我的平台信息：
uname -a
Linux debian 5.10.0-9-amd64 #1 SMP Debian 5.10.70-1 (2021-09-30) x86_64 GNU/Linux
python3 --version
Python 3.9.2
注意:要添加一个锁可以使Singleton类生效，这不是我的问题，不需要讨论进程锁。
将以不同状态执行的相同部分：
单例类
class Singleton(object):
def __init__(self):
pass
@classmethod
def instance(cls, *
浏览 2提问于2021-10-14得票数 4
回答已采纳
1回答
意识到.net核心中不再存在AppDomains，那么在.net核心webapi中创建应用程序隔离的合适方法是什么？这会由ASP.NET MVC框架来处理吗？我计划让代码在Linux环境中运行。
浏览 2提问于2016-10-04得票数 2
在一个使用子进程来压缩输出的简单脚本中(使用subprocess.PIPE到外部命令的标准输入)，如果在创建子进程和关闭进程的标准输入之间创建了multiprocessing.Pool对象，subprocess.wait()将永远挂起。
import multiprocessing
import subprocess
proc = subprocess.Popen(["gzip", "-c", "-"],
stdout=open('filename', 'w'),
浏览 2提问于2013-07-21得票数 3
回答已采纳
什么是.net对IIS中web应用程序的Java回收。
这是在IIS之外的linux机器上使用Java时的情况。
仅仅是停止并启动应用程序吗？
浏览 1提问于2014-01-04得票数 2
回答已采纳
我正在linux上设置Weblogic。我的节点管理器是以root用户身份运行的。当我使用它启动受控服务器时，我看到受控服务器的进程所有者是root。我希望它是另一个用户名。一个没有特权的用户。有没有办法为Node Manager指定它？
谢谢
浏览 5提问于2014-09-23得票数 0
我有一个愚蠢的问题，我需要一个ExecutorService ( ForkJoinPool就是这样的东西)，但我真的不想初始化一个新的引用并保留这个引用，我记得有一段时间我遇到了一个JDK类，它维护了一个用于各种用途的静态ForkJoinPool，并且可以被其他进程使用，但是我似乎找不到它，而且网上没有关于这样的东西的太多信息。有没有人知道这种东西是否存在？
浏览 1提问于2015-08-21得票数 0
回答已采纳
1回答
我正在寻找Python语言中MultiProcessing的一些很好的示例代码，它们可以接受一个大的数组(被分成同一个主数组的不同部分)，以加速后续输出文件的处理。我注意到还有像Lock()函数这样的其他函数来确保它以特定的顺序返回，但这不是一个很好的示例，说明如何在作业运行时将结果数组返回，以便我可以按正确的时间序列顺序输出单个CSV文件。 下面是我到目前为止一直在处理的队列。如何分配q1.get()或其他函数的结果，以便稍后重新组合？当我尝试将temp =q1.get()赋值给它时，它只是旋转...拆分一个数组，将其发送到多个进程，然后重新组合所调用的函数的结果的好例子将会受到重视。我使
浏览 15提问于2021-01-04得票数 0
我在Python中有一些字符串处理工作。我希望通过使用线程池来加速这项工作。字符串处理作业彼此之间没有依赖关系。结果将被存储到mongodb数据库中。
我写的代码如下：
thread_pool_size = multiprocessing.cpu_count()
pool = ThreadPool(thread_pool_size)
for single_string in string_list:
pool.apply_async(_process, [single_string ])
pool.close()
pool.join()
def _process(s):
#
浏览 1提问于2015-04-28得票数 6
3回答
malloc需要操作系统支持吗？
、、、、
内存管理是底层操作系统提供的一种服务。当我们调用malloc()/free()，并且没有运行操作系统(例如，裸金属嵌入式系统)时，内存分配和跟踪是如何处理的？
应该有一个实体跟踪哪些地址是免费的，哪些不是。那是操作系统内存管理单元。然后，malloc()/free()将不得不调用OS系统调用。所以没有操作系统就意味着没有malloc()/free()。我猜错了吗？
更新：
所有答案都指出，malloc/free可以使用静态池分配(在没有操作系统可用时)，也可以使用作为内核系统调用的sbrk/brk。问题是，malloc/free如何知道下面是否有内核？
答复(见"Kuba“在以下答复中
浏览 2提问于2018-11-03得票数 7
回答已采纳
我试图将一个函数应用于一个大的数字range --我使用来自multiprocessing的池的版本比我估计的“单个进程”版本的完成时间要长得多-
我的代码有问题吗？还是Python？还是Linux？
我使用的函数是is_solution，定义如下-
as_ten_digit_string = lambda x: f"0000000000{x}"[-10:]
def sum_of_digits(nstr):
return sum([int(_) for _ in list(nstr)])
def is_solution(x):
return sum_of_d
浏览 5提问于2020-04-06得票数 2
回答已采纳
据我所知，multiprocessing在Linux上使用fork，这意味着multiprocessing创建的每个进程都有自己的内存空间，并且在其中所做的任何更改都不会影响其他forked进程。
但我遇到了一个相当奇怪的情况：
import multiprocessing
i = -1
def change(j):
global i
print(i, end=" ") # should print -1
i = j
with multiprocessing.Pool(20) as p:
p.map(change, range(20))
浏览 3提问于2019-02-24得票数 2
2回答
熵池与种子的随机数生成
、、、
为了给出一些背景，我目前正在JavaScript中实现一个密码库。
我已经开始在Linux的随机数生成器之间进行移植，因为它都是经过公开审查的，它是开源的，而且文档非常丰富。在解决Linux的RNG之前，在浏览其他实现之后，大多数其他实现，如Mersenne Twister和其他PRNG，都使用单字节种子值作为它们的熵源，并添加更多的熵--您只需用“熵流”来XOR种子值。然而，Linux的RNG使用了一个熵池，正如它听起来的那样，它包含一个更大的“种子”值数组，其中所有的值都被认为具有很高的熵。要添加熵，您只需将熵放入池中，并将其与几个多项式混合起来，并将其全部散列以隐藏内部状态。
我想知道的
浏览 0提问于2013-12-30得票数 7
1回答
oracle可以处理多少个最大的连接？
下面是我的sql的总结，我需要类似的oracle统计数据：
MySQL可以支持的连接的最大数量取决于给定平台上线程库的质量、可用RAM的数量、每个连接使用多少RAM、来自每个连接的工作负载以及所需的响应时间。Linux或Solaris应该能够常规地支持500-1000个同时连接，如果您有很多if内存，并且每个线程的工作负载都很低，或者响应时间目标不太高的话，应该可以支持多达10,000个连接。由于在该平台上使用的Posix兼容层，Windows仅限于(打开表×2+打开连接)< 2048。
浏览 4提问于2009-10-30得票数 5
我一直在使用一个从“非分页池”读取数据的Windows应用程序来提高性能。在本例中，非分页池是网络驱动程序从线路上获取数据时写入数据的内存区。
Linux如何处理内存、需要高速独占访问RAM的网络驱动程序(或其他驱动程序)以及“如何直接从非分页池读取”的问题？甚至在应用于Linux时也有意义吗？
非常感谢
浏览 1提问于2010-10-26得票数 1
回答已采纳
1回答
我一直试图使用subprocess32.Popen，但这会导致我的系统崩溃(CPU 100%)。因此，我有以下代码：
import subprocess32 as subprocess
for i in some_iterable:
output = subprocess.Popen(['/path/to/sh/file/script.sh',i[0],i[1],i[2],i[3],i[4],i[5]],shell=False,stdin=None,stdout=None,stderr=None,close_fds=True)
在此之前，我有以下几点：
import
浏览 3提问于2016-09-30得票数 0
回答已采纳
2回答
我正在考虑使用sendmsg()在进程之间传输accept()ed套接字。简而言之，我正在尝试构建一个简单的负载均衡器，它可以处理大量连接，而不必缓冲流数据。
在处理大量(比如说数百个)并发TCP连接时，这是个好主意吗？如果重要的话，我的系统是Gentoo Linux
浏览 1提问于2011-06-29得票数 1
回答已采纳
1回答
Windows OS，一种与IO完成相关联的线程模型，每次完成异步IO时都释放~一个线程，然后使用释放的~ ThreadPool来处理IO完成。
虽然linux可以用于异步IO，但它似乎不支持IO完成/ ThreadPool逻辑。
是否有相当于上述线程模型的IO完成/ ThreadPool的Linux？
浏览 5提问于2014-07-22得票数 1
回答已采纳
1回答
进入容器(例如docker run或docker exec)会使next创建的进程的PID提前，为什么？
例如，在容器中的第二个进程(ps)下面的图像中分配PID 10，而不是PID 2：
根据这个，Linux似乎是按顺序分配PID的，不是总是这样吗？
浏览 2提问于2020-05-26得票数 1
回答已采纳
N = multiprocessing.cpu_count()
with multiprocessing.Pool(processes = N) as p:
for result in user_detail:
arg1 = str(result).replace("[", "\"[")
arg = arg1.replace("]", "]\"")
#For Linux
cmd = 'python3 test.py
浏览 8提问于2022-03-15得票数 0
我有一个网络前端，它提交一个HPL/SQL作业通过SSH包含ImpalaSQL代码，返回有用的结果到Linux服务器。我们的Impala准入控制限制为5个并发运行的作业。在Linux命令行中，我尝试确定在特定的Impala准入控制请求池中运行的正在执行/挂起的SQL查询的数量。任何时候知道这个数字将有助于我们的web前端更加用户友好。
我尝试使用以下代码来查看请求池中正在运行的查询，但不幸的是，这是特定于YARN而不是Impala Admission Control的：
<code>A0</code>
我在谷歌上搜索了几次，但都找不到Impala准入控制的相应命令行。
浏览 33提问于2019-08-22得票数 1
回答已采纳
我试图使我的代码并行，我遇到了一件奇怪的事情，我无法解释。
让我来定义一下上下文。我有一个非常繁重的计算，阅读多个文件，对它进行机器学习分析，涉及很多数学。我的代码在Windows和Linux上正常运行，但当我尝试使用多处理时，一切都中断了。下面是我在Windows上首先开发的一个示例：
from multiprocessing.dummy import Pool as ThreadPool
def ppp(element):
window,day = element
print(window,day)
time.sleep(5)
return
if __
浏览 1提问于2018-11-02得票数 2
回答已采纳
我在自动启动我的监督树时遇到了死锁问题。一个GenServer的初始状态是树中另一个主管的子员工。代码如下：
主管和员工：
defmodule Parallel.Worker.Supervisor do
import Supervisor.Spec
def start_link do
# Start up a worker for each core
schedulers = :erlang.system_info(:schedulers)
children = Enum.map(1..schedulers,
&(worker(Parall
浏览 0提问于2014-11-20得票数 3
在我的应用程序中，我使用了窗体身份验证和会话。如何确保用户在6小时后被注销？
在我的web.config中，我将会话超时设置为360分钟。但经过10分钟的不活动后，我必须再次登录。
我还将窗体身份验证超时设置为360分钟。我到底做错了什么？
浏览 2提问于2010-01-07得票数 2
回答已采纳
1回答
我正在尝试模拟一个场景，其中由python多处理池产生的子进程被杀死。子进程永远不会返回，但我希望在我使用的scenario.The测试代码中通知父进程：
import multiprocessing as mp
import time
import os
result_map = {}
def foo_pool(x):
print x,' : ',os.getpid()
pid = os.getpid()
if x == 1:
os.kill(pid,9)
return x
result_list = []
def log
浏览 0提问于2015-01-25得票数 2
3回答
您好，我有一个简单的脚本，它获取一个文件并在其上运行另一个Perl脚本。该脚本对当前文件夹中的每个图片文件执行此操作。它运行在一台拥有2个四核至强处理器、16 on内存、运行RedHat Linux的机器上。
第一个脚本work.pl主要调用magicplate.pl，传递一些参数和magicplate.pl要处理的文件的名称。魔盘需要大约一分钟的时间来处理每个图像。因为work.pl要执行相同的函数超过100次，而且系统有多个处理器和内核，所以我在考虑将任务拆分，这样它就可以并行运行多次。如有必要，我可以将图像分割到不同的文件夹中。任何帮助都是最好的。谢谢
这是我到目前为止所知道的：
use
浏览 0提问于2010-12-13得票数 6
回答已采纳
1回答
我正在尝试插入更新MySQL db中非常大的数据值，而在同一次尝试中，我试图在进程列表中看到正在做什么！
因此，我制作了以下脚本：
我有一个经过修改的db MySQL，负责连接。除非我使用多进程，否则一切都很正常，如果我使用多进程，我在某个时候遇到了一个错误，即“失去了到数据库的连接”。
剧本是这样的：
from mysql import DB
import multiprocessing
def check writing(db):
result = db.execute("show full processlist").fethcall()
for i i
浏览 0提问于2018-05-15得票数 1
我对Java 8中的lambdas和异步代码都很陌生。
我有以下代码：
import java.util.concurrent.CompletableFuture;
public class Program {
public static void main(String[] args) {
for (int i = 0; i < 100; i++) {
String test = "Test_" + i;
final int a = i;
CompletableFutu
浏览 7提问于2017-02-24得票数 1
回答已采纳
我使用的是Linux3.2.0，x86_64。我可以同时从多个线程中为一个套接字调用accept()吗？
浏览 0提问于2012-07-15得票数 9
回答已采纳
在谈到异步I/O时，我想了解在Linux中使用的接口和中使用的接口之间的区别。当我想在C代码中实现异步I/O时，使用前者，在python代码中使用后者。据我所知，python中的concurrent.futures是一种基于线程的技术，它将回调附加到线程，以便稍后可以对其状态进行轮询。但是，我不知道POSIX是如何工作的！它也是基于线程的吗？
谢谢
浏览 0提问于2018-07-23得票数 0
回答已采纳
2回答
我想将sqlalchemy池大小设置为默认值以外的值。
我有一个烧瓶应用程序。我使用app.config.from_pyfile('config.py')从文件文件中设置配置
在初始化db之前，我已经转储了配置，它包括：
'SQLALCHEMY_DATABASE_URI': 'mysql://readonly:password@localhost/xyz',
'SQLALCHEMY_ECHO': False,
'SQLALCHEMY_MAX_OVERFLOW': 0,
'SQLALCHEMY_POOL_SI
浏览 1提问于2018-10-26得票数 4
回答已采纳
我在Linux下运行WebSphere MQ v7.1.0.1。在同一个队列管理器中看到过多的amqrmppa进程是正常的吗？
mqm 3504 1745 2 Nov01 ? 03:40:23 /opt/mqm/bin/amqrmppa -m TEST
mqm 4804 1745 0 08:56 ? 00:01:21 /opt/mqm/bin/amqrmppa -m TEST
mqm 5022 1745 27 08:56 ? 01:17:32 /opt/mqm/bin/amqrmppa -m TEST
mq
浏览 2提问于2012-11-08得票数 2
回答已采纳
2回答
我想同时下载多张图片。为此，我使用线程，每个线程使用urllib2模块下载一个图像。我的问题是，即使线程(几乎)同时启动，图像也会一个接一个地下载，就像在单线程环境中一样。
以下是线程化函数：
def updateIcon(self, iter, imageurl):
req = urllib2.Request('http://site.com/' + imageurl)
response = urllib2.urlopen(req)
imgdata = response.read()
gobject.idle_add(self.setIcon,
浏览 2提问于2010-11-10得票数 2
回答已采纳
1回答
大多数Linux发行版现在使用ASLR对许多程序进行随机化内存布局。
用于这种情况的随机性多久改变一次？如果我多次重复运行相同的程序，那么每次都会收到相同的布局，还是每次都会有所不同？每次运行程序都会产生新的随机性吗？每次机器重新启动？随机值何时刷新/重置为新值？这取决于Linux发行版吗？这取决于我们讨论的内存区域(例如，可执行文件、动态库、堆栈、堆等)，还是所有这些内存的答案都是相同的？
浏览 0提问于2014-05-24得票数 7
回答已采纳
2回答
我编写了一个python程序，使用池启动并行进程(16)，以处理一些文件。在运行开始时，进程数保持为16，直到几乎所有文件都得到处理。然后，由于一些我不理解的原因，当只剩下几个文件时，一次只有一个进程运行，这使得处理时间比必要的要长得多。你能帮个忙吗？
浏览 0提问于2016-02-24得票数 1
1回答
我对IIS 6.0工作进程和应用程序池有疑问。
我有两个web应用程序，这是托管在IIS 6.0与不同的端口号。此外，我还创建了一个应用程序池，并将其分配给该应用程序。该应用程序池已为2个工作进程配置。现在我的问题是什么？当我从浏览器运行这两个应用程序时，应用程序池将如何处理它们？是将两个工作进程分配给一个应用程序，还是同时分配给两个应用程序。？
请分享你的想法...先谢谢你...
浏览 0提问于2013-11-06得票数 1
1回答
是否有一种方法在客户端拥有一个已建立的连接池(作为守护进程运行)，以便它可以被linux上的mysql客户端使用？
mysql ==(命名管道/unix域套接字？) ==> mysql连接池(守护进程)==> mysql服务器
浏览 1提问于2013-04-17得票数 1
2回答
我了解到node.js在内部使用libeio来执行异步文件 I/O，在*nix平台上使用线程池，对吗？
异步网络 I/O怎么办？这是利比夫做的吗？还有线程池吗？
如果里面有线程池，它怎么能比传统的单线程请求模型更有效？它是每个I/O请求中的一个线程吗？
窗户上的机械装置是什么？我知道它是由IOCP完成的，并且有一个内核级别的线程池，对吗？
为什么linux还没有一个像windows那样的完全的本地AIO机制呢？将来会有吗？
根据昌昌的答复更新：
我快速查看了一下 @changchang给出的消息，发现默认的线程池大小可以由重置--我想知道在什么情况下会使用它？
浏览 4提问于2013-03-20得票数 25
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
