Python多处理池在Linux和Windows之间有不同的行为。
当按工作人员的数量运行方法时，在Linux中它运行的是作为参数给定的特定函数的作用域上的进程，但是在Windows中，每个工作人员在父进程的范围内运行，并再次使用它不应该使用的代码。
例如：(只用于使其与我的代码类似)
from multiprocessing import Pool, Event
from flask import Flask
print(">>> This code running for every each worker")
app = Flask(__name__
浏览 5提问于2017-01-29得票数 3
回答已采纳
1回答
我有一个在linux上运行的多线程应用程序。在发生崩溃时，例如SIGSEGV，将调用处理程序。当处理程序正在执行时，进程中其他线程的状态是什么？线程还在运行吗？
浏览 4提问于2013-03-19得票数 2
我想我已经从Linux内核中找到了一些目前还没有实现的东西。
我需要一种方法来设置每个进程的最大线程限制。
这个是可能的吗？
浏览 0提问于2012-08-16得票数 5
回答已采纳
2回答
在Linux中，进程/线程的大小是多少？当创建了一个进程/线程，以及其中的task_struct和其他数据结构时，是否还有其他内容？
进程/线程的堆栈是否在进程/线程初始化时分配(固定大小)？或者在必要时分配(如虚拟内存)？
当标准进程/线程在内存中创建时，我如何知道它的大小？
浏览 6提问于2012-07-11得票数 4
回答已采纳
2回答
杰克兔Lucene索引
、、、、
我在一台Red Hat6 64位机器上安装了JackRabip2.4.0(作为rar部署到JBoss as 7.1.0中)。JBoss JVM的最大堆大小设置为8 GB。这台机器有24 of的RAM。奇怪的是，当JBoss启动时，它有近20 GB的虚拟大小(统计数据取自顶部)。Linux页面缓存(交换缓存)大约为10 GB，因此系统实际上将有大约5 GB的空闲内存。我不确定为什么页面缓存这么大，我正在尝试建立一个与保存Lucene索引的杰克兔数据目录大小的链接。目录的大小约为10 GB。我的问题是: Lucene是否对索引文件使用内存映射？
提前谢谢。
浏览 2提问于2013-03-28得票数 0
回答已采纳
2回答
在试图提高我在非NUMA/标准PC上应用程序的速度时，我总是发现瓶颈是对malloc()的调用，因为即使在多核计算机中，它也是所有内核之间的共享/同步。
我有一个使用Linux和C的具有NUMA体系结构的PC，我有两个问题：
NUMA机器中的，由于每个核都提供了自己的内存，malloc()会在每个内核/内存上独立执行而不会阻塞其他内核吗?在这些体系结构中的是如何调用memcpy()的？这是否可以在每个核心上单独调用，或者，一旦调用核心就会阻塞其他内核吗？我可能错了，但我记得memcpy()也遇到了malloc()的同样问题，即当一个内核正在使用它时，其他内核不得不等待。
浏览 3提问于2011-03-29得票数 11
回答已采纳
1回答
确定主要页面故障原因
、、、
我被要求查看一个用C++编写并在Linux上运行的内部应用程序，这会有一些困难。周期性地，它将有大量的主要页面错误(~200k)，这会导致挂钟运行时间增加x10+，然后在某些运行中它将不会有。
我已经尝试隔离代码的不同部分，但在测试时很难重复页面错误。
对于从应用程序/Linux中获取有关主要页面错误的更多信息，有人有什么建议吗？我所拥有的只是一个总数。
浏览 1提问于2010-11-24得票数 4
回答已采纳
这是一个广泛的问题，但我很好奇在一个具有多个物理CPU的机器上的单个进程应用程序中线程调度的细节。
编辑-想澄清这一点，在下面我谈论的物理CPU。我对进程/线程如何与多核CPU工作有很好的了解，但我说的是主板上的多个物理CPU染料(比如2.4核心Xeons)。
答案--感谢断脚和nosid的响应，我想我已经得到了它：- Linux调度程序有不同的NUMA策略，这些策略会影响线程在核心/染料方面的内存突变/访问模式。-染料之间的缓存一致性是可能的，但速度比预期的要慢。-最佳操作过程-控制共享内存的可更改性(尝试不可变)-使用尊重线程局部性的内部(进程内)任务调度程序-使用与进程内任务调度程序一起
浏览 6提问于2014-03-09得票数 3
📷
根据Linux内核剖析的说法，Linux有五个子系统:进程管理、内存管理、网络、VFS、设备。
其中两个是必需的: 1.进程管理2.内存管理
Linux内核子系统的存在是为了处理网络、VFS、设备？
Linux内核中进程管理和内存管理的目的是什么？
我还试图找到Linux内核子系统(如VFS、Network、Device )的用途，这些子系统与进程管理()和内存管理( Memory Management )等其他Linux内核子系统相提并论。
如果VFS、Network、Device由进程管理、内存管理处理，那么Linux内核中的VFS、Network、Device作为子系统是否合乎逻辑？
浏览 0提问于2019-01-19得票数 0
我有一个运行在linux(centos 6.3 x64)上的java进程(centos 6.3 x64)，它使用了JAVA_OPTS="-server -Xms128M -Xmx256M -Xss256K -XX:PermSize=32M -XX:MaxPermSize=32M -XX:MaxDirectMemorySize=128M -XX:+UseAdaptiveSizePolicy -XX:+UseParallelGC -XX:+UseParallelOldGC -XX:GCTimeRatio=39 -XX:+PrintGCDetails -XX:+PrintGCDateSt
浏览 5提问于2013-08-27得票数 2
我有一个CentOS虚拟化服务器，我刚刚安装了Jira。当Jira运行时，我很难理解Sun是怎么回事。Java的最大堆大小设置为384 up，但Java实例占用的内存远远超过1GB。
我对linux管理很陌生，但我知道它们对JVM来说是额外的开销，而且进程内存报告并不总是准确的(特别是使用线程，我相信Jira会大量使用线程)，但是我认为free -m给出了一个更准确的总体内存使用情况。比较系统内存与Jira和没有Jira告诉我，它正在使用超过1GB。我只有1GB的物理内存和768个交换/虚拟。
当我使用vmstat时，它说我没有任何虚拟页面，但我可能应该使用。我担心我只运行一个进程，而我的服务
浏览 0提问于2011-09-13得票数 0
回答已采纳
1回答
下图显示了进程的各个部分在进程的虚拟地址空间中的布局(在Linux中)：
您可以看到只有一个堆栈部分(因为我假设这个进程只有一个线程)。
但是，如果这个进程有另一个线程，那么第二个线程的堆栈将位于何处？它会位于第一个堆栈的正下方吗？
浏览 0提问于2017-07-01得票数 12
在linux代码中，我记得听说过围绕mutex_lock()有一个完整的内存屏障。我想确定它是否也在sem_xxx附近。
浏览 4提问于2013-05-08得票数 7
回答已采纳
在linux (linux线程)上，当从main返回时(在线程完成之前)，正在运行的线程会发生什么情况？当从main返回时，内存是dis分配的，因此线程应该访问未分配的内存。这会导致线程退出吗？
我肯定线程已经死了，，但是这是如何发生的，
浏览 1提问于2014-05-22得票数 1
回答已采纳
在我的新rhel62机器上运行我的java应用程序需要更多的内存。相同的程序在rhel55上占用的内存更少。
我编写了一个非常简单的'HelloWorld‘java程序，并运行它。这在rhel62中也需要很大的内存。我在Rhel55和Rhel62中都使用了Rhel62
import java.io.* ;
class HelloWorldApp {
public static void main(String[] args) {
System.out.println("Hello World!"); // Display the string.
浏览 1提问于2013-01-08得票数 1
回答已采纳
2回答
我声明了一个变量__thread int my_id；平台和编译器的信息：
Configured with: ../src/configure -v --with-pkgversion='Ubuntu/Linaro 4.6.1-9ubuntu3' --with-bugurl=file:///usr/share/doc/gcc-4.6/README.Bugs --enable-languages=c,c++,fortran,objc,obj-c++,go --prefix=/usr --program-suffix=-4.6 --enable-shared --enable-li
浏览 0提问于2012-10-22得票数 4
回答已采纳
1回答
我有一个视频检索系统，它在检索过程中会占用大量内存。我知道tbb可伸缩分配器将释放的内存释放到内存池中，而不会将其返回给操作系统。这是否意味着池中将一直有以前分配的内存，当其他线程需要内存时，可能会导致内存耗尽？
我使用的是两台机器，24核，47G内存。我的程序有24个线程，每个线程处理一个检索任务，并使用tbb可伸缩分配器进行内存分配，但它仍然得到了严重的分配异常。我还使用valgrind来检测内存泄漏，并找到下面的报告，该报告似乎只有tbb可伸缩分配器导致的“仍然可以到达”的问题，没有其他内存泄漏。谁能教我怎么解决这个问题？
==1224== HEAP SUMMARY:
==1224==
浏览 1提问于2012-04-28得票数 4
我知道在线程和处理linux之间没有什么特别的区别，除了在线程切换期间保持cr3寄存器不变，在进程切换期间保持tlb刷新。
由于groud中的线程共享相同的地址空间，并且没有改变pgd(页表)，这意味着整个内存布局是共享的，因此堆栈空间也被共享，但根据通用定义线程拥有自己的堆栈，这在linux中是如何实现的。
如果它像threadA一样有来自x-y范围的堆栈，那么在第一个页面缺省发生时，页表被更新，类似地，使用u-v范围的threadB将更新相同的页表。因此，可能会把threadA中的threadB堆栈搞乱。
我只想弄清楚这一点，帮我out.Is一下线程的安全实现？
浏览 1提问于2011-06-14得票数 0
2回答
为什么当我在gdb调试器中执行一个程序时，内存消耗会以不可预测的速度跳升？我试图使用gdb来找出为什么一个程序使用的内存远远超过它应该使用的内存，而且它没有合作。
在监视进程内存使用情况时，我逐步了解了源代码，但由于以下两个原因，我无法找到分配内存的行：
报告的内存使用量仅以64 MB的增量(通常但不一定是准确的)增加。我怀疑我看到了一些内存管理器的影响，我不知道哪个内存管理器一次保留64 MB，并且掩盖了多个较小的分配。
跳转并不发生在代码中一致的位置。它不仅在不同的gdb运行过程中出现在不同的行上，而且有时还会发生在不符合逻辑的地方，比如(c++)函数的结束括号。gdb本身是否可能
浏览 2提问于2015-06-09得票数 1
2回答
我试图理解Linux是如何处理进程调度和线程调度的。我读到Linux可以调度进程和线程。
Linux有线程调度器和进程调度器吗？如果是，他们是如何合作的？
浏览 0提问于2011-12-11得票数 30
回答已采纳
我有一个函数func，在单个核上运行时可能要花费50美元。现在我想在一个拥有192个核心CPU多次的服务器上运行它。但是，当我将工作进程添加到180时，每个核心的性能都会减慢。最糟糕的CPU需要花费100多秒来计算func。
有人能帮帮我吗？
这是伪代码
using Distributed
addprocs(180)
@everywhere include("func.jl") # defines func in every process
First try using only 10 workers
@sync @distributed for i in 1:10
浏览 7提问于2021-11-17得票数 3
回答已采纳
3回答
所以我注意到linux上线程的默认堆栈大小是8MB (如果我错了，请纠正我)，顺便说一句，在Windows上，线程的默认堆栈大小是1MB。这对我的应用程序来说是非常糟糕的，因为在4核处理器上，64MB的空间仅用于线程！最糟糕的是，我从来没有使用超过100kb的堆栈每个线程(我滥用堆很多；)。
我现在的解决方案是限制线程的堆栈大小。然而，我不知道如何将其移植。仅供参考，我使用Boost.Thread来满足我的线程需求。我可以接受一点#ifdef地狱，但我想先知道如何轻松地完成它。
基本上，我想要这样的东西(在windows版本上链接windows_*，在linux版本下链接posix_* )
/
浏览 9提问于2010-06-17得票数 4
回答已采纳
3回答
Windows和linux线程
、、、、
一个Windows或Linux系统可以有多少线程？
我正在编写一个多线程可移植代码，它应该检查系统中的最大线程数。
浏览 5提问于2013-08-20得票数 2
回答已采纳
2回答
在Linux内核源代码中，存在许多内存屏障(smp_mb()等)。
但在redis的消息来源里，我没看到。在redis的Makefile中，gcc优化选项是-O2，所以需要对这些指令进行重新排序。为什么不使用mb()来确保正确的行为呢？
添加：
例如:在Linux内核的kfifo中：
unsigned int __kfifo_put(struct kfifo *fifo,unsigned char *buffer, unsigned int len)
{
unsigned int l;
len = min(len, fifo->size - fifo->i
浏览 1提问于2013-01-06得票数 2
回答已采纳
1回答
既然它不在jvm堆和gc中，那么它什么时候发布？或者，直到进程终止？
我已经查过了：
但是所有的答案都是模糊的，没有人明确地回答它，有一个明确的答案吗？至少对于64位Linux上的Java 8来说是如此。
浏览 3提问于2016-03-18得票数 9
回答已采纳
1回答
我有带有RAM - 1TB的Linux集群。
我已经分配了五个线程并向集群提交了作业。如何找到我的程序使用了多少核心？我的程序用了多少内存？下面引用了我的Linux集群规范。
📷
浏览 0提问于2018-09-15得票数 1
1回答
我在某个地方读到，Linux线程实际上是作为内核中的进程实现的，因为在今天的硬件和Linux平台上，与进程模型相比，线程模型效率很低。如果是这样的话，为什么我们仍然在我们的项目中使用p线程编程(除了向后兼容性)？为什么在Linux中不推荐p线程模型时会有如此多的犹豫？
浏览 0提问于2012-10-04得票数 1
回答已采纳
我试图查看vfork是否创建了一个与父进程共享内存的子进程，如下所示：
#include<stdio.h>
#include<unistd.h>
int main()
{
int* pi = new int(5);
int i = 5;
pid_t id = vfork();
if (id > 0) //father
{
*pi = 4;
i = 4;
printf("father set i=%d, *pi=%d\n", i, *pi);
sl
浏览 5提问于2017-01-02得票数 1
回答已采纳
2回答
让我们使用像shmget()这样的POSIX共享内存--这是一个协调进程间通信的公共调用。调用shmget()和协调共享内存段上的通信与Linux如何在单个进程中实现共享内存和线程之间的同步有什么不同。它们当中有没有更轻的？
浏览 4提问于2012-11-12得票数 4
回答已采纳
我目前正在学习Linux。我知道线程是Linux上的一种轻量级进程。但是我想知道线程堆栈空间来自哪里。
线程的堆栈是私有的。它独立于进程堆栈。根据我的搜索，有人说线程堆栈是由mmap()创建的。而且，也有人说mmap()空间不是heap。它介于堆栈和堆之间。因此，线程堆栈来自进程的内存映射段。对吗？
浏览 0提问于2022-10-06得票数 3
回答已采纳
我渴望找到一种工具，可以让我在我正在开发的程序中跟踪pthread的行为。我知道以前有类似的问题，请参阅和。
事实证明，推荐的工具并不是我所需要的，或者似乎不可能让它们在我的机器上工作。它是Debian6，在x86架构上是32位的。
结合了的似乎就是我想要的。但不幸的是，我不能让它工作。(工具在某些版本中无法编译，其他版本崩溃，从未真正看到它工作。不同的计算机(Ubuntu10.04 x64)显示其他错误)
有没有一种跟踪解决方案，能够可视化Linux上pthreaded程序的行为，并且实际上是有效的？
浏览 1提问于2011-05-25得票数 18
2回答
我在这里是想问你linux中进程和线程的区别。我知道linux的线程只是一个“任务”，它与父进程共享它们需要共享的东西(地址空间和其他重要信息)。我还知道这两个函数正在创建调用相同的函数('clone()')，但我仍然遗漏了一些东西:当线程退出时到底会发生什么？在linux内核中调用了什么函数？我知道当进程退出时会调用do_exit函数，但是在这里或其他地方应该有一种方法来理解它是线程退出还是整个进程退出。你能给我解释一下这个东西吗?或者重定向到一些教科书？？我试着“理解linux内核”，但我对它不满意。我问这个问题是因为需要向task_struct结构添加内容，但我需要区分如
浏览 1提问于2010-05-11得票数 1
回答已采纳
2回答
在linux内核中，我们可以使用current->comm来获取当前运行的进程的名称。这会是正常进程下的线程吗？Linux有一个轻量级的进程概念，这意味着线程也是一个进程.
浏览 4提问于2014-04-04得票数 1
回答已采纳
我在Linux上使用的是librdkafka-0.11.5 for C。我的C/C++应用程序只是将Kafka数据发送到web服务器，该服务器使用ElasticSearch驱动Kafka消费者。看起来在生产者端，Kafka为每个Unix进程增加了8(8)个内部线程。这给我们带来了一个问题，因为我们对每个Linux机器的线程数量有一个硬性限制。
有没有人知道为什么增加了8个线程？会不会是因为我的Linux机器有4个CPU，并且线程池是预先创建的，每个CPU有两个线程(只是推测)？我使用一个主题和六个分区。代理字符串有三个代理。
有没有办法减少增加的线程数量？
你好，尼克
浏览 0提问于2018-10-04得票数 0
2回答
Java应用程序内存大小
、、、
当IntelliJ或Eclipse运行时，我可以从底部的进度条中看到它们在应用程序内部使用了多少堆。它始终指示启动时分配的最大大小小于512 MB的值。现在在很多情况下，如果我从操作系统(Linux)上看，它显示应用程序使用了大约1300MB，我了解到库、堆栈、内存映射文件……不在堆里...但是为什么会有这么大的差异呢？通常有大约1 1GB的difference...Why？
谢谢。
浏览 5提问于2011-12-27得票数 3
回答已采纳
当我学习web后端编程时，我对Linux中使用的一些术语相当困惑。
在Linux中“进程”、“线程”、“任务”和“作业”之间的区别和关系是什么？
浏览 1提问于2010-05-01得票数 5
回答已采纳
据我所知，Java使用操作系统线程(与Erlang相反)，这意味着在Windows和Linux上使用Java创建的线程可能表现不同。
Windows和Linux上的Java线程有什么区别吗？最大的区别是什么？也许只是性能上的不同？
浏览 1提问于2010-07-13得票数 17
回答已采纳
1回答
我在三星SoC s3c6410 (ARM11)上有linux板。我使用buildroot构建rootfs : Python 2.7.1，uClibc-0.9.31。Linux内核: Linux buildroot 2.6.28.6 #177 Mon Oct 3 12:50:57 EEST 2011 armv6l GNU/Linux
我的应用程序是用python编写的，在一些神秘的情况下会引发以下异常：
1)异常：
File "./dfbUtils.py", line 3209, in setItemData
ValueError: (4, 'Interrupted s
浏览 6提问于2012-02-01得票数 3
在运行java application.my StartUp参数之前，我的linux空闲内存为4942356kb，使用-Xmx2048m和-Xms2048m使最大堆内存和初始堆内存成为2G.But。我发现在启动应用程序后，我的linux系统空闲内存正在逐步减少，启动up.Anyone后消耗的2G内存总量可以告诉我原因和机制吗？
另一个问题是，我的jvm启动参数是-XX:+PrintGCDetails -Xss512k -Xmx4096m -Xms4096m -Xloggc:gc_01221859.log，启动前的空闲内存是5G，1小时后，我发现这个应用程序已经消耗了14,053个线程.Obv
浏览 1提问于2016-01-25得票数 1
计划：
我为大量数据创建了一个C++计算程序，可以在一个或多个线程上运行。(通过配置文件)
程序环境如下: C++、OpenMp、Redhat-x64、malloc/free
Linux上的结果：
当我在一个线程上运行它时，进程大小是177 MB。
当我在两个线程上运行它时，进程大小是317 MB。
当我在4个线程上运行它时，进程大小是600 MB。
Windows上的结果：
进程大小与使用的线程数相同，为110 of。
问题：
为什么在Linux上使用更多的线程时内存消耗会增加？
浏览 3提问于2012-08-10得票数 3
回答已采纳
我正在运行一个Django web应用程序，在我的主web服务器上有4个Apache运行ModPython实例。我在前端运行Nginx，Nginx代理所有Django url都运行到apache服务器池。
我如何知道是否需要运行更多Apache实例来处理增加的负载？我收到了一些关于超时的抱怨，我的第一个想法是没有足够的Apache实例运行。
更新:更正，我正在运行一个apache实例，其中包含4个子进程。它们在Linux上使用"ps -ef \ grep“显示为5个不同的进程。
浏览 0提问于2009-11-24得票数 0
回答已采纳
2回答
我想知道linux中每个进程的堆和堆栈的大小。有什么办法能找到吗？
我发现sbrk(0)会给我堆的末端。但是如何找到堆的开始来获得堆的大小呢？
此外，在堆栈大小上，是否有任何方法可以通过任何库调用或系统调用来找到每个进程的堆栈和当前堆栈指针地址的开始？
浏览 5提问于2016-10-19得票数 2
回答已采纳
当Linux命令显示Java进程使用14 2GBs内存而Java分析显示仅使用2GB时，可能是什么原因？
浏览 5提问于2017-08-16得票数 2
回答已采纳
我运行了./configure
我有几个错误，文档无法构建，因为没有java编译器。我不认为这是相关的，所以我继续使用make
什么是Error 4
oot@marble-pyramid-1:~/download/otp_src_20.0# make
MAKE depend
make[1]: Entering directory `/root/download/otp_src_20.0/erts/emulator'
MAKE generate
make[2]: Entering directory `/root/download/otp_src_20.0/erts/emul
浏览 2提问于2017-09-20得票数 0
1回答
我有下面的代码。
void *timer1_function(void * eit);
pthread_t timer1;
int thread_check1 = 0;
line72: thread_check1 = pthread_create( &timer1, NULL, timer1_function, NULL);
Valgrind显示了下面的输出，并指出line 72中存在问题。上面的pthread_create用法有什么问题？
272 bytes in 1 blocks are possibly lost in loss record 2 of 5
in main
浏览 2提问于2012-06-21得票数 1
回答已采纳
2回答
从运行在Linux上的C/C++程序的角度看，内存在双CPU计算机中是什么样子，我有点困惑。
案例1(理解)
有了一个四核HT ，32 OS内存，理论上，我可以编写一个进程应用程序，最多使用8个线程，最多使用32 OS内存，而不需要进入交换或重载线程设备--为了简单起见，我忽略了操作系统和其他进程。
案例2(混淆)
设置了64 up内存的双四核HT 会发生什么？
在开发方面，您需要编写一个应用程序作为两个进程运行(8个线程，每个进程32 16)进行通信，还是可以将其写成一个进程(16个线程，64 16内存)？
如果答案是前者，那么什么是有效的现代策略来利用整个硬件呢？希姆？IPC？另外，如何指
浏览 7提问于2013-03-22得票数 7
回答已采纳
5回答
Java多线程与Shell脚本
、、、、
如果我有三个任务，我想同时运行它们，有两种方法，我现在正在考虑。
因为我在linux中运行这个程序，所以我可以用shell脚本来完成它。
java Task1 & java Task2 & java Task3 &
或者，我可以使用一个java程序生成三个子线程来执行这些任务。
我想知道哪种方法更有效。我怀疑shell方式是否会创建多个JVM实例？
浏览 1提问于2012-10-07得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
