首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

为什么AsParallel().ForAll似乎没有充分利用我的操作的cpu使用率?

AsParallel().ForAll是.NET Framework中用于并行处理的方法。它可以将一个集合并行地分成多个任务,并在多个处理器上同时执行这些任务,以提高程序的性能。

然而,当使用AsParallel().ForAll时,可能会出现操作的CPU使用率不充分的情况。这可能是由于以下几个原因导致的:

  1. 数据分割不均匀:如果集合中的数据在分割时不均匀,某些任务可能会比其他任务更耗时,从而导致某些处理器空闲等待其他处理器完成任务。
  2. 任务间的依赖关系:如果任务之间存在依赖关系,某些任务必须等待其他任务完成后才能执行,这可能导致某些处理器空闲等待依赖任务完成。
  3. 线程调度开销:并行处理涉及到线程的创建、销毁和切换,这些操作会带来一定的开销。如果任务的执行时间较短,线程调度开销可能会占据较大比例,从而降低CPU的利用率。

为了充分利用CPU的使用率,可以尝试以下方法:

  1. 调整数据分割策略:可以尝试使用其他的并行处理方法,如Parallel.ForEach,或手动将数据分割成更均匀的子集,以减少任务之间的执行时间差异。
  2. 减少任务间的依赖关系:如果可能的话,可以尝试减少任务之间的依赖关系,使得更多的任务可以并行执行。
  3. 增加任务的执行时间:如果任务的执行时间较短,可以考虑将多个较短的任务合并为一个较长的任务,以减少线程调度开销。

总之,要充分利用CPU的使用率,需要合理设计并行任务的分割和执行策略,以及减少任务间的依赖关系,以提高并行处理的效率。

相关搜索:为什么我的fscanf似乎没有读到任何东西?Boost Asio -为什么我的异步操作没有启动?为什么这个Zend框架会破坏我的CPU使用率并加载页面这么慢为什么我的R for循环没有运行括号中的所有操作?我似乎无法理解为什么SQL查询没有给出正确的响应为什么我的操作在传递给eventhandlers时没有被调度?Bitbucket pipeline :为什么管道似乎没有使用我的自定义docker镜像?你知道为什么状态在我的React组件中似乎没有更新吗?在使用SR-IOV时,为什么我的主机操作系统在执行网络连接的核心上遇到高系统cpu使用率?我的样式表似乎没有对我的html应用任何东西,你知道为什么会这样吗?为什么我的react组件在发送更改redux存储的操作后没有重新呈现?为什么我的应用在实现导航图时,在我的mainActivity中添加了片段后似乎没有响应?为什么我的JS DOM操作结果是未定义的,并且没有改变HTML?Server.tomcat.free-query-chars=[,]似乎允许对我的整个站点执行[ and ]操作,有没有办法对特定的api资源执行此操作?当我从componentWillMount()调用一个操作时,为什么我的连接状态没有更新?为什么在我的java代码中出现异常后没有完成回滚操作为什么我的操作从ajax.beginform调用的分部视图没有出现在页面上?为什么我的负载均衡器在cpu为100%时没有重定向到可用的ec2?我不明白为什么在最后阶段没有任何保存或追加数据的操作Wix webhooks -为什么我的回调URL操作方法在Wix中的事件发生后没有被调用?
相关搜索:
页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

C#并发实战Parallel.ForEach使用

前言:最近给客户开发一个伙食费计算系统,大概需要计算2000个人的伙食。需求是按照员工的预定报餐计划对消费记录进行检查,如有未报餐有刷卡或者有报餐没刷卡的要进行一定的金额扣减等一系列规则。一开始我的想法比较简单,直接用一个for循环搞定,统计结果倒是没问题,但是计算出来太慢了需要7,8分钟。这样系统服务是报超时错误的,让人觉得有点不太爽。由于时间也不多就就先提交给用户使用了,后面逻辑又增加了,计算时间变长,整个计算一遍居然要将近10分钟了。这个对用户来说是能接收的(原来自己手算需要好几天呢),但是我自己接受不了,于是就开始优化了,怎么优化呢,用多线程呗。

01
  • Linux vmstat命令实战详解

    vmstat命令是最常见的Linux/Unix监控工具,可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令,一个是Linux/Unix都支持,二是相比top,我可以看到整个机器的CPU,内存,IO的使用情况,而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。  选项 -a:显示活动内页; -f:显示启动后创建的进程总数; -m:显示slab信息; -n:头信息仅显示一次; -s:以表格方式显示事件计数器和内存状态; -d:报告磁盘状态; -p:显示指定的硬盘分区状态; -S:输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------  r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st  0  0    320  42188 167332 1534368    0    0     4     7    1    0  0  0 99  0  0  0  0    320  42188 167332 1534392    0    0     0     0 1002   39  0  0 100  0  0  0  0    320  42188 167336 1534392    0    0     0    19 1002   44  0  0 100  0  0  0  0    320  42188 167336 1534392    0    0     0     0 1002   41  0  0 100  0  0  0  0    320  42188 167336 1534392    0    0     0     0 1002   41  0  0 100  0  0 一般vmstat工具的使用是通过两个数字参数来完成的,第一个参数是采样的时间间隔数,单位是秒,第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU),我测试的服务器目前CPU比较空闲,没什么程序在跑,当这个值超过了CPU数目,就会出现CPU瓶颈了。这个也和top的负载有关系,一般负载超过了3就比较高,超过了5就高,超过了10就不正常了,服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大,表示你的CPU很繁忙,一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说,进程阻塞,大家懂的。 swpd 虚拟内存已使用的大小,如果大于0,表示你的机器物理内存不足了,如果不是程序内存泄露的原因,那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free   空闲的物理内存的大小,我的机器内存总共8G,剩余3415M。 buff   Linux/Unix系统是用来存储,目录里面有什么内容,权限等的缓存,我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲,我本机大概占用300多M(这里是Linux/Unix的聪明之处,把空闲的物理内存的一部分拿来做文件和目录的缓存,是为了提高 程序执行的性能,当程序使用内存时,buffer/cached会很快地被使用。) si  每秒从磁盘读入虚拟内存的大小,如果这个值大于0,表示物理内存不够用或者内存泄露了,要查找耗内存进程解决掉。我的机器内存充裕,一切正常。 so  每秒虚拟内存写入磁盘的大小,如果这个值大于0,同上。 bi  块设备每秒接收的块数量,这里的块设备是指系统上所有的磁盘和其他块设备,默认块大小是1024byte,我本机上没什么IO操作,所以一直是0,但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s,磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量,例如我们读取文件,bo就要大于0。bi和bo一般都要接近0,不然就是IO过于频繁,需要调整。 in 每秒CPU的中断次数,包括时间中断 cs 每秒上下文切换次数,例如我们调用系统函数,就要进行上下文切换,线程的切换,也要进程上下文切换,这个值要越小越好,太大了,要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中,我们一般做性能测试时会进行几千并发甚至几万并发的测试,选择web服务器的进程可以由进程或者线程的峰值一直下调,压测,直到cs到一个比较小的值,这个进程和线程数就是比较合适的值了。系统调用也是,每次调用系统函数,我们的代码就会进入内核空间,导致上下文切换,这个是很耗资源

    02

    【JavaP6大纲】多线程篇:线程池如何合理的配置核心线程数?

    对于CPU密集型任务,由于CPU密集型任务的性质,导致CPU的使用率很高,如果线程池中的核心线程数量过多,会增加上下文切换的次数,带来额外的开销。因此,考虑到CPU密集型任务因为某些原因而暂停,这个时候有额外的线程能确保CPU这个时刻不会浪费,还可以增加一个CPU上下文切换。一般情况下:线程池的核心线程数量等于CPU核心数+1。例如需要大量的计算,视频渲染啊,仿真啊之类的。这个时候CPU就卯足了劲在运行,这个时候切换线程,反而浪费了切换的时间,效率不高。打个比方,你的大脑是CPU,你本来就在一本心思地写作业,多线程这时候就是要你写会作业,然后立刻敲一会代码,然后在P个图,然后在看个视频,然后再切换回作业。emmmm,过程中你还需要切换(收起来作业,拿出电脑,打开VS…)那你的作业怕是要写到挂科。这个时候你就该一门心思地写作业。

    03

    【独家】并行计算性能分析与优化方法(PPT+课程精华笔记)

    [导读]工业4.0、人工智能、大数据对计算规模增长产生了重大需求。近年来,中国高性能计算机得到突飞猛进的发展,从“天河二号”到“神威·太湖之光”,中国超级计算机在世界Top500连续排名第一。云计算、人工智能、大数据的发展对并行计算既是机遇又是挑战。如何提高应用的性能及扩展性,提高计算机硬件的使用效率,显得尤为重要。从主流大规模并行硬件到能够充分发挥其资源性能的并行应用,中间有着巨大的鸿沟。 本次讲座由清华-青岛数据科学研究院邀请到了北京并行科技股份有限公司研发总监黄新平先生,从高性能并行计算发展趋势,

    09
    领券