[转帖]技术派-关于最佳线程数的计算的准确理解

技术,关于,最佳,线程,计算,准确,理解 · 浏览次数 : 0

小编点评

**最优线程数的计算方法:** 1. **核心数:** CPU 执行核心数 2. **阻塞系数:** 线程等待处理完任务所需的时间比例 3. **线程数量:**核心数 / (1 - 阻塞系数) **最佳线程数量:** * **计算式:** Number of threads = Number of Available Cores / (1 - Blocking Coefficient) * **最佳线程数量 = CPU 执行核心数 / (1 - 阻塞系数)** **最佳线程数量的解释:** * 核心数是指 CPU 可以处理的最大并发任务数量。 * 阻塞系数是指任务等待处理完所需的时间比例。 * 当线程数量过少时,任务需要频繁切换线程,导致上下文切换时间增加,降低性能。 * 当线程数量过大时,阻塞系数降低,线程切换时间减少,性能提升。 **示例:** * 核心数为 4,阻塞系数为 0.5。 *最佳线程数量为 8。 **结论:** * 在大多数情况下,最佳线程数量为核心数的 2 到 4 倍。 * 即使全系统只运行一个程序,也应该考虑线程数量,以优化性能。

正文

Venkat Subramaniam 博士在《Programming Concurrency on the JVM》中提到关于最优线程数的计算:

  1. The minimum number of threads is equal to the number of available cores.
  2. If all tasks are computation intensive, then this is all we need.
  3. Having more threads will actually hurt in this case because cores
  4. would be context switching between threads when there is still work to do.
  5. If tasks are IO intensive, then we should have more threads.
  6. We can compute the total number of threads we’d need as follows:
  7. Number of threads = Number of Available Cores / (1 - Blocking Coefficient)
  8. To determine the number of threads, we need to know two things:
  9. • The number of available cores
  10. • The blocking coefficient of tasks

根据描述,最佳线程数量=CPU执行核心数/(1-阻塞系数)

许多程序员就立马写个程序测试,模拟一个阻塞系数0.5的线程,硬件配置CPU执行核心数是4,恰好2倍核心数,最佳线程数量是8,然后就开8个线程去处理。测试完成任务处理时间是316ms。以为这样是最佳了。然后又抱着怀疑的态度再做一轮测试,特意开16个线程去一跑,发现时间只用了215ms。更少了。咦?怎么回事呢?然后得出结论:最佳线程数量并非最佳。 4倍才是最佳的。是这样吗?问题出在哪里了呢?

其实,如果全系统只运行你一个程序,只考虑测试代码,阻塞系数是0.5,当然是没错的,但是这个公式是针对全系统而言的,需要把全系统所有程序的线程占用的timeslice都计算在内考虑。理论计算是需要考虑所有细节的,这些细节占用的时间可一点不少。

当全系统线程数量远远大于执行核心数,则增加了线程的上下文环境交换时间等等,还有其他线程分走了许多CPU时间片,这部分时间可不少,可是却没有用在你的测试计算上。为简化理解,直接把这部分时间都划算到阻塞时间上,等于说阻塞系数变大,纯工作系数变小;分母就变小了,最佳线程数量就成倍增大了。

如果还不理解,我举个例子,用实际场景来解释就明白了。

一个加工厂有4条加工流水线,每一个人同时只能占用一条流水线加工自己的产品,假定一个人占据一条加工流水线完全饱和工作8小时能完成自己的加工,那么拆分到4条线上显然2小时可以加工完成,理论上。

再假定人的饱和工作时间和空闲时间各占50%呢(构造阻塞系数0.5),在不考虑交班交接的时间,显然8个人同时排队加工才能在2小时完成,(加工厂只安排你的8个人)。

但是事实工厂工况是怎么样的呢?这个加工厂有1000人在排队等着加工自己的产品(你安排了8个人过去加工你的产品 + 992个外人),而且,一条流水线线上工作内容切换时,前一个人和后一个人交替交接需要占用不少时间,而且,992个外人也各自要加工自己的产品,分配给你那8个人的时间片机会就少了。那些时间都没为你的产品加工,都直接是划归到阻塞时间上去,阻塞系数变大,最佳线程数=CPU执行核心数/(1-阻塞系数), 分母变小,结果自然变大。如果你要获得更多的时间片,你就要安排更多人过去,增大占时间片的机会。

所以你安排8个人去加工,肯定2小时完成不了,可能实际用了3小时才加工完成。但是你若安排16个人过去排队加工,可能2.5小时就能加工完成了。

如此而已。如有疑问,站内私信消息或留言。

文章知识点与官方知识档案匹配,可进一步学习相关知识
Java技能树首页概览101505 人正在系统学习中

与[转帖]技术派-关于最佳线程数的计算的准确理解相似的内容:

[转帖]技术派-关于最佳线程数的计算的准确理解

Venkat Subramaniam 博士在《Programming Concurrency on the JVM》中提到关于最优线程数的计算: The minimum number of threads is equal to the number of available cores. If a

[转帖]技术派-汇编语言指令集(intel X86系列)

针对汇编语言指令集(intel X86系列8086/80186/80286/80386/80486) AAA - Ascii Adjust for Addition AAD - Ascii Adjust for Division AAM - Ascii Adjust for Multiplicati

[转帖]技术派-epoll和IOCP之比较

直入正题 Epoll 用于Linux系统; IOCP 是用于 Windows; Epoll 是当事件资源满足时发出可处理通知消息; IOCP 则是当事件完成时发出完成通知消息。 从应用程序的角度来看, Epoll 本质上来讲是同步非阻塞的; IOCP 本质上来讲则是异步操作; 举例说明吧 有一个打印

[转帖]终于搞懂了服务器为啥产生大量的TIME_WAIT!

http://www.yunweipai.com/40430.html 运维派隶属马哥教育旗下专业运维社区,是国内成立最早的IT运维技术社区,欢迎关注公众号:yunweipai领取学习更多免费Linux云计算、Python、Docker、K8s教程关注公众号:马哥linux运维 写在开头,大概 4

[转帖]如何提高Linux下块设备IO的整体性能?

http://www.yunweipai.com/6989.html 运维派隶属马哥教育旗下专业运维社区,是国内成立最早的IT运维技术社区,欢迎关注公众号:yunweipai领取学习更多免费Linux云计算、Python、Docker、K8s教程关注公众号:马哥linux运维 作者介绍 邹立巍 Li

[转帖]【技术剖析】15. Native Memory Tracking 详解(1):基础介绍

https://bbs.huaweicloud.com/forum/thread-0246998875346680043-1-1.html 0.引言 我们经常会好奇,我启动了一个 JVM,他到底会占据多大的内存?他的内存都消耗在哪里?为什么 JVM 使用的内存比我设置的 -Xmx 大这么多?我的内存

[转帖]【技术剖析】16. Native Memory Tracking 详解(2):追踪区域分析(一)

https://bbs.huaweicloud.com/forum/thread-0295101552606827089-1-1.html 上篇文章 Native Memory Tracking 详解(1):基础介绍 中,分享了如何使用NMT,以及NMT内存 & OS内存概念的差异性,本篇将介绍NM

[转帖]【技术剖析】17. Native Memory Tracking 详解(3):追踪区域分析(二)

https://bbs.huaweicloud.com/forum/thread-0227103792775240073-1-1.html 应用性能调优 发表于 2022-11-14 15:19:36143查看 上篇文章 Native Memory Tracking 详解(2):追踪区域分析(一) 

[转帖]【技术剖析】18. Native Memory Tracking 详解(4):使用 NMT 协助排查内存问题案例

https://bbs.huaweicloud.com/forum/thread-0211103793043202049-1-1.html 其他 发表于 2022-11-14 15:38:571174查看 从前面几篇文章,我们了解了 NMT 的基础知识以及 NMT 追踪区域分析的相关内容,本篇文章将

[转帖]【技术剖析】8. 相同版本 JVM 和 Java 应用,在 x86 和AArch64 平台性能相差30%,何故?

https://bbs.huaweicloud.com/forum/thread-168532-1-1.html 作者: 吴言 > 编者按:目前许多公司同时使用 x86 和 AArch64 2 种主流的服务器。这两种环境的算力相当,内存相同的情况下:相同版本的 JVM 和 Java 应用,相同的 J