开发和运维高并发系统的工程师可能都有过类似经验，明明系统已经调优完毕，该异步的异步，该减少互斥的地方引入无锁，该减少IO的地方更换引擎或者硬件，该调节内核的调节相应参数，然而，如果在系统中引入实时监控，总会有少量响应的延迟高于均值，我们把这些响应称为尾延迟（Tail Latency）。对于大规模分布
并行操作代表之一的 Parallel 和线程安全的 ConcurrentBag
摘要：Tomcat作为最常用的Java Web服务器，随着并发量越来越高，Tomcat的性能会急剧下降，那有没有什么方法来优化Tomcat在高并发环境下的性能呢？ 本文分享自华为云社区《【高并发】高并发环境下优化Tomcat性能》，作者： 冰 河 。 写在前面 Tomcat作为最常用的Java We
作者：谢益培 1 背景 关键词：并发、丢失更新 预收款账户表上有个累计抵扣金额的字段，该字段的含义是统计商家预收款账户上累计用于抵扣结算成功的金额数。更新时机是，账单结算完成时，更新累计抵扣金额=累计抵扣金额+账单金额。 2 问题及现象 发现当账单结算完成时，偶尔会发生累计抵扣金额字段值更新不准确的
现代互联网很多业务场景，比如秒杀、下单、查询商品详情，最大特点就是高并发，而往往我们的系统不能承受这么大的流量，这时候限流熔断就发挥作用了，限制请求数，快速失败，保证系统满负载又不超限。本文为大家介绍几种常见的限流算法及方案
并发指同一时间内进行了多个线程。并发问题是多个线程对同一资源进行操作时产生的问题。通过加锁可以解决并发问题，ReentrantLock是锁的一种。
CompletableFuture对象是JDK1.8版本新引入的类，这个类实现了两个接口，一个是Future接口，一个是CompletionStage接口。
# 并查集 并查集，Disjoint-Set，或者通俗一点，叫做MergeFind-Set，是一种可以动态维护若干个不重叠的集合，并支持集合之间的合并与查询的数据结构。 集体来说，并查集支持下列两个操作： - Find，查询元素所属集合 - Merge，将两个元素所属集合合并 一般来说，为了具体实现
摘要：高并发环境下构建缓存服务需要注意哪些问题？ 本文分享自华为云社区《【高并发】高并发环境下构建缓存服务需要注意哪些问题？》，作者：冰 河。 缓存特征 （1）命中率：命中数/(命中数+没有命中数) （2）最大元素（空间）：代表缓存中可以存放的最大元素的数量，一旦缓存中元素的数量超过这个值，或者缓存
摘要：tcp_nodelay参数主要是对TCP套接字来说的，那对于服务器硬件，如果要使其能够支撑上百万甚至上千万的并发，我们该如何对其进行优化呢？ 本文分享自华为云社区《【高并发】高并发场景下如何优化服务器的性能？》，作者： 冰 河 。 写在前面 最近，有小伙伴在群里提问：Linux系统怎么设置tc
摘要：集群运行过程中，有时候会执行并发量比较高的业务场景，一些数据库没有为这种高并发作业配置合适的参数，会导致作业大量报错，这篇文章让你玩转并发作业。 本文分享自华为云社区《【玩转PB级数仓GaussDB(DWS)】在线运维 - 高并发导致资源类报错分析解决》，作者：323老四。 集群运行过程中，有
摘要：解决SimpleDateFormat类在高并发场景下的线程安全问题可以有多种方式，这里，就列举几个常用的方式供参考。 本文分享自华为云社区《【高并发】更正SimpleDateFormat类线程不安全问题分析的错误》，作者： 冰 河 。 解决SimpleDateFormat类在高并发场景下的线程
今天，我们就来说说在高并发场景下做性能优化有哪些衡量标准，以及做优化时需要注意哪些问题。
并行优化在改善程序接口响应时间和吞吐量指标方面是个利器，所以本次结合前段时间做的一段长链路执行逻辑代码的优化，给大家讲讲程序并行优化的步骤及方法论。
通过本文可以了解FutureTask任务执行的方式以及Future.get已阻塞的方式获取线程执行的结果原理，并且从代码中可以了解FutureTask的任务执行状态以及状态的变化过程。
并发编程的意义是充分的利用处理器的每一个核，以达到最高的处理性能，可以让程序运行的更快。而处理器也为了提高计算速率，作出了一系列优化
前置知识 Activation 激活指的是一些在fp时计算得到的临时tensor, 会用于bp时的计算. 如果能在fp计算后把临时tensor缓存下来就可以加速bp, 缺点在于激活会占用大量显存. 以一层transformer结构为例分析下各层存在的激活. 简单部分的分析这里忽略. 主要分析下几个不
算法优化 并行注意力机制 \[串行版本: y = x + MLP(LayerNorm(x + Attention(LayerNorm(x)))) \]\[并行版本: y = x + MLP(LayerNorm(x)) + Attention(LayerNorm(x)))) \]乍一看确实不是等价的,
前置知识 混合精度训练 在参数存储时采取fp32, 开始进行fp/bp时转成fp16运算, 拿到fp16梯度后再转回fp32更新参数. ZeRO对显存占用的估算: 模型状态: Weights(fp16)、grad(fp16) 和 MasterWeights(fp32 模型参数备份)，momentum
本文详细介绍了Python并发执行Request请求的方法示例，给出了详细的代码示例，同时也介绍了Python中实现并发编程的方法。
