本文介绍MindSpore常用的分布式并行训练技术，以及如何将并行技术应用到大模型预训练中。
本文提供了一些保证数据一致性和设计分布式锁的策略。这些策略可以在实际应用中帮助开发人员解决相关的问题，确保系统的数据一致性和并发访问的正确性。同时，通过合理地使用缓存和分布式锁，可以提高系统的性能和可靠性。希望对你在面对Redis相关面试题时有所帮助！
## Rendezvous hashing Rendezvous hashing用于解决分布式系统中的分布式哈希问题，该问题包括三部分： 1. **Keys**：数据或负载的唯一标识 2. **Values**：消耗资源的数据或负载 3. **Servers**：管理数据或负载的实体 例如，在一个分
背景 Pulsar 有提供一个查询 Broker 负载的接口： /** * Get load for this broker. * * @return * @throws PulsarAdminException */ LoadManagerReport getLoadReport() throws
ZooKeeper 简介 ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 ZooKeeper 设计目的 最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最
https://zhuanlan.zhihu.com/p/151745863 在计算机系统设计实践中，我们常常会遇到下图所示架构： 为了解决单个存储器读吞吐无法满足要求的问题，常常需要在存储器上面增加一个或多个缓存。但由于相同的数据被复制到一个或多个地方，就容易引发数据一致性问题。不一致的数据可能出
关于JWT，可以说是分布式系统下的一个利器，我在我的很多项目实践中，认证系统的第一选择都是JWT。它的优势会让你欲罢不能，就像你领优惠券一样。
探索MinIO：高性能、分布式对象存储解决方案 注：本文除代码外多数为AI生成 最近因为有项目需要换成Amazon S3的云存储，所以把之前做过的minio部分做一个记录，后面也会把基于这版改造的S3方法发出来记录。 MinIO简介 MinIO是一款高性能、分布式对象存储服务器，设计用于在大规模环境
01认识Locust Locust是一个比较容易上手的分布式用户负载测试工具。它旨在对网站（或其他系统）进行负载测试，并确定系统可以处理多少个并发用户，Locust 在英文中是 蝗虫 的意思：作者的想法是在测试期间，放一大群 蝗虫 攻击您的网站。当然事先是可以用 Locust 定义每个蝗虫（或测试用
背景 在上一篇《从 Dapper 到 OpenTelemetry：分布式追踪的演进之旅》中在最后提到在做一些 Trace 的定制开发。 到现在差不多算是完成了，可以和大家分享一下。 我们的需求是这样的： 假设现在有三个服务：ServiceA、ServiceB、ServiceC ServiceA 对外
RocketMQ 是阿里巴巴在 2012 年开源的分布式消息中间件，目前已经捐赠给 Apache 软件基金会，并于 2017 年 9 月 25 日成为 Apache 的顶级项目。 作为经历过多次阿里巴巴双十一这种“超级工程”的洗礼并有稳定出色表现的国产中间件，以其高性能、低延时和高可靠等特性近年来...
mybaits-plus ASSIGN_ID生成 id生成策略 在分布式高并发环境下出现重复id https://github.com/baomidou/mybatis-plus/issues/3077 mybatis-plus 对@TableId(type = IdType.ASSIGN_ID)生
前言 前不久Redis宣布从 Redis 7.4 开始，将原先比较宽松的 BSD 源码使用协议修改为 RSALv2 和 SSPLv1 协议，该协议变化意味着Redis不再开源。今天给大家分享一款完全开源（MIT协议）、免费的Redis替代性项目产品：Garnet。 Redis开源协议详情：https
近日，阿里云技术专家徐若晨在全球分布式云大会上，分享了《边缘容器云助力AI推理高效落地》的主题演讲，分享了阿里云边缘容器云如何助力开发者实现更快速的AI推理应用的迭代和部署。此外，他还分享了边缘AI推理应用在实际业务中的应用案例。 终端算力上移 云端算力下沉 客户在边缘部署时面对的挑战包括：首先，构
https://support.huawei.com/enterprise/zh/doc/EDOC1100203347/ 在分布式存储网络中，我们使用的协议有RoCE、Infiniband（IB）和TCP/IP。其中RoCE和IB属于RDMA(RemoteDirect Memory Access)技
Kubernetes部署Minio集群存储的选择，使用DirectPV CSI作为分布式存储的最佳实践 个人理解浅谈 1. 关于在kubernetes上部署分布式存储服务，K8s存储的选择 非云环境部署K8s Pod时存储的选择 在非云环境部署Kubernets时，一般采用的都是本地的直连式存储和文
TiDB存储引擎TiKV是基于RocksDB存储引擎，通过Raft分布式算法保证数据一致性。本文详细介绍了TiKV存储引擎的实现机制和原理，加深对TiDB底层存储架构的理解。 1、TiDB存储引擎TiKV TiDB存储引擎TiKV是分布式的key-value存储引擎，它是一种高度分层的架构，通过Ra
https://cloud.tencent.com/developer/article/1882194 国产的分布式数据库不少，TDSQL， OB, TIDB ，等等都是比较知名的产品，使用的分布式协议也不同，有使用POSTGRES-XL ,也有从外观模仿ORACLE 的，还有借鉴各家所长自己研发的
本文主要介绍超大数据规模场景下分布式消息中间件在vivo的应用实践。
一、分布式配置中⼼ 在使⽤微服务架构开发的项⽬中，每个服务都有⾃⼰的配置⽂件（application.yml）,如果将每个服务的配置⽂件直接写在对应的服务中，存在以下问题： 1. 服务开发完成之后，需要打包部署，配置⽂件也会打包在jar⽂件中，不便于项⽬部署之后的配置修改（在源码中修改——重新打包—
