今天来说一个老生常谈的问题，来看一个实际案例：业务中往往都会通过缓存来提高查询效率，降低数据库的压力，尤其是在分布式高并发场景下，大量的请求直接访问Mysql很容易造成性能问题。
为了标识一段数据，通常我们会为其指定一个唯一id，比如利用MySQL数据库中的自增主键。 但是当数据量非常大时，仅靠数据库的自增主键是远远不够的，并且对于分布式数据库只依赖MySQL的自增id无法满足全局唯一的需求。因此，产生了多种解决方案，如UUID，SnowFlake等。下文将介绍Vitess是如何解决这个问题的。
前几天，在我们的技术交流群里看到有小伙伴问：有没有练手搭建Redis集群的方式推荐： 这里不禁让我想到，对于各种集群和分布式基础设施的搭建，其实是每个开发者进阶时候都要经历的一个成长过程。但是，这里对于不少开发者来说，却又面临着一个现实问题：我没有足够的资源（主机或配置）去尝试和练习。 最近，DD刚
前面基础管理的功能基本开发完了，接下来我们来优化一下开发功能，来添加EventBus功能。EventBus也是我们使用场景非常广的东西。这里我会实现一个本地的EventBus以及分布式的EventBus。分别使用MediatR和Cap来实现。 现在简单介绍一下这两者：MediatR是一个轻量级的中介
前言 Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于 内存 、 分布式 、可选持久性的键值对( Key-Value )存储数据库 redis版本：redis:6.2.13 作者：易墨 安装单机版 安装源：DockerHub 默认配置文件：配置文件示例 6.
文章贡献者 Authors 技术指导: 泰康人寿 数据架构资深专家工程师 王可 文章作者: 泰康人寿 数据研发工程师 田昕峣 摘要 Abstract 本文详细介绍了泰康人寿基于 Apache Hudi 构建湖仓一体分布式数据处理平台的技术选型方法、整体架构设计与实施、以及针对大健康领域的领域特征和公
转载请注明出处： 1.Google的三篇论文 2003年，Google发布Google File System论文，(GFS)这是一个可扩展的分布 式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价 的普通硬件上，提供容错功能。从根本上说：文件被分割成很多块，使用冗余的方 式储
MySQL 和 Elasticsearch 是两种不同的数据管理系统，它们各有优劣，适用于不同的场景。本文将从以下几个方面对它们进行比较和分析： - 数据模型 - 查询语言 - 索引和搜索 - 分布式和高可用 - 性能和扩展性 - 使用场景 ## 数据模型 MySQL 是一个关系型数据库管理系统（R
摘要：计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提出MemArts CC分布式客户端缓存。 本文分享自华为云社区《华为云全新缓存生态组件MemArts》，作者： MichaelYun。 公有云的基础设施都是基于存算分离的架构，即计算任务运行在计算集群的虚拟
本文分享自华为云社区《KAFKA EAGLE 监控MRS kafka之操作实践》，作者： 啊喔YeYe 。 1.Kafka Eagle简介 Kafka eagle 是一款分布式、高可用的kafka监控软件，提供丰富的kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consum
摘要：对于数据库来说，性能一直被视为最关键的部分。GaussDB作为华为自主创新研发的分布式关系型数据库，那么华为云数据库GaussDB在提升数据库性能方面都有哪些黑科技呢？ 本文分享自华为云社区《【云图说】第275期 云数据库GaussDB如何做到卓越性能》，作者：阅识风云。 对于数据库来说，性能
摘要：2023年4月8日，Kurator正式发布v0.3.0版本。 本文分享自华为云社区《华为云 Kurator v0.3.0 版本发布！集群舰队助力分布式云统一管理》，作者：云容器大未来 。 2023年4月8日，Kurator正式发布v0.3.0版本。 Kurator 是华为云推出的分布式云原生开
摘要：近日，中国电子学会科学技术奖励大会颁发了2021-2022年度中国电子学会科学技术奖获奖项目，华为云主导的“GaussDB智能云原生分布式数据库”项目荣获“科技进步一等奖”。 本文分享自华为云社区《再获殊荣！华为云GaussDB喜提“科技进步一等奖”》，作者：GaussDB 数据库 。 近日，
## 一：场景 20w的QPS的场景下，服务端架构应如何设计？ ## 二：常规解决方案 可使用分布式缓存来抗，比如redis集群，6主6从，主提供读写，从作为备，不提供读写服务。1台平均抗3w并发，还可以抗住，如果QPS达到100w,通过增加redis集群中的机器数量，可以扩展缓存的容量和并发读写能
这篇文章讨论了认证和授权的概念，并探讨了设计权限认证框架的原则。它还比较了Cookie和Session的区别，并探讨了处理分布式部署时的Session保存问题。此外，文章还介绍了CSRF攻击及其防范方法，以及OAuth2.0、JWT令牌和SSO的概念。最后，文章提出了设计开放授权平台时需要考虑的因素。
SparkCore RDD基础 定义 在 Spark 的编程接口中，每一个数据集都被表示为一个对象，称为 RDD。RDD 是 Resillient Distributed Dataset(弹性分布式数据集)的简称，是一个只读的(不可变的)、分区的(分布式的)、容错的、延迟计算的、类型推断的和可缓
计算机单机性能一直受到摩尔定律的约束，随着移动互联网的兴趣，单机性能不足的瓶颈越来越明显，制约着整个行业的发展。不过我们虽然不能无止境的纵向扩容系统，但是我们可以分布式、横向的扩容系统，这听起来非常的美好，不过也带来了今天要说明的问题，分布式的节点越多，通信产生的成本就越大。 网络传输带宽变得越来越
在当今软件开发的快速迭代中，接口自动化测试已成为确保代码质量和服务稳定性的关键步骤。 随着微服务架构和分布式系统的广泛应用，对接口自动化测试平台的需求也日益增长。 今天，我将为大家推荐一款强大的开源接口自动化测试平台: AutoMeter-API。 1、介绍 AutoMeter-API是一款专为测试
1、什么是微服务 Java微服务是一种架构风格，通过将单个Spring Boot应用程序拆分为一组小型、独立的Spring Boot服务来构建分布式系统。每个微服务都运行在自己的进程中，并使用轻量级通信机制（如HTTP或消息队列）来进行相互之间的通信。微服务的设计目标是提高系统的灵活性、可伸缩性和可
192.168.10.14 prometheus、consul 192.168.10.100 各类服务 一、基于Consul的服务发现 Consul 是由 HashiCorp 开发的一个支持多数据中心的分布式服务发现和键值对存储服务的开源软件，是一个通用的服务发现和注册中心工具，被大量应用于基于微服
