最近在折腾rust与数据库集成，选了Tidb Cloud Serverless Tier 作为数据源。Tidb 无疑是近五年来最优秀的国产开源分布式数据库，Tidb Cloud Serverless Tier作为pingcap旗下的云产品方便又经济，这次使用还有一些小惊喜。
今天来说一个老生常谈的问题，来看一个实际案例：业务中往往都会通过缓存来提高查询效率，降低数据库的压力，尤其是在分布式高并发场景下，大量的请求直接访问Mysql很容易造成性能问题。
为了标识一段数据，通常我们会为其指定一个唯一id，比如利用MySQL数据库中的自增主键。 但是当数据量非常大时，仅靠数据库的自增主键是远远不够的，并且对于分布式数据库只依赖MySQL的自增id无法满足全局唯一的需求。因此，产生了多种解决方案，如UUID，SnowFlake等。下文将介绍Vitess是如何解决这个问题的。
前几天，在我们的技术交流群里看到有小伙伴问：有没有练手搭建Redis集群的方式推荐： 这里不禁让我想到，对于各种集群和分布式基础设施的搭建，其实是每个开发者进阶时候都要经历的一个成长过程。但是，这里对于不少开发者来说，却又面临着一个现实问题：我没有足够的资源（主机或配置）去尝试和练习。 最近，DD刚
Flink SQL 提供了许多扩展功能和语法，以适应 Flink 的流式和批处理引擎的特性。他是Flink最高级别的抽象，可以与 DataStream API 和 DataSet API 无缝集成，利用 Flink 的分布式计算能力和容错机制。
前面基础管理的功能基本开发完了，接下来我们来优化一下开发功能，来添加EventBus功能。EventBus也是我们使用场景非常广的东西。这里我会实现一个本地的EventBus以及分布式的EventBus。分别使用MediatR和Cap来实现。 现在简单介绍一下这两者：MediatR是一个轻量级的中介
前言 Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于 内存 、 分布式 、可选持久性的键值对( Key-Value )存储数据库 redis版本：redis:6.2.13 作者：易墨 安装单机版 安装源：DockerHub 默认配置文件：配置文件示例 6.
在经过深思熟虑后，我们计划发起名为wind rises的项目孵化，在 .NET 平台上尽力弥补缺少云原生基础设施项目的遗憾。 在今年的最后几个月和明年，我们规划了使用 .NET 开发的可观测性平台和分布式应用框架两个项目
文章贡献者 Authors 技术指导: 泰康人寿 数据架构资深专家工程师 王可 文章作者: 泰康人寿 数据研发工程师 田昕峣 摘要 Abstract 本文详细介绍了泰康人寿基于 Apache Hudi 构建湖仓一体分布式数据处理平台的技术选型方法、整体架构设计与实施、以及针对大健康领域的领域特征和公
1.概述 随着大数据技术的不断发展，处理海量数据的需求变得愈发迫切。MapReduce作为一种分布式计算模型，为处理大规模数据提供了有效的解决方案。在这篇博客中，我们将探讨如何使用MapReduce框架读取快照表（Snapshot Table）的数据。快照表是一种记录某一时刻系统状态的表格，通过Ma
转载请注明出处： 1.Google的三篇论文 2003年，Google发布Google File System论文，(GFS)这是一个可扩展的分布 式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价 的普通硬件上，提供容错功能。从根本上说：文件被分割成很多块，使用冗余的方 式储
MySQL 和 Elasticsearch 是两种不同的数据管理系统，它们各有优劣，适用于不同的场景。本文将从以下几个方面对它们进行比较和分析： - 数据模型 - 查询语言 - 索引和搜索 - 分布式和高可用 - 性能和扩展性 - 使用场景 ## 数据模型 MySQL 是一个关系型数据库管理系统（R
摘要：计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提出MemArts CC分布式客户端缓存。 本文分享自华为云社区《华为云全新缓存生态组件MemArts》，作者： MichaelYun。 公有云的基础设施都是基于存算分离的架构，即计算任务运行在计算集群的虚拟
本文分享自华为云社区《KAFKA EAGLE 监控MRS kafka之操作实践》，作者： 啊喔YeYe 。 1.Kafka Eagle简介 Kafka eagle 是一款分布式、高可用的kafka监控软件，提供丰富的kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consum
摘要：对于数据库来说，性能一直被视为最关键的部分。GaussDB作为华为自主创新研发的分布式关系型数据库，那么华为云数据库GaussDB在提升数据库性能方面都有哪些黑科技呢？ 本文分享自华为云社区《【云图说】第275期 云数据库GaussDB如何做到卓越性能》，作者：阅识风云。 对于数据库来说，性能
摘要：2023年4月8日，Kurator正式发布v0.3.0版本。 本文分享自华为云社区《华为云 Kurator v0.3.0 版本发布！集群舰队助力分布式云统一管理》，作者：云容器大未来 。 2023年4月8日，Kurator正式发布v0.3.0版本。 Kurator 是华为云推出的分布式云原生开
摘要：近日，中国电子学会科学技术奖励大会颁发了2021-2022年度中国电子学会科学技术奖获奖项目，华为云主导的“GaussDB智能云原生分布式数据库”项目荣获“科技进步一等奖”。 本文分享自华为云社区《再获殊荣！华为云GaussDB喜提“科技进步一等奖”》，作者：GaussDB 数据库 。 近日，
## 一：场景 20w的QPS的场景下，服务端架构应如何设计？ ## 二：常规解决方案 可使用分布式缓存来抗，比如redis集群，6主6从，主提供读写，从作为备，不提供读写服务。1台平均抗3w并发，还可以抗住，如果QPS达到100w,通过增加redis集群中的机器数量，可以扩展缓存的容量和并发读写能
这篇文章讨论了认证和授权的概念，并探讨了设计权限认证框架的原则。它还比较了Cookie和Session的区别，并探讨了处理分布式部署时的Session保存问题。此外，文章还介绍了CSRF攻击及其防范方法，以及OAuth2.0、JWT令牌和SSO的概念。最后，文章提出了设计开放授权平台时需要考虑的因素。
SparkCore RDD基础 定义 在 Spark 的编程接口中，每一个数据集都被表示为一个对象，称为 RDD。RDD 是 Resillient Distributed Dataset(弹性分布式数据集)的简称，是一个只读的(不可变的)、分区的(分布式的)、容错的、延迟计算的、类型推断的和可缓
