本文记录 Mysql 分库分表 和 Elasticsearch Join 查询的实现思路，了解分布式场景数据处理的设计方案。文章从常用的关系型数据库 MySQL 的分库分表Join 分析，再到非关系型 ElasticSearch 来分析 Join 实现策略。逐步深入Join 的实现机制。
分布式一致性是构建可靠的分布式系统的关键要素之一。为了确保数据的一致性和可用性，一致性算法的设计变得至关重要。在这篇博文中，我们将深入探讨两个与分布式一致性密切相关的主题：Raft 算法和 etcdRaft 存储系统。 ## Raft 算法：分布式一致性的基石 Raft 算法是一种分布式一致性算法，
分表是一种数据库分割技术，用于将大表拆分成多个小表，以提高数据库的性能和可管理性。在MySQL中，可以使用多种方法进行分表，例如基于范围、哈希或列表等。下面将详细介绍MySQL如何分表以及分表后如何进行数据查询。 基于哈希的分表 基于哈希的分表是一种将数据分散到多个子表中的数据库分表策略。这种方法通
分布式任务调度这个话题是每个后端开发和大数据开发都会接触的话题。因为应用场景的广泛，所以有很多开源项目专注于解决这类问题，比如我们熟知的xxl-job。 那么今天要给大家推荐的则是另一个更为强大的开源项目：DolphinScheduler 介绍 DolphinScheduler是一款开源的分布式任务
今天咸鱼给大家分享几个不错的 Linux 运维脚本，这些脚本中大量使用了 Linux 的文本三剑客： 1. awk 2. grep 3. sed 建议大家这三个工具都要了解并最好能够较为熟练的使用 根据 PID 显示进程所有信息 根据用户输入的 PID，过滤出该 PID 所有的信息 #! /bin/
哈喽大家好我是咸鱼，今天给大家分享一个能够提升运维效率的 python 脚本 咸鱼平常在工作当中通常会接触到下面类似的场景： 容灾切换的时候批量对机器上的配置文件内容进行修改替换 对机器批量替换某个文件中的字段 对于 Linux 机器，咸鱼可以写个 shell 脚本或者直接批量使用 sed 命令就能
分块 这是一种基于根号的算法，核心为大块标记，散块暴力，做到复杂度的平衡。 可能第一个想到于此相关的就是莫队吧，这是利用分块优化暴力的方法。 目录分块Rmq Problem / mex[国家集训队] 排队 - 洛谷[TJOI2009] 开关 - 洛谷[Violet] 蒲公英 - 洛谷小小总结 Rmq
本文分享自华为云社区《GaussDB(for MySQL)创新特性：灵活多维的二级分区表策略》，作者：GaussDB 数据库。 背景介绍 分区表及二级分区表的功能，可以让数据库更加有效地管理和查询大规模数据，传统商业数据库具备该能力。MySQL支持分区表，与传统商业数据库相比，MySQL对二级分区表
一、背景介绍 在实际的业务开发过程中，我们经常会需要定时任务来帮助我们完成一些工作，例如每天早上 6 点生成销售报表、每晚 23 点清理脏数据等等。 如果你当前使用的是 SpringBoot 来开发项目，那么完成这些任务会非常容易！ SpringBoot 默认已经帮我们完成了相关定时任务组件的配置，
背景信息 2024 年 7 月 16日，Li.Fi 协议遭受黑客攻击，漏洞成因是钻石协议中 diamond 合约新添加的 facet 合约没有对参数进行检查，导致 call 函数任意执行。且 diamond 合约拥有用户的 approve，所以攻击者可以构造恶意参数对用户资金进行转移。 攻击交易ht
本文分享自华为云社区《Python微服务与容器化实践详解【从基础到高级应用】》，作者： 柠檬味拥抱。 Python中的容器化和微服务架构实践 在现代软件开发中，容器化和微服务架构已经成为主流。容器化技术使得应用程序可以在任何环境中一致运行，而微服务架构通过将应用拆分成多个独立的服务，从而提升了系统的
本文分享自华为云社区《【昇思25天学习打卡营打卡指南-第二十四天】基于 MindSpore 实现 BERT 对话情绪识别》，作者：JeffDing。 模型简介 BERT全称是来自变换器的双向编码器表征量（Bidirectional Encoder Representations from Trans
背景介绍 2024 年 7 月 12 日，DoughFina 协议遭受了黑客攻击，造成本次攻击的主要原因是 ConnectorDeleverageParaswap 合约没有对输入参数进行检查，且该合约为 DSA 合约的 owner。攻击者可以构造恶意参数窃取 DSA 合约的资金。 攻击交易 http
目录GlusterFS 笔记一、安装和配置 GlusterFS1. 安装 GlusterFS2. 配置 GlusterFS3. 格式化卷4. 创建挂载点并挂载二、GlusterFS 卷的类型1. 分布式卷（Distributed Volume）作用：例子：配置示例：1. 创建卷2. 启动卷3. 客户
本文分享自华为云社区《【昇思25天学习打卡营打卡指南-第二十天】DCGAN生成漫画头像》，作者：JeffDing。 DCGAN生成漫画头像 在下面的教程中，我们将通过示例代码说明DCGAN网络如何设置网络、优化器、如何计算损失函数以及如何初始化模型权重。在本教程中，使用的动漫头像数据集共有70,17
本文分享自华为云社区《GaussDB(DWS)性能调优：DM区优化案例——维度表关联条件存在会计期》，作者： O泡果奶~。 当前DM（P1、P3、CBGDM）存在维度表与主表关联时使用会计期作为关联条件，会导致出现大内存占用或未识别数据倾斜的问题 【场景一】f.period_id = 维度表.per
之前分享中台 Admin.Core 的模块代码生成器，陆续也结合群友们的反馈，完善了一些功能和模板上的优化，而本篇将基于此代码生成器生成一个通用代码生成器模块的基本代码 后续再在此代码的基础上进行完善，制作一个通用的代码生成器
全文速览 python的不同缓存组件的使用场景和使用样例 cachetools的使用 项目背景 代码检查项目，需要存储每一步检查的中间结果，最终把结果汇总并写入文件中 在中间结果的存储中 可以使用context进行上下文的传递，但是整体对代码改动比较大，违背了开闭原则 也可以利用缓存存储，处理完成之
本文分享自华为云社区《使用Python实现深度学习模型：BERT模型教程》，作者： Echo_Wish。 BERT（Bidirectional Encoder Representations from Transformers）是Google提出的一种用于自然语言处理（NLP）的预训练模型。BERT
本文分享自华为云社区《MySQL全文索引源码剖析之Insert语句执行过程》，作者：GaussDB 数据库。 本文主要介绍MySQL 8.0数据字典的基本概念和数据字典的初始化与启动加载的主要流程。 MySQL 8.0数据字典简介 数据字典（Data Dictionary, DD）用来存储数据库内部
