一、MYSQL复制架构衍生史 在2000年，MySQL 3.23.15版本引入了Replication。Replication作为一种准实时同步方式，得到广泛应用。这个时候的Replicaton的实现涉及到两个线程，一个在Master，一个在Slave。Slave的I/O和SQL功能是作为一个线程，
概述 我们都知道除了MySQL默认采用RR隔离级别之外，其它几大数据库都是采用RC隔离级别。那为啥mysql要这样设置呢？其实是MySQL为了规避一个数据复制场景中的缺陷，而选择 Repeatable Read 作为默认隔离级别。不过不同数据库实现方式还是不太一样。 Oracle仅仅实现了RC 和
https://www.cnblogs.com/ariesblog/p/13847740.html 基于TPC-C的OLTP基准测试，对比Mysql和PostgreSQL的性能 一、什么是TPC-C和tpmC 1、TPC-C TPC-C是一种旨在衡量联机事务处理（OLTP）系统性能与可伸缩性的行业标
准备创建表和数据：sysbench --db-driver=pgsql --time=1 --threads=1000 --report-interval=5 --pgsql-host=192.168.1.35 --pgsql-port=5001 --pgsql-user=testpgs --pgs
摘要 先进行了一个PG数据库的测试. Mysql数据库的测试稍后跟上. 紧接着上一篇的安装, 部分文件可能需要特定路径才可以. sysbench 测试的说明 一个参数 这里稍微说一下参数的问题 sysbench \ --db-driver=pgsql \ # 针对POSTGRESQL 数据库测试 -
项目中使用了mysql数据库，但数据量增长太快，不久到了百万级，很快又到表到了千万级，尝试了各种优化方式，最终效果仍难达到秒级响应，那么引发了我关于数据库选型到一些思考。 1、mysql的单表性能瓶颈究竟是多少？ 曾经在中国互联网技术圈广为流传着这么一个说法：MySQL 单表数据量大于 2000 万
https://plantegg.github.io/2022/07/03/MySQL8.0%E7%9A%84%E4%B8%80%E4%BA%9B%E6%95%B0%E6%8D%AE/ MySQL 8.0带来了很多新特性 针对性能方面介绍全在这个PPT（ http://dimitrik.free.f
本周话题：大数据已死 http://www.ruanyifeng.com/blog/2023/03/weekly-issue-244.html "大数据"这个词，大家想必耳熟能详。这是最大众化的 IT 词汇之一，全社会曾经都热衷于它。 百度指数显示，"大数据"从2011年开始进入搜索引擎，然后快速传
行转列排除重复数据并且对比的方法 摘要 出差成都. 突然发现被人当成Shell脚本小子了 今天让对着投影仪确定文件是否正确和完备 几乎闪瞎我的双眼 感觉国家这么多年的英语教育的确卓有成效 看简写, 耗费大半天也猜不出是啥意思来.. 为了能够记录下来,干的事情, 把用到的命令和处理过程记录一下. 备忘
概述 metaspace，顾名思义，元数据空间，专门用来存元数据的，它是jdk8里特有的数据结构用来替代perm，这块空间很有自己的特点，前段时间公司这块的问题太多了，主要是因为升级了中间件所致，看到大家讨论来讨论去，看得出很多人对metaspace还是模棱两可，不是很了解它，因此我觉得有必要写篇文
Windows 磁盘部分性能数据获取 摘要 每次晚上加班总有收获 这次发现了一个fio for windows版本的压测程序, 准备学习和使用一下. https://github.com/axboe/fio/releases 安装 exe 的正常安装不用都说直接使用就可以了. 注意我这变使用的是 x
使用FIO对磁盘进行压力测试，使用1个线程对磁盘进行随机读，设置单次read的数据块分别为128KB和1M，数据如下： （1）单次IO数据块为128KB （2）单次IO数据块为1M 从上面的数据可以看出，当单次IO的数据块变大，服务时间svctm反而变短，这明显不符合常规认知。 查阅到fio的相关资
【使用】 【监控数据分析】 参考链接：nmon监控数据分析 性能测试中,各个服务器资源占用统计分析是一个很重要的组成部分,通常我们使用nmon这个工具来进行监控以及监控结果输出。 一、在监控阶段使用类似下面的命令 ./nmon -f write_3s_20vu.nmon -t -s 30 -c 10
近年来公司的业务数据量和用户流量都呈现出了非常迅猛的增长趋势，为了解决历史架构设计中的不足，应对诸多因素引发的风险并保证通天塔平台的稳定运行，通天塔后端组专项成立了一个“通天塔后端技术优化组”，号召并鼓励团队每个人积极参与进来，全盘分析和梳理、技术设计和技术Review、形成技术优化需求、排期、自测
我们在操作数据库的时候，可能会由于并发问题而引起的数据的不一致性（数据冲突），如何保证数据并发访问的一致性、有效性，是所有数据库必须解决的一个问题，锁的冲突也是影响数据库并发访问性能的一个重要因素，从这一角度来说，锁对于数据库而言就显得尤为重要。 今天就分享下MySQL相关的最全锁，希望你学习后能更
Python处理Oracle数据库的学习过程 背景 产品数据存在一些大小写敏感的数据迁移到不敏感的数据库时出现报错的情况. 基于此, 我这边跟帅男同学学习了下Python的使用. 因为这一块一直比较菜.所以想着进行一下总计和备忘. 感谢帅男提供的支持与帮助. 环境安装 https://downloa
摘要 昨天学习了使用python进行数据库主键异常的查看. 当时想我们有跨数据库的数据同步场景. 对应的我可以对不同数据库的相同表的核心字段进行对比. 这样的话能够极大的提高工作效率. 我之前写过很长时间的shell.昨天跟着同事开始学python. 感觉的确用python能够节约大量的时间. 生活
jaydebeapi 同时连接两种数据库 在使用jaydebeapi只连接一种数据库时，是没问题的，但是如果需要同时连接两种数据库，比如同时连接oracle和mysql 例如以下测试代码： import jaydebeapi ##使用jdbc驱动连接数据库 import pandas as pd d
https://www.dgrt.cn/a/2259443.html?action=onClick 解决以下问题： Python连接Oracle数据库，并查询、提取Oracle数据库中数据？ 通过Python在Oracle数据库中创建表 Python数据插入到Oracle数据库中？ Python删除
