项目中使用了mysql数据库，但数据量增长太快，不久到了百万级，很快又到表到了千万级，尝试了各种优化方式，最终效果仍难达到秒级响应，那么引发了我关于数据库选型到一些思考。 1、mysql的单表性能瓶颈究竟是多少？ 曾经在中国互联网技术圈广为流传着这么一个说法：MySQL 单表数据量大于 2000 万
行转列排除重复数据并且对比的方法 摘要 出差成都. 突然发现被人当成Shell脚本小子了 今天让对着投影仪确定文件是否正确和完备 几乎闪瞎我的双眼 感觉国家这么多年的英语教育的确卓有成效 看简写, 耗费大半天也猜不出是啥意思来.. 为了能够记录下来,干的事情, 把用到的命令和处理过程记录一下. 备忘
概述 metaspace，顾名思义，元数据空间，专门用来存元数据的，它是jdk8里特有的数据结构用来替代perm，这块空间很有自己的特点，前段时间公司这块的问题太多了，主要是因为升级了中间件所致，看到大家讨论来讨论去，看得出很多人对metaspace还是模棱两可，不是很了解它，因此我觉得有必要写篇文
Springboot tomcat.threads线程数学习 摘要 压测完nginx 突然想搞一下springboot内嵌的tomcat的 threads的参数 一不做二不休, 直接就着脚本进行学习和验证 修改参数 产品里面默认参数值是 500 我这边改大一下 tomcat threads: max
Windows 磁盘部分性能数据获取 摘要 每次晚上加班总有收获 这次发现了一个fio for windows版本的压测程序, 准备学习和使用一下. https://github.com/axboe/fio/releases 安装 exe 的正常安装不用都说直接使用就可以了. 注意我这变使用的是 x
使用FIO对磁盘进行压力测试，使用1个线程对磁盘进行随机读，设置单次read的数据块分别为128KB和1M，数据如下： （1）单次IO数据块为128KB （2）单次IO数据块为1M 从上面的数据可以看出，当单次IO的数据块变大，服务时间svctm反而变短，这明显不符合常规认知。 查阅到fio的相关资
【使用】 【监控数据分析】 参考链接：nmon监控数据分析 性能测试中,各个服务器资源占用统计分析是一个很重要的组成部分,通常我们使用nmon这个工具来进行监控以及监控结果输出。 一、在监控阶段使用类似下面的命令 ./nmon -f write_3s_20vu.nmon -t -s 30 -c 10
Redisson/Jedis 线程数不足报错问题的思考 背景 最近公司内总出现 Redis相关的错误 !-_-! 看我最近发的博客就可以看的出来. 这个错误提示其实是 两年前 清明节进行 压测时发现的. 当时其实没有将这个问题细致分析下去. 最近学习的比较多. 感觉可以尝试分析一下这个问题. 报错的
近年来公司的业务数据量和用户流量都呈现出了非常迅猛的增长趋势，为了解决历史架构设计中的不足，应对诸多因素引发的风险并保证通天塔平台的稳定运行，通天塔后端组专项成立了一个“通天塔后端技术优化组”，号召并鼓励团队每个人积极参与进来，全盘分析和梳理、技术设计和技术Review、形成技术优化需求、排期、自测
我们在操作数据库的时候，可能会由于并发问题而引起的数据的不一致性（数据冲突），如何保证数据并发访问的一致性、有效性，是所有数据库必须解决的一个问题，锁的冲突也是影响数据库并发访问性能的一个重要因素，从这一角度来说，锁对于数据库而言就显得尤为重要。 今天就分享下MySQL相关的最全锁，希望你学习后能更
Python处理Oracle数据库的学习过程 背景 产品数据存在一些大小写敏感的数据迁移到不敏感的数据库时出现报错的情况. 基于此, 我这边跟帅男同学学习了下Python的使用. 因为这一块一直比较菜.所以想着进行一下总计和备忘. 感谢帅男提供的支持与帮助. 环境安装 https://downloa
摘要 昨天学习了使用python进行数据库主键异常的查看. 当时想我们有跨数据库的数据同步场景. 对应的我可以对不同数据库的相同表的核心字段进行对比. 这样的话能够极大的提高工作效率. 我之前写过很长时间的shell.昨天跟着同事开始学python. 感觉的确用python能够节约大量的时间. 生活
jaydebeapi 同时连接两种数据库 在使用jaydebeapi只连接一种数据库时，是没问题的，但是如果需要同时连接两种数据库，比如同时连接oracle和mysql 例如以下测试代码： import jaydebeapi ##使用jdbc驱动连接数据库 import pandas as pd d
https://www.dgrt.cn/a/2259443.html?action=onClick 解决以下问题： Python连接Oracle数据库，并查询、提取Oracle数据库中数据？ 通过Python在Oracle数据库中创建表 Python数据插入到Oracle数据库中？ Python删除
https://www.jianshu.com/p/5c43f6056f77 Python基本数据类型 python系列文档都是基于python3 数字 字符串 列表 元组 字典 集合 一、数字 特性： 只能存放一个值 一经定义，不可更改 直接访问 整型十进制转二进制bin(10)十进制转八进制oc
https://www.cnblogs.com/wyongbo/p/17054924.html python连接国产神州通用数据库。 一、准备 下载whl及dll： 链接: https://pan.baidu.com/s/1lwE-FwIsf-aYjoqCPij2hA 提取码: 49qp 二、安装
`https://blog.csdn.net/u011069294/article/details/107050001` 目录 1. 内存中的栈与堆2.栈的优点 1. 内存中的栈与堆 栈是运行时单位，堆是存储的单位。 栈解决程序的运行问题，即程序如何执行，或者说如何处理数据。 堆解决的是数据存储的问
首先命令行远程登录到VCSA服务器，然后执行如下命令停掉VCSA的核心服务vmware-vpxd： vCenterServerAppliance:~ # service vmware-vpxd stop Stopping VMware vSphere Profile-Driven Storage S
`https://blog.csdn.net/dzysunshine/article/details/130870398` 文章目录 开源指令数据集斯坦福数据链家数据Baize(基于少量种子问题的对话数据) 垂直领域数据集医疗领域的英文数据医疗领域的中文数据法律领域中文数据 COIG数据集（可商用的
索引 查找一条数据的过程 先看下InnoDB的逻辑存储结构：node 表空间：能够看作是InnoDB存储引擎逻辑结构的最高层，全部的数据都存放在表空间中。默认有个共享表空间ibdata1。若是启用innodb_file_per_table参数，须要注意每张表的表空间内存放的只是数据、索引和插入缓冲B
