# kafka学习之五_多个磁盘的性能验证 ## 背景 ``` 周末在家学习kafka 上午验证了grafana+kafka_exporter的监控 下午想着验证一把性能相关. kafka学习之三里面,有成套的脚本. 我这边想起来之前还有一个机器, 是四个单盘HDD, 我可以直接进行使用和验证. `
现象： controller节点与其他两个broker的通信失败。公网ip，宿主机ip，服务名，各种网络方式，都无法成功。 两点提示： 1.bug原因：因为单机内存不够用，设置了较低的 KAFKA_HEAP_OPTS 参数值128M，导致broker通信失败！ 2.kafka容器启动中，增加 BIT
https://www.jianshu.com/p/f4bfd169b4ca 在之前的OOM问题复盘中，我们添加了jmap脚本来自动dump内存现场，方便排查OOM问题。 但当我反复模拟OOM场景测试时，发现jmap有时可以dump成功，有时会报错，如下： 经过网上一顿搜索，发现两种原因可能导致这个
索引膨胀 对于索引，随着业务不断的增删改，会造成膨胀，尤其Btree索引，也会涉及索引分裂、合并等，导致索引访问效率降低、维护成本增加。另外，索引页的复用与HEAP PAGE不一样，因为索引的内容是有序结构，只有符合顺序的ITEM才能插入对应的PAGE中，不像HEAP TUPLE，只要有空间就可以插
https://www.cnblogs.com/monjeo/p/12191673.html 权限简介Linux系统上对文件的权限有着严格的控制，用于如果相对某个文件执行某种操作，必须具有对应的权限方可执行成功。Linux下文件的权限类型一般包括读，写，执行。对应字母为 r、w、x。Linux下权限
¶ 本章节包含以下内容： 概述 HINT的功能 HINT的使用 配置参数 示例 注意 5.2.1. 概述 ¶ KingbaseES使用的是基于成本的优化器。优化器会估计SQL语句的每个可能的执行计划的成本，然后选择成本最低的执行计划来执行。因为优化器不计算数据的某些属性，比如列之间的相关性，优化器有
https://help.kingbase.com.cn/v8/perfor/sql-optimization/sql-optimization-13.html SQL性能相关的参数较多，具体见下文。在使用时需注意作用范围，可以考虑通过HINT来指定，尽量缩小影响范围。 成本参数 节点开关参数 多表
https://www.cnblogs.com/pachongshangdexuebi/p/13354201.html 一、前言 性能测试时我们关注的重要指标是：并发用户数，TPS，请求成功率，响应时间，服务器的CPU，memory， I/O disk等。Jmeter的聚合报告可以查看并发数、吞吐量
目录 一、背景： 二、win环境下修改jmeter内存 三、mac&linux环境下修改jmeter内存 四、验证内存是否修改成功 一、背景： 在进行大数据、高并发压测的过程性，有时会遇上JMeter卡死现象，使得测试无法进行，查看日志显示：java.lang.OutOfMemoryError: J
Jmeter学习笔记（九）——响应断言 https://www.cnblogs.com/pachongshangdexuebi/p/11571348.html Jmeter中又一个元件叫断言，用于检查测试中得到的响应数据等是否符合预期。断言又13种，目前在使用过程中使用到的是响应断言。 有时候请求成
前言 之前的博客里说了，Kafka的消息同步是一种ISR机制，本质上是“完全同步”的一种优化。 都在说，消息被ISR中所有副本都写入才算写入成功。但是这样未免定的太死板了，所以，Kafka给出了我们选择。 这个选择就是ack机制 生产者参数 request.required.acks 是produc
https://developer.aliyun.com/article/72935 标签 PostgreSQL , 10.0 , International Components for Unicode , ICU , collate , 国际化 背景 ICU是一个成熟的，被广泛使用的跨平台一致性
背景介绍 脚本基于Comm命令进行功能封装，考虑到命令执行前需要对文本进行排序，并且在多文件需要比较内容时可能会导致多个文本混乱，因此使用Shell封装成了一个交互式程序，快速对文件内容进行判断和输出想要的内容内容结果。 脚本介绍 文件内容校验(是否一致内容)定制化输出文本(1.仅文本单独出现内容;
# goofys 鲲鹏上面编译挂载与性能测试 ## 介质 ``` 使用go进行编译. 官网上面有 amd64的介质,但是没有aarch64的介质 需要自行编译 前几天一直编译失败. 周天在家自己测试了一把,根据github上面issue上面的描述编译成功了 发现的确比s3fs的性能要好, 计划下周进
TiDB Lightning 在数据迁移中的应用与错误处理实践 作者简介：DBA，会点 MySQL，懂点 TiDB，Python。 个人主页：https://tidb.net/u/seiang/answer ，希望随着自己在 TiDB 上的成长，后续的主页内容越来越丰富。 俗话说：工欲善其事，必先利
https://cloud.tencent.com/developer/article/1608073 关键内容说明： TiDB 对于每个事务，会涉及改动的所有key中，选择出一个作为当前事务的Primary Key，其他的则为Secondary keys。 当Primary Key提交成功，标识整
https://www.modb.pro/db/337530 当忘记TiDB root 密码时，可以通过设置skip-grant-table参数来跳过密码验证，登录成功以后再修改root密码。 方法一： 修改tidb-server的配置文件 vi /tidb-deploy/tidb-4000/con
# parquet极简学习 ## 摘要 ``` parquet的概念: Parquet文件是一种列式存储文件格式，广泛应用于大数据处理框架， 如Apache Hadoop和Apache Spark。 它通过将数据组织成列而不是行来优化大型数据集的读写。 这种列式存储格式允许进行高效压缩、更好的查询性
https://zhuanlan.zhihu.com/p/499313638 Redis作为NoSQL领域的代表，拥有很高的读写性能，支持比较丰富的数据类型，但是Redis也存在一些缺陷。 l 内存数据库，容量有限，成本很高 l 主从复制模型，存在数据丢失的风险 l 自身备份代价很大 l 集群模式存
https://www.cnblogs.com/AcAc-t/p/kafka_topic_consumer_group_command.html 最近工作中遇到需要使用kafka的场景，测试消费程序启动后，要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset，而后开
