一.Broker 端参数 Broke存储信息配置 log.dirs:非常重要，指定Broker需要使用的若干文件目录路径，没有默认值必须亲自指定。log.dir：他只能表示单个路径，补充上一个参数用。 如何设置： 只要设置log.dirs，不要设置log.dir线上环境一定要为log.dirs配置多
一.Topic级别参数 Topic的优先级: 如果同时设置Topic级别参数和全局Broker参数，那么Topic级别优先 消息保存方面： retention.ms:规定Topic消息保存时长。默认是7天。一旦设置将覆盖掉Broker端的全局参数值。 retention.bytes:规定为该Topi
一.操作系统-Linux Kafka是JVM系的大数据框架kafka由Scala语言和Java语言编写而成，编译之后的源代码就是普通的".class"文件 使用Linux kafka客户端底层使用Java的selector，selector在Linux上的实现机制是epoll，由于在windows上
最近在看极客时间的《Linux性能优化实战》课程，记录下学习内容。 一、 平均负载（Load Average） 1. 概念 我们都知道uptime命令的最后三列分别是过去 1 分钟、5 分钟、15 分钟系统的平均负载，到底平均负载是什么？ 简单来说，平均负载是指单位时间内，系统处于可运行状态和不可中
上一篇的最后一个例子，在多个进程竞争CPU时，我们看到每个进程实际上%usr部分只有20%多，70%多是在wait，但是load远远高于单个进程使用CPU达到100%。 这让我想到之前看的RWP公开课，里面有一篇连接池管理。为什么相同的业务量，起6千个连接（进程）远远要慢于200个连接，因为绝大多数
一、 内存映射 我们通常所说的内存容量，指的是物理内存。物理内存也称为主存，大多数计算机用的主存都是动态随机访问内存（DRAM）。只有内核才可以直接访问物理内存。那么，进程要访问内存时，该怎么办呢？ Linux 内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。这样，进程就可以
所谓丢包，是指在网络数据的收发过程中，由于种种原因，数据包还没传输到应用程序中，就被丢弃了。这些被丢弃包的数量，除以总的传输包数，也就是我们常说的丢包率。丢包率是网络性能中最核心的指标之一。丢包通常会带来严重的性能下降，特别是对 TCP 来说，丢包通常意味着网络拥塞和重传，进而还会导致网络延迟增大、
在排查网络问题时，我们还经常碰到的一个问题，就是内核线程的 CPU 使用率很高。比如，在高并发的场景中，内核线程 ksoftirqd 的 CPU 使用率通常就会比较高。回顾一下前面学过的 CPU 和网络模块，你应该知道，这是网络收发的软中断导致的。 要分析 ksoftirqd 这类 CPU 使用率比
使用 perf 对系统内核线程进行分析时，内核线程依然还在正常运行中，所以这种方法也被称为动态追踪技术。动态追踪技术通过探针机制来采集内核或者应用程序的运行信息，从而可以不用修改内核和应用程序的代码就获得丰富的信息，帮你分析、定位想要排查的问题。 以往，在排查和调试性能问题时，我们往往需要先为应用程
LVS入门篇（四）之LVS实战 https://www.cnblogs.com/linuxk/p/9360922.html 一、LVS的NAT模式实战 1、环境说明： HOST OS role remask 192.168.56.12 Centos 7.4 LVS调度器（1.2.7） VIP：192
LVS入门篇（五）之LVS+Keepalived实战 https://www.cnblogs.com/linuxk/p/9365189.html 一、实验架构和环境说明 （1）本次基于VMware Workstation搭建一个四台Linux（CentOS 7.4）系统所构成的一个服务器集群，其中两
一、 性能工具速查 在梳理性能工具之前，首先给你提一个问题，那就是，在什么情况下，我们才需要去查找、挑选性能工具呢？ 其实在我看来，只有当你想了解某个性能指标，却不知道该怎么办的时候，才会想到，“要是有一个性能工具速查表就好了”这个问题。如果已知一个性能工具可用，我们更多会去查看这个工具的手册，找出
一、 确定优化目标 优化前，我会先问问自己，网络性能优化的目标是什么？实际上，虽然网络性能优化的整体目标，是降低网络延迟（如 RTT）和提高吞吐量（如BPS 和 PPS），但具体到不同应用中，每个指标的优化标准可能会不同，优先级顺序也大相径庭。 拿NAT 网关来说，由于其直接影响整个数据中心的网络出
一、 域名与 DNS 解析 域名主要是为了方便让人记住，而 IP 地址是机器间的通信的真正机制。以 time.geekbang.org 为例，最后面的 org 是顶级域名，中间的 geekbang 是二级域名，而最左边的 time 则是三级域名。点（.）是所有域名的根，所有域名都以点作为后缀。 把域
tcpdump 和 Wireshark 是最常用的网络抓包和分析工具，更是分析网络性能必不可少的利器。 tcpdump 仅支持命令行格式使用，常用在服务器中抓取和分析网络包。Wireshark 除了可以抓包，还提供了强大的图形界面和汇总分析工具，在分析复杂的网络情景时，尤为简单和实用。因而，在实际分
一、 网络模型 1. OSI 网络模型（七层） 为了解决网络互联中异构设备的兼容性问题，并解耦复杂的网络包处理流程，OSI 模型把网络互联的框架分为七层，每个层负责不同的功能。其中， 应用层，负责为应用程序提供统一的接口。表示层，负责把数据转换成兼容接收系统的格式。会话层，负责维护计算机之间的通信连
前一篇介绍了文件系统的工作原理，这一篇来看看磁盘IO的工作原理 一、 磁盘 1. 按存储介质分类 磁盘是可以持久化存储的设备，根据存储介质的不同，常见磁盘可以分为两类：机械磁盘和固态磁盘。 机械磁盘，也称为硬盘驱动器（Hard Disk Driver，HDD），主要由盘片和读写磁头组成，数据存储在盘
相当于是前面篇章的小结 一、 CPU 性能指标 常见指标包括： 平均负载CPU 使用率（user、iowait、system、软硬中断等）进程上下文切换（自愿、非自愿）CPU 缓存的命中率 CPU 的处理速度就比内存的访问速度快得多。这样，CPU 在访问内存的时候，免不了要等待内存的响应。为了协调这
https://zhuanlan.zhihu.com/p/57704357 Kafka Exporter 监控 Kafka 实时数据 需要安装的组件 Prometheus：时序数据库，按时间保存监控历史数据。语言：Go Grafana：metrics 可视化系统 Kafka Exporter：一个用
中断是系统用来响应硬件设备请求的一种机制，它会打断进程的正常调度和执行，然后调用内核中的中断处理程序来响应设备的请求。 一、 为什么要有中断 举个生活中的例子，让你感受一下中断的魅力。比如说你订了一份外卖，但是不确定外卖什么时候送到，也没有别的方法了解外卖的进度，但是，配送员送外卖是不等人的，到了你
