一.Broker 端参数 Broke存储信息配置 log.dirs:非常重要，指定Broker需要使用的若干文件目录路径，没有默认值必须亲自指定。log.dir：他只能表示单个路径，补充上一个参数用。 如何设置： 只要设置log.dirs，不要设置log.dir线上环境一定要为log.dirs配置多
一.Topic级别参数 Topic的优先级: 如果同时设置Topic级别参数和全局Broker参数，那么Topic级别优先 消息保存方面： retention.ms:规定Topic消息保存时长。默认是7天。一旦设置将覆盖掉Broker端的全局参数值。 retention.bytes:规定为该Topi
一.操作系统-Linux Kafka是JVM系的大数据框架kafka由Scala语言和Java语言编写而成，编译之后的源代码就是普通的".class"文件 使用Linux kafka客户端底层使用Java的selector，selector在Linux上的实现机制是epoll，由于在windows上
最近在看极客时间的《Linux性能优化实战》课程，记录下学习内容。 一、 平均负载（Load Average） 1. 概念 我们都知道uptime命令的最后三列分别是过去 1 分钟、5 分钟、15 分钟系统的平均负载，到底平均负载是什么？ 简单来说，平均负载是指单位时间内，系统处于可运行状态和不可中
上一篇的最后一个例子，在多个进程竞争CPU时，我们看到每个进程实际上%usr部分只有20%多，70%多是在wait，但是load远远高于单个进程使用CPU达到100%。 这让我想到之前看的RWP公开课，里面有一篇连接池管理。为什么相同的业务量，起6千个连接（进程）远远要慢于200个连接，因为绝大多数
一、 内存映射 我们通常所说的内存容量，指的是物理内存。物理内存也称为主存，大多数计算机用的主存都是动态随机访问内存（DRAM）。只有内核才可以直接访问物理内存。那么，进程要访问内存时，该怎么办呢？ Linux 内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。这样，进程就可以
所谓丢包，是指在网络数据的收发过程中，由于种种原因，数据包还没传输到应用程序中，就被丢弃了。这些被丢弃包的数量，除以总的传输包数，也就是我们常说的丢包率。丢包率是网络性能中最核心的指标之一。丢包通常会带来严重的性能下降，特别是对 TCP 来说，丢包通常意味着网络拥塞和重传，进而还会导致网络延迟增大、
在排查网络问题时，我们还经常碰到的一个问题，就是内核线程的 CPU 使用率很高。比如，在高并发的场景中，内核线程 ksoftirqd 的 CPU 使用率通常就会比较高。回顾一下前面学过的 CPU 和网络模块，你应该知道，这是网络收发的软中断导致的。 要分析 ksoftirqd 这类 CPU 使用率比
使用 perf 对系统内核线程进行分析时，内核线程依然还在正常运行中，所以这种方法也被称为动态追踪技术。动态追踪技术通过探针机制来采集内核或者应用程序的运行信息，从而可以不用修改内核和应用程序的代码就获得丰富的信息，帮你分析、定位想要排查的问题。 以往，在排查和调试性能问题时，我们往往需要先为应用程
LVS入门篇（四）之LVS实战 https://www.cnblogs.com/linuxk/p/9360922.html 一、LVS的NAT模式实战 1、环境说明： HOST OS role remask 192.168.56.12 Centos 7.4 LVS调度器（1.2.7） VIP：192
LVS入门篇（五）之LVS+Keepalived实战 https://www.cnblogs.com/linuxk/p/9365189.html 一、实验架构和环境说明 （1）本次基于VMware Workstation搭建一个四台Linux（CentOS 7.4）系统所构成的一个服务器集群，其中两
http://team.jiunile.com/blog/2019/06/tcpdump.html tcpdump 简介 对于 tcpdump 的使用，大部分管理员会分成两类。有一类管理员，他们熟知 tcpdump 和其中的所有标记；另一类管理员，他们仅了解基本的使用方法，剩下事情都要借助参考手册才
https://www.cnblogs.com/pachongshangdexuebi/p/5051977.html xcopy XCOPY是COPY的扩展，可以把指定的目录连文件和目录结构一并拷贝，但不能拷贝系统文件；使用时源盘符、源目标路径名、源文件名至少指定一个；选用/S时对源目录下及其子目录
今天给大家分享一个 shell 脚本工具，通过 shell 脚本与 mysql 的结合，将某个具体服务的错误输出日志入库到指定的 mysql 表中，以便于进行错误问题的定位与分析。 日常工作中，经常需要和 linux 系统打交道，例如：服务部署、日志和服务状态查看等，而 shell 脚本是和 lin
# Prometheus+alertmanager实现告警的简单验证 ## 背景 ``` 学习源自: http://www.mydlq.club/article/126/ 上午没搞定, 中午睡不着,继续学习处理. 发现最恶心的有点事 alertmanager的 --cluster.listen-ad
一、 性能工具速查 在梳理性能工具之前，首先给你提一个问题，那就是，在什么情况下，我们才需要去查找、挑选性能工具呢？ 其实在我看来，只有当你想了解某个性能指标，却不知道该怎么办的时候，才会想到，“要是有一个性能工具速查表就好了”这个问题。如果已知一个性能工具可用，我们更多会去查看这个工具的手册，找出
一、 确定优化目标 优化前，我会先问问自己，网络性能优化的目标是什么？实际上，虽然网络性能优化的整体目标，是降低网络延迟（如 RTT）和提高吞吐量（如BPS 和 PPS），但具体到不同应用中，每个指标的优化标准可能会不同，优先级顺序也大相径庭。 拿NAT 网关来说，由于其直接影响整个数据中心的网络出
一、 域名与 DNS 解析 域名主要是为了方便让人记住，而 IP 地址是机器间的通信的真正机制。以 time.geekbang.org 为例，最后面的 org 是顶级域名，中间的 geekbang 是二级域名，而最左边的 time 则是三级域名。点（.）是所有域名的根，所有域名都以点作为后缀。 把域
tcpdump 和 Wireshark 是最常用的网络抓包和分析工具，更是分析网络性能必不可少的利器。 tcpdump 仅支持命令行格式使用，常用在服务器中抓取和分析网络包。Wireshark 除了可以抓包，还提供了强大的图形界面和汇总分析工具，在分析复杂的网络情景时，尤为简单和实用。因而，在实际分
使用Rclone实现minio数据的迁移 一、准备 1.1 使用工具 rclone：开源的对象存储在线迁移工具，用于文件和目录的同步，支持阿里云的oss、minio 、亚马逊S3 等。 1.2 注意事项 1、两台机器的时区及时间要保持一致，最后进行迁移之前，两台机器的时间进行校准。方法如下： #ce
