Kafka 性能优化与问题深究 一．Kafka深入探究 1.1 kafka整体介绍 1. 1.1 Kafka 如何做到高吞吐、低延迟的呢？ Kafka是一个分布式高吞吐量的消息系统，这里提下 Kafka 写数据的大致方式：先写操作系统的页缓存（Page Cache）,然后由操作系统自行决定何时刷到磁
# TiKV占用内存超过的解决过程 ## 背景 ``` 为了后去TiDB的极限数据. 晚上在每台服务器上面增加了多个TiKV的节点. 主要方式为: 每个NVME的硬盘增加两个TiKV的进程. 这样每个服务器两个磁盘, 共计4个TiKV的进程 因为TiKV其实会使用尽可能多的缓存: storage.b
目录 一、配置Nginx隐藏版本号1、第一种方法修改配置文件2、第二种方法修改源码文件，重新编译安装 二、修改Nginx用户与组三、配置Nginx网页缓存时间四、实现Nginx的日志分割五、配置Nginx实现连接超时六、更改Nginx运行进程数七、配置Nginx实现网页压缩功能八、配置Nginx防盗
本文介绍了 Jetty 中 ManagedSelector 和 ExecutionStrategy 的设计实现，通过与原生 select 调用的对比揭示了 Jetty 的线程优化思路。Jetty 设计了一个自适应的线程执行策略（EatWhatYouKill），在不出现线程饥饿的情况下尽量用同一个线程侦测 I/O 事件和处理 I/O 事件，充分利用了 CPU 缓存并减少了线程切换的开销。这种优化思路
云原生下的流水线是通过启动容器来运行具体的功能步骤，每次运行流水线可能会被调度到不同的计算节点上。这会导致一个问题：容器运行完是不会保存数据的，每当流水线重新运行时，又会重新拉取代码、编译代码、下载依赖包等等。在云原生场景下，不存在本地宿主机编译代码、构建镜像时缓存的作用，大大延长了流水线运行时间，浪费很多不必要的时间、网络和计算成本。
一 背景 C端服务应用升级和重启，导致耗时瞬时抖动，业务超时，应用监控报警，上游感知明显，导致用户体验变差。 二 应用升级重启导致抖动的原因 1 C端服务应用升级和重启的冷启动阶段，它需要重新加载和初始化各种资源，例如数据库连接、缓存数据等，导致耗时瞬时飙升。 2 应用重启后，本地缓存失效，应用需要
本文分享自华为云社区《选择KV数据库最重要的是什么？》，作者：GaussDB 数据库 。 经常有客户提到KV数据库，但却偏偏“不要Redis”。比如有个做安全威胁分析平台的客户，他们明确表示自己对可靠性要求非常高，需要的不是开源Redis这种内存缓存库，而是KV数据库。 虽然最后我也没问清楚他们业务
本章节主要讨论了如何通过零拷贝技术来优化文件传输的性能。零拷贝技术主要通过减少用户态和内核态之间的上下文切换次数和数据拷贝次数来提高性能。具体来说，介绍了两种实现零拷贝的方式：mmap + write和sendfile。使用mmap + write可以减少一次数据拷贝过程，而使用sendfile系统调用可以进一步减少系统调用和数据拷贝次数。此外，还介绍了如果网卡支持SG-DMA技术，可以通过DMA将数据直接拷贝到网卡缓冲区，实现真正的零拷贝。通过这些优化方法，可以显著提高文件传输的性能。
SparkCore RDD基础 定义 在 Spark 的编程接口中，每一个数据集都被表示为一个对象，称为 RDD。RDD 是 Resillient Distributed Dataset(弹性分布式数据集)的简称，是一个只读的(不可变的)、分区的(分布式的)、容错的、延迟计算的、类型推断的和可缓
一、Mysql体系结构 1.1、连接层 最上层是一个客户端和链接服务，主要完成一些类似于链接处理，授权认证，及相关的安全方案，服务器也会为安全接入的而每个客户端验证它所具有的操作权限 1.2、服务层 第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置
