### 概述 在进行流处理时，很多时候想要对流的有界子集进行聚合分析。例如有如下的需求场景： (1)每分钟的页面浏览(PV)次数。 (2)每用户每周的会话次数。 (3)每分钟每传感器的最高温度。 (4)当电商发布一个秒杀活动时，想要每隔10min了解流量数据。 对于这些需求的处理，程序需要处理元素组
1. 背景 公司有一个推荐系统Rec，这个系统的主要功能是： 向外部系统提供推荐接口 根据请求获取推荐策略 根据推荐策略完成推荐的召回、过滤、打分、排序阶段 Rec作为微服务中的一环，本身不存储召回的物料信息，也不存储用户和物料的特征信息，它负责就是对各个服务的组合和流转 其流程如下： 2. 问题
1. 背景 另外一个推荐系统的推荐请求追踪日志，通过ELK收集，方便遇到问题时，可以通过唯一标识sid来复现推荐过程 在一次上线之后，发现日志大量缺失，缺失率达90%，确认是由上线引起的，但因为当时没立即发现这个问题，所以没有通过回滚解决 上线的内容改动了推荐请求日志，数据格式未变，增加了单条日志的
1.简介 上一篇中宏哥介绍了如何在Windows系统安装激活Charles，那么使用Mac系统的小伙伴或者童鞋们就不高兴了，怎么没有Mac的安装激活教程了。宏哥不能厚此薄彼，今天专门补充一篇在Mac上安装Charles并且将其激活。 2.Mac下载安装 2.1下载Charles 官网下载：https
https://www.cnblogs.com/shoshana-kong/p/14040195.html 在一些网络服务的系统中，Redis 的性能，可能是比 MySQL 等硬盘数据库的性能更重要的课题。比如微博，把热点微博[1]，最新的用户关系，都存储在 Redis 中，大量的查询击中 Redi
麒麟信安V3.4 安装PG15的过程 背景 发现基于OpenEuler的几个系统使用CentOS的rpm包 安装PG数据库时有问题. 会提示缺少依赖的so文件. 今天想着解决一下, 就百度了一下并且进行自己的总结. 源码安装PG15并且进行部分设置. 第一部分介质准备. PG15的源码 https:
https://www.cnblogs.com/yunlongn/p/16630257.html 转载~ 在应用系统中，我们为加速数据访问，会把高频的数据放在「缓存」(Redis、MongoDB)里，减轻数据库的压力。 在操作系统中，为了减少磁盘IO，引入了「缓冲池」(buffer pool)机制。
https://www.jianshu.com/p/344f8141b63e Java Profiling Practice landon资深网络游戏服务器架构师 系统性能定义 Throughput 吞吐量，也就是每秒钟可以处理的请求数，任务数 Latency 系统延迟，也就是系统在处理一个请求或一
Linux ubuntu20.04 网络配置（图文教程） 因为我是刚装好的最小系统，所以很多东西都没有，在开始配置之前需要做下准备 环境准备 系统：ubuntu20.04网卡：双网卡 网卡一：供连接互联网使用网卡二：供连接内网使用（看情况，如果一张网卡足够，没必要做第二张网卡） 工具： net-to
http://blog.yufeng.info/archives/2935 原创文章，转载请注明： 转载自系统技术非业余研究 本文链接地址: 巧用Systemtap注入延迟模拟IO设备抖动 当我们的IO密集型的应用怀疑设备的IO抖动，比如说一段时间的wait时间过长导致性能或其他疑难问题的时候，这个
https://www.cnblogs.com/zh-dream/p/16691807.html iftop 是 Linux 系统一个免费的网卡实时流量监控工具，类似于 top 命令。iftop 可以监控指定网卡的实时流量、端口连接信息、反向解析 IP 等，还可以精确显示本机网络流量及网络内各主机和
https://www.jianshu.com/p/d1f0f2a99ffe 前言 有的时候，我们要通过对系统的cpu负载等性能数值的查看，来判排查系统产生某种故障(经常死机或者运行速度突然变慢)的原因。但是，简单的top,uptime，w等命令只可以查看当前的负载，而无法查看过去的某一时间段的cp
https://www.jianshu.com/p/ffa7ddcda4ab 微服务架构已经是一个很通用的系统架构，常见的技术栈如下图所示，这张架构图基本涵括了当前微服务体系下的各种技术栈，可能不同的技术栈有不同的开源实现。 Screen Shot 2022-01-23 at 12.48.19 PM
https://my.oschina.net/u/4526289/blog/5586897 摘要：设计一个线上压测系统能让我们学习到多少东西？这 13 个问题看你能否搞定。 本文分享自华为云社区《设计一个线上压测系统能让我们学习到多少东西？13 个问题看你能否搞定》，作者：breakDawn。 Q:
https://juejin.cn/post/6844904088715411463 我们大部分时间都是在开发应用系统，当我们的功能实现时和实现后，我们可能会经常的思考或者讨论关于性能方面的问题，性能优化也有很多个方面，那么我们今天主要来一起探讨一下IO性能。 谈到IO性能，我们就会联想到我们电脑的
https://zhuanlan.zhihu.com/p/156761279 最近在性能压测时总是触发系统主动throttling, 我们都知道throttling是系统自我保护的一种手段, 大方向上可以认为这是期望的结果. 如果止步于认为这是正常现象, 就会错失很多精彩, 现象背后的逻辑是什么?
背景 周四时某项目在QQ群里说自己的系统出现了CPU占用较高的情况. TOP 查看发现大部分占用CPU的都是 JAVA核心进城后附近的进程. 所以初步怀疑 是出现了FullGC的问题. 然后群里反馈了dump 以及 tracelog等内容 进行了简单的分析, 这里总结一下, 备忘 关于GC进程 ja
https://www.cnblogs.com/chenyuting/p/10773313.html Linux内核的配置系统的基本结构 Linux内核的配置系统由三个部分组成，分别是： 1、Makefile：分布在 Linux 内核源代码根目录及各层目录中，定义 Linux 内核的编译规则； 2、
一、性能测试的主要概念和计算公式 系统吞度量要素： 一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。 单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。 系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间
TCP与UDP基本区别 基于连接与无连接TCP要求系统资源较多，UDP较少；UDP程序结构较简单流模式（TCP）与数据报模式(UDP);TCP保证数据正确性，UDP可能丢包TCP保证数据顺序，UDP不保证 UDP应用场景： 面向数据报方式网络数据大多为短消息拥有大量Client对数据安全性无特殊要求
