日常工作中，有时我们会遇到需要地图来展示我们的数据场景，利用POWERBI，我们可以快速的制作自己的业务地图。 Powerbi自带了三大地图，今天我们用到的是形状地图。 步骤讲解： 第一步：下载对应的地图资源，可以是全国的，也可以是具体省市的，这个根据我们的具体业务来进行选择。 http://dat
日常办公中，我们经常会遇到需要匹配表，匹配对应数据的场景，在EXCEL中，我们习惯使用VLOOKUP函数或者是X-LOOKUP函数，今天学习的是Python，pandas库中的匹配功能。 首先导入所需的pandas库。 import pandas as pd 用到的模拟数据共三张表，分别是销售表，区
日常数据清洗中，利用python清洗的第一步就是读取对应文件，今天一起复盘一下数据读取环节的常规操作。 csv和xlsx格式读取类似，所以用csv做案例 X-MIND图
日志在 IT 行业中被广泛使用，日志的异常检测对于识别系统的运行状态至关重要。解决这一问题的传统方法需要复杂的基于规则的有监督方法和大量的人工时间成本。我们提出了一种基于自然语言处理技术运维日志异常检测模型。
日常开发中，相信大家都对 Kafka 有所耳闻，Kafka 作为一个分布式的流处理平台，一般用来存储和传输大量的消息数据。在 Kafka 中有三个重要概念，分别是 topic、partition 和 offset。 topic 是 kafka 中的消息以主题为单位进行归类的逻辑概念，生产者负责将消息
日常Bug排查系列都是一些简单Bug排查。问题虽小，但经常遇到，了解这些问题，会让我们少走点弯路，提升效率。说不定有些问题你遇到过哦:) Bug现场 业务开发同学突然问了笔者一个问题，从库读会不会没有原子性？我下意识的反应怎么可能，只要是遵守MySQL主从Replication协议的原子性至少是能够
日常分析数据时，只有单一数据文件的情况其实很少见，更多的情况是，我们从同一个数据来源定期或不定期的采集了很多数据文件；或者从不同的数据源采集多种不同格式的数据文件。 在这样的情况下，分析数据之前，需要将不同的数据集合并起来。合并数据一般有两个维度，一是同构的数据集合并后行数增加；一是异构的数据集合并
日常开发中，相信不管做 C 端还是 B 端业务的同学都会遇到微信相关的业务，比如微信登录、微信支付、公众号扫码关注等场景。 最近博主在做公众号扫码关注自动登录这一块的业务，因此总结绘制了一张**公众号扫码关注绑定手机号自动登录**流程图分享给大家。 》一文后，对其中日志聚类算法有了些思考。 ### 概述 日志聚类，简而言之是对
1. 背景 推荐系统的推荐请求追踪日志，通过ELK收集，方便遇到问题时，可以通过唯一标识sid来复现推荐过程 最近在碰到了几个bad case，需要通过sid来查询推荐日志，但发现部分无法在kibana查询到 2. 分析 推荐日志的整个收集流程如下： flowchart LR 线上机器日志 -->
1. 背景 另外一个推荐系统的推荐请求追踪日志，通过ELK收集，方便遇到问题时，可以通过唯一标识sid来复现推荐过程 在一次上线之后，发现日志大量缺失，缺失率达90%，确认是由上线引起的，但因为当时没立即发现这个问题，所以没有通过回滚解决 上线的内容改动了推荐请求日志，数据格式未变，增加了单条日志的
https://www.jianshu.com/p/3e8a1d5d5cb9 我们知道在Linux系统中有大量的日志文件可以用于查看应用程序的各种信息，但是对于用户的操作行为（如某用户修改删除了某文件）却无法通过这些日志文件来查看，如果我们想实现监管企业员工的操作行为就需要开启审计功能，也就是aud
https://www.jianshu.com/p/407c03aaa600 postgresql日志参数 logging_collector:这个参数启用日志收集器，它是一个捕捉被发送到stderr的日志消息的后台进程，并且它会将这些消息重定向到日志文件中；默认是OFF，修改参数需要重启。 log
监控日志：大家可以监控系统日志、nginx、Apache、业务日志。想用好用对，不是辣么容易。zabbix最主要的是监控日志文件中有没有某个字符串的表达式，支持日志文件正则和关键字正则，其是把日志文件中符合关键字的日志过滤出来入库，不包含的日志不采集，且只支持主动模式。 1、 zabbix日志监控表
