业务数据的变化，我们可以通过 FlinkCDC 采集到，但是 FlinkCDC 是把全部数据统一写入一个 Topic 中, 这些数据包括事实数据，也包含维度数据，这样显然不利于日后的数据处理，所以这个功能是从 Kafka 的业务数据 ODS 层读取数据，经过处理后，将维度数据保存到 HBase，将事
大数据 ODS&DWD&DIM-SQL分享 需求 思路一：等差数列 断2天、3天，嵌套太多 1.1 开窗，按照 id 分组，同时按照 dt 排序，求 Rank -- linux 中空格不能用 tab 键 select id,dt,rank() over(partition by id order b
DWM 建表，需要看 DWS 需求。 DWS 来自维度（访客、商品、地区、关键词），为了出最终的指标 ADS 需求指标 DWT 为什么实时数仓没有DWT，因为它是历史的聚集，累积结果，实时数仓中不需要 DWD 不需要加工 DWM 需要加工的数据 统计主题 需求指标【ADS】输出方式计算来源来源层级
统计主题 需求指标【ADS】输出方式计算来源来源层级 访客【DWS】pv可视化大屏page_log 直接可求dwd UV（DAU）可视化大屏需要用 page_log 过滤去重dwm UJ 跳出率可视化大屏需要通过 page_log 行为判断dwm 进入页面数可视化大屏需要识别开始访问标识dwd 连续
之前数据分层处理，最后把轻度聚合的结果保存到 ClickHouse 中，主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现，一种是为专业的数据分析人员的 BI 工具，一种是面向非专业人员的更加直观的数据大屏。 以下主要是面向百度的 sugar 的数据大屏服务的接口开发
https://clickhouse.com/ 概念 ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库（DBMS），使用 C++语言编写，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。 OLAP：一次写入，多次读取 ClickH
大促作为JD一年两度的盛事，质量备战是不可或缺的重要环节。每逢大促都是一次大型的联合战役，在这种战役中，不仅有各种“海陆空”技术争奇斗艳，还会让我们的技术视野变得更宽阔，让我们协同变得更默契，所谓以战养兵。测试团队作为质量备战团队，沉淀了“常态化”、“精细化”、“一体化”的三化备战策略，希望与君共勉，共保大促！
大家好，我是蓝胖子，今天我们来分析下网络连接中经常出现的RST信号，连接中出现RST信号意味着这条链接将会断开，来看下什么时候会触发RST信号，这在分析连接断开的原因时十分有帮助。 本文的讲解视频已经上传 [抓包分析RST报文](https://bilibili.com/video/BV1rc411
大家好，我是蓝胖子，书接上文，我在[prometheus描点原理](https://mp.weixin.qq.com/s/5Y_pCPIJcRpIlqhdtb3XBw)那一篇文章里，留了一个思考题: 我们通常会用到histogram_quantile去计算服务接口时间的耗时情况。 ```shell
大家好,我是蓝胖子，关于性能分析的视频和文章我也大大小小出了有一二十篇了，算是已经有了一个系列，之前的代码已经上传到github.com/HobbyBear/performance-analyze，接下来这段时间我将在之前内容的基础上，结合自己在公司生产上构建监控系统的经验，详细的展示如何对线上服务
大家好，我是蓝胖子，mysql对大表(千万级数据)的ddl语句，在生产上执行时一定要千万小心，一不小心就有可能造成业务阻塞，数据库io和cpu飙高的情况。今天我们就来看看如何针对大表执行ddl语句。 通过这篇文章，你能了解到下面的知识点, 