大家好！我是sum墨，一个一线的底层码农，平时喜欢研究和思考一些技术相关的问题并整理成文，限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。 以下是正文！ # 先看问题 首先上一串代码 ```java public String buy(Long goodsId, Integer goods
大家好！我是sum墨，一个一线的底层码农，平时喜欢研究和思考一些技术相关的问题并整理成文，限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。 以下是正文！ 文章背景 我们最近做了很多项目，有些我们是总负责的，有些是合作的。这些项目涉及的系统各种各样，但基本上没有一家公司会主动去做『开放平台』
大家好！我是sum墨，一个一线的底层码农，平时喜欢研究和思考一些技术相关的问题并整理成文，限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。 以下是正文！ # 对象存储是什么？ >对象存储是一种数据存储方式，它将数据分割成不同的对象，并为每个对象分配一个唯一的标识符，用于访问和操作数据。这些
大家好！我是sum墨，一个一线的底层码农，平时喜欢研究和思考一些技术相关的问题并整理成文，限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。 以下是正文！ 一、写文背景 我们在写后端项目的时候，日志打印是必需的。支持SpringBoot项目的日志框架一般有log4j、logback，这二者各
大家好！我是sum墨，一个一线的底层码农，平时喜欢研究和思考一些技术相关的问题并整理成文，限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。 以下是『微信小程序生态系列文章』正文！ # 需求背景 我们是一个提供SaaS服务的小程序服务商，会给每一个客户申请一个专属的小程序，到目前为止已经差不
大数据技术的发展是一个非常典型的技术工程的发展过程，荣辛通过对于谷歌经典论文的盘点，希望可以帮助工程师们看到技术的探索、选择过程，以及最终历史告诉我们什么是正确的选择。 何为大数据 “大数据”这个名字流行起来到现在，差不多已经有十年时间了。在这十年里，不同的人都按照自己的需要给大数据编出了自己的解释
### 大火的ChatGPT与表格插件结合会有哪些意想不到的效果？ ChatGPT已经火了好久了，想探索一下ChatGPT在表格中的使用场景，思考了很久自己整理了三点： 一、使用助手：根据需求提供操作指南、按照描述生成公式。 二、数据分析：对表格中的数据提供数据分析建议，按照描述分析数据。 三、工作
 的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 CDC 的种类 CDC 主要分为基于查询和基于 Binl
Caused by: org.apache.kafka.connect.errors.ConnectException: Error reading MySQL variables: The server time zone value '�й���ʱ��' is unrecognized or
Caused by: org.apache.kafka.connect.errors.ConnectException: The MySQL server is not configured to use a ROW binlog_format, which is required for this
| 目录 | 作用 | | | | | app | 产生各层数据的 flink 任务 | | bean | 数据对象 | | common | 公共常量 | | utils | 工具类 | app.ods.FlinkCDC.java package com.atguigu.app.ods; impo
我们前面采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 Kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日
业务数据的变化，我们可以通过 FlinkCDC 采集到，但是 FlinkCDC 是把全部数据统一写入一个 Topic 中, 这些数据包括事实数据，也包含维度数据，这样显然不利于日后的数据处理，所以这个功能是从 Kafka 的业务数据 ODS 层读取数据，经过处理后，将维度数据保存到 HBase，将事
大数据 ODS&DWD&DIM-SQL分享 需求 思路一：等差数列 断2天、3天，嵌套太多 1.1 开窗，按照 id 分组，同时按照 dt 排序，求 Rank -- linux 中空格不能用 tab 键 select id,dt,rank() over(partition by id order b
DWM 建表，需要看 DWS 需求。 DWS 来自维度（访客、商品、地区、关键词），为了出最终的指标 ADS 需求指标 DWT 为什么实时数仓没有DWT，因为它是历史的聚集，累积结果，实时数仓中不需要 DWD 不需要加工 DWM 需要加工的数据 统计主题 需求指标【ADS】输出方式计算来源来源层级
统计主题 需求指标【ADS】输出方式计算来源来源层级 访客【DWS】pv可视化大屏page_log 直接可求dwd UV（DAU）可视化大屏需要用 page_log 过滤去重dwm UJ 跳出率可视化大屏需要通过 page_log 行为判断dwm 进入页面数可视化大屏需要识别开始访问标识dwd 连续
之前数据分层处理，最后把轻度聚合的结果保存到 ClickHouse 中，主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现，一种是为专业的数据分析人员的 BI 工具，一种是面向非专业人员的更加直观的数据大屏。 以下主要是面向百度的 sugar 的数据大屏服务的接口开发
https://clickhouse.com/ 概念 ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库（DBMS），使用 C++语言编写，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。 OLAP：一次写入，多次读取 ClickH
大规模Windows环境下，采用Nginx反向代理服务后，操作系统会产生较多TIME_WAIT的TCP（Transmission Control Protocol）连接，操作系统默认TIME_WAIT的TCP连接回收时间是4分钟，TCP默认动态端口范围为开始端口49152，结束端口65535。这样会
