我们前面采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 Kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日
业务数据的变化，我们可以通过 FlinkCDC 采集到，但是 FlinkCDC 是把全部数据统一写入一个 Topic 中, 这些数据包括事实数据，也包含维度数据，这样显然不利于日后的数据处理，所以这个功能是从 Kafka 的业务数据 ODS 层读取数据，经过处理后，将维度数据保存到 HBase，将事
大数据 ODS&DWD&DIM-SQL分享 需求 思路一：等差数列 断2天、3天，嵌套太多 1.1 开窗，按照 id 分组，同时按照 dt 排序，求 Rank -- linux 中空格不能用 tab 键 select id,dt,rank() over(partition by id order b
DWM 建表，需要看 DWS 需求。 DWS 来自维度（访客、商品、地区、关键词），为了出最终的指标 ADS 需求指标 DWT 为什么实时数仓没有DWT，因为它是历史的聚集，累积结果，实时数仓中不需要 DWD 不需要加工 DWM 需要加工的数据 统计主题 需求指标【ADS】输出方式计算来源来源层级
统计主题 需求指标【ADS】输出方式计算来源来源层级 访客【DWS】pv可视化大屏page_log 直接可求dwd UV（DAU）可视化大屏需要用 page_log 过滤去重dwm UJ 跳出率可视化大屏需要通过 page_log 行为判断dwm 进入页面数可视化大屏需要识别开始访问标识dwd 连续
之前数据分层处理，最后把轻度聚合的结果保存到 ClickHouse 中，主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现，一种是为专业的数据分析人员的 BI 工具，一种是面向非专业人员的更加直观的数据大屏。 以下主要是面向百度的 sugar 的数据大屏服务的接口开发
https://clickhouse.com/ 概念 ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库（DBMS），使用 C++语言编写，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。 OLAP：一次写入，多次读取 ClickH
大促作为JD一年两度的盛事，质量备战是不可或缺的重要环节。每逢大促都是一次大型的联合战役，在这种战役中，不仅有各种“海陆空”技术争奇斗艳，还会让我们的技术视野变得更宽阔，让我们协同变得更默契，所谓以战养兵。测试团队作为质量备战团队，沉淀了“常态化”、“精细化”、“一体化”的三化备战策略，希望与君共勉，共保大促！
大模型作为核心的高级生产力正引领着崭新的经济和社会格局，推动着人工智能成为产业发展的新引擎。百度智能云致力于与客户、合作伙伴紧密协作，将大模型深度融入各领域，把握重构机遇，激发开发者和创企的创新能力，推动应用创新，实现智能化跃迁！在此行行AI诚邀您参加：[Baidu World 2023·大模型驱动...
大模型学习 - 内网环境搭建 环境： 内网，以下安装均为离线安装 系统：Linux cdh12 3.10.0-1160.e17.x86_64 内存（377G）、GPU（P40-25G）*8） 安装Anaconda 参考： linux离线环境下安装anaconda anaconda python 版本
大文件的传输一般都会受到尺寸限制，针对这一问题，本文介绍如何利用7-zip压缩工具，将大文件拆分成若干小文件进行分卷压缩传输，以及如何将压缩后的若干小文件合并解压，恢复原始文件。
摘要：华为云作为中国政务云基础设施领域领导者，基于华为公有云技术架构的政务云平台，具备领先的云灾备技术实力，支持IaaS、PaaS等云服务云原生灾备能力。 本文分享自华为云社区《城市云灾备，为业务连续性保驾护航》，作者：仇俊、黄宝起。 “一网通办”“跨省通办”“一件事一次办”……近年来，个人和企业在
摘要：数字技术的应用已经深入到医疗健康领域的方方面面，华为将持续携手广大生态伙伴，为城市打造更具安全、韧性、智能的健康服务平台，激发传统医疗模式不断创新、医院医疗服务水平不断提升，推进现代化健康、宜居城市的建设，让科技普济大众，让技术更有温度。 本文分享自华为云社区《城市健康云，打造大健康服务生态》
摘要：本文介绍大模型低参微调套件——MindSpore PET。 本文分享自华为云社区《大模型高效开发的秘密武器——大模型低参微调套件MindSpore PET篇》，作者：yd_280874276 。 人工智能进入“大模型时代”。大模型具备更强泛化能力，在各垂直领域落地时，只需要进行参数微调，就可以
摘要：本文主要是对《凤凰架构》的解读，讲述规划系统流量的几种方式。 本文分享自华为云社区《大流量时代，如何规划系统流量提升可靠性》，作者：breakDawn 。 透明多级分流系统 对系统流量进行规划， 要注意以下2个原则 尽可能减少单点部件， 或者减少到达单点部件的流量或者作用 奥卡姆剃刀原则，确定
摘要：华为云与CSDN携手共同打造城市开发者综合服务平台，不仅能够为广大程序员提供更好的技术支持和服务，也在当地政府的人才政策帮扶下，为开发者的技术创新和人才培养提供更好的工作学习平台，在本地扎根发展。 本文分享自华为云社区《华为云与CSDN携手打造城市开发者综合服务平台》，作者：于邦旭 CSDN高
摘要：开发者如何拥抱这波AIGC浪潮？ 本文分享自华为云社区《大咖论道，大模型时代软件研发效率革命》，作者：华为云社区精选。 根据GitHub的一项调查，92%的受访开发者正在借助AI编码工具来完成工作和其他项目。另一方面，AI已经通过了大厂L3工程师入职测试，可自如应对数组/字符串、动态规划等技术
大文件上传 前言 在日常开发中，文件上传是常见的操作之一。文件上传技术使得用户可以方便地将本地文件上传到Web服务器上，这在许多场景下都是必需的，比如网盘上传、头像上传等。 但是当我们需要上传比较大的文件的时候，容易碰到以下问题： 上传时间比较久 中间一旦出错就需要重新上传 一般服务端会对文件的大小
大促备战，最大的隐患项之一就是慢sql，带来的破坏性最大，也是日常工作中经常带来整个应用抖动的最大隐患，而且对sql好坏的评估有一定的技术要求，有一些缺乏经验或者因为不够仔细造成一个坏的sql成功走到了线上，等发现的时候要么是造成了线上影响、报警、或者后置的慢sql采集发现，这时候一般无法快速止损，需要修改代码上线、或者调整数据库索引。
大报文问题，在京东物流内较少出现，但每次出现往往是大事故，甚至导致上下游多个系统故障。大报文的背后，是不同商家业务体量不同，特别是B端业务的采购及销售出库单，一些头部商家对京东系统支持业务复杂度及容量能力的要求越来越高。因此我们有必要把这个问题重视起来，从组织上根本上解决。
