之前数据分层处理，最后把轻度聚合的结果保存到 ClickHouse 中，主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现，一种是为专业的数据分析人员的 BI 工具，一种是面向非专业人员的更加直观的数据大屏。 以下主要是面向百度的 sugar 的数据大屏服务的接口开发
https://clickhouse.com/ 概念 ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库（DBMS），使用 C++语言编写，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。 OLAP：一次写入，多次读取 ClickH
大促作为JD一年两度的盛事，质量备战是不可或缺的重要环节。每逢大促都是一次大型的联合战役，在这种战役中，不仅有各种“海陆空”技术争奇斗艳，还会让我们的技术视野变得更宽阔，让我们协同变得更默契，所谓以战养兵。测试团队作为质量备战团队，沉淀了“常态化”、“精细化”、“一体化”的三化备战策略，希望与君共勉，共保大促！
大模型作为核心的高级生产力正引领着崭新的经济和社会格局，推动着人工智能成为产业发展的新引擎。百度智能云致力于与客户、合作伙伴紧密协作，将大模型深度融入各领域，把握重构机遇，激发开发者和创企的创新能力，推动应用创新，实现智能化跃迁！在此行行AI诚邀您参加：[Baidu World 2023·大模型驱动...
大模型学习 - 内网环境搭建 环境： 内网，以下安装均为离线安装 系统：Linux cdh12 3.10.0-1160.e17.x86_64 内存（377G）、GPU（P40-25G）*8） 安装Anaconda 参考： linux离线环境下安装anaconda anaconda python 版本
大文件的传输一般都会受到尺寸限制，针对这一问题，本文介绍如何利用7-zip压缩工具，将大文件拆分成若干小文件进行分卷压缩传输，以及如何将压缩后的若干小文件合并解压，恢复原始文件。
摘要：本文介绍大模型低参微调套件——MindSpore PET。 本文分享自华为云社区《大模型高效开发的秘密武器——大模型低参微调套件MindSpore PET篇》，作者：yd_280874276 。 人工智能进入“大模型时代”。大模型具备更强泛化能力，在各垂直领域落地时，只需要进行参数微调，就可以
摘要：本文主要是对《凤凰架构》的解读，讲述规划系统流量的几种方式。 本文分享自华为云社区《大流量时代，如何规划系统流量提升可靠性》，作者：breakDawn 。 透明多级分流系统 对系统流量进行规划， 要注意以下2个原则 尽可能减少单点部件， 或者减少到达单点部件的流量或者作用 奥卡姆剃刀原则，确定
摘要：开发者如何拥抱这波AIGC浪潮？ 本文分享自华为云社区《大咖论道，大模型时代软件研发效率革命》，作者：华为云社区精选。 根据GitHub的一项调查，92%的受访开发者正在借助AI编码工具来完成工作和其他项目。另一方面，AI已经通过了大厂L3工程师入职测试，可自如应对数组/字符串、动态规划等技术
大文件上传 前言 在日常开发中，文件上传是常见的操作之一。文件上传技术使得用户可以方便地将本地文件上传到Web服务器上，这在许多场景下都是必需的，比如网盘上传、头像上传等。 但是当我们需要上传比较大的文件的时候，容易碰到以下问题： 上传时间比较久 中间一旦出错就需要重新上传 一般服务端会对文件的大小
大促备战，最大的隐患项之一就是慢sql，带来的破坏性最大，也是日常工作中经常带来整个应用抖动的最大隐患，而且对sql好坏的评估有一定的技术要求，有一些缺乏经验或者因为不够仔细造成一个坏的sql成功走到了线上，等发现的时候要么是造成了线上影响、报警、或者后置的慢sql采集发现，这时候一般无法快速止损，需要修改代码上线、或者调整数据库索引。
大报文问题，在京东物流内较少出现，但每次出现往往是大事故，甚至导致上下游多个系统故障。大报文的背后，是不同商家业务体量不同，特别是B端业务的采购及销售出库单，一些头部商家对京东系统支持业务复杂度及容量能力的要求越来越高。因此我们有必要把这个问题重视起来，从组织上根本上解决。
大数据时代，越来越多的业务依赖实时数据用于决策，比如促销调整，点击率预估、广告分佣等。为了保障业务的顺利开展，也为了保证整体大数据链路的高可用性，越来越多的0级系统建设双流，以保证日常及大促期间数据流的稳定性。
大促备战，最大的隐患项之一就是慢SQL，对于服务平稳运行带来的破坏性最大，也是日常工作中经常带来整个应用抖动的最大隐患，在日常开发中如何避免出现慢SQL，出现了慢SQL应该按照什么思路去解决是我们必须要知道的。本文主要介绍对于慢SQL的排查、解决思路，通过一个个实际的例子深入分析总结，以便更快更准确
大促备战压测备战时间紧、任务多，压测备战压力较大，在大促备战多专项并行资源紧张情况下，频繁的系统调优给整个大促带来不可控的风险因素。引入常态化压测的手段，通过每周或每月的定期压测行为，持续把控系统性能表现，保证服务稳定性；同时将需求上线引起的性能问题前置暴露，及时定位优化问题；减轻备战压力，提升压测效率。
本文分享自华为云社区 《【云享问答】第3期：大模型时代，如何快速开发AI应用》，作者：华为云社区精选。 大模型快速普及应用的当下，AI浪潮汹涌而至，对于开发者来说，开发一款属于自己的AI应用并不是遥不可及。华为云AI生态技术专家、中科院计算所博士坐阵，从数据处理、算法开发、模型训练到部署，全方位拆解
前言 最近有个网友问了我一个问题：系统中大事务问题要如何处理？ 正好前段时间我在公司处理过这个问题，我们当时由于项目初期时间比较紧张，为了快速完成业务功能，忽略了系统部分性能问题。项目顺利上线后，专门抽了一个迭代的时间去解决大事务问题，目前已经优化完成，并且顺利上线。现给大家总结了一下，我们当时使用
1 简要介绍 随着微服务架构的不断发展，分布式系统逐渐普及到后端领域的每一个角落。 在分布式系统中，跨多个服务的数据一致性一直是一个重大挑战，为解决这一挑战，分布式事务应运而生。 作者在之前的文章《五种分布式事务解决方案》和《4大主流分布式算法介绍》中，详细介绍了分布式事物的解决方案以及实现原理。接
设想我们在一家很大的互联网公司做IT方面的规划、开发和维护，有以下这样的应用场景： 公司里有若干个不同的开发团队，开发语言有Java、.net、Python、C++....十来种，还有很多外包团队对项目进行开发，大中小系统已经多的数不过来；并且各个团队、系统间都需要进行海量数据的交换（比如搜索引擎实
煤矿安全大模型————矿途智护者 使用煤矿历史事故案例，事故处理报告、安全规程规章制度、技术文档、煤矿从业人员入职考试题库等数据，微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答。 本项目简介： 近年来，国家对煤矿安全生产的重视程度不断提升。为了确保煤矿作业的安全，提高从业人员的安
