【pandas基础】--数据读取

数据读取是第一步,只有成功加载数据之后,后续的操作才有可能。 pandas可以读取和导入各种数据格式的数据,如CSV,Excel,JSON,SQL,HTML等,不需要手动编写复杂的读取代码。 1. 各类数据源 pandas提供了导入各类常用文件格式数据的接口,这里介绍3种最常用的加载数据的接口。 1

【pandas基础】--数据拆分与合并

数据集拆分是将一个大型的数据集拆分为多个较小的数据集,可以让数据更加清晰易懂,也方便对单个数据集进行分析和处理。 同时,分开的数据集也可以分别应用不同的数据分析方法进行处理,更加高效和专业。 数据集合并则是将多个数据集合并成一个大的数据集,可以提供更全面的信息,也可以进行更综合的数据分析。 同时,数

【pandas基础】--数据类型

数据类型是计算机编程中将不同类型的数据值分类和定义的方式。 通过数据类型,可以确定数据的存储方式和内存占用量,了解不同类型的数据进行各种运算的能力。 使用`pandas`进行数据分析时,最常用到的几种类型是: 1. 字符串类型,各类文本内容都是字符串类型 2. 数值类型,包括整数和浮点数,可用于计算

图数据挖掘:网络的常见度量属性

网络的度分布p(k)表示了一个随机选择的节点拥有度k的概率。我们设度为k的节点数目Nk =#nodes with degree k,除以节点数量N则可得到归一化后的概率质量分布 p(k) = Nk/N。图的路径(path)指一个节点序列,使得序列中的每个节点都链接到序列中的下一个节点,一个路径可以通过经过同一条边多次而和它自身相交。

云数据库时代,DBA将走向何方?

摘要:伴随云计算的迅猛发展,数据库也进入了云时代。云数据库不断涌现,产品越来越成熟和智能,作为数据库管理员的DBA将面临哪些机遇和挑战?又应该具备什么能力,才能应对未来的不确定性? 本文分享自华为云社区《云数据库时代,DBA将走向何方?》,作者: GaussDB 数据库。 伴随云计算的迅猛发展,数据

云数据库 GaussDB(for Influx) 解密第十一期:让智能电网中时序数据处理更高效

摘要:GaussDB(for Influx)是一款基于计算存储分离架构,完全兼容 InfluxDB 生态的云原生时序数据库。 本文分享自华为云社区《云数据库 GaussDB(for Influx) 解密第十一期:让智能电网中时序数据处理更高效》,作者:华为云数据库 GaussDB(for Influ

数据库实践丨使用MTK迁移Mysql源库后主键自增列导致数据无法插入问题

摘要:用户使用Mogdb 2.0.1版本进行业务上线测试,发现在插入数据时,应用日志中提示primary key冲突,用户自查业务SQL没有问题,接到通知后,招手处理故障。 本文分享自华为云社区《使用MTK迁移Mysql源库后主键自增列导致数据无法插入问题》,作者:Gauss松鼠会。 故障背景 用户

数据智能加持下,中小微企业告别“融资难”

摘要:数据智能是一个跨学科的研究领域,它结合大规模数据处理、数据挖掘、机器学习、可视化等技术,为基于数据制定决策或执行任务提供有效智能支持。面对数据智能蓝海,开发者该如何发力呢?赛道参与者该如何走向成功呢? 本文分享自华为云社区《让数据应用更智能!华为云助力开发者重庆誉存打造数字金融综合解决方案》,

数据交换不失控:华为云EDS,让你的数据你做主

摘要:随着企业数据空间在内部的成功实践,2022年,华为正式推出云服务产品——华为云交换数据空间EDS(Exchange Data Space),秉持“你的数据你做主”的宗旨,以保护企业数据主权为基础,促进企业数据高效流通,实现数据价值最大化。 本文分享自华为云社区《数据交换不失控——华为云EDS,

数据库中用户删除不掉总是报错,依赖如何处理干净?

摘要:本文主要介绍如何进行用户的各种依赖识别与清理,并简单介绍下推荐的权限管理方式。 本文分享自华为云社区《GaussDB(DWS) 用户删除不掉时候总是报错,依赖如何处理干净?》,作者:Malick 。 数据库的使用中,有时会遇到某些用户离职,或者角色变更时,要对其账号进行销户,权限进行回收等操作

数据交换不失控:华为云EDS,让你的数据你做主

摘要:华为云EDS在“可信、可控、可证”的框架基础上进行数据空间的关键设计,打造数据可控交换的全栈能力。 数字社会,每时每刻都有海量数据产生,数据也逐渐从生产过程的附属产物,逐渐成为数字经济的关键生产要素。作为生产要素,数据只有流通起来才能产生大规模的经济价值。 数据流通发展三部曲 数据在企业中的流

从大数据到AI,华为云存储加速企业大模型快速应用

摘要:AI与大数据算法不断发展,在生产中的应用也越来越广,而应用的场景除了对算法,软件架构要求越来越高外,也对底层IaaS(基础设施即服务)提出了新的挑战。 AI与大数据算法不断发展,在生产中的应用也越来越广,而应用的场景除了对算法,软件架构要求越来越高外,也对底层IaaS(基础设施即服务)提出了新

EDS从小白到专家丨打造你的专属“数据物流”系统

“数据快递”如何支撑便捷就医?本期让我们来了解如何使用EDS打造专属的“数据物流”系统......

数据库行业需要什么样的人才?高校老师这样说

近日,GaussDB数据库产教融合论坛在华为苏州研究所举行。

数据测试实践:从一个bug开始的大数据引擎兼容性探索

数据测试不仅关注数据加工的代码逻辑,还要考虑大数据执行引擎带来的影响,因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入,讲解在数据测试实践中对大数据执行引擎兼容性

【数据中台商业化】数据中台微前端实践

我们设计目前的门户基座,可以快速浏览各个平台,同时串联数据开发与管理的工作,减少用户的试错成本,提升工作效率。

稳,从数据库连接池 testOnBorrow 看架构设计

本文从 Commons DBCP testOnBorrow 的作用机制着手,管中窥豹,从一点去分析数据库连接池获取的过程以及架构分层设计。以下内容会按照每层的作用,贯穿分析整个调用流程。

大数据实时链路备战 —— 数据双流高保真压测

大数据时代,越来越多的业务依赖实时数据用于决策,比如促销调整,点击率预估、广告分佣等。为了保障业务的顺利开展,也为了保证整体大数据链路的高可用性,越来越多的0级系统建设双流,以保证日常及大促期间数据流的稳定性。

数据库深分页介绍及优化方案 | 京东云技术团队

在前端页面显示,为了避免一次性展示全量数据,通过上下翻页或指定页码的方式查看部分数据,就像翻书一样,这就利用了MySQL的分页查询。

数据包的奇妙旅程:揭秘网络传输的7个关键步骤

在发送数据包的过程中,不同层次的网络协议扮演着不同的角色。数据包在经过多层封装后,通过网络设备和路由器进行转发,并最终到达目标设备。在每个层次中,都会进行相应的处理和解封装,以确保数据包能够正确传输和被接收端处理。整个过程涉及到了物理层、数据链路层、网络层、传输层和应用层等多个层次的协议和设备。尽管在简化的示例中,发送数据包的过程相对简单,但实际情况中会更加复杂,需要通过路由表选择最佳路径来保证数据包的快速、高效传输。整个过程展示了网络分层结构的重要性和协同工作的复杂性。