theme: smartblue 最近在做交易数据的统计分析时，多次用到数据行之间的一些操作，对于其中的细节，简单做了个笔记。 1. shfit函数 shift函数在策略回测代码中经常出现，计算交易信号，持仓信号以及资金曲线时都有涉及。这个函数的主要作用是将某列的值上下移动。默认情况下，shift函
时间序列数据是数据分析中经常遇到的类型，为了更多的挖掘出数据内部的信息，我们常常依据原始数据中的时间周期，将其转换成不同跨度的周期，然后再看数据是否会在新的周期上产生新的特性。 下面以模拟的K线数据为例，演示如何使用pandas来进行周期转换。 1. 创建测试数据 首先创建测试数据，下面创建一天的K
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 为什么学习pandas numpy已
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 import numpy as np
日期处理相关内容之前`pandas基础`系列中有一篇专门介绍过，本篇补充两个常用的技巧。 # 1. 多列合并为日期 当收集来的数据中，年月日等信息分散在多个列时，往往需要先合并成日期类型，然后才能做分析处理。合并多列转换为日期类型，可以直接用 `to_datetime`函数来处理： ```pytho
所谓**数据转置**，就是是将原始数据表格沿着对角线翻折，使原来的行变成新的列，原来的列变成新的行，从而更方便地进行数据分析和处理。 `pandas`中`DataFrame`的转置非常简单，每个`DataFrame`对象都有一个`T`属性，通过这个属性就能得到转置之后的`DataFrame`。下面介
这次介绍的小技巧不是统计，而是把统计结果作为**新列**和原来的数据放在一起。`pandas`的各种统计功能之前已经介绍了不少，但是每次都是统计结果归统计结果，原始数据归原始数据，没有把它们合并在一个数据集中来观察。 下面通过两个场景示例来演示如果把统计值作为新列的数据。 # 1. 成绩统计的场景
`category`类型在**pandas基础**系列中有一篇介绍数据类型的文章中已经介绍过。`category`类型并不是`python`中的类型，是`pandas`特有的类型。 `category`类型的优势那篇文章已经介绍过，当时只是介绍了如何将某个列的数据转换成`category`类型，以及
我们在`jupyter notebook`中使用`pandas`显示`DataFrame`的数据时，由于屏幕大小，或者数据量大小的原因，常常会觉得显示出来的表格不是特别符合预期。 这时，就需要调整`pandas`显示`DataFrame`的方式。`pandas`为我们提供了很多调整显示方式的参数，具
上一篇介绍了`DataFrame`的显示参数，主要是对`DataFrame`中值进行调整。 本篇介绍`DataFrame`的显示样式的调整，显示样式主要是对表格本身的调整，比如颜色，通过颜色可以突出显示重要的值，观察数据时可以更加高效的获取主要信息。 下面介绍一些针对单个数据和批量数据的样式调整方式
最近github上发现了一个库（`plottable`），可以用简单的方式就设置出花哨的 `DataFrame` 样式。 github上的地址：[https://github.com/znstrider/plottable](https://github.com/znstrider/plottabl
`pandas`小技巧系列是介绍的是使用`pandas`分析数据时，最常用的一些操作技巧。 具体包括： 1. [创建测试数据](https://www.cnblogs.com/wang_yb/p/17552748.html) 学习pandas的过程中，为了尝试pandas提供的各类功能强大的函数，常
[TOC] Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算） Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。 Pandas 可以对各种数据进行运算操作，比如归并、再成形、选择，还有数据清洗和数据加工
[TOC] Pandas 可以很方便的处理 JSON 数据 demo.json ```json [ { "name":"张三", "age":23, "gender":true }, { "name":"李四", "age":24, "gender":true }, { "name":"王五", "
目录JSON 转换为 CSVCSV 转 JSON行、列操作 CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。 CSV 是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用。 A
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 import pandas as p
Pandas是一个开源的Python数据分析库。 它提供了快速，灵活和富有表现力的数据结构，旨在使数据清洗和分析变得简单而快速。 Pandas是基于NumPy数组构建的，因此它在许多NumPy函数上提供了直接的支持。它还提供了用于对表格数据进行操作的数据结构，例如Series和DataFrame。
数据读取是第一步，只有成功加载数据之后，后续的操作才有可能。 pandas可以读取和导入各种数据格式的数据，如CSV，Excel，JSON，SQL，HTML等，不需要手动编写复杂的读取代码。 1. 各类数据源 pandas提供了导入各类常用文件格式数据的接口，这里介绍3种最常用的加载数据的接口。 1
pandas中用来承载数据的两个最重要的结构分别是： Series：相当于增强版的一维数组 DataFrame：相当于增强版的二维数组 pandas最大的优势在于处理表格类数据，如果数据维度超过二维，一般我们会使用另一个 python的库 numpy。 本篇主要介绍这两种核心数据结构的创建方式。 1
