python数据分组函数 python数据分组统计

python--pandas分组聚合

groupby 方法是pandas中的分组方法，对数据框采用 groupby 方法后，返回的是 DataFrameGroupBy 对象，一般分组操作后会进行聚合操作。

创新互联服务项目包括织金网站建设、织金网站制作、织金网页制作以及织金网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，织金网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到织金省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

对数据框按 A 列进行分组，产生分组数据框。分组数据框是可迭代对象，可以进行循环遍历，可以看出在循环中，每个元素的类型是元组，

元组的第一个元素是分组值，第二个元素是对应的分组数据框。

可以对分组后的数据框直接使用聚合方法 agg ，对分组数据框的每一列计算统计函数值。

可以根据数据框外的序列数据对数据框进行分组，需要注意 序列长度需要与数据框行数相同 。

可以根据数据框的多列对数据框进行分组。

根据 A , B 列进行分组，然后求和。

可以根据索引对数据框进行分组，需要设置 level 参数。

数据框只有一层索引，设置参数 level=0 。

当数据框索引有多层时，也可以根据需求设置 level 参数，完成分组聚合。

设置 level 参数，如需要根据第一层索引，即 id1 进行分组，可以设置 level=0 或 level='id1' 完成分组聚合。

分组后一般会进行聚合操作，用 agg 方法进行聚合。

对分组后数据框使用单个函数进行聚合，单个聚合函数会对每列进行计算，然后合并返回。聚合函数以字符串的形式传入。

可以对分组后的数据指定列进行分组聚合。需要注意 子列需要用[]包裹 。

聚合函数也可以传入自定义的匿名函数。

聚合函数可以是多个函数。聚合时，多个聚合函数会对每列进行计算，然后合并返回。聚合函数以列表的形式传入。

聚合返回后的数据列名有两层索引，第一层是聚合的列名，第二层是使用的聚合函数名。如果需要对返回的聚合函数名重命名，

需要在传参时，传入元组，第一个元素为聚合函数名，第二个元素为聚合函数。

同样，也可以传入匿名函数。

如果需要对不同的列进行不同的聚合计算，则需要传入字典的形式。

可以重命名聚合后的列名，注意 只能对一列传入一个聚合函数时有效 。

python可以做数据分析，好处是什么呢？怎么学习？

链接：

提取码：7234

炼数成金:Python数据分析。Python是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。

课程将从Python的基本使用方法开始，一步步讲解，从ETL到各种数据分析方法的使用，并结合实例，让学员能从中借鉴学习。

课程目录：

Python基础

Python的概览——Python的基本介绍、安装与基本语法、变量类型与运算符

了解Python流程控制——条件、循环语句与其他语句

常用函数——函数的定义与使用方法、主要内置函数的介绍

.....

Python气象数据处理进阶之Xarray(5)：数据整合（分组，合并...）

这部分同pandas的gorupby函数基本相同，实现对数据的分组归类等等。

split·将数据分为多个独立的组。

apply·对各个组进行操作。

combine·将各个组合并为一个数据对象。

创建一个dataset

我对官网的例子加以修改以便更好的理解。

解释下数据结构，创建了一个二维数据u(lat, lon)，坐标数据为latitude 和country ，强调一下这里创建的是dataset,而不是dataArray，分不清的可以再看看本系列的第一篇文章。坐标数据不等于u的坐标。创建coords部分都指明了latitude 和 country 都是针对lat的扩展。

我们可以这样理解，对于纬度的分类，我们可以按纬度的大小分，也就是"latitude": [10, 20, 30, 40] ； 我们也可以对纬度所在的国家分，"country": ("x", list("abba") ，那比如我们想求某个国家的数据的平均时就十分方便。

下边我们进行分组：

说明第0和第4个数是国家a的，第2和第3是国家b的。

.groups换成.mean() 则就是对分组求平均，以此类推。

必须添加一个list才可以将其分类结果打印出来。直接打印DatasetGroupBy object是不能输出结果的。

那么针对经纬度的坐标的分组怎么实现呢，比如说选出区间在多少到多少之间的？

.groupby_bins() 函数可以解决这一问题。

还是这个数据，"latitude": [10, 20, 30, 40]

那我们想以25为界，分为两组，0-25，25-50

在进行了分组后，要对各个分组进行计算。

我们先从dataset 中取出 u 这个dataarray

比如是实现前边提到的按国家进行数据平均,或者标准化

也可以通过map()函数使用一些自定义的函数，比如说标准化，

这个用法是官方提供的，但是我的Xarray版本过低，还不支持这种用法(Xarray会定期更新，以至于可能我介绍过的一些方法有了更简便的操作，大家可以在评论区留言)。

强调一句，Xarray官方的更新是比较快的，很可能我写在这里的函数官方又给出了更新的版本，但是我没办法做到时刻与官方最新同步，所以如果遇到问题，最好的解决办法还是去查阅官方文档的对应部分。

Python 数据处理（三十九）—— groupby（过滤）

filter 方法可以返回原始对象的子集.

例如，我们想提取分组内的和大于 3 的所有分组的元素

filter 的参数必须是一个函数，函数参数是每个分组，并且返回 True 或 False

例如，提取元素个数大于 2 的分组

另外，我们也可以过滤掉不满足条件的组，而是返回一个类似索引对象。在这个对象中，没有通过的分组的元素被 NaN 填充

对于具有多列的 DataFrames ，过滤器应明确指定一列作为过滤条件

在进行聚合或转换时，你可能想对每个分组调用一个实例方法，例如

但是，如果需要传递额外的参数时，它会变得很冗长。我们可以直接使用分派到组对象上的方法

实际上这生成了一个函数包装器，在调用时，它接受所有传递的参数，并在每个分组上进行调用。

然后，这个结果可以和 agg 和 transform 结合在一起使用

在上面的例子中，我们按照年份分组，然后对每个分组中使用 fillna 补缺失值

nlargest 和 nsmallest 可以在 Series 类型的 groupby 上使用

对分组数据的某些操作可能并不适合聚合或转换。或者说，你可能只是想让 GroupBy 来推断如何合并结果

我们可以使用 apply 函数，例如

改变返回结果的维度

在 Series 上使用 apply 类似

对于之前的示例数据

假设，我们想按 A 分组并计算组内的标准差，但是 B 列的数据我们并不关心。

如果我们的函数不能应用于某些列，则会隐式的删除这些列，所以

直接计算标准差并不会报错

可以使用分类变量进行分组，分组的顺序会按照分类变量的顺序

可以使用 pd.Grouper 控制分组，对于如下数据

可以按照一定的频率对特定列进行分组，就像重抽样一样

可以分别对列或索引进行分组

类似于 Series 和 DataFrame ，可以使用 head 和 tail 获取分组前后几行

在 Series 或 DataFrame 中可以使用 nth() 来获取第 n 个元素，也可以用于获取每个分组的某一行

如果你要选择非空项，可以使用关键字参数 dropna ，如果是 DataFrame ，需要指定为 any 或 all (类似于 DataFrame.dropna(how='any|all') )

与其他方法一样，使用 as_index=False 分组名将不会作为索引

你也可以传入一个整数列表，一次性选取多行

使用 cumcount 方法，可以查看每行在分组中出现的顺序

可以使用 ngroup() 查看分组的顺序，该顺序与 cumcount 的顺序相反。

注意 ：该顺序与迭代时的分组顺序一样，并不是第一次观测到的顺序

Python分组

前言分组原理

核心：

1.不论分组键是数组、列表、字典、Series、函数，只要其与待分组变量的轴长度一致都可以传入groupby进行分组。

2.默认axis=0按行分组，可指定axis=1对列分组。

对数据进行分组操作的过程可以概括为：split-apply-combine三步：

1.按照键值（key）或者分组变量将数据分组。

2.对于每组应用我们的函数，这一步非常灵活，可以是python自带函数，可以是我们自己编写的函数。

3.将函数计算后的结果聚合。

1 分组模式及其对象

1.1 分组的一般模式

三个要素:分组依据、数据来源、操作及其返回结果

df.groupby(分组依据)[数据来源].使用操作

1.2 分组依据的本质

1.3Groupby 对象

通过 ngroups 属性，可以访问分为了多少组:

通过 groups 属性，可以返回从 组名映射到 组索引列表的字典:

当 size 作为 DataFrame 的属性时，返回的是表长乘以表宽的大小，但在 groupby 对象上表示统计每个组的 元素个数:

通过 get_group 方法可以直接获取所在组对应的行，此时必须知道组的具体名字:

1.4 分组的三大操作

分组的三大操作:聚合、变换和过滤

2.聚合函数

2.1内置聚合函数

包括如下函数: max/min/mean/median/count/all/any/idxmax/idxmin/mad/nunique/skew/quantile/sum/std/var/sem/size/prod

2.2agg 方法

【a】使用多个函数

当使用多个聚合函数时，需要用列表的形式把内置聚合函数的对应的字符串传入，先前提到的所有字符串都是合法的。

【b】对特定的列使用特定的聚合函数

对于方法和列的特殊对应，可以通过构造字典传入 agg 中实现，其中字典以列名为键，以聚合字符串或字符串列表为值。

【c】使用自定义函数

在 agg 中可以使用具体的自定义函数，需要注意传入函数的参数是之前数据源中的列，逐列进行计算

【d】聚合结果重命名 如果想要对结果进行重命名，只需要将上述函数的位置改写成元组，元组的第一个元素为新的名字，第二个位置为原来的函数，包括聚合字符串和自定义函数

3 变换和过滤

3.1 变换函数与 transform 方法

变 换 函 数 的 返 回 值 为 同 长 度 的 序 列， 最 常 用 的 内 置 变 换 函 数 是 累 计 函 数:cum- count/cumsum/cumprod/cummax/cummin ，它们的使用方式和聚合函数类似，只不过完成的是组内 累计操作。

3.2 组索引与过滤

过滤在分组中是对于组的过滤，而索引是对于行的过滤

组过滤作为行过滤的推广，指的是如果对一个组的全体所在行进行统计的结果返回 True 则会被保留，False 则该组会被过滤，最后把所有未被过滤的组其对应的所在行拼接起来作为 DataFrame 返回。

在 groupby 对象中，定义了 filter 方法进行组的筛选，其中自定义函数的输入参数为数据源构成的 DataFrame 本身，在之前例子中定义的 groupby 对象中，传入的就是 df[['Height', 'Weight']] ，因此所有表方法和属性 都可以在自定义函数中相应地使用，同时只需保证自定义函数的返回为布尔值即可。

4 跨列分组

4.1 apply 的引入

4.2 apply 的使用

在设计上，apply 的自定义函数传入参数与 filter 完全一致，只不过后者只允许返回布尔值

【a】标量情况:结果得到的是 Series ，索引与 agg 的结果一致

【b】Series 情况:得到的是 DataFrame ，行索引与标量情况一致，列索引为 Series 的索引

【c】DataFrame 情况:得到的是 DataFrame ，行索引最内层在每个组原先 agg 的结果索引上，再加一层返 回的 DataFrame 行索引，同时分组结果 DataFrame 的列索引和返回的 DataFrame 列索引一致