如何高效地不使用Pandas对大型二维列表进行分组?

ID:21642 / 打印

如何高效地不使用pandas对大型二维列表进行分组?

如何不借助 pandas 快速分组二维列表

在处理大二维列表时,需要一个高效的分组方法。对于连续且长度不等的数据分组,不使用 pandas 模块,我们可以采取以下策略:

生成器和 itertools 模块

通过使用生成器或 itertools 模块,可以避免使用 append 函数并提高处理大数组的效率:

import itertools  def group_data(data):     grouped_data = {}     for key, group in itertools.groupby(data, lambda x: x[0]):         grouped_data[key] = [item[1] for item in group]      return [grouped_data[key] for key in grouped_data]  data = [['A', 33], ['A', 0], ['A', 12], ['A', 3], ['B', 3], ['B', 0], ['B', 77], ['C', 1], ['C', 2], ['C', 5], ['C', 0], ['C', 11], ['C', 19]] print(group_data(data))

解释:

  1. itertools.groupby:使用 itertools.groupby 根据键值(第一列)对数据进行分组。
  2. 列表推导式:使用列表推导式将每个组的数据提取到列表中。

这种方法在处理大数组时,能够有效减少内存占用并提高处理速度,避免使用 append 函数带来的效率问题。

上一篇: DuckDB读取CSV文件时如何指定列的类型?
下一篇: How to Create Custom Plans with “planmd” in Goose

作者:admin @ 24资源网   2025-01-14

本站所有软件、源码、文章均有网友提供,如有侵权联系308410122@qq.com

与本文相关文章

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。