python - 如何避开稀疏矩阵的慢速groupby？

我有一个大矩阵（约2亿行），描述了每天发生的操作的列表（可能有10000个操作）。我的最终目标是创建一个共现矩阵，显示在同一天发生了哪些操作。

这是一个示例数据集：

data = {'date':   ['01', '01', '01', '02','02','03'],
        'action': [100, 101, 989855552, 100, 989855552, 777]}
df = pd.DataFrame(data, columns = ['date','action'])

我想用pd.get_dummies创建一个稀疏矩阵，但是解开该矩阵并在其上使用groupby极其缓慢，仅花了6分钟即可获得5000行。

# Create a sparse matrix of dummies
dum = pd.get_dummies(df['action'], sparse = True)
df = df.drop(['action'], axis = 1)
df = pd.concat([df, dum], axis = 1)

# Use groupby to get a single row for each date, showing whether each action occurred.
# The groupby command here is the bottleneck.
cols = list(df.columns)
del cols[0]
df = df.groupby('date')[cols].max()

# Create a co-occurrence matrix by using dot-product of sparse matrices
cooc = df.T.dot(df)

我也尝试过：

1. 以非稀疏格式获取假人；
2. 使用groupby进行聚合；
3. 在矩阵乘法之前要稀疏格式。

但是我在步骤1中失败了，因为没有足够的RAM创建这么大的矩阵。

非常感谢您的帮助。