对百万量级的数据如何快速聚类？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 1963 天前的主题，其中的信息可能已经有所发展或是发生改变。

我有 100 万条数据，每个数据是一个 200 维的向量，考虑对它们进行聚类。目前尝试了 scipy 的 k-means 聚类算法，但是半天没有结果。计算平台是 windows 7，内存 16G。

5 条回复 • 2019-08-23 17:33:49 +08:00

xxxy

2019-08-15 11:35:16 +08:00

有 gpu 的话可以用 tensorflow 的 k means，应该会快十几倍吧

ipwx

2019-08-15 11:39:33 +08:00

pwrliang

2019-08-15 13:35:56 +08:00 via Android

上分布式吧，用 Spark 写个 K-means

shidenggui

2019-08-15 13:38:28 +08:00

pca 降维，再聚类

gazhang

2019-08-23 17:33:49 +08:00

最后还是在好点的机器上跑了，大概半小时。