Marek Schwarz
2020-01-31 17:24
我不知道，p_tqdm但是如果我理解您的问题，可以使用轻松完成multiprocessing。
像这样的东西
import multiprocessing
def process(row):
# take care that "do_somthing" must return class with encode() method (e.g. string)
return do_somthing(row)
df = pd.read_sql(some_sql, engine)
things =[]
for index, row in df.iterrows():
things.append(row)
with gzip.open("final.gz", "wb") as f, multiprocessing.Pool() as pool:
for processed_row in pool.imap(process, things):
f.write(processed_row.encode())
仅有几个旁注：
pandas
iterrows方法很慢-尽可能避免（请参阅pandas迭代是否存在性能问题？）。另外，您不需要创建
things，只需将iterable传递给imap（甚至应该直接传递df.iterrows（））就可以节省一些内存。最后，由于您似乎正在读取sql数据，为什么不直接连接到db并遍历
SELECT ...查询中的游标，pandas完全跳过。
热门帖子
相关问题
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13
感谢您的回答和周到的评论。经过进一步研究，我还意识到iterrows（）是性能的噩梦。我将数据框更改为dask数据框，然后传递df.to_array（），然后对此进行迭代以生成.gz文件。性能要好得多。我想知道使用df.array（）传递到多处理池是否会更好。我对读取SQL表感到好奇-我不想妨碍DB的性能，但我想加快这一部分。现在，我基本上完成了所有操作，然后在数百万行上等待10秒的盲目性。有小费吗？
如我所说，直接在游标对象上进行迭代。您没有说您正在使用的数据库引擎是什么，但是，例如，如果它是类似sql的东西
cur.execute("SELECT * FROM x";)，那么通常是可能的：然后for row in cur: ...应该是可能的。（该行通常是一个数据元组。）检出例如docs.python.org/3.8/library/sqlite3.html。我认为多重处理不会给您带来很多性能方面的改进（它有相当大的开销），但这取决于您的用例。