V2EX › aragakiiyui 的所有回复 › 第 5 页 / 共 5 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5

❮

❯

2015-06-29 11:00:06 +08:00

回复了 aragakiiyui 创建的主题 › Python › 关于迭代器的操作

@mhycy 那我详细说一下吧，我要做的工作是把es中的3个表并作一个表。我要遍历其中三个表中主要的那个表然后结合另外两个表中对应的数据，把数据一条一条拼起来。最后将拼好的数据写到一个新的表中。写操作大概每次1000条效率最高。
使用es的接口取出的那个表是个迭代器，所以800w数据不直接放内存里的。

2015-06-29 10:33:45 +08:00

回复了 aragakiiyui 创建的主题 › Python › 关于迭代器的操作

@mhycy 嗯，我现在打算这么试试看，能改进一些么。

2015-06-29 10:33:14 +08:00

回复了 aragakiiyui 创建的主题 › Python › 关于迭代器的操作

@hahastudio 我测了一下，发现使用islice拆分的话，islice操作占到总时间的40%以上。线程开多了反而更慢。

2015-06-29 10:31:15 +08:00

回复了 aragakiiyui 创建的主题 › Python › 关于迭代器的操作

@neoblackcap @bigtan 其实我程序的功能就是把es中某个表的所有元素取出来，然后对每个元素进行一些处理，最后放到一个新的表中。拿的这个过程请忽略，反正就是拿出了一个包含800多万数据的迭代器。我想知道有没有什么方法，可以将这个迭代器拆成多个部分去多线程处理？如果直接跑一个for循环的话需要将近两个小时，完全没法完成需求。。。

2015-05-21 18:26:17 +08:00

回复了 aragakiiyui 创建的主题 › Python › 关于 xpath 的问题

@kingname ....这样显然不行啊...

2015-05-21 18:24:04 +08:00

回复了 aragakiiyui 创建的主题 › Python › 关于 xpath 的问题

@ericls 这个方法我知道，可是有没有直接提取出来的方法？

1 2 3 4 5

❮

❯