• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 3656 天前的主题，其中的信息可能已经有所发展或是发生改变。
针对类似如下网站，http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
3. 性能：内存不能超过300M， CPU使用率不能超过30%，数据库链接数需控制在5个以内。
4. 数据库：已设计好，使用postgresql.
5. 任务调度：需使用celery。
因为需爬取的各类资源比较多，因此希望尽可能长期合作。
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
3. 性能：内存不能超过300M， CPU使用率不能超过30%，数据库链接数需控制在5个以内。
4. 数据库：已设计好，使用postgresql.
5. 任务调度：需使用celery。
因为需爬取的各类资源比较多，因此希望尽可能长期合作。
 |
1
cloudzhou 2014-12-19 10:15:52 +08:00  1
这个我比较擅长 :-)
|
 |
2
mutoulbj 2014-12-19 11:08:31 +08:00
这个可以有
|
 |
4
keenturbo 2014-12-19 11:21:47 +08:00
支持一下
|
 |
5
zhkzyth 2014-12-19 11:29:58 +08:00
还有这样的活~~=.=
|
 |
7
iewgnaw 2014-12-19 16:11:51 +08:00
你这不是要数据，是要程序啊。写完了，合作就完了？
|
 |
8
mringg 2014-12-19 16:15:41 +08:00 via Android
这叫兼职？
|
 |
9
fooevr 2014-12-19 16:16:58 +08:00
CPU使用率不能超过30%这个要求很奇怪
|
 |
10
9999999999999999 2014-12-19 16:18:22 +08:00
@fooevr 估计是他要跑三个实例，
|
|
11
fooevr 2014-12-19 16:25:03 +08:00
@9999999999999999 我不是说对CPU有限制奇怪, 而是什么级别的CPU呢?
|
 |
12
wibile 2014-12-19 16:39:36 +08:00
这种要求还需要用celery？？？
|
 |
13
icedx 2014-12-19 16:43:34 +08:00 via Android
我怎么觉得这个似乎发过一次
|
 |
14
wangfeng3769 2014-12-19 17:28:21 +08:00
个人表示很可以吧
|
|
15
9999999999999999 2014-12-19 18:38:48 +08:00
@fooevr 不管什么级别的ＣＰＵ啊。 打个比喻： 我雇佣工人做事情，我一共有１００元，我需要雇佣三个工人，当然给每个工人的报酬不能超过３０元。
|
|
16
fooevr 2014-12-20 00:50:09 +08:00 1
@9999999999999999 恩 我知道你说的是人民币.
|
 |
18
GeekGao 2014-12-21 15:43:21 +08:00
这哪是兼职啊。。。 要么叫做长期项目，要么叫做remote
|
 |
19
RangerWolf 2014-12-21 17:53:26 +08:00
@icedx 你的感觉是对的 这个帖子跟之前的内容完全一致
|
|
20
wangfeng3769 2014-12-21 20:04:33 +08:00
这个项目估算一下价格，看看需要多少钱。
|
 |
21
yongjiu236z 2016-12-11 00:34:32 +08:00
|
Select Language