这是一个创建于 3727 天前的主题，其中的信息可能已经有所发展或是发生改变。
请教一下大家，假如我要做一个功能让别人输入一个网址和关键词，然后抓取关键词的数据，由于这些网页可能是不定时更新的，那自己写的爬虫该如何采取策略定时抓取更新？假设有多个用户要定时抓取更新的数据，这些数据一般一天更新一次，我是在用户每确定一个任务就开启一条线程每隔一天监控网页是否更新还是先把这些任务加入一个任务列表等到晚上某个时段定时器触发一并完成这些任务？
 |
1
icedx 2014-09-09 18:17:16 +08:00  1
先把这些任务加入一个任务列表等到晚上某个时段定时器触发一并完成这些任务
|
Select Language