1
qfly 20 天前 via Android 1
简单的办法是一个站点一个 然后挂在 scrapyd 下 ,crontab 触发或者外部网站都可以触发,数据进数据库不同表。 由于每个站点内容不一样 很难统一数据库表结构。如果数据类似 那么就将所有数据写入同一批表,用关键词区分不同网站。当然你能将整理出规则,那也是可行的,数据库就设计的复杂点,定义元数据,根据要求写入不同表。但如果没几个网站这样做不值得。
|
2
EndlessMemory 20 天前
每个站一个
|