目前是,所有代码写在一个 py 文件里
用 requests 请求 api 的数据
然后用 sqlalchemy 存入我的数据库
运行的时候 python 123.py
虽然可以完成这个需求,但是总觉得档次有些 low ,感觉总有点不靠谱
大家平时是怎么弄的
1
xss 2016-11-16 16:38:42 +08:00 2
让我想起了生活大爆炸里发送一个信号途经各种卫星, 各大洲, 最终结果是开了自己家的一盏灯的梗.....
|
2
Phant0m 2016-11-16 16:41:25 +08:00 1
弄个守护进程 日志报警
|
3
tumbzzc 2016-11-16 19:13:00 +08:00 2
写的“庞大”一点,分好多文件,然后让人看不懂
|
4
Ouyangan 2016-11-16 19:14:44 +08:00
用 java
|
5
upczww 2016-11-16 19:39:52 +08:00 1
simple yet efficient 是极好的。
|
6
ranleng 2016-11-16 19:56:53 +08:00 via Android 1
每一个函数都写成单独的文件然后各种 import.
|
7
popu111 2016-11-16 20:36:08 +08:00 via Android 1
上 Redis/mongodb
|
8
GreatMartial 2016-11-16 20:41:06 +08:00 via Android
难道没有人和楼主一样,有这种感受吗?
|
9
ieiayaobb 2016-11-16 21:21:46 +08:00 1
上 scrapy
|
10
meta 2016-11-16 22:58:07 +08:00 via iPhone 1
要装逼很容易,把他弄成啥都可以抓,哪儿都可以入,一大堆松耦合。
虽然最后也就干这一件事。 |
11
bazingaterry 2016-11-17 00:11:00 +08:00 1
写个异步多进程。
|
12
ys0290 2016-11-17 00:12:46 +08:00 via iPhone
用意念控制它
|
13
Senevan 2016-11-17 00:16:58 +08:00 via Android 1
把吃饱灰的树莓派掏出来干这事😂
|
14
exalex 2016-11-17 00:28:25 +08:00
为啥楼上都是答非所问,我也想看其他方案,结果全是抖机灵的
|
15
windfarer 2016-11-17 00:44:24 +08:00 via Android 1
这简单,你爬虫吐给 logstash ,后面接个 elasticsearch 集群做存储,还可以搜索,高可用!装逼!
|
16
Tink 2016-11-17 02:50:51 +08:00 via iPhone
把函数写开
|
17
weakiwi 2016-11-17 07:55:39 +08:00 via Android 1
用 django+django-cron ,定时抓取,然后写个 views 展示下。再弄个 supervisor(自己写当然也好)弄个看门狗,输出个 log 。弄成系统服务
|
18
ksc010 2016-11-17 10:10:15 +08:00 1
1. 区分异常类型,一些网络问题原因引起的可以重试的 就重试几次,
因为接口问题引起的(比如接口变更,数据结构变了)就做好结果格式的判断,不符合就抛出异常 2. 记录详细的日志 3. 最后捕捉异常 邮件或短信报警,人工干预优化代码 |
19
blabla 2016-11-17 17:36:40 +08:00
先开发个 Python 5.0, 然后再开发个框架. 最后用这两者实现你的抓取功能. 简直不能再炫了.
|