1
laoyuan OP 决定今天晚上先装个nginx试试再说!
|
2
wy315700 2013-03-12 09:08:33 +08:00
试试2003
|
3
for4 2013-03-12 09:26:04 +08:00
加个进程守护, 挂/死了自动重启进程
用PHP抓? 强烈建议改成NodeJS/Python/Golang |
5
ergatea 2013-03-13 01:30:40 +08:00
虚拟机嘛
|
7
bixuehujin 2013-03-13 01:42:23 +08:00
可以试试在命令行下跑PHP(如果方便的话)。
|
8
thbourlove 2013-03-13 09:57:15 +08:00
跑个爬虫还要开apache,我表示无法理解。。
|
9
sarices 2013-03-13 10:42:18 +08:00
对啊,不能命令行运行吗?
|
10
laoyuan OP 命令行就不会重启么。。。。
|
11
laoyuan OP @thbourlove
Nginx还可以接受吧? |
14
davidzhang 2013-03-13 15:10:53 +08:00
还是试试nginx吧
|
15
davidzhang 2013-03-13 15:14:32 +08:00
@thbourlove 哈哈,你说的在理,我也不明白,爬虫用开apache,我就知道用数据库就好了
|
16
shiny 2013-03-13 16:04:33 +08:00
我有个想法,就是用树莓派来跑爬虫,还省电。
|
17
molinxx 2013-03-13 16:07:05 +08:00 via Android
apache这东西在win下真心不行。。。
|
19
bengle 2013-03-13 18:50:27 +08:00
重装系统ubuntu
|
22
hulk 2013-03-13 20:26:46 +08:00
@laoyuan 哈哈 是的 apache到底也是命令行,只是对资源做管理..403是权限问题...curl支持basic还有cookie认证 这个好解决了
|
24
laoyuan OP @davidzhang
Nginx在win下跑PHP貌似更是无解,我今天早上安装之后,发现每次只启动一个php-cgi进程,只能同时处理一个php请求,也就是说,只能跑一条爬虫。。。 |
25
laoyuan OP 尽管网上有很多Win系统装 Nginx + PHP 的教程,但装完之后实际上都是单php-cgi进程处理php请求,完全没有并发。。。如果只是简单的启动多个php-cgi进程,反正我测试无效,还是单进程。。。
|
26
shiny 2013-03-14 14:13:49 +08:00
@laoyuan 以前做过nginx+php在windows下的集成环境,最严重的问题是:如果你按住F5,php进程就有可能退出,需要启用额外的监控进程,例如 xxfpm。
另外也在服务器环境下跑过windows+apache,常常有奇奇怪怪的问题。最好还是Linux下跑,如果非要windows,用IIS也不错(推荐服务器版操作系统)。 |
27
laoyuan OP 好吧,虚拟机ubuntu,晚上就装!!
|
29
sohoer 2013-03-14 20:54:28 +08:00
|
30
zyAndroid 2013-03-14 21:02:28 +08:00
你们都用爬虫爬什么?
|
31
perrywky 2013-03-14 22:36:07 +08:00
爬虫和apache有什么关系?爬自己?
|
32
laoyuan OP @zyAndroid 爬京东亚马逊的价格,因为我是做比价站的。。。
http://www.jiabibi.com/ @perrywky 因为我只会简单的PHP,所以我同时启动多个php实现伪多线程,另外写了一个页面在浏览器打开对这些php进行启动、停止、监测等等。。。用web进行管理感觉就是高级~~ |
33
thbourlove 2013-03-15 08:56:23 +08:00
@laoyuan 搞半天我总算明白你为啥要开APACHE了。。就是为了用web进行管理感觉“高级”一点。。。
|
34
likuku 2013-03-15 12:05:20 +08:00
树莓派+1
|
35
mozutaba 2013-03-15 13:08:25 +08:00
我想知道采集来干什么。
我打算爬种子。 |