V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  dsg001  ›  全部回复第 34 页 / 共 42 页
回复总数  826
1 ... 26  27  28  29  30  31  32  33  34  35 ... 42  
2017-05-29 15:48:25 +08:00
回复了 omg21 创建的主题 Python Python 除了 BS4,还有其他能精简 html 代码的库吗?
lxml,w3lib 这两个可以处理一部分,style 需要自己写处理器
2017-05-29 09:51:19 +08:00
回复了 dsg001 创建的主题 问与答 Python web 负载比 PHP 如何?
@izoabr
python 的 orm 性能损失大于 php orm 吗?

@laogui
@sagaxu
@popu111
@quericy
@shiny
看评测,php7 > py > php5.x,如果 flask 不行就考虑升 php7 试试
2017-05-28 17:56:05 +08:00
回复了 dsg001 创建的主题 问与答 Python web 负载比 PHP 如何?
@chenset
@zyEros
@TangMonk

数据库只是简单查询,主要是 php 负载高
python 负载更好才有动力去折腾,否则直接升级机器就好了
@sdwill dns 解析到海外服务器了,切换到运营商提供的 dns 试试
本地使用 dns 管理工具,一般碰到视频卡刷新下 dns 缓存就木事了
2017-05-25 11:32:53 +08:00
回复了 Andor_Chen 创建的主题 Python 送几本《流畅的 Python 》
搏一搏 分母变分子
2017-05-24 20:20:51 +08:00
回复了 colordog 创建的主题 PHP 接收对方主动 post 的数据怎么也接收不到
单步 打印 调试
2017-05-24 15:53:16 +08:00
回复了 xiaoyu9527 创建的主题 Python scrapy 的性能问题。
相同配置、目标站,出现这种问题应该不是 scrapy 的问题
服务器限速?
目标站对不同区域 IP 限速?
2017-05-22 16:11:57 +08:00
回复了 hellogbk 创建的主题 程序员 各个价位的眼罩都试过了,就没有一款不勒耳朵的
2017-05-21 21:24:50 +08:00
回复了 Andor_Chen 创建的主题 Python 送几本《流畅的 Python 》
分母+1
2017-05-21 18:38:39 +08:00
回复了 xiaoyu9527 创建的主题 Python scrapy 的速度真的很不给力呀?
```python
# Configure maximum concurrent requests performed by Scrapy (default: 16)
# CONCURRENT_REQUESTS = 32
```
可以修改配置,但采集的瓶颈从来都不是并发,如果图片下载建议采集网址,之后调用 wget 下载,速度更好
少上张大妈,只关注自己需要的,受到价格提醒再入手
2017-05-20 08:01:05 +08:00
回复了 Andor_Chen 创建的主题 Python 送几本《流畅的 Python 》
碰碰运气,万一中了呢
2017-05-19 18:25:27 +08:00
回复了 Jessss 创建的主题 Python 为什么 scrapy 爬虫没有一次性爬完 Rule 所需要的所有数据呢?
@Jessss 返回脏数据吗?只能加日志,一步步调试检查
2017-05-18 21:29:38 +08:00
回复了 tianxiacangshen 创建的主题 PHP 大家都怎么防采集的?哪一种性能最高?
会员限制,超过阀值则每次访问都需要验证码
2017-05-18 14:35:19 +08:00
回复了 Jessss 创建的主题 Python 为什么 scrapy 爬虫没有一次性爬完 Rule 所需要的所有数据呢?
深层的模板有变化导致规则抓取不到,检查下最终页的模板是否匹配规则
2017-05-17 20:55:16 +08:00
回复了 alexapollo 创建的主题 程序员 有什么 V 站同学们喜欢看的小说吗?
既然有神墓,《完美世界》《遮天》《圣墟》都可以吧,《黑山老妖》《龙蛇演义》都很不错
@tenngoxars 不像刷的,有可能是某人对你的网站感兴趣,在做 seo 分析,这种外链已经没用了,不用在意
2017-05-13 11:27:31 +08:00
回复了 dsg001 创建的主题 问与答 scrapy 批量运行爬虫,结束时莫名卡住
@panyanyany py3.5,版本的问题吗? 想了解到底是啥原因导致的,这些爬虫如果单独执行完全没有问题,而且强制 kill 进程会导致一些 spider_closed 无法执行
1 ... 26  27  28  29  30  31  32  33  34  35 ... 42  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1048 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 23:13 · PVG 07:13 · LAX 15:13 · JFK 18:13
Developed with CodeLauncher
♥ Do have faith in what you're doing.