V2EX › kmz 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2018-07-19 11:48:20 +08:00

回复了 zyl6696 创建的主题 › 酷工作 › [广州] Sunday Morning 校招，薪酬高于一线互联网公司

Sunday Morning 这名字是因为喜欢地下丝绒么……

2018-07-17 10:11:09 +08:00

回复了 soaringnova 创建的主题 › 酷工作 › 杭州昇星招聘 Python 开发工程师~期待你的加入（薪资 12-15k，不限工作经验）

请问还在招人嘛？

2018-07-06 18:41:40 +08:00

回复了 appleaa 创建的主题 › Python › scrapy 抓取信息， time.sleep()问题

找到了比较靠谱的答案 https://stackoverflow.com/questions/36984696/scrapy-non-blocking-pause

2018-06-26 11:01:39 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@xiaozizayang 学习了！～

2018-06-22 17:02:46 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

改了几个比较大的 bug，，，代码现在比发这个文章的时候靠谱得多了，，，（扶额

2018-06-20 21:13:09 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@kingname 好的亲

2018-06-20 20:31:16 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@songjiaxin2008 还好，，，基本上没用到 asyncio，，，
和 twisted 结合才酸爽，写的过程碰到了 bug，twisted 一直阻塞，差点就放弃了……现在的解决方法还是曲线救国 = =

2018-06-20 20:25:57 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@glacer 嗯嗯，对速度有要求，肯定专业代理好一点，，，
我后面会多增加爬取源，提升检测门槛，尽可能提高代理质量，，，

2018-06-20 20:11:16 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@kingname
我这个服务抓下来代理之后，会基于你的本地网络进行检测
检测通过后才入库的，所以抓下来的基本都是可用的 = =

2018-06-20 20:05:10 +08:00

回复了 forgetTb 创建的主题 › Python › Tornado+scrapy(Twisted) 框架结合 0，支持 newrelic 服务器监控 1，异步非阻塞 2， realtime 实时响应(不经过任何数据库存储)

我初步完成了，，，https://www.v2ex.com/t/464495

2018-06-20 19:57:39 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@chroming 恩恩

2018-06-20 19:54:04 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@kingname
哈哈哈，我刚写了一个星期，支持一下嘛
你发的这个 commits 数量都是我这个的二十倍了……

2018-06-20 19:36:31 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@golmic 恩恩感谢～～

2018-06-20 19:26:17 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@golmic 我这个不只是爬虫，还是个 web 服务，爬取和更新都是完全自动的
谢谢你发这个，收藏了～

2018-06-20 19:25:04 +08:00

回复了 kmz 创建的主题 › 分享创造 › [开源] 基于 Tornado 和 Scrapy 的高性能代理池

@chroming 额，，，优势是我用过，，，我去了解一下你说的 sanic

2018-05-29 15:22:01 +08:00

请问楼主有没有新进展？我也想做类似的