ipad 最好，系统不容易出问题，就一个 Home 键，学习起来容易。

我会跟她商量一下，让她滚回家去别烦我，我会告诉老板她表现很好，然后她的薪水分我一半就行了。

所以你已经成功的利用 python 提交了这个主题？

同意楼上建议，其实我这么说是因为我试过在公司局域网内搞 ARP 欺骗然后发现没成功，但在我自己路由后反而没问题。

你标题问“我是不是很小气”

有人回答说是

然后你就说别人站着说话不腰疼

结论与建议：
1.你还是改个标题吧，例如改成“我就是不小气，谁说我小气谁就站着不腰疼，谁告诉我是在问你们了”

2.你就是小气

d,
按红蓝各自的移动规律来看的

你上班两年：
1.又不是不发工资给你，就算工资少福利也不会差
2.只要你个人努力，国企也不会影响你个人的发展

何况还有户口。。

python 如果性能和 java 一样， java 早死了

看来我坚持 itunes 买正版是有远见的

@raawaa 那他现在还放大了页面数了，我最开始抓的时候只有 48 页，抓完后我就觉得数据不对，调到 48 也一看是两个月前的数据，这网站都这么久了。
其实我觉得 javbus 也是抓的 dmm ，然后让网友自己提交磁链形成的，否则我抓取来的 8 万多条数据，这要人工编辑得花多大功夫， 3 万多个女优的名字能全知道的就不可能是人类。

@raawaa 你从 page/1 这样开始抓的话，最终只能抓到不到 50 页，这是 wordpress 分页插件造成的，我是从演员表那里开始抓的，女优数都有 3 万多。

其实我前两天写了个 scrapy 爬虫，把 javbus 上的所有 AV 信息都抓完了，一共 8 万多部。

@nasta 只是个吐槽 PPT ：
https://docs.google.com/presentation/d/1LO_WI3N-3p2Wp9PDWyv5B6EGFZ8XTOTNJ7Hd40WOUHo/mobilepresent?pli=1#slide=id.g70b0035b2_3_9

严格来讲，不应该是这个字，而是：胙，念 zha 是方言发音。

如果是个国际化的公司，当然最好别用 cn

在 setting.py 里面，可以把单 IP 或者单 domain 的 concurrent 线程数改成 16 或者更高，我这两天发现 16 线程对一般的网站来说根本没问题，而且 scrapy 自己的调度和重试系统可以保证每个页面都成功抓取。
至于分布式，前提还是被抓的服务器可以接受，在这个前提下，我有个比较笨的方法：
假定页面数是已知的，而且主页面的 url 是有规律的，例如 wordpress 的很多就是 domain.com/page/2000 这样的，同样的工程开 100 个进程，每个进程的 starturl 分别是 page/1 ， page/21,page/41 这样的，然后自己实现一个 stopurl ，让这 100 个进程均摊 2000 个页面。一方面速度快(假定没有物理瓶颈)，另一方面这 100 个进程相互独立，就算哪个进程挂掉，重跑的风险也被分摊了。

看过另一篇文章，说的是为什么 youtube 的广告允许 5 秒后跳过，原因就是广告主并不想费力去讨好这些高难度的目标人群，跳过的广告是不用或者付更少广告费的，广告主高兴还来不及。

adblock plus 存在这么久了，你看看 google 的主要营收是什么