V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  fiht  ›  全部回复第 32 页 / 共 42 页
回复总数  833
1 ... 28  29  30  31  32  33  34  35  36  37 ... 42  
2017-09-25 12:48:18 +08:00
回复了 Totato5749 创建的主题 macOS macOS High Sierra 即将发布,请已经更新的朋友提供些兼容信息
话说什么时候推送正式版?
2017-09-25 09:35:46 +08:00
回复了 funnyelev 创建的主题 求职 吐槽下今年的校招
技术岗路过....
阿里云内推走了两个月,一共面试了六轮,最后被告知没有 hc,内心很是想吐槽。和面试官聊得都挺嗨的,学校也不差。
唉 好气
2017-09-24 19:07:58 +08:00
回复了 douglas1997 创建的主题 问与答 啥机械键盘比较推荐?
除了青轴和黑轴,其他的随意(好像只有茶和红了)
个人比较喜欢红轴,青轴太吵,黑轴太累,红轴打字轻松一点
1k 预算的话上个 flico 还不是美滋滋
2017-09-24 16:13:12 +08:00
回复了 JuicyJ 创建的主题 分享发现 狗东京准达就是个摆设
精准达没到可以找客服要京豆补偿的......
2017-09-23 19:50:57 +08:00
回复了 linuxchild 创建的主题 Python 使用 Python 处理大文件有什么推荐的方式么?
换 pypy 可解(应该
必须要懂的语言是 javascript,会一点 python 最好~
一看就是去做反反爬虫的.....
2017-09-23 12:42:04 +08:00
回复了 cqxxxxxxx 创建的主题 美酒与美食 帮我爸卖点自家的山核桃,新货。站友有优惠
好奇奶油味怎么出来的+1
只买原味的核桃可以吗?
苹果爸爸终于能听到消费者的吐槽了哦呵呵
2017-09-21 23:27:54 +08:00
回复了 lzjun 创建的主题 Python 最后的 Python2 倒计时
当 pypy jython 对 Python3 支持了再往 3 转
不然死磕在 2 (反正个人项目
2017-09-21 21:14:59 +08:00
回复了 saximi 创建的主题 Python 请问有没有这样的爬虫代码范例
@saximi 你需要 fq
2017-09-21 11:06:10 +08:00
回复了 weakish 创建的主题 分享发现 发现把某些法律条款改写成伪代码更好理解
讲道理这个并不如示意图来得直观
2017-09-20 23:42:41 +08:00
回复了 zddewe 创建的主题 DNS DNS 污染相关问题
@disk 巧了老哥 你的头像是我以前手机壁纸
2017-09-20 23:40:21 +08:00
回复了 chnotaku 创建的主题 职场话题 我同事要走了,我感觉很兴奋,是不是有点过分了?
然后楼主把 Linux 内核重写了一遍
2017-09-20 22:40:57 +08:00
回复了 saximi 创建的主题 Python 请问有没有这样的爬虫代码范例
楼上让新手用 scrapy 实现随机 UA 和代理 IP 你们是认真的么...
2017-09-20 21:53:08 +08:00
回复了 saximi 创建的主题 Python 请问有没有这样的爬虫代码范例
https://gist.github.com/anonymous/4a7f7d2c1efbbaaa515f0031cea9c4b2
写了个简单的,本地环境有问题没直接跑但是大概写了一下思路。能够实现楼主的大部分需求了。
楼上上来就说框架的未免有点太新手不友好了。
其实爬虫就两件事情,模拟用户访问,grep 出想要的内容然后保存起来。
模拟用户访问无非就是发送一个 http request,或者通过浏览器发送 JS 加密过的 http reqeust。这个每个语言都有自己的 http client,应该也是都有自定义类似 User-Agent 头、设置代理 IP 这样的功能。所以第一步的解决方案是看对应语言的 API 的 http client 如何自定义发送内容:比如讲上面说的自定义 UA,如何 POST 数据,如何设置代理 etc...
第二部保存起来,你可以写文件,写数据库,或者写入其他的存储引擎。我们通过第一步就得到 html 代码了,grep 出来可以用正则表达式,或者基于 dom 树去选取。然后就更加不是问题了。

============
以上内容面对新手,同样适用于简单爬虫。
2017-09-19 21:34:32 +08:00
回复了 sensui7 创建的主题 Python 请问 Python 处理文本文件都要这样麻烦吗
大家辛苦一天了
想来论坛吹吹牛逼
然后看到楼主这么脏 /乱 /差(初级)的代码
还把锅甩给蟒蛇
就很生气

-------------
发现一个人
用着和我们一样的小轿车
却要推着走
一边推还要
这小轿车开起来真麻烦
1 ... 28  29  30  31  32  33  34  35  36  37 ... 42  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   921 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 45ms · UTC 22:17 · PVG 06:17 · LAX 14:17 · JFK 17:17
Developed with CodeLauncher
♥ Do have faith in what you're doing.