推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
人生的第一个 5k-star 项目诞生，感谢 V2EX 上所有的人，为此我要贡献一篇爬虫从入门到熟练的教程
CriseLYJ · 2019-03-30 08:50:13 +08:00 · 12101 次点击这是一个创建于 2097 天前的主题，其中的信息可能已经有所发展或是发生改变。
人生的第一个 5k-star 项目诞生，感谢 V2EX 上所有的人，为此我要贡献一篇爬虫从入门到熟练的教程
[5kstar 项目地址]https://github.com/CriseLYJ/awesome-python-login-model()
真心感谢 V2EX 上的所有的人，但是就想总结一下发几个小脚本，然后突然有很多人支持我，真的很感谢，如果没你们的支持，可能这个项目就不会一直走下来。所以我还是感谢！谢谢谢
-
为了不辜负你们的支持，前段时间决定了写一套系统的爬虫教程，用来感谢这里的所有人，当然也有其他支持我的人！
-
教程包括：js 逆向，xpath，bs4,正则,selenium, tesseract OCR 识别,mongodb 的使用，以及 scrapy 框架
-
囊括搜有知识：如果你能吸收完，那么你可以爬取市面上 90%的网站，绝对没吹牛！
-
在学习之前请务必掌握一些蟒蛇基础知识，之后我们就可以开始了！
-
项目预估时间 20 天左右，平均两天更新一章内容，敬请期待........
-
项目是免费的，所以你们要是喜欢可以给个 star,或者在 ISSUES 中留言都可以
最后放项目地址点击此处跳转至 github
 |
1
CriseLYJ OP 第一个链接多了个括号，访问的时候记得删除掉。。。。失误各位
|
 |
2
Bigglesworth 2019-03-30 08:52:18 +08:00 via Android
支持一下。
|
|
3
CriseLYJ OP @Bigglesworth 多谢了，内容很丰富！
|
 |
7
guog 2019-03-30 08:59:39 +08:00 via Android
[地址别名](链接)
|
 |
8
Foreverdxa 2019-03-30 08:59:45 +08:00
这些网站真是太棒了，新手来学习很舒服
|
 |
9
barrelsoil 2019-03-30 09:01:14 +08:00
看了下第一篇，很详细~
|
 |
11
teslayun 2019-03-30 09:05:03 +08:00
赞
|
 |
12
luboyan 2019-03-30 09:05:17 +08:00 via Android
支持下大佬
|
|
13
CriseLYJ OP @Foreverdxa 感谢
|
|
14
CriseLYJ OP @barrelsoil 嘿嘿
|
 |
16
sinver 2019-03-30 09:07:22 +08:00
@CriseLYJ 如果可以，教程建议变更为视频版放到 B 站 [单个文件 2G 内保持原画不压缩] 。文字版读起来有些枯燥且内容多了之后会变更成手册，视频版可提高转播属性，给你带来更多 Star :D
|
 |
19
tumbzzc 2019-03-30 09:18:01 +08:00 via Android  1
果然都喜欢聚合型的东西，即使都是一开始楼主拿来都是网上收集来的旧老代码
|
|
20
CriseLYJ OP 强烈建议，http 一定要好好看！因为很有用！
|
 |
21
BCy66drFCvk1Ou87 2019-03-30 09:23:13 +08:00 1
支持 虽然我不写 python ……
|
 |
23
capre 2019-03-30 09:32:07 +08:00
加油楼主，以前用过一次 selenium 不太深入，期待楼主写的这个
|
 |
25
miv 2019-03-30 09:34:38 +08:00
像这种开源无私的我强烈支持，自己也虽然不是专业搞爬虫的，不过这东西很有价值。另外，也想学习 selenium，所以就期待楼主的教程了！已经 start ！！支持！！
|
 |
26
xiongxiaoyang 2019-03-30 09:37:36 +08:00
感谢
|
 |
27
694169224 2019-03-30 09:42:06 +08:00
加油楼主
|
 |
28
Ehco1996 2019-03-30 09:42:08 +08:00
我前几年写爬虫也搞了一个类似的 repo https://github.com/Ehco1996/Python-crawler
|
 |
29
zhuzhibin 2019-03-30 09:43:56 +08:00 via iPhone
404 page
|
 |
33
anyuhanfei 2019-03-30 09:45:24 +08:00
支持支持
|
 |
34
adrianyoung 2019-03-30 09:45:34 +08:00
支持一下，自己也写爬虫，借楼主宝地打个广告 [爬虫监控 demo]( https://github.com/adrianyoung/CrawlerMonitor)
|
 |
36
wangchonglie 2019-03-30 09:51:30 +08:00
已 star
|
 |
37
VictorFrank1 2019-03-30 10:24:23 +08:00
火钳
|
 |
38
spidermansam 2019-03-30 10:43:48 +08:00
已 star，加油
|
 |
39
yasumoto 2019-03-30 10:46:52 +08:00
支持一下 已 star
|
|
40
CriseLYJ OP 谢谢各位的支持
|
 |
41
madtwilight 2019-03-30 11:02:46 +08:00 via Android
支持
|
 |
42
lpdy4 2019-03-30 11:10:26 +08:00 via iPhone
感谢。已收藏
|
|
44
CriseLYJ OP @madtwilight 谢谢
|
 |
45
XiaolinLeo 2019-03-30 11:50:52 +08:00 via iPhone
支持支持
|
|
46
CriseLYJ OP @XiaolinLeo 感谢感谢
|
 |
47
zz25 2019-03-30 12:23:42 +08:00
萌新感觉不错，先 Star，说不准以后会学到
|
 |
48
aoe2ex 2019-03-30 12:33:24 +08:00
star 为敬
|
 |
49
godgc 2019-03-30 12:43:56 +08:00
学习学习~~
|
 |
50
luckyswag 2019-03-30 12:50:03 +08:00
学习
|
|
51
CriseLYJ OP 多谢支持🙏
|
 |
52
Sivan2017 2019-03-30 13:38:34 +08:00
支持
|
 |
53
kuyuzhiqi 2019-03-30 13:48:55 +08:00
404 代表 5k star 的项目不存在
|
 |
54
nznd 2019-03-30 14:07:16 +08:00
哇 老哥要是有投稿 b 站的计划的话 我可以帮忙做一些吗 录制 后期 剪辑 字幕 啥的 都会一点
|
 |
55
supersadmin 2019-03-30 14:16:59 +08:00 via iPhone
已用
|
 |
56
way2create 2019-03-30 14:22:32 +08:00
支持 虽然不是搞这个的
|
 |
60
kodSen 2019-03-30 14:39:19 +08:00 via iPhone
开源很棒，多谢，学习一下
|
 |
62
Majeriot 2019-03-30 14:56:23 +08:00
支持支持
|
 |
64
baicai0817 2019-03-30 15:20:15 +08:00 via iPhone
支持
|
 |
65
rosu 2019-03-30 15:26:23 +08:00 via Android
先 watch，等楼主更新了再 star （滑稽
|
 |
66
hfutzj 2019-03-30 15:29:20 +08:00 via Android
支持一下
|
 |
67
chungzhao 2019-03-30 16:03:01 +08:00
支持！
|
|
68
CriseLYJ OP 谢了各位，希望对你们有帮助
|
 |
69
meteor957 2019-03-30 16:25:01 +08:00
已 start
|
 |
70
JeongReich 2019-03-30 16:45:35 +08:00 via Android
已收藏 最近在学。
|
|
71
CriseLYJ OP 今天应该可以更新
|
 |
72
mythace 2019-03-30 17:22:54 +08:00
请问下你的项目都是 python 3 写的吗？怎么 instal 老是失败
|
 |
74
Exia 2019-03-30 17:52:04 +08:00
不错，帖主试试花瓣
|
 |
75
ronman 2019-03-30 17:54:09 +08:00 via Android
很好，两个项目都 star 了，平时虽然也在用爬虫，但是都是小打小闹，正需要一个系统的知识，辛苦楼主了。
|
|
76
Exia 2019-03-30 17:55:16 +08:00
教程很赞，果断 star
|
|
77
ronman 2019-03-30 18:00:00 +08:00 via Android
对了多问一句，完成更新后会考虑以 git book 的形式整合吗？这样更加方便查阅
|
|
82
CriseLYJ OP @0x000007 不喜欢我也没办法，毕竟我不能满足所有人，这里我想请问一下，你能帮我定义一下爬虫吗？？能帮我定义一下 http 吗？？钢精。。。。。
|
 |
83
Meli55a 2019-03-30 20:20:14 +08:00
淘宝的不知道失效没，先 star + 1 再说
|
|
84
CriseLYJ OP 我就不过多解释了行吧，你们开心就好
|
 |
85
xyb12138 2019-03-30 20:35:00 +08:00
支持，想系统的学习一下爬虫知识，已 star~
|
|
87
CriseLYJ OP @0x000007 那不好意思，兄弟，行吧！我误解你了，等我写完所有东西，我新开一个帖子，你们再来发表观点好不好？现在就只是个预备知识！
|
 |
88
chen11 2019-03-30 21:21:52 +08:00
支持一波，感谢
|
 |
89
jarry118 2019-03-30 21:26:24 +08:00
感谢大佬
|
 |
90
xxx78797084 2019-03-30 22:06:38 +08:00
支持大佬
|
 |
91
EyreFree 2019-03-30 22:10:34 +08:00
膜
|
 |
92
cnzzz 2019-03-30 22:50:06 +08:00
多谢教程，很详细很多干货，支持大佬
|
 |
93
shuangyeying 2019-03-30 23:40:58 +08:00
用 Java 写过 selenium，确实非常方便。
|
 |
94
persimmon 2019-03-31 00:08:03 +08:00 1
That's why we cannot have nice things in China now.
|
 |
95
belin520 2019-03-31 14:53:33 +08:00 via iPhone 1
不是说 5k 吗？怎么才 660 个 star
|
 |
96
chpiter 2019-04-01 17:10:20 +08:00
加油
|
 |
97
asus10tu 2019-04-02 17:12:45 +08:00
非常感谢大佬！
|
 |
98
wdcrgb 2019-04-03 18:50:44 +08:00
学习了
|
 |
99
iorilu 2019-04-13 23:12:02 +08:00
厉害了, 爬虫高手啊, 收藏学习了
|
 |
100
liwenbest 2019-05-01 14:07:37 +08:00
期待更快地更新哈 谢谢分享
|
Select Language