推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2412 天前的主题，其中的信息可能已经有所发展或是发生改变。
1.不是知网、万方；
2.在 tb 上买了一个集成平台的账号，号称几百个数据库论文都可以搜索到，登陆后可以选择你要跳转的数据库，然后这个数据库你就可以任意搜索下载了。想知道这种跳转技术是如何实现的，人家数据库那边不会检测到你是违法账号吗？如果要抓该数据库，直接传个 cookie 就行了？
ps：招爬虫工程师，联系 [email protected]
2.在 tb 上买了一个集成平台的账号，号称几百个数据库论文都可以搜索到，登陆后可以选择你要跳转的数据库，然后这个数据库你就可以任意搜索下载了。想知道这种跳转技术是如何实现的，人家数据库那边不会检测到你是违法账号吗？如果要抓该数据库，直接传个 cookie 就行了？
ps：招爬虫工程师，联系 [email protected]
15 条回复 • 2018-05-16 22:16:03 +08:00
 |
1
zynlp 2018-05-16 10:10:16 +08:00 via iPhone
这是在面试吗？
|
 |
2
ProkillerJ 2018-05-16 10:15:49 +08:00 via iPhone
sci-hub 了解一下
https://zhuanlan.zhihu.com/p/2760916 |
 |
3
htfy96 2018-05-16 10:20:53 +08:00 via Android
2 的话，一般是买了这些数据库的某个学校的校外代理账号泄露了，你连集成平台，集成平台把你的请求通过校外代理发出去。分析过之前买的某家就是利用了兰州大学的校外代理
|
 |
5
okface OP @ProkillerJ 地址打不开。。。被知乎删掉了吧
|
 |
6
omph 2018-05-16 10:45:25 +08:00
偷的合法帐号，就这样
|
 |
7
PythonAnswer 2018-05-16 11:02:24 +08:00 via iPhone
小哥就是被捉然后自戕的 注意法律风险
|
 |
8
yu099 2018-05-16 11:05:50 +08:00 via Android
这个下载一多比如一下子几小时上百篇，直接整个学校论文下载都停掉了。
学校被这样子搞过 |
|
9
ProkillerJ 2018-05-16 11:39:08 +08:00 via iPhone
|
 |
10
seven2016 2018-05-16 11:43:27 +08:00
跟 vip 视频解析一个原理呀，肯定是有合法的账户能够看到每个数据库的内容，才能抓下来。然后根据用户的需求构造参数用户合法账户去拿数据返回给用户。
|
 |
11
Leigg 2018-05-16 12:26:07 +08:00 via Android
你都没试过，就来问，人家说的是给你搜索，不是给你爬，一个是人，一个是程序
|
 |
12
ioth 2018-05-16 12:30:15 +08:00
兼职
|
 |
13
alvin666 2018-05-16 13:02:38 +08:00 via Android
正规数据库是肯定有反爬机制的，我们学校买的数据库之前就因为下载量太大被封了一些 ip，要是不正规的数据库，谁知道里面的论文哪来的
|
 |
14
xmoiduts 2018-05-16 13:12:35 +08:00 via Android
触发反爬，直接上门。学校有过翻车经历，题主慎重。
当年那几个老哥好像下了 7w 篇。 |
 |
15
googlefans 2018-05-16 22:16:03 +08:00 via iPad
肯定会被封
|
Select Language