推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2306 天前的主题，其中的信息可能已经有所发展或是发生改变。
用 pycharm 爬取网页显示不全，用 fiddler 抓包看来是全的，再用 python 自来的 ide 也是全是这是用问题，都是 requests 抓
 |
1
ranleng 2018-07-16 18:34:12 +08:00  1
"也是全是这是用问题"... <-- 真的懂不了
pycharm 和 爬出来的全不全应该没有关系... 就一个 IDE... |
 |
2
herozhang 2018-07-16 18:34:13 +08:00
可能网页有一部分是 js 动态加载或者生成的。
你走浏览器抓，自然浏览器就执行了这些 js。 而 requests 抓，这部分就没执行，自然就木有了。 可以了解一下 selenium 这个库 |
|
3
herozhang 2018-07-16 18:35:21 +08:00
Selenium + PhantomJS
|
 |
4
Leigg 2018-07-16 18:39:46 +08:00 via iPhone
怪 ide，过分了兄 dei
|
 |
5
pabupa 2018-07-16 18:49:47 +08:00 via Android
厉害了～
|
 |
6
jimmy2010 2018-07-16 20:03:52 +08:00 via Android
根据你的描述我得出一个结论，既然都是 requests 出问题，那应该怪 requests，而不是 pycharm
|
 |
7
PureWhite 2018-07-16 20:04:51 +08:00
可能是 python 出的问题，更可能是写 Python 用的 C 出的问题。
|
 |
8
anyele 2018-07-16 20:31:46 +08:00 via Android
厉害了
|
 |
9
jrtzxh020 2018-07-17 08:35:31 +08:00
pycharm 躺着也能中枪..
|
 |
10
lieh222 2018-07-17 09:33:06 +08:00
我猜是宇宙射线干扰了内存，导致丢失了这部分数据
|
 |
11
zhuangzhuang1988 2018-07-17 09:46:57 +08:00
咋能怪 ide 呢， 怪操作系统。
|
Select Language