爬虫亚马逊 20 万 200-100 图书，豆瓣 7.5 分以上的图书列表

[donglingyongadls]

做的不够细，可能会有同名书不同作者的情况，需要购买的同学可以再确认一下

IT 类

玩法变了:淘宝卖家运赢弱品牌时代 : 8.1
清华电脑学堂:SPSS 数据统计与分析标准教程(附光盘) : 8.8
模式:工程化实现及扩展(设计模式 C#版) : 8.6
移动社交时代的互动搜索营销 : 8.2
听故事,学 PPT 设计 : 8.1
1024:人与机器共同进化 : 8.1
SPSS 统计分析大全(附光盘) : 8.8
C++入门经典(第 9 版) : 9.4
Linux 典藏大系:Linux 系统移植(第 2 版) : 8.2
JavaScript 语言精髓与编程实践(第 2 版) : 8.7
PHP 开发实战 : 8.4
C 语言入门经典(第 5 版) : 8.7
x86 汇编语言:从实模式到保护模式 : 8.9
《生活》杂志数码摄影教程 : 8.6
收获,不止 Oracle : 9.0
C++高级编程(第 3 版) : 9.3
Linux 典藏大系:Linux 网络编程(第 2 版) : 8.3
小米的方法(互联网+时代的样本解读) : 8.1
Java 入门 123:一个老鸟的 Java 学习心得(二维码版)(附课程学习卡) : 8.5
模式:工程化实现及扩展(设计模式 Java 版) : 8.6
PHP+MySQL 网站开发全程实例 : 8.4
将摄影还给大众:1 分钟秘技 : 8.1
服务建模:原理与应用 : 8.1
C 语言其实很简单 : 8.4
IBM SPSS 数据分析与挖掘实战案例精粹(附光盘) : 9.2
互联网+:中国步入互联网红利时代 : 8.1
Visual C++\CLI 从入门到精通 : 8.2
精通 Excel 2013 表格制作与数据分析 : 9.2
妙趣横生的算法(C 语言实现)(第 2 版) : 9.4
反欺骗的艺术:世界传奇黑客的经历分享 : 8.0
Java 核心技术(卷 1):基础知识(第 8 版)(评注版) : 8.5
Linux 典藏大系:Linux 命令、编辑器与 Shell 编程(附光盘) : 8.0
经管研究方法系列译丛:SPSS 与研究方法(第 2 版) : 8.9
HTML 、 XHTML 、 CSS 与 JavaScript 入门经典 : 8.1
jQuery 从零开始学 : 8.2
互联网哲学:互联网+时代的人类智慧 : 8.1
Clojure 编程 : 8.6
撬动地球的力量:大数据时代的网络新媒体资源 : 9.2
ERP 原理设计实施(第 3 版) : 8.6
网页设计与制作(HTML+CSS)(附光盘) : 8.8
联盟：互联网时代的人才变革 : 8.1
Linux 入门很简单 : 8.5
学习 OpenCV(中文版) : 8.3
你早该这么玩 Excel2 : 8.2
支付战争:互联网金融创世纪 : 8.3
程序员面试宝典(第 3 版) : 9.3
Swift 编程入门经典 : 8.8
将摄影还给大众:7 天摄影入门 : 8.1
互联网金融+ : 8.6
PHP+MySQL 开发实战(附光盘) : 8.4
撬动地球的力量:大数据时代的网络新媒体资源 : 9.2
大话设计模式 : 8.3
多变量分析:统计软件与数据分析 : 8.9
LaTeX2e 完全学习手册(第 2 版)(附光盘) : 8.3
Android 传感器高级编程 : 8.6
云计算(第三版) : 8.2
敏捷软件开发(原则模式与实践) : 9.1
汇编语言的编程艺术(第 2 版) : 8.7
MATLAB 数学建模经典案例实战 : 8.0
形式感+:网页视觉设计创意拓展与快速表现 : 8.4
Linux Shell 命令行及脚本编程实例详解 : 8.6
XML 入门经典(第 5 版) : 9.1
面向对象分析与设计(第 3 版) : 8.6
理解数码摄影:大师杰作的拍摄技巧 : 8.1
海量数据库解决方案 : 8.7
算法设计与分析基础(第 3 版) : 8.6
与机器赛跑 : 8.2
软件方法(上册):业务建模和需求 : 9.2
大话数据结构 : 8.0
技术元素 : 8.1
C 语言入门 1.2.3:一个老鸟的 C 语言学习心得(附光盘) : 8.5
人月神话(40 周年中文纪念版) : 8.0

社科类

南华录:晚明南方士人生活史 : 8.7
崖边报告:乡土中国的裂变记录 : 8.2
失控:全人类的最终命运和结局 : 8.8
王阳明大传:知行合一的心学智慧(套装共 2 册) : 8.4
乌合之众:群体心理研究 : 8.4
最好的告别:关于衰老与死亡，你必须知道的常识 : 9.2
鸟儿歌唱:二十世纪猛回头 : 8.1
中国古代文化史(插图本)(套装上下册) : 8.6
影响力(珍藏版) : 8.6
社会性动物(第 9 版) : 9.1
语言本能:人类语言进化的奥秘 : 8.9
一日江户人 : 8.4
大学译丛:社会学与人类学 : 8.4
白鱼解字(排印本) : 9.2
名师大讲堂:北大中文系第一课 : 8.8
钱文忠解读《弟子规》 : 8.0
地球上最伟大的表演:进化的证据 : 8.7
IBM SPSS 数据分析与挖掘实战案例精粹(附光盘) : 9.2
多变量分析:统计软件与数据分析 : 8.9
语言兴衰论 : 9.0
翻转人生的教育:来自阿拉斯加的奇迹 : 8.4
汉语的词库与词法 : 9.0
中国古代文化史讲座(第 2 版) : 9.1
陈独秀著作选编 : 8.7
经管研究方法系列译丛:SPSS 与研究方法(第 2 版) : 8.9
民主与领袖 : 9.1
信息批判 : 8.0
意大利文艺复兴时期的文化(英文版) : 8.6
弗朗茨•舒伯特及其时代 : 8.5
沉默的螺旋·舆论:我们的社会皮肤(翻译版) : 8.2
与社会学同游:人文主义的视角 : 8.9
潘光旦文集 10 : 9.1
制造共识:大众传媒的政治经济学 : 8.1
世界文明史(上下) : 8.0
潘光旦文集 13 : 9.1
个人自由与社会进步 : 8.3
天禄琳琅研究 : 8.6
语言学的邀请 : 8.2
美国民生实录 : 8.1
新闻的历史(第三版) : 9.1
大癫狂:非同寻常的大众幻想与群众性癫狂 : 8.0
经典常谈 : 8.4
高效能教师的时间管理法 : 8.0
西方的智慧 : 8.4
精细集 : 8.1
菊与刀:日本文化模式论 : 8.2
黄河边的中国(增补本)(套装共 2 册) : 9.0
日常生活实践 1:实践的艺术 : 8.0
资本主义、社会主义和民主 : 8.5
古典重温:徐梵澄随笔 : 8.9
乡土中国生育制度 : 9.2
吴敬琏传:一个中国经济学家的肖像 : 8.1
美国种族简史 : 8.4
中国居民膳食指南 : 8.7
容忍与自由 : 9.0
中国人的文明与陋习 : 8.8
潘光旦文集 10 : 9.1
潘光旦文集(第 4 卷) : 9.1
大明王朝的七张面孔:朱元璋(增订版) : 8.2
中国人的教育 : 8.0
中国游民文化小史 : 8.5
中国红:十二生肖(汉英对照) : 8.5
理解社会 : 8.4
语言学的邀请 : 8.2
1368-1840 中国饮食生活:日常生活的饮食 : 8.0
美国知识分子(影响美国社会发展的思想家) : 9.1
中世纪的衰落 : 8.2
SPSS 统计分析大全(附光盘) : 8.8
伊隆戈人的猎头:一项社会与历史的研究(1883-1974) : 8.0
现代主义:一部文化史 : 9.0
中国人的一天:变与不变的中国人 : 8.8
科学语言 : 8.7
美国精神—美国历史文献中的励志精品 : 8.0
民国采访战:《纽约时报》驻华首席记者阿班回忆录 : 8.1
教育心理学:课堂之窗(第 6 版) : 8.2
知识论 : 8.4
北平的大学教育与文学生产:1928 — 1937 : 8.0
现代汉语研究导引 : 8.1
童年的秘密 : 8.3
吾国与吾民 : 8.9
中国文化史 : 8.6
寻求哲人石:炼金术文化史 : 8.2
潘光旦文集 1 : 9.1
文雅的疯狂 : 8.3
大学的邀请:社会学的邀请 : 8.2
小村故事:地志与家园(2003 — 2009) : 8.4
照管图书:论图书馆及其设备的发展 : 8.0
犹太文化史(第 2 版) : 9.1
自然地理学 : 8.1
中国现当代文学研究导引 : 8.0
可以触摸的民国:现实政治 : 8.6
训诂方法论 : 9.7
老猫学出版(修订版) : 8.5
清末民初北京舆论环境与新文化的登场 : 8.0
罗马皇帝尼禄 : 8.0
公共关系学(第 3 版) : 8.6
大明王朝的七张面孔:朱元璋(增订版) : 8.2
教育是怎样变得危险起来的 : 8.4
幼儿园那些事儿(升级版) : 9.1
中国社会文化史读本 : 8.4
大明王朝的七张面孔:朱元璋(增订版) : 8.2
后社会史初探 : 8.5
中国社会文化史读本 : 8.4
潘光旦文集(第 3 卷) : 9.1
历史的经验:从大历史角度解读中国人的人性与信仰 : 8.1
中国文化史(上部) : 8.7
在唐诗里孤独漫步 : 8.4
培根随笔 : 8.1
不列颠人:传说和历史 : 8.1
我们的文字 : 8.7
东方文化八题 : 8.1
王佐良随笔:心智文采 : 8.4
北大高等教育文库·大学之道丛书:哈佛,谁说了算 : 8.3
宗教社会学的邀请 : 8.2
古典时期的图书世界 : 8.1
"边境"之南:拉丁美洲文学汉译与中国当代文学(1949-1999) : 8.9
晚唐钟声:中国文学的原型批评(修订本) : 8.8
日本文化的历史 : 8.0
大学译丛:传播政治经济学 : 8.0
刘师培辛亥前文选 : 8.9
大夏书系·给教师的阅读建议 : 9.0
乌合之众:大众心理研究 : 8.4
潘光旦文集(第 2 卷) : 9.1
容忍与自由:胡适演讲集 2 : 8.7
发现社会(第 7 版)(删节版) : 8.8
阅读日本书系:日本文化的构造 : 8.2
全球化与文化政治:90 年代中国与 20 世纪的终结 : 8.5
活着·见证 : 8.5
中国历史(上) : 8.9
智造展览-博物馆馆长讲博物馆 2 : 8.6
出梁庄记 : 8.5
中国红:中国姓氏(汉英对照) : 8.5
乡土中国 : 9.2
名家通识讲座书系:文化哲学十五讲(第 2 版) : 8.0
中国的乡村生活 : 8.0
不列颠人:传说和历史 : 8.1
中国人的人格 : 8.7
胡适作品系列:怀人集 : 8.9
中国文学研究现代化进程 : 8.0
一日江户人 : 8.4
高效能教师的时间管理法 : 8.0
古代汉语（上下册） : 8.4
墙垣边的人类:从建筑艺术看人类文明 : 8.0
元曲鉴赏辞典 : 9.1
我们为什么会犯错? : 8.2
帕森斯学术思想评传 : 8.2
符号学丛书:符号与意义 : 9.3
潘光旦文集(第 2 卷) : 9.1
文化批评往何处去:80 年代末后的中国文化讨论 : 8.7
古代汉语（上下册） : 8.4
逻辑•语法•修辞(第 2 版) : 8.3
医疗、社会与文化读本 : 8.3
北大中文系第一课(第二版) : 8.8
潘光旦文集(第 3 卷) : 9.1
中国人的境界 : 8.0
新教伦理与资本主义精神 : 8.8
社会变迁(第 5 版) : 8.8
古文观止译注(修订本) : 9.0
理解早期文明:比较研究 : 8.8
语言学中的逻辑 : 8.1
"新启蒙"知识档案:80 年代中国文化研究 : 8.3
房龙地理 : 8.2
介绍丛书:分形学 : 8.7
唐代科举制度研究 : 8.6
社会变革中的民事诉讼(增订版) : 8.1
老盖仙谈民俗 : 8.1
文化记忆:早期高级文化中的文字、回忆和政治身份 : 8.2
喧嚣的新村:遗产运动与村落政治 : 9.1
人情、面子与权力的再生产(第二版) : 8.9
碧山 07:民艺复兴(续) : 8.3
圣贤与圣徒 : 8.2
意大利文艺复兴时期的文化(英文版) : 8.6
人论二十五种 : 8.1
人是如何学习的:大脑、心理、经验及学校(扩展版) : 8.0
考古器物绘图 : 8.2
名家通识讲座书系:中国传统文化 15 讲 : 8.0
美国大学时代的学术自由 : 8.7
经典常谈 : 8.4
作为变革动因的印刷机:早期近代欧洲的传播与文化变革 : 8.7
中国妇女史读本 : 8.2
批评官员的尺度:《纽约时报》诉警察局长沙利文案 : 8.9
日常生活中的自我呈现 : 8.5
服装造型学技术篇 3(礼服篇日本文化女子大学服装讲座) : 8.2
潘光旦文集 1 : 9.1
众神的星空 : 8.7
中国古代文学研究导引 : 9.1
辞源(重修排订册版本)(套装全 2 册) : 8.4
国语辞典(影印本) : 9.2
思想者十八题 : 8.7
潘光旦文集(第 9 卷) : 9.1
汉语非线性音系学:汉语的音系格局与单字音(增订版) : 8.2
最伟大的书(藏书之爱) : 8.6
档案中的虚构:16 世纪法国的赦罪故事及故事的讲述者 : 8.0
北京的社会调查(套装上下册) : 8.3
1024:人与机器共同进化 : 8.1
唐诗学引论 : 8.2
古代汉语知识教程 : 8.0
LaTeX2e 完全学习手册(第 2 版)(附光盘) : 8.3
中华文明史(第 4 卷) : 8.1
英国文化与工业精神的衰落:1850-1980 : 8.2
南周特稿 : 8.1
中国在梁庄 : 8.1
北京:城与人 : 8.2
学生管理的心理学智慧 : 8.5
国语辞典(影印本) : 9.2
宋朝的那些科学家 : 8.2
碧山 07:民艺复兴(续) : 8.3
古今东西之间:何芳川讲中外文化 : 8.4
人文科学与现代性 : 9.0
文化理论与大众文化导论(第 5 版) : 8.9
潘光旦文集(第 9 卷) : 9.1
话 /镜:世界因语言而不同 : 8.6
博物馆馆长讲博物馆:石窟、丹青、吉金,文化传承与家国命运 : 8.6
大国与小民:外国人眼中的中国范儿 : 8.1
中华文明史(第 4 卷) : 8.1
古典重温:徐梵澄随笔 : 8.9
日本文化中的时间与空间 : 8.1
英国文化与工业精神的衰落:1850-1980 : 8.2
中国西南古纳西王国(译校本)(精) : 8.5
清季的革命团体 : 8.2
蒙元入侵前夜的中国日常生活(插图本) : 8.0
躁动的百年:20 世纪的教育历程 : 8.3
法学论文写作 : 8.8
潘光旦文集(第 4 卷) : 9.1
语言与文化(注释本) : 8.6
文学与美国的大学 : 8.6
教育漫话 : 8.5
理解美国:美国文化指南 : 8.6
潘光旦文集 6 : 9.1
重返美丽新世界 : 9.1
我们能做什么 : 8.3
汉字图解字典 : 8.0
社群、组织与大众民主:印度喀拉拉邦社会政治的民族志 : 8.4
自然地理学 : 8.1
媒介与文化书系:电视、全球化与文化认同 : 8.5
在灵泊深处:西洋文史发微 : 9.2

经济类
小米的方法(互联网+时代的样本解读) : 8.1
解读中国经济 : 8.9
公司基本面分析实务:把握能把握的机会 : 8.6
美国经济史(第 7 版)(翻译版) : 8.9
找我 2 : 8.2
产品研发管理:构建世界一流的产品研发管理体系 : 8.3
全球"猎身":世界信息产业和印度的技术劳工 : 8.3
公司的力量(《大国崛起》原班人马打造,为中国公司提升软实力的智慧汇集) : 8.0
风险管理(第二版) : 9.4
企业的企业家:契约理论 : 8.1
怎样合理避税(修订第 4 版) : 9.3
财务报表分析(第 12 版)(国际版) : 8.8
嚣张的特权:美元的兴衰和货币的未来 : 8.1
市场营销原理(第 13 版)(英文版) : 8.8
FBI 高难度谈判课 : 8.2
团队是设计出来的(狼性篇) : 8.0
股票投资入门与实战技巧:从零开始学炒股 : 8.4
股票作手回忆录(全译版) : 8.9
道氏理论(珍藏版)(中文版) : 8.3
财务报表分析(第 12 版)(国际版) : 8.8
财务会计学(第 6 版) : 9.1
新管理经济学(中国版)(第 2 版) : 8.3
高胜算操盘:成功交易员完全教程 : 8.2
一炮走红的国家:探寻下一个经济奇迹 : 8.5
亚财政:制度性腐败与中国历史弈局 : 8.0
小艾上班记:真账实操教你学会计 : 8.6
市场调研(第 2 版) : 8.3
组织与管理研究的实证方法(第 2 版) : 9.3
小艾上班记 3:小艾习题精选•中级会计实务 : 8.3
理论、方法、发展、趋势:中国经济史研究新探(修订版) : 8.4
应变 : 8.5
期货交易学习路线(第 2 版) : 8.3
大家的经济学(全新修订版) : 8.7
室内设计营销术 : 8.0
丰田生产方式 : 8.2
外汇交易指南(第 2 版) : 8.1
酒店管理与经营(第 5 版) : 9.1
高级会计学(第 3 版) : 9.3
MBA 教不了的创富课:我在 30 岁之前赚到 1000 万的经验谈 : 8.6
高级会计学(第 3 版) : 9.3
开间自己的小店,过自己想过的生活 : 8.0
消费者行为与营销战略(第 9 版) : 8.6
了如指掌·西学正典:经济发展理论 : 8.4
把任何东西卖给任何人 : 8.4
本体与常无:经济学方法论对话 : 8.0
玩法变了:淘宝卖家运赢弱品牌时代 : 8.1
经济周期与宪政秩序 : 8.7
大拐点 : 8.1
刺桐梦华录:近世前期闽南的市场经济(946-1368) : 8.2
心理学与销售策略 : 8.7
Uber 是什么 : 9.1
了如指掌·西学正典:就业、利息和货币通论 : 8.6
高效能人士的七个习惯·25 年企业培训精华录:执行精要 : 8.2
技术指标与波浪理论(第二版) : 8.2
旅游市场营销(第 5 版) : 9.1
心理学与销售策略 : 8.7
销售巨人:大订单销售训练手册(理论篇+实践篇)(全新升级版) : 8.5
国富论 : 9.0
解读中国经济(增订版) : 8.9
不可不知的短线操盘细节 : 8.1
疯狂经济学 : 8.0
财务会计理论(第 3 版) : 8.6
文明分岔经济混沌和演化经济动力学 : 8.0
繁荣的求索:发展中经济如何崛起 : 8.2
市场调研(第 2 版) : 8.3
永不褪色的时光:宝丽来的故事 : 8.1
中国历史农业地理(套装上中下册) : 8.6
世界 500 强人力资源总监是如何炼成的:从实习生到 CHO 的故事 : 8.0
创业维艰:如何完成比难更难的事 : 8.6
MATLAB 数学建模经典案例实战 : 8.0
新政治经济学评论 22 : 9.0
创造力:心流与创新心理学 : 8.5
奥地利学派的大师们 : 9.6
国债的历史:凝结在利率中的过去与未来 : 8.0
历史的回眸:毛泽东与中国经济 : 8.3
互联网+:中国步入互联网红利时代 : 8.1
经济解释:张五常英语论文选 : 8.5
超级符号就是超级创意:席卷中国市场 10 年的华与华战略营销创意方法 : 8.4
高效能人士的七个习惯·25 年企业培训精华录:执行精要 : 8.2
现代西方经济学原理(第 5 版) : 9.1
移动社交时代的互动搜索营销 : 8.2
支付战争:互联网金融创世纪 : 8.3
公司舞弊手册:防范与检查(第 2 版) : 8.7
改变世界的航海 : 8.2
大学译丛:传播政治经济学 : 8.0
货币革命:后危机时代的经济博弈 : 8.8
时寒冰说:未来二十年,经济大趋势(现实篇+未来篇)(套装共 2 册) : 8.4
DK 商业百科（全彩） : 8.2
经济学的演化基础 : 8.5
信用战:全球历史演进元规则 : 8.4
DK 经济学百科 : 8.2
重新定义公司:谷歌是如何运营的 : 8.2
货币生产的伦理 : 8.5
超级短线超级赚 : 8.3
私募股权投资与企业改制上市操作实务教程 : 8.0
经济学基础文献选读 : 9.0
兜售繁荣 : 8.5
策略投资 : 9.1
短线交易大师 : 8.2
股票作手操盘术(全译版) : 8.2
《美国管理学会评论》优秀论文集萃 : 8.4
五常学经济(神州增订版) : 9.0
当代激进思想家译丛:符号政治经济学批判 : 8.6
小艾上班记 2·奋斗如歌:备考日记·中级会计实务 : 8.7
了如指掌·西学正典:经济发展理论 : 8.4
证券分析(第 6 版)(套装上下册) : 9.2
不可不知的短线操盘细节 : 8.1
联盟：互联网时代的人才变革 : 8.1
不可不知的短线操盘细节 : 8.1
吴敬琏传:一个中国经济学家的肖像 : 8.1
品牌是什么? : 9.1
了如指掌·西学正典:就业、利息和货币通论 : 8.6
高效能人士的时间和个人管理法则 : 8.0
工作前 5 年,决定你一生的财富 : 8.0
经济周期与宪政秩序 : 8.7
应变 : 8.5
自动波领导模式 : 8.0
历史的回眸:毛泽东与中国经济 : 8.3
财务会计理论(第 3 版) : 8.6
理解公司:产权、激励与治理 : 8.7
现在终结萧条! : 8.3

https://github.com/CauT/book-hunter
时间仓促，写的不咋样。

[robertding]

感觉你爬的跟我看的不是一个豆瓣

[wuhuaji]

@robertding 有的书有不同的版本（第一版 /第二版、中文版 /英文版 /影印版），不同的版本评分也不一样，但是它们都放在同一个页面里。

[sudoz]

不开源？

[robertding]

程序员面试宝典(第 3 版) : 9.3, @wuhuaji 我看到这本书的评分专门去豆瓣上看了一眼

[jedicxl]

笑而不语

[wanjun]

好，准备买买买

[spl2015]

算法还得考虑评价个数😅

[cszhiyue]

应该用评价数和分数 建模

[anthozoan77]

star & learn

[anthozoan77]

hello ，我在你的基础上想抓取京东图书活动（ http://sale.jd.com/act/8Rso1fQu2E.html ）数据遇到如下问题。

1. 编码。网页已声明 charset=utf-8 ，但间接性会出现乱码，甚至 data 为空
2. 通过 selector.text()价格为空

求指教 :)

[donglingyongadls]

@anthozoan77 我不太理解，你是在 （ http://sale.jd.com/act/8Rso1fQu2E.html ）这个页面上抓取的吗？
这个页面上的书不能覆盖活动的全部范围吧。我程序针对的是一个可翻页的书的目录。

如果确定是这个页面，那么价格的代码是
<span class="jdNum" jshop="price" jdprice="11680800">40.50</span>
只需要用 cheerio 指定 span 的属性为 class="jdNum" jshop="price" jdprice="11680800"应该就能筛选出来了。这个筛选的语法是：
$.(span[class="jdNum" jshop="price" jdprice="11680800"]).each(fucntion(i, e){
......
})

至于获取为空，如果是间歇性的，考虑是不是京东的反爬虫措施。那就考虑加入随机延时，或者更换 ip 。

[anthozoan77]

@donglingyongadls
谢谢回复。

1. 我只是爬去该页面的数据，将『翻页』部分的代码去掉了。

2. 关于价格筛选，语法应该没问题，获取同一层次的(span.jText).text()『促销价』是没问题的，只是 jdNum 和 jsNum 为空。观察 Network ，发现有请求来获取价格信息然后填充进去的。如果是这样的话，有什么解决措施呢，比如通过『延时』来等待所有请求完毕后在分析数据。

3. 除了获取为空外，间接性地出现乱码的原因是『反爬虫措施』的几率大吗？

学习中 :)

[anthozoan77]

@donglingyongadls
这是爬去 jd 的相关代码
https://github.com/byr-gdp/node-web-spider/blob/master/jd-book.js

[donglingyongadls]

@anthozoan77 像是京东做了一些限制，非浏览器下载的网页都是乱码。不知道是怎么辨别的，如果用 chrome 的 postman 插件，不带 header 做一个 get 操作，能获取到正常 html 。说明也不是通过 header 来鉴别的。再无法找到绕过京东的限制之前，你也只能手动复制 html 了:P 。

其实还有一个思路，把代码放在 chrome 插件上跑，反正都是 JS ， cheerio 就要用 jquery 代替了。

[anthozoan77]

@donglingyongadls
谢谢。
我也用 postman 试过，能获取正常 html 。现在试着先在控制台跑 js 把书名获取到。

[anthozoan77]

@donglingyongadls
请问下关于更换 ip ，有哪些可以参考的资料和方法吗?

[donglingyongadls]

@anthozoan77 我知道的方法是，家用上网，电信联通给的大多是随机 ip ，所以不停地释放 ip 就可以更换为新的 ip