V2EX › swulling 的所有回复 › 第 225 页 / 共 265 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 221 222 223 224 225 226 227 228 229 230 ... 265

❮

❯

2013-09-13 17:19:02 +08:00

回复了 54dev 创建的主题 › 问与答 › python pyquery 采集淘宝的编码问题

@54dev 我用urllib试了下，没问题啊，为啥要加beautifulsoup?

import urllib
page = urllib.urlopen('http://s.taobao.com/search?q=%BB%A7%CD%E2%B0%FC').read()
d=pq(page.decode('gbk'))
In [11]: print d(".row-focus .price").text()
￥196.20 ￥185.01 ￥268.00 ￥166.00 ￥26.90

2013-09-13 16:30:01 +08:00

回复了 refresh 创建的主题 › iDev › 我觉得iOS的好处就是，你不用设计，App也不会太难看

@GordianZ WP虽然不用设计，但是第三方应用都好难看啊

2013-09-13 16:15:02 +08:00

回复了 54dev 创建的主题 › 问与答 › python pyquery 采集淘宝的编码问题

In [18]: p(".row-focus .price").text()
Out[18]: u'\uffe5196.20 \uffe5185.01 \uffe5268.00 \uffe5166.00 \uffe526.90 \uffe5185.00 \uffe549.00 \uffe5168.00 \uffe558.00 \uffe5110.00 \uffe555.00 \uffe587.50 \uffe5135.00 \uffe522.00 \uffe545.00 \uffe558.00 \uffe5118.00 \uffe520.00 \uffe5157.50 \uffe568.00 \uffe5188.00 \uffe555.00 \uffe5109.45 \uffe588.00 \uffe588.00 \uffe5368.00 \uffe599.00 \uffe566.00 \uffe518.00 \uffe555.00 \uffe5106.20 \uffe555.00 \uffe5256.80 \uffe5330.00 \uffe545.00 \uffe5562.00 \uffe552.20 \uffe598.00 \uffe5218.00 \uffe538.90 \uffe5208.00 \uffe5138.00 \uffe5129.00 \uffe5108.00'

看来没有，unicode的字符串开头有小u，然后内容也是很容易看出来的\u开头的字符，python里面直接print unicode的字符串会自动转换为终端编码，比较方便

2013-09-13 16:13:22 +08:00

回复了 54dev 创建的主题 › 问与答 › python pyquery 采集淘宝的编码问题

@54dev 是这样的，你这是用了PyQuery直接来获取Url，这样面对非utf-8的页面就会解析错误

比如将你的price显示出来是这样：
In [9]: price
Out[9]: u'\xa3\xa4196.20 \xa3\xa4185.01 \xa3

完全乱了，虽然也可以用一些方法处理为正常，不过就ugly了

所以我建议你用一个库去抓网页，比如requests甚至简单点用urlib，然后 decode('gbk') 转换为Unicode交给PyQuery，而不是直接用pq去抓

话说我刚刚尝试了下requests去抓，不知道是不是新版本的特性，可以自动识别页面编码了。抓回来就是unicode，直接扔给pq就是

ret=requests.get(url="http://s.taobao.com/search?q=%BB%A7%CD%E2%B0%FC",headers={'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36'})

p=pq(ret.text)

In [19]: print p(".row-focus .price").text()
￥196.20 ￥185.01 ￥268.00 ￥166.00 ￥26.90 ￥185.00 ￥49.00 ￥168.00 ￥58.00 ￥110.00 ￥55.00 ￥87.50 ￥135.00 ￥22.00 ￥45.00 ￥58.00 ￥118.00 ￥20.00 ￥157.50 ￥68.00 ￥188.00 ￥55.00 ￥109.45 ￥88.00 ￥88.00 ￥368.00 ￥99.00 ￥66.00 ￥18.00 ￥55.00 ￥106.20 ￥55.00 ￥256.80 ￥330.00 ￥45.00 ￥562.00 ￥52.20 ￥98.00 ￥218.00 ￥38.90 ￥208.00 ￥138.00 ￥129.00 ￥108.00

2013-09-13 14:37:22 +08:00

回复了 54dev 创建的主题 › 问与答 › python pyquery 采集淘宝的编码问题

1. MySQL建表时有没有指定UTF8?，这个很容易遗漏
2. 不要用sys.setdefaultencoding('utf-8')，这是一种ugly的，无用，错误的设置
3. pyquery处理前，先讲网页内容从gbk转换为unicode，注意是unicode
用 decode("gbk")
4. 插入MySQL的时候，直接插Unicode就行了，会自动转换成UTF-8的。没必须手工转换

2013-09-13 09:21:44 +08:00

回复了 cctvsmg 创建的主题 › MacType › 怎么才能让windows下的字体渲染像linux mac下那样好看

@kdlijian windows的字体能看么

看的眼睛疼，尤其是win7，点阵和非点阵混合，简直就是折磨。

@weRyoung 有修改版做win8渲染很不错的

给lz推荐这个：
https://gist.github.com/ninehills/6481813

2013-09-11 22:52:28 +08:00

回复了 kstsca 创建的主题 › Bitcoin › 42btc的矿机善后追加方案

@windywinter
买台电脑挖矿算投资还是消费，当生产资料做开发算投资还是消费，放到机房租赁出去算投资还是消费？

2013-09-11 17:01:25 +08:00

回复了 notedit 创建的主题 › 分享创造 › http://easymeeting.us/ 最简单的视频会议软件可以用来面基

Good，简单好用

2013-09-10 21:00:44 +08:00

回复了 373141439 创建的主题 › 分享发现 › 小米3上新闻联播了

@jedicxl CNTV的新闻联播剪辑

我国业界推出全球运行速度最快的智能手机

　　我国业界日前推出全球运行速度最快的智能手机――小米手机3。这款手机采用了全球性能最强的四核智能手机芯片。此外，在内存、闪存、天线、屏幕等主要配置上都采用了目前全球性能领先的硬件。