V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
soulmine
V2EX  ›  问与答

用 go 写爬虫碰到了 shift_jis 的编码 用了 iconv 包后 发现丢了一大半的东西 怎么解决

  •  
  •   soulmine · 2017-10-14 00:09:24 +08:00 · 1749 次点击
    这是一个创建于 2588 天前的主题,其中的信息可能已经有所发展或是发生改变。

    还有就是 bs4 支持直接用 chrome F12 导出的 css 选择器么

    6 条回复    2017-10-14 10:02:24 +08:00
    bazingaterry
        1
    bazingaterry  
       2017-10-14 00:44:07 +08:00 via iPhone
    不支持,F12 出来的有可能是经过 JS 修改后的 HTML,你需要的是查看源代码。
    soulmine
        2
    soulmine  
    OP
       2017-10-14 00:52:02 +08:00
    @bazingaterry 那页面没有 JS.... 源代码结构和页面结构完全一致
    soulmine
        3
    soulmine  
    OP
       2017-10-14 00:55:23 +08:00
    @bazingaterry 顺带问一句
    <tr bgcolor="#FFFFFF">
    <td align="center" rowspan="2"><span class="ranking">1</span></td>
    <td align="center" rowspan="2"><span class="ranking">-</span></td>
    <td align="center" rowspan="2"><span class="ranking"><span class="ranking_akama">●</span></span></td>
    <td><span class="ranking"><a href="../../search/linkcd_chk.asp?linkcd=40802801&amp;term=w&amp;sch=ttl&amp;chart_kbn=111">TEST</a></span></td>
    <td align="right" rowspan="2"><span class="ranking">118,612</span></td>
    <td align="right" rowspan="2"><span class="ranking">118,612</span></td>
    <td align="center" colspan="2"><span class="ranking">17/10/4</span></td>
    <td align="center" rowspan="2"><span class="ranking">PC</span></td>
    </tr>
    这种格式的用 BS4 怎么取出每个数据
    bazingaterry
        4
    bazingaterry  
       2017-10-14 02:03:32 +08:00 via iPhone
    @soulmine span.ranking::text

    太久没写爬虫,忘记咯
    imn1
        5
    imn1  
       2017-10-14 09:52:55 +08:00
    虽然我不懂 go,但我相信 iconv 不会这样傻

    所以你要先说明“丢了一大半”是什么意思
    soulmine
        6
    soulmine  
    OP
       2017-10-14 10:02:24 +08:00
    @imn1 是的 不是 iconv 的锅 转化之前就少了 www
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5534 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 06:44 · PVG 14:44 · LAX 22:44 · JFK 01:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.