V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
google456
V2EX  ›  问与答

如何在日本 v -ps 上做个 url 劫-持 把 goo-gle jp 的返回结果改成 goo-gle.com 的?

  •  
  •   google456 · 2016-07-16 11:17:20 +08:00 · 2376 次点击
    这是一个创建于 3030 天前的主题,其中的信息可能已经有所发展或是发生改变。
    大牛给的爬-虫 抓取 goo-gle 结果。
    我本机挂了日本的 s-s 抓包发现程序请求的是 goo-gle.com/xxxx
    经过日本 s-s 后 返回的是 goo-gle jp 的结果 程序就抓不到了。

    我想在 s-s 的 v -p-s 上做点 url 劫-持 把 goo-gle jp 的 url 劫-持成 goo-gle.com 的 然后再返回给我的本机上的程序。
    这样程序就能抓到结果了。


    ===============不要给我自动转移板块 我加了- ======================
    11 条回复    2016-07-16 22:16:36 +08:00
    odirus
        1
    odirus  
       2016-07-16 11:20:38 +08:00
    解决方法:打开 chrome -> 设置 -> 管理搜索引擎 -> 添加搜索引擎 Google.com | google.com | http://www.google.com/#newwindow=1&q=%s
    odirus
        2
    odirus  
       2016-07-16 11:22:21 +08:00
    如果你的爬虫是利用浏览器辅助的话,可以参考这个

    命令行的我没试过
    google456
        3
    google456  
    OP
       2016-07-16 11:36:21 +08:00
    @odirus 3Q 但是可惜 不是浏览器的问题。 我把 IE 用策略禁止 爬虫仍然正常工作。 应该是独立的
    所以感觉在本地实在是解决不了了 必须在 vps 上动手了。
    让数据在 vps 传回本机前 就被改成 google.com 的了
    aprikyblue
        4
    aprikyblue  
       2016-07-16 12:02:44 +08:00 via Android   ❤️ 1
    一堆-看起来真费劲
    7timesonenight
        5
    7timesonenight  
       2016-07-16 12:31:25 +08:00
    www.google.com/ncr

    ncr=not change region
    imn1
        6
    imn1  
       2016-07-16 12:43:35 +08:00
    就算.com 也是日语结果多,带一个只搜汉语英语的 cookie 爬可能好点
    Pastsong
        7
    Pastsong  
       2016-07-16 12:53:17 +08:00 via Android
    你不需要自我审查
    Pastsong
        8
    Pastsong  
       2016-07-16 12:54:04 +08:00 via Android
    @7timesonenight 这个缩写是 no country redirection
    7timesonenight
        9
    7timesonenight  
       2016-07-16 13:49:51 +08:00
    @Pastsong
    多谢指正
    lksltjw
        10
    lksltjw  
       2016-07-16 14:46:36 +08:00 via Android
    v2 不打下划线没事,又不是 ss
    google456
        11
    google456  
    OP
       2016-07-16 22:16:36 +08:00
    @7timesonenight 这个参数我当然知道 问题是程序我改不了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   957 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 22:23 · PVG 06:23 · LAX 15:23 · JFK 18:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.