V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ROCK2046
V2EX  ›  问与答

求可以自动抓取网站图片的软件

  •  
  •   ROCK2046 · 2014-07-12 14:25:18 +08:00 · 4415 次点击
    这是一个创建于 3772 天前的主题,其中的信息可能已经有所发展或是发生改变。
    因工作需要,要每天去网站截取一些共享的图片,网站的图片是类似空气质量发布的数据图,每一个小时更新的,每天人工手动下载图片实在是太绑人了,有时候经常会遗漏,请各位V友支招,是否有软件可以自动抓取?
    20 条回复    2014-07-16 15:20:38 +08:00
    nodejx
        1
    nodejx  
       2014-07-12 14:41:15 +08:00   ❤️ 1
    phantomjs
    sandtears
        2
    sandtears  
       2014-07-12 14:48:42 +08:00   ❤️ 1
    Python-Splinter
    abelyao
        3
    abelyao  
       2014-07-12 17:41:05 +08:00 via iPhone   ❤️ 1
    根据具体网站写一个,不然通用的也麻烦
    aeshfawre
        4
    aeshfawre  
       2014-07-12 17:51:57 +08:00   ❤️ 1
    楼主要的不是截图,要的是下载图片的功能,所以phantomjs 和splinter都不适合.
    反正是从固定网站上下载,楼主自己用python写一个脚本下载最简单的了
    qian
        5
    qian  
       2014-07-12 19:36:08 +08:00   ❤️ 1
    就算是文科生,动手学写爬虫也不是很难的事... https://gist.github.com/lsfalimis/bcf9a780bce3c69e3850
    O21
        6
    O21  
       2014-07-12 20:33:28 +08:00   ❤️ 1
    @qian 学习了。。 本银正在学Python

    顺便问下。。我老用中文注释是不是很二。。。
    lilifenghao44
        7
    lilifenghao44  
       2014-07-12 20:40:55 +08:00   ❤️ 1
    顺便求一个批量下google image搜索的东西
    jqw1992
        8
    jqw1992  
       2014-07-12 23:20:50 +08:00   ❤️ 1
    Foooi.com 这个网站的主题可以自动抓取图片的....wp的
    sxrw123
        9
    sxrw123  
       2014-07-12 23:46:24 +08:00   ❤️ 1
    新手了解下,有时间看看Python
    laozhao0
        10
    laozhao0  
       2014-07-13 18:41:01 +08:00   ❤️ 1
    图片下载很简单的。基本就是判断一下链接和后缀而已。
    ROCK2046
        11
    ROCK2046  
    OP
       2014-07-14 09:00:06 +08:00
    @sxrw123 楼主确实是新手,只学过C语言,这个Python还是第一次听说呢,那我是不是得买本书学习学习啊
    ROCK2046
        12
    ROCK2046  
    OP
       2014-07-14 09:01:01 +08:00
    @qian 感觉好难得样子,虽然不是文科生,但是这个Python语言确实没用过,得从头学啊
    abelyao
        13
    abelyao  
       2014-07-14 09:05:51 +08:00   ❤️ 1
    @ROCK2046 楼主如果是 windows 平台下使用的,用 C# winform 写一个最方便了,如果不复杂、需要帮忙的话可以再 @ 我哈
    sandtears
        14
    sandtears  
       2014-07-14 09:28:01 +08:00   ❤️ 1
    啊。。。 是固定图片不是网页截图吗?
    如果图片地址固定的话直接用 Linux 下的 crontab 配合 wget 下载就好了,如果有变化的话可以用 Python 配合 Xpath 获取一下地址,然后再下载
    abelyao
        15
    abelyao  
       2014-07-15 10:49:42 +08:00
    @ROCK2046 看来楼主的问题解决了
    ROCK2046
        16
    ROCK2046  
    OP
       2014-07-15 14:31:20 +08:00
    @abelyao 楼主表示十分感谢各位大侠的热心帮助 但是楼主水平太低 实在不懂哇 本人不是学计算机的 各位大侠说的语言都不懂哇
    abelyao
        17
    abelyao  
       2014-07-15 15:02:29 +08:00
    @ROCK2046 把要抓取的网址发上来看看吧,晚上有空的时候帮你写一个,如果不方便公开的就留个联系方式咯
    ROCK2046
        18
    ROCK2046  
    OP
       2014-07-15 18:35:27 +08:00
    abelyao
        19
    abelyao  
       2014-07-15 23:54:26 +08:00
    @ROCK2046 已发邮件给你
    takato
        20
    takato  
       2014-07-16 15:20:38 +08:00
    也可以用Scrapy写个小爬虫=。=...
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1316 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 17:51 · PVG 01:51 · LAX 09:51 · JFK 12:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.