V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
dayupday
V2EX  ›  问与答

请好心人分享一个能现用的 Python 版微博爬虫,使用目的是关注准老婆微博更新,不随时刷微博伤不起啊。

  •  
  •   dayupday · 2016-05-13 23:00:44 +08:00 · 5298 次点击
    这是一个创建于 3114 天前的主题,其中的信息可能已经有所发展或是发生改变。
    其次是想学习下 Python ,觉得爬虫好有趣。
    第 1 条附言  ·  2016-05-14 13:48:55 +08:00
    首先在此谢谢做出有正面意义回复的大家。对于大家指出的问题,确系是自己的不妥。
    但某些楼层说什么是来骗代码的,只能说你们真够可笑的。实际上 Google 后就有很多现成可用的代码,例如 GITHUB ,知乎,简书上面等等
    那些个以己度人给别人贴标签的人,你在无人的角落里摸着自己的良心敢对天发誓,自己造轮子的时候没有去借鉴别人的代码吗?
    诚然自学或者说是自力更生才是最根本的出路,还是怪自己太憨了,结贴了
    67 条回复    2016-05-17 13:28:22 +08:00
    murmur
        1
    murmur  
       2016-05-13 23:05:27 +08:00
    这理由 0 分 把你老婆加到特别关注里新浪就会有更新就推给你
    dayupday
        2
    dayupday  
    OP
       2016-05-13 23:10:27 +08:00
    @murmur 不喜欢渣浪,之前有注册过账号,莫名其妙的给封了,然后不喜欢手机里装这些乱七八糟的软件,再再然后,因为时差,有移动版经常刷不出内容,加上最近感觉爬虫好有趣好有趣,就想在使用中借鉴下各位前辈的经验
    matthewz
        3
    matthewz  
       2016-05-13 23:15:08 +08:00
    没帐号咋爬? 别作了

    而且爬中文互联网一点不有趣, 比如新浪简直哔了狗
    dayupday
        4
    dayupday  
    OP
       2016-05-13 23:19:34 +08:00
    @matthewz 这和中文有趣无趣无关啊,就是爬虫能实现信息的自动采集觉得很有趣,至于账号,问朋友要了个几年前用手机号注册的
    graetdk
        5
    graetdk  
       2016-05-13 23:20:07 +08:00   ❤️ 1
    不得不说, http://www.competehunt.com/ 可以满足你的需求
    df4VW
        6
    df4VW  
       2016-05-13 23:21:33 +08:00   ❤️ 56
    看到 po 主这种人真他妈想扇你两个巴掌

    1. 没人想知道你和你老婆那点破事
    2. 好吧,我们现在知道了,你老婆和你关系如胶似漆,她发一条微博你几分钟之内就得知道要回复
    3. 一楼 @murmur 这么简单好用的办法你他妈说不喜欢渣浪,不喜欢手机里装乱七八糟的 app 这他妈都是什么毛病,要不要告诉你老婆你这些都不喜欢她还逼不逼你关注她
    4. 他妈的你还没有账号你要做爬虫
    5. 你想学 python 就学啊,谷歌搜个 python ,微博,爬虫,会把?会把?会把?

    v2 怎么会有这么多低素质的用户,他妈的现在门槛低了果然什么屌都有
    dayupday
        7
    dayupday  
    OP
       2016-05-13 23:23:35 +08:00
    @graetdk 谢谢提供解决方案,但是个人喜欢自我实现,这样感觉太有成就感了,顺便可以在媳妇面前显摆显摆,哈哈哈
    jadecoder
        8
    jadecoder  
       2016-05-13 23:24:24 +08:00
    我想给楼上送上 32 个赞,可惜只能送一个
    murmur
        9
    murmur  
       2016-05-13 23:25:18 +08:00
    @df4VW 说的脏话不好,但是第四点是真的,没微博账号你啥都看不到,点两下就是登录页面
    jadecoder
        10
    jadecoder  
       2016-05-13 23:25:47 +08:00
    我说 6L
    喜欢自我实现就自己写啊,用个开源的程序显摆毛啊
    dayupday
        11
    dayupday  
    OP
       2016-05-13 23:27:11 +08:00
    @df4VW 兄台没必要这样吧,发帖的目的我也说过了,就是使用中借鉴大家的经验,毕竟年纪大了,没有那么多精力,只能空闲时自学下。
    xuwenmang
        12
    xuwenmang  
       2016-05-13 23:28:08 +08:00
    一堆废话理由没什么问题,跑出来秀老婆就是你的不对了
    dayupday
        13
    dayupday  
    OP
       2016-05-13 23:34:25 +08:00
    @xuwenmang 我也苦啊,好不容易有人愿意收留了, vexer 不是 Acer 啊
    zhouxuchen
        14
    zhouxuchen  
       2016-05-13 23:50:48 +08:00 via iPhone
    既然你其次的目的才是学 python ,那还不如别学了,开个微博会员,秒秒钟给你推送你女朋友的微博 [滑稽]
    billion
        15
    billion  
       2016-05-13 23:53:33 +08:00 via iPad
    坚决不能便宜了伸手党。想要爬虫?可以啊,拿钱来。
    zhaojjxvi
        16
    zhaojjxvi  
       2016-05-13 23:58:34 +08:00 via iPhone
    加为“特别关注”,她任何更新, app 上会提示的。
    dayupday
        17
    dayupday  
    OP
       2016-05-14 00:01:52 +08:00
    @zhouxuchen 前面我有说过,就是感兴趣,然而你不觉得有实例能更好的理解所学过程中遇到的疑难问题吗
    dayupday
        18
    dayupday  
    OP
       2016-05-14 00:02:55 +08:00
    @zhaojjxvi 微博的 app 之臃肿,推广之烦大概大家都能感觉到
    Lonely
        19
    Lonely  
       2016-05-14 00:07:02 +08:00
    不如把你老婆的账号公布一下😏
    你如果不喜欢官方 app 的话也可以用第三方的啊
    tigerstudent
        20
    tigerstudent  
       2016-05-14 00:12:44 +08:00 via Android
    有个 APP 叫 IFTTT 。
    dayupday
        21
    dayupday  
    OP
       2016-05-14 00:12:45 +08:00
    @billion 这为兄台,别动不动就扣帽子,何为伸手党?假设你来到一个陌生的城市,四通八达的道路让你迷惑,你会不会请教路人某某地方该怎么去?那我也可以说你是伸手党啊,你不知道自己驾车 /乘 bus 将全市跑一圈吗,这样就不存在迷路的可能性了,很容易对不?当然这比喻不怎么恰当
    话说回来,学习是一个日积月累的过程,不是一早一夕就能办成的,能借鉴前辈的经验又有何不妥?
    dayupday
        22
    dayupday  
    OP
       2016-05-14 00:14:36 +08:00
    @Lonely 想吧骚年,不过还是谢谢提供解决方案。 IF 我测试过了,不怎么好用,不过同步还可以
    dayupday
        23
    dayupday  
    OP
       2016-05-14 00:19:25 +08:00
    @tigerstudent 回复错了楼层,谢谢提供解决方案,之前有段时间就是用 IF 的,但期间很多次同步不了
    TaMud
        24
    TaMud  
       2016-05-14 00:21:38 +08:00
    骗子,为了套代码,真是用尽脑子呀,有这时间还不如好好学习
    dayupday
        25
    dayupday  
    OP
       2016-05-14 00:35:21 +08:00
    @TaMud 你这话可是赤裸裸的人身攻击啊,不要凭主观去妄断别人,不好。
    10 年前我确实是学习软件工程的,但基本上就没上过课,这些年改行了,但也是有一颗编程的心,一直想着写个自己的小程序用用
    cxd44
        26
    cxd44  
       2016-05-14 01:01:10 +08:00 via Android
    还是直接注册帐号关注得了
    shakespaces
        27
    shakespaces  
       2016-05-14 01:06:41 +08:00 via Android
    六楼火气大了点,然而也不无道理…
    Suclogger
        28
    Suclogger  
       2016-05-14 01:26:18 +08:00
    会员有短信提醒
    Love4Taylor
        29
    Love4Taylor  
       2016-05-14 01:29:39 +08:00 via Android
    加特别关注,买微博会员实时提醒都是因为她,然后发现微博会员似乎挺有逼格停不下来了
    dayupday
        30
    dayupday  
    OP
       2016-05-14 01:42:14 +08:00
    @Love4Taylor 这些方案我都用过,被封的账号还买了一年的会员,结果说我发广告,我发个毛线啊,一条微博都没发,因此产生了对渣浪的厌恶感也就催生了另寻它路的想法。
    Love4Taylor
        31
    Love4Taylor  
       2016-05-14 01:50:20 +08:00 via Android
    @dayupday 真惨 没去和官方撕逼么 毕竟 0 微博记录
    dayupday
        32
    dayupday  
    OP
       2016-05-14 02:19:00 +08:00
    @Love4Taylor 和他们交涉了几天,结果就是咬定我的账号大量发送虚假广告,后来也没心情和他们扯淡了就放弃了
    kslr
        33
    kslr  
       2016-05-14 03:27:46 +08:00 via Android
    我记得新浪有个浮动窗,里面的单人的时间线,可以做一个增量的记录。
    第二个是微薄的 Api ,个人可以实名认证然后就好了
    zhaojjxvi
        34
    zhaojjxvi  
       2016-05-14 06:02:12 +08:00 via iPhone
    @dayupday 就是让你看通知,又没有让你刷微博,推广和臃肿和你啥关系
    看来你的 first piority 并不是真正的 first piority 啊
    powerfj
        35
    powerfj  
       2016-05-14 09:15:21 +08:00
    可以使用 ifttt
    pheyer
        36
    pheyer  
       2016-05-14 09:22:26 +08:00 via iPhone
    @dayupday 说不定是账号被盗了大量发垃圾广告
    sxyuqiao
        37
    sxyuqiao  
       2016-05-14 09:25:56 +08:00 via iPhone
    @zhaojjxvi 说白了就是骗代码
    dream7758521
        38
    dream7758521  
       2016-05-14 09:42:58 +08:00 via Android
    @df4VW 骂的真他妈的太好了, 100 个赞
    MrGba2z
        39
    MrGba2z  
       2016-05-14 09:43:18 +08:00 via iPhone   ❤️ 1
    1 点了感谢 6 楼

    2 注册微博账号 然后看微博官方 api 你这简单的需求基本就是里面的例子稍微改一下(改下例子里的 uid , 做个 cron 每隔多少时间运行一遍,嫌麻烦直接 python 里 for+sleep 就行)如果你这都嫌麻烦 那还是花钱找人买代码吧 根本不是自己想做一个
    Sakura
        40
    Sakura  
       2016-05-14 10:00:40 +08:00
    总结一下就是,既不想学,还想显摆,被诘问后强行甩锅给新浪
    waltcow
        41
    waltcow  
       2016-05-14 10:31:03 +08:00 via iPad
    ifttt
    xiamx
        42
    xiamx  
       2016-05-14 10:31:38 +08:00
    400USD , 3 天,有兴趣 PM
    gimp
        43
    gimp  
       2016-05-14 10:35:14 +08:00
    @df4VW 话糙理不糙
    zhangbohun
        44
    zhangbohun  
       2016-05-14 10:59:26 +08:00
    看了一些,贴主所有的主题帖都在“求助”。
    snowman
        45
    snowman  
       2016-05-14 11:06:09 +08:00 via iPhone
    嗨呀,我佛
    allenlee7c9
        46
    allenlee7c9  
       2016-05-14 11:28:26 +08:00 via Android
    刚开始没细看贴,还想为啥这么多人喷,拉上去一看“能现用的 Python 版微博爬虫”,“个人喜欢自我实现,这样感觉太有成就感了,顺便可以在媳妇面前显摆显摆”。。。 tm 想直接要套代码还能有成就感了,抱歉误会了回帖的各位,大家继续
    hinkal
        47
    hinkal  
       2016-05-14 11:51:00 +08:00
    别人的代码不能满足需求那不就应该自己动手造轮子吗?自己不愿动手还 bb 就有点矫情了
    publicAdmin
        48
    publicAdmin  
       2016-05-14 12:04:39 +08:00
    @zhangbohun 习惯是慢慢养成的? 😄😄
    crazylinus
        49
    crazylinus  
       2016-05-14 12:04:58 +08:00
    @zhangbohun 其实求助贴本身没啥问题,你看现在首页上一大半都是求助帖。
    Alex5G
        50
    Alex5G  
       2016-05-14 12:09:30 +08:00 via Android
    重点是你说了准老婆,你要是说准老公就不一样了。好吧,自己谷歌😂
    crayygy
        51
    crayygy  
       2016-05-14 12:20:12 +08:00
    @crazylinus 求助帖也是要有意义的,比如说代码出现什么问题了, Google 搜索过了,代码贴上来,给出重现方式, log 信息,我觉得这种求助是有意义的,别人也会愿意去帮助。

    LZ 这样的,我不觉得有什么意义。
    chairuosen
        52
    chairuosen  
       2016-05-14 12:28:05 +08:00
    点赞脚本 : https://github.com/ccbikai/likefordear
    app :报告主人
    menc
        53
    menc  
       2016-05-14 13:46:11 +08:00   ❤️ 2
    都不愿意为了女朋友下载注册一个微博,你真的爱她么
    dayupday
        54
    dayupday  
    OP
       2016-05-14 13:49:35 +08:00
    @menc 是注册过被无故封号了
    YIem
        55
    YIem  
       2016-05-14 14:10:35 +08:00
    又看见一群吃瓜"群众" 好好的吃你的瓜就完事了呗! 怎么一天事事的这么多!
    sxyuqiao
        56
    sxyuqiao  
       2016-05-14 16:12:35 +08:00 via iPhone
    果然到处都不缺不要脸的人
    “结贴了唉我真是太憨厚了”
    这种话真的说的出口哦,话说发现了 emoji 没有吐的表情。
    dayupday
        57
    dayupday  
    OP
       2016-05-14 18:47:49 +08:00
    @sxyuqiao 请尽管放心你大胆的吐,看看你的嘴脸,你有什么资格站在道德制高点批评我?我拿你一分了还是翘了你的妹子了?再者憨和憨厚能等价使用吗?尽干些站着说话不腰痛的事
    Rand01ph
        58
    Rand01ph  
       2016-05-14 20:18:47 +08:00
    问题是,爬虫做好了,接下来就需要服务器了,得一直跑着对吧,服务挂了怎么办,得考虑用个守护进程,要是守护也挂了怎么办,得加个邮件提醒。。。
    我觉得还是下个微博加入特别关注吧,又快又准。。。
    Exin
        59
    Exin  
       2016-05-14 20:29:29 +08:00
    楼主是程序员吗
    这种典型的程序员思维真的要改改
    dayupday
        60
    dayupday  
    OP
       2016-05-14 21:21:01 +08:00
    @Rand01ph 哈哈哈,确实有道理
    dayupday
        61
    dayupday  
    OP
       2016-05-14 21:26:09 +08:00
    @Exin 正因为我不是程序员,所以感觉楼里某些同学的思维就是一根筋
    aaronzjw
        62
    aaronzjw  
       2016-05-14 21:30:13 +08:00 via iPad
    @df4VW 话糙理正
    Exin
        63
    Exin  
       2016-05-14 22:00:03 +08:00
    @dayupday
    这样啊。其实我的意思是“我有个需求->我可以通过创造某某工具简化我的步骤->创造工具”这种方式在工作上蛮有用,可以有滚雪球的效应,但是在其他领域里(比如你这里的关注女朋友),往往让人忘了最初的目的误入歧途。
    dayupday
        64
    dayupday  
    OP
       2016-05-14 22:02:39 +08:00
    我本着实事求是的想法发帖,告知是因为什么发帖,求来的代码打算怎么用,结果触动了某些同学的 G 点
    6L 的言辞也仅有第四条是指出的问题,第五条是建议
    第一,二条完全就是强行拉仇恨,我是求着去关注我老婆了吗?还是我秀恩爱了?重点是求爬虫代码好吗
    第三条,每个人都有自己的一些稀奇古怪的癖好,我就不喜欢装渣浪的 app 碍着谁什么了?渣浪的 app 有几人用过是点赞的?我不装就是我矫情我有毛病?况且这又和我喜不喜欢我老婆有什么关系?这一点的逻辑本身就很奇怪

    人生观不要太奇怪了
    sxyuqiao
        65
    sxyuqiao  
       2016-05-14 22:27:36 +08:00 via iPhone
    @dayupday 你自 high 好了无所谓 反正大家的态度你都看到了 你要觉得众人皆醉你独醒 那就继续憨厚下去好了👏🏻👏🏻👏🏻
    lazydao
        66
    lazydao  
       2016-05-15 16:01:45 +08:00 via Android
    的确找骂
    Kilerd
        67
    Kilerd  
       2016-05-17 13:28:22 +08:00 via Android
    看了楼主的发帖记录,只能说,何必自找麻烦呢?

    再者,发帖内容与回帖内容极其不负,何来公信力?

    最后,去看看提问的艺术。


    ps:憎恨伸手党!!!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2452 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 16:02 · PVG 00:02 · LAX 08:02 · JFK 11:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.