V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dowson521
V2EX  ›  Twitter

求推特爬虫(付费合作)

  •  
  •   dowson521 · 5 天前 · 2586 次点击
    需求:
    1. 抓取账号最新的推文,频率较高。例如输入账号 ID ,自动每 30 秒抓一次,不间断
    2. 目标账号较多,需要同时监控上万计的账号

    若有意向,可加微信联系合作:doingli
    24 条回复    2025-02-17 19:16:05 +08:00
    dgthyiolyjmyt2
        1
    dgthyiolyjmyt2  
       5 天前
    报个价吧先
    Ritter
        2
    Ritter  
       5 天前   ❤️ 1
    一眼打狗
    pinerge
        3
    pinerge  
       5 天前
    一堆开源吧
    Registering
        4
    Registering  
       5 天前
    现在 twitter 的 api 需要付费了吧
    krapnik
        5
    krapnik  
       5 天前
    BadReese
        6
    BadReese  
       5 天前
    有这么多 kol 要监测么
    raycool
        7
    raycool  
       5 天前
    土狗现在还好冲吗。
    SunsetShimmer
        8
    SunsetShimmer  
       5 天前   ❤️ 1
    kdwnil
        9
    kdwnil  
       5 天前 via Android
    几万可还行,有那么多要监控的账号吗
    zhangkai1024
        10
    zhangkai1024  
       5 天前
    @raycool 你们说的这个”狗“是什么意思啊? V 友们说话好难懂哦
    fizzmst
        11
    fizzmst  
       5 天前
    几万个账号,30s 抓一次,是不是只能用 twitter 的付费 api 最稳妥
    zhangkai1024
        12
    zhangkai1024  
       5 天前   ❤️ 5
    当网友评论 [土狗现在还好冲吗。] 和 [一眼打狗] 时,他们可能是在讨论以下内容:

    1. 加密货币( Meme 币)
    土狗:在加密货币社区中,“土狗”通常指一些低市值、高风险、甚至带有搞笑或 meme 性质的加密货币(如 Dogecoin 、Shiba Inu 等)。

    好冲吗:询问现在是否适合买入或投资这些加密货币。

    一眼打狗:可能是指一眼就能看出某个加密货币是“土狗币”(即高风险、低价值的币)。

    示例对话
    A:土狗现在还好冲吗?

    B:一眼打狗,别冲了,风险太大。
    mumbler
        13
    mumbler  
       5 天前   ❤️ 1
    yt-dlp 就能抓 X ,有视频还能顺便把视频下载了,写个脚本调用 yt-dlp 并行大量去处理就行了
    kdwnil
        14
    kdwnil  
       5 天前 via Android
    @fizzmst 想要求最稳的话,是。否则不需要,刮刀跑这点量很轻松
    amlee
        15
    amlee  
       5 天前 via Android
    @mumbler 这个不是下载视频的吗
    mumbler
        16
    mumbler  
       5 天前
    @amlee #15 是啊,如果 twitter 页面没有视频 yt-dlp 也会把内容用 json 返回回来,有视频会同时下载视频和 json ,不用自己去研究页面结构了
    wudi77
        18
    wudi77  
       4 天前
    你是什么部门的?
    Dolov
        19
    Dolov  
       4 天前
    这么大的量估计很快就封 ip 了,得用 openapi 了
    yuchen198
        20
    yuchen198  
       4 天前
    成本很高。还好 twitter 没有 facebook 那么严格
    willem1993
        21
    willem1993  
       4 天前
    30S 一次 不更新的博文也抓? 正常一个账号没必要 30S 一次的,间隔可以再长一点,账号太多的话要考虑推封 IP 的清空,除非有大量代理,从中找平衡点。要爬数据可以找我,哈哈哈
    vincentWdp
        22
    vincentWdp  
       4 天前
    Apify store 去搜吧, 一大堆付费的. 还能使用 apify 的 residential 设备
    linxb
        23
    linxb  
       4 天前
    打狗跟赌博有什么区别,都是在暴富跟归零之间疯狂试探
    jonty
        24
    jonty  
       4 天前
    @mumbler #13 这不是抓 youtube 的么,还能抓推特啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2774 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 05:58 · PVG 13:58 · LAX 21:58 · JFK 00:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.