V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ProxyXAI
V2EX  ›  OpenAI

体验 llama3 系列的速度吧

  •  
  •   ProxyXAI ·
    proxyxai · 2024-04-25 01:16:44 +08:00 · 2974 次点击
    这是一个创建于 370 天前的主题,其中的信息可能已经有所发展或是发生改变。
    第 1 条附言  ·  2024-04-25 16:58:41 +08:00
    抱歉流量超级大.... 不得已限流 3 次/分钟
    第 2 条附言  ·  2024-04-25 21:01:08 +08:00
    10 次/分钟
    第 3 条附言  ·  2024-04-26 10:16:42 +08:00
    需要 API 的, 请联系 wx: proxyxai
    第 4 条附言  ·  2024-04-26 10:19:09 +08:00
    支持无上限多个 keys 轮询, 理论请求无上限, 取决于带宽瓶颈 和 keys 数量
    29 条回复    2024-04-25 21:56:46 +08:00
    bearqq
        1
    bearqq  
       2024-04-25 08:06:52 +08:00   ❤️ 1
    点之前:本来一脸不屑
    点之后:卧槽?????????
    junan
        2
    junan  
       2024-04-25 08:44:02 +08:00
    试了几次后和#1 一样的反应
    hooych
        3
    hooych  
       2024-04-25 08:58:36 +08:00 via iPhone
    速度确实嘎嘎快,GPT 是便秘,这个有种一泻千里的畅快感
    qinfengge
        4
    qinfengge  
       2024-04-25 09:29:33 +08:00
    G 了,一直请稍后再试
    xier9213
        5
    xier9213  
       2024-04-25 09:33:20 +08:00
    速度确实快,就是太不稳定了
    zsxzy
        6
    zsxzy  
       2024-04-25 09:53:34 +08:00
    用什么 gpu 跑的, 我用笔记本的 3060 6G, 好慢 😆
    Goghho
        7
    Goghho  
       2024-04-25 10:09:07 +08:00 via iPhone
    @zsxzy 这么快感觉就是 groq 吧
    hebwjb
        8
    hebwjb  
       2024-04-25 10:10:29 +08:00
    挂了
    djangovcps
        9
    djangovcps  
       2024-04-25 10:14:25 +08:00
    fredweili
        10
    fredweili  
       2024-04-25 10:14:45 +08:00
    8b 的本地跑,效果已经不错了
    nwg
        11
    nwg  
       2024-04-25 10:16:34 +08:00
    我擦 这么快
    itskingname
        12
    itskingname  
       2024-04-25 10:37:15 +08:00
    用 groq ,速度可以达到 700Token/s ,已经没有必要使用 Stream 模式了。
    maolon
        13
    maolon  
       2024-04-25 10:43:42 +08:00 via Android
    是 groq 快不是 llama3 快吧...用其他方式 host 速度跟其他模型差不多
    param
        14
    param  
       2024-04-25 13:28:46 +08:00 via Android
    @hooych gpt 用最低配的 ada 一样很快
    lizhisty
        15
    lizhisty  
       2024-04-25 13:58:07 +08:00
    怎么挂了啊
    coolair
        16
    coolair  
       2024-04-25 14:01:50 +08:00
    请稍后再试!
    coderluan
        17
    coderluan  
       2024-04-25 14:03:24 +08:00
    你们说的快不是瞬间就输出 “请稍后再试” 吧😀😀😀
    Chad0000
        18
    Chad0000  
       2024-04-25 14:07:19 +08:00
    没有背后的总算力就说快就是流氓,要我说我还能说我的 GPT4 上午使用时相当快,又聪明又快,比 3.5 还快。那明显是因为那时用量低,算力足啊。
    hooych
        19
    hooych  
       2024-04-25 14:20:36 +08:00
    @hebwjb
    @djangovcps
    @lizhisty
    @coolair
    @coderluan 左下角切换模型
    huzhizhao
        20
    huzhizhao  
       2024-04-25 15:00:21 +08:00
    请稍后再试!
    hooych
        21
    hooych  
       2024-04-25 15:14:15 +08:00
    真的崩了,笑 cry
    feiniu
        22
    feiniu  
       2024-04-25 15:29:10 +08:00
    崩了
    abchehehe32
        23
    abchehehe32  
       2024-04-25 15:30:34 +08:00
    速度是真的可以,马上就告诉我“请稍后再试!” (手动狗头)
    HomeZane
        24
    HomeZane  
       2024-04-25 15:32:53 +08:00
    请稍候再试的速度贼快
    luzemin
        25
    luzemin  
       2024-04-25 16:12:16 +08:00
    回复的非常快,就是回复内容比较固定:
    请稍后再试!
    ProxyXAI
        26
    ProxyXAI  
    OP
       2024-04-25 16:57:42 +08:00
    抱歉流量超级大.... 不得已限流
    ihainan
        27
    ihainan  
       2024-04-25 16:59:58 +08:00
    试了一下,的确好快……
    dobelee
        28
    dobelee  
       2024-04-25 17:03:31 +08:00
    速度确实快,瞬间回答 请稍后再试!
    deorth
        29
    deorth  
       2024-04-25 21:56:46 +08:00 via Android
    好弱智啊。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5303 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 06:41 · PVG 14:41 · LAX 23:41 · JFK 02:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.