V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xuelang
V2EX  ›  OpenAI

Google Gemini Pro 深度体验,离 GPT4 还有些差距

  •  
  •   xuelang ·
    selfboot · 346 天前 · 4930 次点击
    这是一个创建于 346 天前的主题,其中的信息可能已经有所发展或是发生改变。

    按照 Google 官方的介绍,Gemini 是第一个在 MMLU (大规模多任务语言理解)方面超越人类专家的模型,在推理,数学和代码上的能力也都超过了 GPT4 。而且还是一个多模态的模型,可以同时处理文本,图像,声音和视频,评测分数也比 GPT-4V 更高。

    从 Google 发布的宣传片来看,Gemini 的表现确实让人惊艳。发布几天后,很多人已经对 Gemini 有不少质疑的声音,因为发布的视频是编辑过的。Gemini 的真实效果如何,还是要自己亲自试一试才知道。目前 Google 对外只放开了 Gemini Pro 的使用,自己用 bard 感知下 Gemini Pro 到底怎么样吧。

    功能 ChatGPT 4 Bard(Gemini Pro)
    使用限制 地区限制,IP 风控,支付风控 地区限制
    费用 付费 免费
    速度 很慢,不过最新的 GPT4-tubro 快了不少 速度很快
    联网能力 All-Tools 可以联网 比较迷,不完善的联网能力 |
    语言能力 很强 比 GPT4 差,中文能力没 GPT4 强
    数学问题 一般 比 GPT-4 差
    编程能力 很强 比 GPT-4 差
    Bug 很少遇见,对话太长有时候会 比较容易触发,问答明显异常

    全文在博客:

    Google Gemini Pro 深度体验,离 GPT4 还有多大差距?

    48 条回复    2023-12-17 10:02:41 +08:00
    Eddiegaao
        1
    Eddiegaao  
       346 天前   ❤️ 1
    但是 bard 好就好在免费用户可以生图、识图,让 bard 查询照片拍摄位置是个不错的应用
    feirisu
        2
    feirisu  
       346 天前
    可以查照片在哪拍的,试过很牛逼。
    lzgshsj
        3
    lzgshsj  
       346 天前
    宣传的不是 Ultra 强过 4 吗,Pro 跟 3.5 比才对
    yyf1234
        4
    yyf1234  
       346 天前 via iPhone   ❤️ 5
    Q: 你能联网吗
    A: 是的,我可以联网。我可以通过谷歌搜索访问和处理来自现实世界的信息,并使我的回复与搜索结果保持一致。这使我能够提供关于各种主题的最新信息,并回答您的问题,即使它们是开放式的、具有挑战性的或奇怪的。

    Q: 访问一下 https://github.com/xxxx
    A:我是一个语言模型,在这方面帮不上忙。

    😢😢😢
    billzhuang
        5
    billzhuang  
       346 天前
    Gemini Ultra 对应的 GPT-4
    xuelang
        6
    xuelang  
    OP
       346 天前
    @lzgshsj 嗯,是应该和 gpt 3.5 比更公平些。 不过我都是用 4 ,懒得再玩 3.5 了
    xuelang
        7
    xuelang  
    OP
       346 天前
    @yyf1234 对,但有时候有能联网,反正直接让它访问一个网页是不行的,很奇怪的表现
    xuelang
        8
    xuelang  
    OP
       346 天前
    另外,听小道消息,圣诞节前应该有 4.5 出来,估计比 Gemini Ultra 要好。
    icyalala
        9
    icyalala  
       346 天前
    自己拿 Ultra 版来评测,又不开放给大家测试,是成本问题还是 Google 不自信。。
    xuelang
        10
    xuelang  
    OP
       346 天前
    @icyalala 感觉模型是还不够成熟,有些问题还要解决才能上线。 比如成本,道德审核之类的问题。
    weilongs
        11
    weilongs  
       346 天前
    google 自己承认演示视频是经过处理的啊。 经过很多 prompt 和视频剪辑的哦。
    Simle100
        12
    Simle100  
       346 天前
    等 Gemini Ultra 给用户使用了,GPT5 可能已经上线了。拿期货和人家比,Google 这么大公司还能要点脸吗?
    yvescheung
        13
    yvescheung  
       346 天前
    @yyf1234 “访问一下 https://github.com/xxxx ,总结该项目”是可以运行的
    jgh004
        14
    jgh004  
       346 天前
    @Eddiegaao 只能文字,不能生成图片。
    xuelang
        15
    xuelang  
    OP
       346 天前
    @weilongs 不止这个,给的 ultra 报告,也是测试了好多提示词,选的效果最好的和 GPT4 比
    xuelang
        16
    xuelang  
    OP
       346 天前
    @jgh004 好像 Google 没有文生图的模型,OpenAI 是用的 Dall 3
    idragonet
        17
    idragonet  
       346 天前
    bard 对中文理解太差。
    xuelang
        18
    xuelang  
    OP
       346 天前
    @idragonet 是啊,中文支持最好还是 gpt ,claude 也都比 bard 强
    jadehare
        19
    jadehare  
       346 天前
    这集成真不太行啊,bard 都搞不懂自己是不是 gemini
    xuelang
        20
    xuelang  
    OP
       346 天前
    @jadehare 你怎么问的?
    weilongs
        21
    weilongs  
       346 天前
    @xuelang 不过演示视频搞动作也不是他一家,更何况 google 之前就搞错这种所谓的演示视频。之前有个语音效果也是演示视频很 6 ,实际就那样。所以我从来不信演示视频,那些不只是演示,也是掩饰。
    jadehare
        22
    jadehare  
       346 天前
    问他是基于什么大语言模型,他来个我希望有一天能够像 Google Gemini 那样强大和灵活
    xuelang
        23
    xuelang  
    OP
       346 天前
    @weilongs 对的,其实 ChatGPT 上次的 Dall 模型,演示很牛,实际用下来也有很多不行的地方。
    xuelang
        24
    xuelang  
    OP
       346 天前
    我问了下,是 gemini ,

    What kind of large language model are you basing upon?


    [Imgur]( )
    xuelang
        25
    xuelang  
    OP
       346 天前
    @jadehare 你用英文问的吗? gemini 应该只支持英文
    jadehare
        26
    jadehare  
       346 天前
    @xuelang #25 哦是的,问了下说 6 号以后 in English
    newage126
        27
    newage126  
       346 天前
    一个成品和一个概念框架怎么比,等 gemini 公测以后才能知道
    keegan
        28
    keegan  
       346 天前
    既然 gemini 都不支持中文,怎么还能比较中文能力,悖论了
    Ericcccccccc
        29
    Ericcccccccc  
       346 天前
    gemini 只能支持英文. 看更新日志.
    simpleisbest
        30
    simpleisbest  
       346 天前
    不管怎么样,都比国内的牛
    Greendays
        31
    Greendays  
       346 天前
    这东西性能太强是不是会把谷歌自己的给淘汰掉了?
    PerFectTime
        32
    PerFectTime  
       346 天前
    只有英文用户才使用的 gemini ,中文询问不是 gemini ,不是很懂比较中文比较的啥
    xuelang
        33
    xuelang  
    OP
       346 天前
    @keegan 没比较中文啊,文章里提示词是英语的
    xuelang
        34
    xuelang  
    OP
       346 天前
    @simpleisbest 文心一言付费版本据说很强,不过没买,没用过不知道真实如何。
    xuelang
        35
    xuelang  
    OP
       346 天前
    @newage126 ultra 公测估计得明年了吧
    xuelang
        36
    xuelang  
    OP
       346 天前
    @Ericcccccccc 是,所以也是用英语来体验的啊
    KJH
        37
    KJH  
       346 天前
    我和我朋友,用英文问
    你的面前有四杯水,三杯水 25 度,一杯水 26 度,水的质量为 200 克,将它们倒在一杯里,那这杯水的温度是多少。
    每新开一个对话都会给我一个新的答案:6.25 、25.25 、26.25 、25.32
    xuelang
        38
    xuelang  
    OP
       346 天前
    You have four glasses of water in front of you, three glasses of water at 25 degrees, one glass of water at 26 degrees, and the mass of water is 200 grams, pour them in one cup, then what is the temperature of this glass of water.

    我试了 3 次,都是 25.25 ,还写了代码
    KJH
        39
    KJH  
       346 天前
    @xuelang 我把你的英文复制了一遍,这是他的回复


    To calculate the final temperature of the mixed water, we need to use the principle of heat transfer. Since no heat is added or lost to the environment (assuming ideal conditions), the total heat content of the system will remain constant.

    Calculate the total heat content before mixing:
    Heat content of 25-degree water: 3 glasses x 200 grams/glass x 25°C x 4.18 J/g°C = 62,700 J
    Heat content of 26-degree water: 1 glass x 200 grams/glass x 26°C x 4.18 J/g°C = 21,776 J
    Total heat content: 84,476 J
    After mixing, the water will reach a common equilibrium temperature. Let's call this temperature "T".
    Total heat content after mixing: 4 glasses x 200 grams/glass x T x 4.18 J/g°C = 836T J
    Equate the heat contents before and after mixing: 84,476 J = 836T J => T = 84,476 J / 836 J/°C = 101°C
    Therefore, the final temperature of the mixed water will be approximately 101°C.
    xuelang
        40
    xuelang  
    OP
       346 天前
    @KJH
    nextone
        41
    nextone  
       346 天前
    @xuelang 文心一言付费版本也很垃圾,买了一个月,没用几次,太差了
    woorz
        42
    woorz  
       346 天前
    <iframe src="//player.bilibili.com/player.html?aid=237039891&bvid=BV11e411C76v&cid=1363262155&p=1" scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true"> </iframe>
    woorz
        43
    woorz  
       346 天前
    发错。
    可以撤回?
    xuelang
        44
    xuelang  
    OP
       345 天前
    @nextone 上次李彦宏还在那吹牛文心一言付费版本中文能力和 4 差不多。。
    我还信了。。
    xuelang
        45
    xuelang  
    OP
       345 天前
    @woorz v 站不支持撤回的,不过没关系
    keegan
        46
    keegan  
       345 天前
    @xuelang #33 这句话怎么理解:比 GPT4 差,中文能力没 GPT4 强
    xuelang
        47
    xuelang  
    OP
       344 天前
    @keegan 想强调下,中文能力更差。Gemini pro 目前只支持英文,英文下比 gpt4 差,中文更差。
    zhu327808
        48
    zhu327808  
       340 天前
    写了一个 adapter 有需要可以尝试:

    https://github.com/zhu327/gemini-openai-proxy
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   958 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 21:23 · PVG 05:23 · LAX 13:23 · JFK 16:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.