V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Raven316
V2EX  ›  分享发现

1.75 万亿个参数?这是不是就有点离谱,这就是未来人工智能的发展方向吗?

  •  
  •   Raven316 · 2021-06-01 17:12:58 +08:00 · 3873 次点击
    这是一个创建于 1300 天前的主题,其中的信息可能已经有所发展或是发生改变。

    理论没啥大突破,就硬堆参数和算力呗。

    https://mp.weixin.qq.com/s/iziwgtHTpZO-f1eZbx3pJQ

    20 条回复    2021-06-03 15:08:25 +08:00
    statement
        1
    statement  
       2021-06-01 17:26:50 +08:00
    多核就不是技术了?
    Raven316
        2
    Raven316  
    OP
       2021-06-01 17:41:59 +08:00
    @statement 算什么技术,就这么大个模型,他能达到高中毕业生的数学水平吗?
    wateryessence
        3
    wateryessence  
       2021-06-01 17:47:51 +08:00
    @Raven316 老哥是做相关方向的吗,这么暴躁

    超大模型只能说是一个探索方向,谷歌那篇文章更侧重再讲在超大模型里针对不同任务的优化手段
    kop1989
        4
    kop1989  
       2021-06-01 17:50:48 +08:00
    目前的 AI 依然是“统计学”范畴。
    “机器学习”、“神经网络”都是统计学最终落地的算法方式。
    此文中提出的“超大模型”也是一种。

    他们的最终目的都是高效的总结出既有数据的最优解或局部最优解。
    kop1989
        5
    kop1989  
       2021-06-01 17:52:35 +08:00   ❤️ 1
    换句话说,目前的 AI,依然是“举三反一”,而不是“举一反三”。
    villivateur
        6
    villivateur  
       2021-06-01 17:52:49 +08:00 via Android   ❤️ 2
    我不知道楼主是不是学相关方向的,但就我来讲的话,我对自己不熟悉的领域,是抱有敬畏之心的
    Raven316
        7
    Raven316  
    OP
       2021-06-01 19:50:09 +08:00
    @villivateur 你看他文章里说了的吗?

    “悟道 2.0”不仅仅是个语言模型,它是一个全能选手,一统文本和视觉两大领域,在问答、绘画、作诗、视频等任务中正在逼近图灵测试。

    他这个模型,能写出 50 万字的连贯的前后一致,没有矛盾,没有 bug,有整体逻辑和架构感的小说?现在 nlp 写的小说,超过几千字就没有任何逻辑可言了,在这吹接近图灵测试,我真的笑了。
    lxiian
        8
    lxiian  
       2021-06-01 19:50:13 +08:00 via Android
    同意楼上↑
    lxiian
        9
    lxiian  
       2021-06-01 19:51:33 +08:00 via Android
    怎么和楼主同一时间回复了。。。。。同意楼上不是楼主那一层。。。是同意 6 楼
    mxT52CRuqR6o5
        10
    mxT52CRuqR6o5  
       2021-06-01 20:04:52 +08:00   ❤️ 1
    你们就已经预设楼主不懂 AI 领域了,没有敬畏之心
    我也没太明白现阶段搞个全能 AI 是想干嘛
    GeruzoniAnsasu
        11
    GeruzoniAnsasu  
       2021-06-01 20:26:07 +08:00 via Android
    我不懂 AI 算法怎么算

    但我知道 CNN 的核心思路是找到提取特征的方法降低参数量,而深层神经网络能帮助拟合出有效特征。


    那由此即可以推广:
    1. 神经网络的作用就是自动寻找样本的特征提取方式
    2. 基于类似神经网络结构的“AI”,原理必定是特征提取+统计回归。起码“判定网络”必定如此。
    3. 目前还没看到突破性的新“生成网络”技术手段,因此现阶段所有的生成网络必定要由 2 所述的判定网络进行约束。
    4. 人类创新能力的本质特征就是能够突破经验框架或历史模式。
    5. 综上,现有结构的“AI” 与 4 矛盾,因此永远无法完成类人的创造性事务



    其实讲个笑话,艺术创作往往是在试探人类逻辑的边界,比如人们能不能欣赏无调式音乐,能不能感受色块代表的光影,能不能接受最恶最善的社会属性共存。不会有人指望人们能搞出一个“能搞出自己认知边界外的东西”吧?
    worryfree
        12
    worryfree  
       2021-06-01 20:28:51 +08:00 via iPhone
    @Raven316 那你造啊,怎么天天论坛僵的人那么多
    johnsona
        13
    johnsona  
       2021-06-01 20:32:24 +08:00 via iPhone
    @kop1989 还是统计的思路 深度学习中的很多技术是工程上技术 比如随机梯度下降
    love
        14
    love  
       2021-06-01 21:06:07 +08:00
    现在的 AI 和大家认识中的真正的 AI 完全不是一个东西,离真 AI 一步都没走出过,没什么好比较的
    zagfai
        15
    zagfai  
       2021-06-01 23:18:30 +08:00
    参数这么多为什么没有过拟合?
    ignor
        16
    ignor  
       2021-06-02 00:18:20 +08:00 via Android
    面向经费编程罢了
    Trim21
        17
    Trim21  
       2021-06-02 08:44:02 +08:00 via Android
    图灵测试有个具体标准吗,比如问多少个问题之类的。

    不过一个语言模型要啥高中毕业生数学能力啊
    InvincibleDream
        18
    InvincibleDream  
       2021-06-02 18:00:38 +08:00
    @GeruzoniAnsasu 不严格的来讲神经网络定义了一类函数空间,特定的结构和参数可以从中划分出子空间使得其映射满足一定的约束,把这些约束简单分为特征提取及统计回归可能不够充分。经验框架或历史模式的突破能否在神经网络这类函数空间内求解还不是很清楚。
    namelosw
        19
    namelosw  
       2021-06-03 03:07:14 +08:00
    这种类似 GPT3 的大模型在做很多事情很有用,比如发垃圾公众号,按口述要求写代码供程序员校对,自动生成 WordPress 预售网站之类的。

    虽然不是大家期望的 AI,也不是真的有思想和智能。

    但是假如放出来每个人都能随便用的话,会对世界造成巨大影响。比如最直接的,搜索引擎有可能被垃圾信息打垮,因为每个人都可以把有版权的东西让 AI 「用自己的话抄袭一遍」,还可以整合和续写等等,这些东西还能应用在图像和视频上,之前还有一些自动生成动画和美工设计的应用。

    讲真,现在很多人写的公众号空洞得还不如机器写的,其中还有很多订阅量很高。
    wateryessence
        20
    wateryessence  
       2021-06-03 15:08:25 +08:00
    @zagfai 整合多个专家系统,对不同任务激活不同路径的思路
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2867 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 12:30 · PVG 20:30 · LAX 04:30 · JFK 07:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.