@
swhhaa > 但我认为不存在主动改自身结构的智能,这里的“结构“指开始接收训练数据那一刻的全部状态
从实践角度, 这世上哪有啥固定不变的东西? 一个人三岁到三十岁, 脑结构怎么可能不变?
换个思路, 智能体不可以扩展自己吗? 当我想展现出 "数学智能" 时, "我+笔记小抄+文献库" 不能算个复合智能体吗?
我感觉你想表达的这个 "结构" 的含义, 其实有点像 "认知主体 (人 /动物 /硅基体) 的先天认识形式"?
> 我要教会它写代码只通过和它对话的方式肯定是不行的,只能用梯度下降的方式
这楼里之前有网友贴过论文了, 上下文学习可以看作模型的隐式微调
> 如果我能通过和 chatgpt 对话的方式教会它写代码,我也认为它是通用的
我感觉你可能低估了 ChatGPT 的能力
不知道楼主对 提示词工程 了解多少, 可以看看这个人的研究
https://www.zhihu.com/question/582621456/answer/2891745513注意最后他长图里的例子, 当教给 ChatGPT 啥是 "模式 A+B" 之后 (近似理解为函数复合), ChatGPT 自动学会了模式 A+B+C
这还没完, 他做了很多实验, 一直研究到 ChatGPT 能否自己模拟自己
他的实验, 是侧重模式识别的,
你关心的是 "理解抽象定义并具体应用" (演绎式的), 这我目前没找到亮眼的例子, 找到了分享给你
当然以目前能力 "假设 chatgpt 不会写代码, 临时去教 chatgpt 写代码" 我也觉得没戏, 跟你看法一致
---
此外, 楼主似乎觉得智能体应该表现出 "训练推断没明显分界" 的特性, 我的理解是:
从最终要达成目标上, 赞同
从当前实践上, "训练+推断两阶段分离" 的好处, 要远胜过 "训练与推断融为一体" 的好处, 原因:
1 当下阶段, 分离了有利于 debug, 方便研究
2 视角拉远, "训练+推断两阶段分离" 可以模拟 "融为一体" 的效果,
你可能反驳: 以人为制定的步骤, 模拟出 "推理后把新知识内化到原模型", 不算本事
我的观点: 先用着再说, 小步前进有益于理解 AI 的行为, 也有益于理解人本身
3 方便产品设计: 也许以后 ChatGPT 可以加个 "把用户标注的问答记忆到用户私人 LoRA 里" 的功能, 融一起可就摘不出来了, 考虑到 LoRA 可叠加合作, 也许以后一边干活一边顺手训练出符合你个人代码风格的微调层, 然后把它分享给小伙伴