去中心化的大模型 LLM 服务

[askfermi]

ChatBot 的 demo： https://chat.xzyao.dev/

最近重写了一个业余项目 - 在一个 p2p 的网络上跑 LLM ，目前实现比较简单：通过 p2p 把 request forward 到对应的节点的 port 上，目前兼容了 OpenAI 的 API ，理论上应该可以和大部分 OpenAI 的应用兼容。现在跑了两个模型，可以在 chatbot 的界面里看到。

长期目标有两个：

• 支持用户绑定自己的钱包，这样在本地 serve 其他人的 request 可以拿到 token ，然后用来支付一些本地没办法 serve 的模型。
• 和其他的用户一起 serve 一个大的模型，类似 petals ，但它实在太慢了。

GitHub: https://github.com/autoai-org/OpenComputeFramework

另外感谢开源的 UI 实现： https://github.com/anse-app/anse

中文建议使用 openchat/openchat_3.5 这个模型，感觉效果好一些

[askfermi]

另外，欢迎加入 discord 讨论和贡献代码： https://discord.gg/PgGb4z4Jve

[lithiumii]

看标题还以为是 https://github.com/bigscience-workshop/petals

[cat9life]

这个想法有点 6

[privateproxies]

不太看的懂 需要科普一下

[privateproxies]

yaonotes.org 作者的? 打不开了

[peterchen26]

相当于 llm server 接口聚居地？ 一堆人在链上注册一下，别人请求一下，我收点 token ？

[nbndco]

怎么保证 response 的质量？要是我随机返回点东西呢

[BlueHat514]

准备发币吧～

[askfermi]

@privateproxies 基本上就是楼上说的：很多人可以在链上注册自己的 llm server ，我把它们通过一个 peer-to-peer 的网络连在了一起，之后根据请求的情况算如何支付 token 。
另外 yaonotes.org 这个网站因为精力原因不打算继续维护了 :( 抱歉

[askfermi]

@nbndco 这确实是一个我也在尝试实现的问题，我目前的想法是：
- 编译过程里加一个签名，之后在注册到网络的时候需要提供这个签名，保证运行的程序是唯一的。
- 对请求的回复也进行签名和验证，时不时验证返回的回复是不是正确的。

但目前我还没实现这个功能 :(

[askfermi]

@peterchen26 没错，基本上就是这样

[askfermi]

@lithiumii 有点像，但 petals 太慢了

[langhuishan]

比特币这么多的算力不去训练多浪费。修改下比特币算法，用来做训练模型吧

[LancerComet]

有点意思，比纯粹挖矿有意义多了，LLM 服务全自动结算系统

[sentinelK]

楼主能不能阐述下楼主这个技术架构和做算例分包平台有什么区别？

主要有几个疑问：
1 、去中心化体现在哪？交互平台是中心化的，LLM 数据加工的是单个节点，看上去只是一个树状结构而不是网状结构。
2 、如果只是结算方式上链，那不就回到了 IPFS 商业化的老问题：发空气币？
3 、如何验证节点是一个 LLM 算力的有效性？

BTC 之所以用区块链技术实现去中心化，是因为区块链一口气解决了信誉、分工、分布式三个问题。

[nikola11]

这个想法好，不过如果是用以太坊合约结算，其实还是没有利用算力共识，如果是用算力来竞争出块（比如谁先给出答案或者训练数据的节点），这样就可以解决算力的浪费的同时加入激励模型

[askfermi]

@sentinelK
1/ 虽然这个交互平台是中心化的，但 api 的接口（或者说在实际调用计算之前）是去中心化的。用户可以在本地跑一个节点，之后调用这个节点提供的 api ，并把 request 分配到网络里的所有节点上。你也可以跑一个自己的 bootstrap node ，让朋友们加入这个 bootstrap node 。这应该也能回答 2/。
2/ 除此之外，其实商业化并不是这个项目的目标，我的目标是想知道在去中心化的情况下如何验证结果的正确性，如何合理的分配激励，如何调度计算资源等等。
3/ 目前没想到什么好办法，目前的想法是可以不断地对每个节点进行验证，每一个 request 可能被分配到 2 个以上的 node 上。

[askfermi]

@nikola11 说的很对，这可能可以以后研究一下 :)

[cqcn1991]

卧槽可以啊

[akaHenry]

想法很不错, 畅想一个方案:

1. 可以构建一个"LLM 算力/计算资源共享的去中心网络", 基于 Token 付费.

2. LLM 算力池: 所有 LLM 算力节点, 汇集到 LLM 算力池(pool).

3. LLM 挖矿节点: 执行 LLM 任务 + 共识确认.

4. LLM 任务调度机制: 矿工排队接计算任务(类似外卖抢单), 单任务多派发(避免单点失败) + 加权分润.


存在的问题:

1. LLM 网络, 是强实时系统, 对相应速度和并发性能很敏感. 这是 P2P 网络的短板.

2. P2P 比较适合分时+异步任务, 适合对实时反馈不敏感的 Job/Task.

3. 隐私泄漏: 消费者侧的 Task 数据, 容易泄露到 矿工侧, 可能存在 Task 数据加/解密问题.

4. 去中心网络模型退化: 类似 SOL, BSC 链. 可能会退化到 "半中心化网络", 才比较具备可用性. (但这样, 影响力也是降低的)

[ChatGemini]

看不懂 也来支持一下

[sworld233]

我觉得是一个不错的想法，要是能解决上面说的正确性、调度、激励等问题，说不定会很有用

[lyang]

不太懂去中心化 正确性是否可以多收集几个返回，一致就正确

[GeekGao]

目前只实现了基本的通信部分吗？ 没体现出 workload 是如何分配、硬件需求和资源池监控之类的事情。

[askfermi]

@GeekGao 是的 目前 workload 会随机在支持同一模型的节点里随机分配，监控和其他的目前没实现，估计需要下一个大版本

[askfermi]

@lyang 我也想过这个方案，会有两个问题：1. 会有一些资源浪费 2. 由于 llm 生成本身有一些随机性，会导致没办法期待完全一样的结果。

[peterchen26]

@akaHenry 直接开发代币 哈哈哈

[coinbase]

可以发币，我来梭哈 0.1eth