 |
suke119V2EX 第 606399 号会员，加入于 2022-12-13 10:14:06 +08:00 |
wangsrbus.cn
wangsrGit119
掘金小册《WebRTC：实现私有化会议直播系统》
| 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型
1 程序员 • suke119 • 5 天前 • 最后回复来自 kenshin912
|
21 |
| 一文秒懂 AI 核心： Agent、RAG、Function Call 与 MCP 全解析
8 程序员 • suke119 • 11 天前 • 最后回复来自 quietDown
|
18 |
| LightRAG: 轻量级检索增强生成系统 Python • suke119 • 139 天前 • 最后回复来自 mdb | 5 |
| 音视频付费资源保护,利用 WebRTC 从服务端点对点播放资源 分享创造 • suke119 • 2023-03-01 16:06:22 PM • 最后回复来自 suke119 | 25 |
| 写了个 WebRTC 在线会议系统，仿谷歌 Meet，欢迎提建议
2 分享创造 • suke119 • 2023-02-16 17:24:15 PM • 最后回复来自 suke119
|
21 |
| 图片视频卡通化，支持容器化部署
3 分享创造 • suke119 • 2023-01-18 16:04:47 PM • 最后回复来自 suke119
|
4 |
| Wasm 无服务端音视频转码工具 分享创造 • suke119 • 2023-01-19 14:01:45 PM • 最后回复来自 suke119 | 37 |
suke119 最近回复了
5 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
@zhuanggu 我用 7b 举例子，7b 分为量化和不量化，不同的量化等级占用的显存是完全不一样的，效果也是不一样的
5 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
@keakon 我用 7b 举例子，7b 分为量化和不量化，不同的量化等级占用的显存是完全不一样的，效果也是不一样的
5 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
@keakon 有些模型单卡加载不下的 所以才需要多卡并行
5 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
@scguanzhong 用 vllm
6 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
@senduy 现阶段一般大型服务器都是具备光模块的 比普通网口要高效
6 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
@ZiChun 嗯 具体看需要 还有就是最终需要的效果
6 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
@liprais 看看光模块 呢
6 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
@lovestudykid 请注意是不同电脑最大化资源利用，加入你有两个服务器，不是显卡不在同一个服务器上 ；其次 现在的服务器都有光模块的，光模块速率和网线连接还是有区别的
16 天前 回复了 suke119 创建的主题 › 程序员 › 一文秒懂 AI 核心： Agent、RAG、Function Call 与 MCP 全解析 |
@sweat89 是的
16 天前 回复了 suke119 创建的主题 › 程序员 › 一文秒懂 AI 核心： Agent、RAG、Function Call 与 MCP 全解析 |
@lindongwu11 这个怎么说呢 MCP 现在是一种狂热阶段，后续不知道；像 高德地图、github 仓库、这些都有对应的 mcp server ，工具调用 我们自己还需要维护工具（自己实现工具），但是 mcp 相当于封装了一层 只给我们暴露了函数和参数，具体工具实现不用我们管。边走边看，后面会发展成啥样子都是未知的
Select Language