V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  paranoiagu  ›  全部回复第 1 页 / 共 52 页
回复总数  1023
1  2  3  4  5  6  7  8  9  10 ... 52  
@fx0719 ollama
@fx0719 自己 ollma 部署的。
@AndrewHenry 观察了 2 天,纯粹娱乐一下。大部分都是八卦。
3 天前
回复了 kisshere 创建的主题 硬件 国内 4090 显卡 96G 魔改版什么时候上市?
@cat9life 怎么可能
今天复制粘贴差一点把所有内核都清掉,含在用的那个🌚
6 天前
回复了 lisongeee 创建的主题 分享发现 GKD 上架 Google Play 封闭式测试邀请
Z3UueWFuZmVuZ0BnbWFpbC5jb20=

谢谢
10 天前
回复了 follow 创建的主题 汽车 油车不能智驾吗?
竟然没飘过沃尔沃
10 天前
回复了 xz410236056 创建的主题 职场话题 被强迫写鸿蒙怎么搞
@cgpiao 应该没有适配,你这个可能不是纯血鸿蒙的文档
@parad 谢谢。

目前看来还是 llama.cpp 靠谱,ollama 的有点就是 2 个模型自动切换,llama.cpp 要手动执行命令。(显存只够跑一个模型)
上面修正--------ollma ---> ollama
发现 unsloth/QwQ-32B-GGUF 、unsloth/gemma-3-27b-it-GGUF 也都支持 ollma ,然后再拉下来跑了一次,还是 llama.cpp 完胜。

都是 Q4_K_M 量化版本。

@parad 温度调到 0 了。llama.cpp 是通过--n-gpu-layers 64 参数,全部加载到 GPU 了,ollama 自动的。看 GPU 占用,应该也是全 GPU 了。
nvme 转 sata 是需要芯片的
这种改道对向车道的修路,应该是几公里外就开始放雪糕桶引导车流才对。不知道实际情况怎么样。
12 天前
回复了 2232588429 创建的主题 Android 安卓微信不支持点击关闭图片吗?
侧滑(返回)、点图片后向下拉。都可以关闭的。
17 天前
回复了 sunhanfl 创建的主题 计算机 笔记本选购求推荐
一定要带个显卡
22 天前
回复了 jinglian 创建的主题 macOS nrg 镜像文件怎么打开?
改成 ISO 就行了吧
为什么 iOS 的 抖音极速版没有赚钱功能?
27 天前
回复了 balabalaguguji 创建的主题 Google Play GooglePlay 大坑一个
谷歌那边签名后,下载到国内商店上架
接码平台
1  2  3  4  5  6  7  8  9  10 ... 52  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3491 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 35ms · UTC 04:37 · PVG 12:37 · LAX 21:37 · JFK 00:37
Developed with CodeLauncher
♥ Do have faith in what you're doing.