ZimaBlueee 最近的时间轴更新 ZimaBlueee 最近的时间轴更新 |
ZimaBlueeeV2EX 第 635411 号会员，加入于 2023-06-22 22:47:58 +08:00今日活跃度排名 11258 |
| ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 Local LLM • ZimaBlueee • 18 小时 20 分钟前 • 最后回复来自 hefish | 19 |
ZimaBlueee 最近回复了
23 小时 9 分钟前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
谢谢各位的回复，答案基本有了：
1. modelfile 文件需要自己手动编写，这对新手来说主要怕写的不好，怕漏东西或写的不完美。
2. 用 server 启动时指定环境变量来指定 GPU ，或者开 2 个 docker 容器来指定。这里我选择了后者，开 2 个 docker 容器简单好维护。
再次感谢各位的热心回答！
1. modelfile 文件需要自己手动编写，这对新手来说主要怕写的不好，怕漏东西或写的不完美。
2. 用 server 启动时指定环境变量来指定 GPU ，或者开 2 个 docker 容器来指定。这里我选择了后者，开 2 个 docker 容器简单好维护。
再次感谢各位的热心回答！
23 小时 25 分钟前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@joyhub2140 如果想分配另一张卡，是需要再开一个新的容器吗？
23 小时 38 分钟前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@iSkylar 明白您的意思，但是环境变量不是只能设置一个嘛？如何在同一个 docker 容器内为 2 个大模型分配各自的显卡呢？
请问是这样操作吗：我部署 A 模型时，先把 CUDA_VISIBLE_DEVICES=0 ；部署 B 模型时，再把 CUDA_VISIBLE_DEVICES=1 。这样不会改变 A 模型的运行显卡吧？
请问是这样操作吗：我部署 A 模型时，先把 CUDA_VISIBLE_DEVICES=0 ；部署 B 模型时，再把 CUDA_VISIBLE_DEVICES=1 。这样不会改变 A 模型的运行显卡吧？
23 小时 42 分钟前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@b821025551b 刚看了一下 ollama show --modelfile 还会额外补充信息，比我自己写的 modelfile 内容还要丰富很多
23 小时 46 分钟前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@hcr707305003 很多模型找不到 modelfile ，比如这个： https://huggingface.co/Qwen/QwQ-32B
23 小时 53 分钟前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@iSkylar 我现在是用 docker 跑的，这是我的配置：
```
services:
ollama:
volumes:
- /opt/models:/root/.ollama
- ./modelfiles:/root/modelfiles
container_name: ollama
tty: true
restart: always
image: ollama/ollama:latest
ports:
- 7013:11434
environment:
- OLLAMA_KEEP_ALIVE=24h
- TZ=Asia/Shanghai
networks:
- ollama-docker
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: ["1"]
capabilities: [gpu]
```
我在配置中指定了：device_ids: ["1"]，也就是这个容器使用第二块显卡，这里我需要把 1 改成 all 吗？改成 all 的话，还能使用环境变量指定 GPU 嘛，请问是在 modelfile 里指定 GPU 编号嘛?
```
services:
ollama:
volumes:
- /opt/models:/root/.ollama
- ./modelfiles:/root/modelfiles
container_name: ollama
tty: true
restart: always
image: ollama/ollama:latest
ports:
- 7013:11434
environment:
- OLLAMA_KEEP_ALIVE=24h
- TZ=Asia/Shanghai
networks:
- ollama-docker
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: ["1"]
capabilities: [gpu]
```
我在配置中指定了：device_ids: ["1"]，也就是这个容器使用第二块显卡，这里我需要把 1 改成 all 吗？改成 all 的话，还能使用环境变量指定 GPU 嘛，请问是在 modelfile 里指定 GPU 编号嘛?
167 天前 回复了 noodles007 创建的主题 › 项目管理 › Openproject 有人二次开发过么 |
还有一个原因，搜索是全局搜索，没法在文档或者 wiki 的当前页面搜索，这个用起来其实也不太方便
167 天前 回复了 noodles007 创建的主题 › 项目管理 › Openproject 有人二次开发过么 |
@ericguo 我看 OP 有 2 种，一个叫文档（ document ），一个叫 wiki ，您发的这个链接应该是 wiki 吧
其实文档和 wiki 看起来差不多，不知道为啥我领导特别喜欢文档。
请问您方便加下我 vx 沟通嘛：cj1216912253
其实文档和 wiki 看起来差不多，不知道为啥我领导特别喜欢文档。
请问您方便加下我 vx 沟通嘛：cj1216912253
167 天前 回复了 noodles007 创建的主题 › 项目管理 › Openproject 有人二次开发过么 |
@ericguo 十分感谢老哥！
因为 op 的文档功能太弱了，目录没有层级关系，也无法搜索文档，组长就希望我加下这 2 个功能。
不知道这 2 个功能难不难，能向老哥请教一下实现思路吗？
因为企业的性质，没法让老哥帮忙 2 开，我只能个人出钱向老哥付费咨询，您看咋样呢？
因为 op 的文档功能太弱了，目录没有层级关系，也无法搜索文档，组长就希望我加下这 2 个功能。
不知道这 2 个功能难不难，能向老哥请教一下实现思路吗？
因为企业的性质，没法让老哥帮忙 2 开，我只能个人出钱向老哥付费咨询，您看咋样呢？
173 天前 回复了 noodles007 创建的主题 › 项目管理 › Openproject 有人二次开发过么 |
@ericguo 老哥，我是 Ruby 新手，请问有 openproject 的二开教程或者资源推荐嘛？我想加一个很简单的小功能
Select Language