@jackerbauer 不需要推理哈，推理的时间太长了

谢谢各位的回复，答案基本有了：

1. modelfile 文件需要自己手动编写，这对新手来说主要怕写的不好，怕漏东西或写的不完美。

2. 用 server 启动时指定环境变量来指定 GPU ，或者开 2 个 docker 容器来指定。这里我选择了后者，开 2 个 docker 容器简单好维护。

再次感谢各位的热心回答！

@joyhub2140 如果想分配另一张卡，是需要再开一个新的容器吗？

@iSkylar 明白您的意思，但是环境变量不是只能设置一个嘛？如何在同一个 docker 容器内为 2 个大模型分配各自的显卡呢？

请问是这样操作吗：我部署 A 模型时，先把 CUDA_VISIBLE_DEVICES=0 ；部署 B 模型时，再把 CUDA_VISIBLE_DEVICES=1 。这样不会改变 A 模型的运行显卡吧？

@b821025551b 刚看了一下 ollama show --modelfile 还会额外补充信息，比我自己写的 modelfile 内容还要丰富很多

@hcr707305003 很多模型找不到 modelfile ，比如这个： https://huggingface.co/Qwen/QwQ-32B

@iSkylar 我现在是用 docker 跑的，这是我的配置：
```
services:
ollama:
volumes:
- /opt/models:/root/.ollama
- ./modelfiles:/root/modelfiles
container_name: ollama
tty: true
restart: always
image: ollama/ollama:latest
ports:
- 7013:11434
environment:
- OLLAMA_KEEP_ALIVE=24h
- TZ=Asia/Shanghai
networks:
- ollama-docker
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: ["1"]
capabilities: [gpu]
```

我在配置中指定了：device_ids: ["1"]，也就是这个容器使用第二块显卡，这里我需要把 1 改成 all 吗？改成 all 的话，还能使用环境变量指定 GPU 嘛，请问是在 modelfile 里指定 GPU 编号嘛?

还有一个原因，搜索是全局搜索，没法在文档或者 wiki 的当前页面搜索，这个用起来其实也不太方便

@ericguo 我看 OP 有 2 种，一个叫文档（ document ），一个叫 wiki ，您发的这个链接应该是 wiki 吧

其实文档和 wiki 看起来差不多，不知道为啥我领导特别喜欢文档。

请问您方便加下我 vx 沟通嘛：cj1216912253

@ericguo 十分感谢老哥！

因为 op 的文档功能太弱了，目录没有层级关系，也无法搜索文档，组长就希望我加下这 2 个功能。

不知道这 2 个功能难不难，能向老哥请教一下实现思路吗？

因为企业的性质，没法让老哥帮忙 2 开，我只能个人出钱向老哥付费咨询，您看咋样呢？