为 Ollama 添加 APIKEY 鉴权的最简单的方式，防止 Ollama 直接暴露在公网被滥用

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 41 天前的主题，其中的信息可能已经有所发展或是发生改变。

https://github.com/onllama/Onllama.LiteGateway

wget https://git.apad.pro/github.com/onllama/Onllama.LiteGateway/releases/latest/download/Onllama.LiteGateway.linux-x64 -O /usr/bin/Onllama.LiteGateway
wget https://git.apad.pro/raw.githubusercontent.com/onllama/Onllama.LiteGateway/refs/heads/main/[email protected] -O /etc/systemd/system/[email protected]
chmod +x /usr/bin/Onllama.LiteGateway 
systemctl enable onllama-litegateway@sk-just-for-example --now

# 请替换 'sk-just-for-example' 为你想要设置的 apikey 。
# curl http://127.0.0.1:22434

同时已支持：

支持按照 Deepseek 官方推荐的最佳实践，剥离<think/>前的思考过程，节省上下文并减少混淆
支持了通过 ipratelimiting.json 配置请求频率控制
手动 HTTPS 支持
支持设置覆盖 num_ctx
支持通过 llamaguard/shieldgemma 进行输入内容安全审查
默认隐藏管理端点，支持关闭鉴权公开对话和 Embed 端点，支持关闭鉴权公开模型信息端点

apikey

鉴权

ollama

6 条回复 • 2025-03-12 10:34:24 +08:00

gzlock

41 天前

好一个 onllama...

YsHaNg

41 天前

ollama 这样的后端不应该只放内网吗前端暴露公网就好了

musi

41 天前 via iPhone

ollama 也不支持并发，为什么有暴露到公网的想法

julyclyde

41 天前

@YsHaNg 搞 AI 的和搞互联网的人群重叠度比较低。很多人没这个意识

mili100

36 天前

@gzlock 意指站在巨人的肩膀上，或者是羊驼的背上（？

@musi Ollama 从 [v0.1.33]( https://github.com/ollama/ollama/releases/tag/v0.1.33) 开始就已经支持并发和同时加载多个模型了，已经足以能够胜任一些中小规模的生产环境了

musi

36 天前

@mili100 #5 感谢告知，你不说我还不知道，倒是可以尝试一下开下并发