https://github.com/onllama/Onllama.LiteGateway
wget https://git.apad.pro/github.com/onllama/Onllama.LiteGateway/releases/latest/download/Onllama.LiteGateway.linux-x64 -O /usr/bin/Onllama.LiteGateway
wget https://git.apad.pro/raw.githubusercontent.com/onllama/Onllama.LiteGateway/refs/heads/main/[email protected] -O /etc/systemd/system/[email protected]
chmod +x /usr/bin/Onllama.LiteGateway
systemctl enable onllama-litegateway@sk-just-for-example --now
# 请替换 'sk-just-for-example' 为你想要设置的 apikey 。
# curl http://127.0.0.1:22434
同时已支持：
- 支持按照 Deepseek 官方推荐的最佳实践，剥离<think/>前的思考过程，节省上下文并减少混淆
- 支持了通过 ipratelimiting.json 配置请求频率控制
- 手动 HTTPS 支持
- 支持设置覆盖 num_ctx
- 支持通过 llamaguard/shieldgemma 进行输入内容安全审查
- 默认隐藏管理端点，支持关闭鉴权公开对话和 Embed 端点，支持关闭鉴权公开模型信息端点
 |
1
gzlock 3 天前  1
好一个 onllama...
|
 |
2
YsHaNg 3 天前
ollama 这样的后端不应该只放内网吗 前端暴露公网就好了
|
 |
3
musi 2 天前 via iPhone
ollama 也不支持并发，为什么有暴露到公网的想法
|
Select Language