有没有离线的代码补全软件？

[YVAN7123]

背景

• 内网离线开发
• 开发的一般是大数据组件相关的内容
• 有部分源码
• 由于是华为全套大数据组件， 外网没有环境，无法在外网开发

期望

• 把源码或者其他相关代码扔到 ai 里，
• 写代码的时候给我提醒补全
• 用 idea 和 vscode

有没有相关的工具可以推荐一下。

[xausky]

昨天刚看到一个站内人的项目： https://github.com/TabbyML/tabby 模型下载好后应该可以离线使用

[securityCoding]

ollama 跑一个？

[yunyuyuan]

ollama+continue+openwebui

[chairuosen]

本机最大也就跑个 32b 的模型，跟在线 api 效果差得多

[miniliuke]

idea2024 不是自带吗？就是能力一般就是了

[clemente]

@chairuosen 今年不好说 嘿嘿

[jaylee4869]

Ollama + continue.
话说 deepseek v3 已经支持 Ollama 了。

[ganbuliao]

vscode server
配置 copilot 走本地网络
{
"remote.extensionKind": {
"GitHub.copilot": [
"ui"
],
"GitHub.copilot-chat": ["ui"],

"pub.name": [
"ui"
]
}
}

[lyonll]

@yunyuyuan 有模型推荐么，现在用 starcoder2+qwen2.5

[tomyark123]

lsp 不是离线的吗

[mioktiar56]

离线了还怎么赚你钱

[spike0100]

@jaylee4869 话说 671b 模型跑起来需要什么配置的机器啊😧

[xing7673]

@spike0100 6 个 64g mac mini 或 3 个 m1u 128g mac studio 或 2 个 m2u 192 mac studio 或 4*80g a800+显卡 或者 8 * 48g 4090

至少要 7 万+的预算

[isSamle]

8 * 48g 4090 何止 7W+ 😂 @xing7673

[xing7673]

@isSamle 嘛，最低我是按照 6*64g macmini 算的

[windgreen]

ollama + codegeex + visual code

[yangth]

本机跑不动的，能跑动的不是智能是智障

[yangth]

如果有实力，可以自建机房

[yuedashi]

lmstudio

[PolarisY]

或许你可以研究研究内网穿透😂

[Genshin2020]

ollama

[oncethink]

推荐 tabby ，可以本地代码问答和，如果内存在 16GB 或以下，建议用 1.5b 的模型，再大速度就很慢了。

如果使用 macOS ，直接用 brew install tabbyml/tabby/tabby ，然后访问后台注册账户，在设置界面拿到 token ，然后在 vscode 中装上 tabby 扩展，填入本地 tabby 服务地址和 token

如果使用 ollama 做后端，可以参考下面配置：

下面是一个使用 qwen2.5-coder:7b 的参考配置，你需要先用 ollama pull qwen2.5-coder:7b-base 和 qwen2.5-coder:7b ，前者适合做补全，后者适合做问答。

~/.tabby/config.toml
```
# Completion model
[model.completion.http]
kind = "ollama/completion"
model_name = "qwen2.5-coder:7b-base"
api_endpoint = "http://localhost:11434"
# prompt_template 不同的模型配置可能不一样，需要自己注意一下
prompt_template = "<|fim_prefix|>{prefix}<|fim_suffix|>{suffix}<|fim_middle|>"

# Embedding model
[model.embedding.http]
kind = "ollama/embedding"
model_name = "bge-m3:latest"
api_endpoint = "http://localhost:11434"

# Chat model
[model.chat.http]
kind = "openai/chat"
model_name = "qwen2.5-coder:7b"
api_endpoint = "http://localhost:11434/v1"
```

[HK560]

同问，为了代码安全公司想要本地部署 ai 模型服务来辅助开发，目前就在找这种类似的解决方案，

[chenJianRong123]

Idea 最新版，不是可以补全吗

[raycool]

@HK560 他们不都有私有化部署方案吗？一年几十万。

[blackeeper]

docker 运行 openWebUI + ollama ，然后 vscode + continue 插件，离线写代码

[dengji85]

@PolarisY 内网都是隔离的，没有外网，怎么穿透

[YVAN7123]

@PolarisY #20 给叔叔网 内网穿透 你真想得到啊

[hanshuqiang92]

https://code.fittentech.com/ 支持私有化部署，收费的，不差钱可以看看