LLM local 模型入门和使用

[iv8d]

怎么学习和入手呢

目前就看和使用过 huggingface 上 gpt2 示例。

model 相关的 api 不知道怎么查找，比如像使用 gpt2 的 qa 类任务应该如何来做。

本地能跑起来 gpt2 的示例，换成 llama2 的 7b 模型直接就结束了，是因为集显性能原因跑不起来吗

预训练怎么做，上传语料线上训练还是直接本地训练 本地预训练有示例么，简单点的

求教想深入学 ai ，我应该怎么继续下去

[YsHaNg]

深入的不太清楚 简介强大美观就用 ollama+open webui docker 直接装 显存不够大就不用 cuda 之类的 tag cpu 跑推理也还行 至少大内存能堆参数量 你不在乎延迟后台放着慢慢跑 路由器再设置端口转发提供公网服务

[Donaldo]

本地部署：
- 命令行：ollama
- 图形界面：LM Studio

二者都会提供 OpenAI 格式的 API ，另外你参考一下自己的显存大小和模型大小，太大的就会跑不起来或者要借助 CPU ，所以很慢。

[hertzry]

跟着课程学呗。
https://huggingface.co/learn/nlp-course/

[iv8d]

@YsHaNg 目前只了解到 huggingface 的，仅限于使用了 gpt2. ollama 相比 huggingface 有优势？更好学？

[iv8d]

@Donaldo OpenAI 格式的 API 是什么，我就用过 transformers 这个框架，还有示例用 pipeline 这种方法。

[iv8d]

@hertzry 好 终于找到教程了

[Donaldo]

@iv8d #5  我给你解释半天也不如你谷歌搜一下，就是一个 json 请求和响应的格式，一看便知。

[YsHaNg]

@iv8d 针对终端用户包装生态好 社区很多应用 对应的前端更新很快 https://openwebui.com/ 也有一键 docker run 用 ollama tag 就是前后端数据库一体 再加载好模型就能用

[iv8d]

@YsHaNg 这个刚了解到，需要先安装环境，先试试，谢谢

[YsHaNg]

@iv8d 当时搜了一圈对我而言是最容易的哈哈 Linux 机器现成的 docker 前后端打包一起 端口设置一下就能到处用了