这是一个创建于 105 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题
我在一家非 IT 行业的公司干桌面运维，说是运维其实啥都干，简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲，在他眼里，技术相关的问题我全知道。
他想要有一个 AI ，把一位哲学家（比较小众）的文集通读一遍（大概 40 万字）。然后扮演这位哲学家，充当聊天机器人。这个聊天机器人的用户量估计不会太高（小众圈子里面流传一下），最多也就 1000 人左右（并发可能就 30 人以内）。
我说我干不来，他表示让我至少给个方案，适当招两个人，或者找人外包都行。
从头搞个 AI 模型我猜是不可能的，我大概想法是租个云服务器，给 Llama 3 或类似的开源模型喂点数据，然后套个前端。
希望懂行的朋友告诉我一下我的想法是否可行？以及这个事情工作量大不大。如果可行的话，我就去着手研究一下怎样微调 Llama 3 ，然后给老板一个方案。
我在一家非 IT 行业的公司干桌面运维，说是运维其实啥都干，简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲，在他眼里，技术相关的问题我全知道。
他想要有一个 AI ，把一位哲学家（比较小众）的文集通读一遍（大概 40 万字）。然后扮演这位哲学家，充当聊天机器人。这个聊天机器人的用户量估计不会太高（小众圈子里面流传一下），最多也就 1000 人左右（并发可能就 30 人以内）。
我说我干不来，他表示让我至少给个方案，适当招两个人，或者找人外包都行。
从头搞个 AI 模型我猜是不可能的，我大概想法是租个云服务器，给 Llama 3 或类似的开源模型喂点数据，然后套个前端。
希望懂行的朋友告诉我一下我的想法是否可行？以及这个事情工作量大不大。如果可行的话，我就去着手研究一下怎样微调 Llama 3 ，然后给老板一个方案。
119 条回复 • 2024-08-23 17:03:07 +08:00
 |
1
BadFox 105 天前
好炸裂的需求，更炸裂的是你居然真的想去干。
|
 |
2
abersheeran 105 天前  4
从技术上可以，从工作上来说我建议不要这么给老板说。把工作量说多一些，多要几个 HC 。
|
 |
3
newaccount 105 天前 57
先把硬件配上，4090 两块，一块放公司跑模型，一块放家里玩黑神话啊不是，一块在家里做技术研究
|
 |
4
gaobh 105 天前 via iPhone 1
fastgpt 把文章传上去，然后写个 prompt ，然后给老板 gpt 的链接就行了
|
 |
5
Huangzi7 105 天前 5
@newaccount 今天请假，原因：🐒流感
|
 |
6
zfyStars 105 天前
是不是只需要写个 prompt ？
|
 |
7
RiverMud 105 天前
预算。
预算到位什么想法都可行。 |
 |
8
whp1473 105 天前
把书喂给 kimi ，然后让它扮演哲学家就可以了，不需要祖云服务器
|
 |
9
HuberyPang 105 天前
https://www.v2ex.com/t/1022439#reply81 感觉参考这个思路，就是把文集构建向量数据库，然后搞个开源大模型，或者购买个大模型 AI 接口 查询问题时，先查向量数据库，然后把结果给大模型，然后让大模型在回答。
|
 |
10
idealhs 105 天前
GPT 预设个角色就 OK 了,数据的话 OpenAI 已经学过了
|
 |
11
frencis107 105 天前
《这个聊天机器人的用户量估计不会太高》
在国内做，有合规问题吧，别进去了 |
 |
12
ETiV 105 天前 via iPhone
我觉得上面配两块 4090 的建议靠谱些
|
 |
13
fengshils 105 天前
我也觉得上面配两块 4090 的建议靠谱些
|
 |
14
oColtono OP @frencis107 #11 谢谢提醒，这个我也跟老板说过了。老板头铁得很，好在这个圈子实在影响力有限，他之前搞的一些别的骚操作都没兴起什么风浪
最后要做的时候我会跟法务确认一下。如果确实有问题老板还要坚持做的话，我就让他自己去找外包了。 |
|
15
oColtono OP @newaccount #3 hhh ，这事我也不是没想过
|
|
16
oColtono OP 1
@HuberyPang #9 谢谢！！这个看起来很接近我想要的东西了
|
|
17
oColtono OP @whp1473 #8 考虑过，如果这样的话，工作量就几乎都在前端上了。还有一个担忧是，kimi 这类线上 AI 是否能够微调的程度有限，我怕多问几句，它就露馅了，比如自报家门说我是 kimi ，只是一个人工智能之类的？
|
 |
18
weiaichongfeng 105 天前
可以的这个实现思路没问题
老板不懂所以会说出让你开发个大模型，完成核心诉求就好，只是同时要拿到你自己想要的钱就更好 对于懂行的人来说，不算大，用户界面部份开源的部署一下就好，Llama 3 部署一下，一天之内就能搞定，喂数据麻烦点，但网上也有教程搜搜就行了 不懂行的挺麻烦的 工作量很大 https://ollama.com/ https://github.com/lobehub/lobe-chat |
 |
19
particlec 105 天前
github 有现成的 ai 聊天前端界面，给 token 就行
|
 |
20
aw2350 105 天前
老板挺有追求的
|
 |
21
Lamlam147 105 天前
我赞同楼上配两块 4090 的建议，属实靠谱
|
 |
22
Jinnrry 105 天前 via iPhone
好炸裂的需求
更炸裂的是你居然真打算去干 更更炸裂的居然是有人给楼主出主意去自己干 我的建议，打电话联系百度文心一言的商务，然后把报价给老板 |
 |
23
a1oyss0925 105 天前
kimi 套壳就完事了，不要想一些不切实际的
|
 |
24
teasick 105 天前
好奇是哪位哲学家
|
 |
25
xmumiffy 105 天前
国内的模型+rag 就行了,预算够 rag 都不用,直接上
|
 |
26
osilinka 105 天前
李沐创业就是这个方向啊！
|
 |
27
wccc 105 天前
买设备,合规备案. 要么上游 api 套壳
|
 |
28
shitshit666 105 天前 via Android
中文用通义千问
|
 |
29
aoling 105 天前
最靠谱的方案,Llama 3 ,其他的多问几句都会露馅穿帮的
|
 |
30
fcten 105 天前
40 万字不需要微调
30 个并发两块 4090 是不够的 |
 |
31
2ruowqe9r 105 天前 1
这个不是很简单吗？各种开源的方案就能解决，搞个知识库，使用 RAG ，写好提示词。
|
 |
32
greycell 105 天前
全是开源方案可太多了，你标题起错了，不然下面已经全是推广自己方案的人了。
|
 |
33
z1829909 105 天前
内容审核确实是个问题, 不如套国内大模型, 内容审核都是做好的
|
 |
34
nyw17 105 天前 1
这不就 RAG 做的事情么，本地部署一下
|
 |
35
Puteulanus 105 天前
我看成用户 30 以内了，还想说这么点人直接跳过 AI 招俩人扮演哲学家算了（狗头
|
 |
36
ishengge 105 天前
先跟老板说硬件。4 张 H100 显卡
|
 |
37
hongchang 105 天前
其实这个事情，真的不难。
先让你老板买显卡，然后花钱找人整理内容，喂给大模型微调一下就行了。 网上都有教程的。我跑过用 llama3 微调了一个甄嬛。 真的不难！！！！ |
 |
38
nicholasxuu 105 天前
直说你不会呗，或者让用 kimi 之类的付费产品去。
不然咋样？让大家写个新手都能快速上手的私有部署大语言模型知识库教程？ |
 |
39
winglight2016 105 天前
很简单，做个最基础的 RAG 就够了，可以外包给我，一周内搞定吧
|
 |
40
keethebest 105 天前
最简单的方案就是直接套个皮，对接国内的 ai 。 豆包，kimi 都可以。
|
 |
41
supuwoerc 105 天前
买显卡，部署开源模型，docker 启动 dify ，喂知识库，完成。
|
 |
42
austfisher 105 天前
coze 平台直接部署
|
 |
43
YVAN7123 105 天前
预计下个任务是造个火箭！
|
 |
44
sampeng 105 天前
老板都说了。可以适当招 2 个人，外包。就是愿意花钱啊。先写个 PPT 。预算 100 万。
|
 |
45
meeop 105 天前
1 大概率只需要写个 prompt,然后用 gpts 包装下
“你扮演哲学家 xxx,以他的角色和口吻回答用户问题,如下是用户的问题:” 2 复杂点就对接个支持上传文档的模型,上传文集,然后还是上面这个 prompt 3 再复杂就部署 Llama+少量定制,比较麻烦,但也能搞,不需要编程知识 |
 |
46
GensKinsey 105 天前
|
 |
47
ibazhx 105 天前
|
 |
48
Vegetable 105 天前
外包给我
|
 |
49
darkengine 105 天前
找老板要 100W 的经费，花 20W 外包出去 /doge
|
 |
50
nuomi196500 105 天前
你没理解的老板的需求，他想表达的意思是做出一个带有某位作家风格的聊天机器人，这个真的很好实现，ChatGPT 里很多类似的机器人，国产的 AI 也可以自己配置。但是你别傻乎乎告诉他实现方式，要说的很难，很大，上价值，上高度，多扩充自己团队
|
 |
51
jwenwang 105 天前
很简单啊，直接用字节家的扣子开发一个 bot 就完了，
把哲学家的文集作为知识库传上去，然后提示词写一下你是一名哲学家，用户会和你对话，你分析理解知识库内容，然后和用户进行对话， 不就完了？ |
 |
52
0703wzq 105 天前
这点数据量还不至于自己训练... 知识库方案。
|
 |
53
tinyzilan123 105 天前 1
居然没有人回答 openai
https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset 直接使用 openai 的 fine-tuning 模型，自己喂数据，在这基础之上就有了自己调优过后的专门 gpt |
 |
54
dabingbing 105 天前 2
最多也就 1000 人左右（并发可能就 30 人以内），额... 并发可能也就是 1
|
 |
55
aapon 105 天前
蹲一个后续，希望介绍详细点？
|
 |
56
cuicuiv5 105 天前
关键词 Graph RAG
|
 |
57
angry41 105 天前
百度文心有深度定制的大模型吧，可以了解一下
|
 |
58
yangfan1999 105 天前
RAG 方案 +1 ，再用 Prompt 调优试下。
COZE 提供了一份 RAG 的最佳实践，可以参考： https://www.coze.cn/docs/guides/product_knowledge_bot |
 |
59
Dogergo 105 天前
阿里的百炼平台可以，导入知识库，基于非结构话数据就可以，也就是说你上传点 txt,pdf,word 啥的也行，就是千问问答时候要收费
|
 |
60
iloveayu 105 天前
楼主文科生吧，这标题可以直接去 uc 震惊部报道了，哪有让桌面自研 AI 大模型的，我 40 米长刀都拔出一半要帮你砍老板了，结果他要的只是个套皮。
同意 3 楼，先把显卡买了。 |
 |
61
cslive 105 天前
写好 prompt ，openai 已经给你训练好了
|
 |
62
uiosun 105 天前
@Jinnrry 这事听起来不难，当时 GPT3 出圈的时候，就有个法国小哥用 8 刀微调了一个法文本地化的 GPT （包含语言和一些本地知识），对着油管就能做到
但就像大家说的，这玩意还是找商业定制吧，不然出了问题又得自己去修复，莫名其妙的工作量就来了 |
 |
63
myderr 105 天前
直接找国内大厂商啊
|
 |
64
hutng 105 天前
只要预算足，登月也给他安排上。
|
 |
65
Hef 105 天前 via Android
GTPs 自定义一个就可以吧，一会就搞定了
|
 |
66
enihcam 105 天前
“去把唐僧干掉。” “啊？我？”.jpg
|
 |
67
microchang 105 天前 1
|
 |
68
djv 105 天前
服务商挺多的，文档看看呗；
或者开源模型自己喂自己搭，2B 的拉跨，8B 、9B 的将就用还是可以的。 |
 |
69
hefish 105 天前
你们公司不错，我也想加入。 加入了就能起飞了。
|
 |
70
shiyuu 105 天前
先让他采购一台 8 卡的算力服务器
|
 |
72
yufeng0681 105 天前 1
你调研完毕，说这个东西耗 GPU ，算法也很吃技术。 自己搭建不划算，可以用 openai ，智谱清言等公司的虚拟人物来做。
智谱清言 1 、可以单独弄个 虚拟人物 ，上传文件（投喂材料）。 也看到别人发布的智能体 2 、可以调用 api ，也就是可以把虚拟人物变成你的后台 https://github.com/MetaGLM/glm-cookbook/blob/main/README.md |
 |
73
zx9481 105 天前
了解一下 rag 即可
|
 |
74
mwuxlcanrh 105 天前
RAG 即可，可以套用 coze 等平台的接口，很方便。
|
 |
75
nuonuojump 105 天前
楼上说的对，多搞几个 HC ，然后再搞几个 4090 申请点经费，等人来了，把需求推下去，去耍黑悟空，大不了搞个 UI 界面，就欺负他不懂。大家一起快乐一下，还能提升下就业率，出去了还能吹牛逼，构建 AI 团队 实现巴拉巴拉吧。。
|
 |
76
fat4fox 105 天前 via Android
这么能干！！！我给你 100 万，帮忙把在东北
|
|
77
fat4fox 105 天前 via Android
这么能干！！！我给你 100 万，帮忙把外东北收复回来，就算做不到，给我出个一百万内可行的方案。
|
 |
78
wupher 105 天前
这个走 RAG 的话，不用编程也是能干的。
但编程可能细节控制更好。 不用你开发大模型，也不用折腾 Llama3 微调啥的。 |
 |
79
seven123 105 天前
这个到不难，RAG 即可，dify 或者 fastgpt 都能做
|
 |
80
zenithar 105 天前
和楼上各位不同，我第一反应是好奇 OP 工资多少，工作职能不是一般的多啊。
|
 |
81
konakona 105 天前
自己训练模型去吞 40w 数据不现实，我更推荐你联系国内 AI 云商提供商业报价，它们来就是干这个的。
关于硬件资源这一点，你老板就很难 hold 。 以下内容摘自 GPT： 要训练 40 万条数据，所需的硬件资源取决于几个关键因素，如模型的大小、数据的复杂性、训练时长以及所需的精度目标。以下是一个大致的硬件配置建议： ### 1. **GPU** - **高端 GPU**：建议使用 NVIDIA A100 、V100 或 RTX 3090 等高性能 GPU 。这些 GPU 在深度学习任务中表现出色，并且可以加速训练过程。 - **多 GPU 集群**：如果数据量很大，使用多个 GPU 来并行训练会更加高效，特别是当你需要缩短训练时间时。 ### 2. **CPU** - **多核 CPU**：如 Intel Xeon 或 AMD EPYC 系列，配备多核可以加快数据预处理和加载的速度，虽然深度学习的主要计算任务还是依赖 GPU 。 - **充足的缓存**：更大的缓存能有效提升数据预处理的效率。 ### 3. **内存 (RAM)** - **大容量内存**：建议至少 64GB ，甚至 128GB 或更多。大容量内存有助于处理大批量数据，尤其是在训练前的数据预处理阶段。 ### 4. **存储 (Storage)** - **SSD**：使用 NVMe SSD 来存储数据和中间结果，以确保数据加载和存储的快速响应。 - **足够的存储空间**：确保至少有几 TB 的空间用于存放原始数据、模型权重、检查点等。 ### 5. **网络** - **高速网络连接**：如果使用分布式训练，确保集群之间的网络连接速度足够快，以免在数据传输时成为瓶颈。 ### 6. **散热和电力** - **有效的散热系统**：高性能的 GPU 和 CPU 在满负载下会产生大量热量，需要有良好的散热系统来维持硬件的稳定性。 - **充足的电力供应**：确保电源能够支持所有硬件满负荷运行，避免因电力不足导致的意外中断。 ### 7. **软件环境** - **深度学习框架**：如 TensorFlow 或 PyTorch ，这些框架都有优化的 GPU 加速支持。 - **驱动和库**：确保安装最新版本的 CUDA 、cuDNN 等驱动和相关库，以充分利用 GPU 性能。 ### 8. **云计算资源** - 如果本地硬件资源不足，可以考虑使用云计算服务如 AWS 、Google Cloud 或 Azure 来租用高性能 GPU 和其他资源。这些服务通常可以按需扩展，并且有较好的计算资源管理工具。 ### 训练时间 训练时间可能从几小时到几天不等，具体取决于数据的复杂性和模型的大小。使用上述配置，可以有效地处理和训练 40 万条数据集。 准备好这些硬件资源后，你就可以开始模型的训练过程，并确保在训练中不断监控资源使用情况，以优化性能和效率。 |
 |
82
dream7758522 105 天前 via Android
用扣子平台，抖音旗下的，你试试。不是太难，可以傻瓜部署
|
 |
83
falcon05 105 天前
这不是就是 LLM 最擅长的角色扮演吗？写个 prompt 调用各种 LLM 的 api 就行了，不需要自己调优，最多做一个 chatgpts 导入资料。
|
 |
84
Felldeadbird 105 天前
看完楼上大佬们，我还是太菜了。我想到第一个想法就是：直接找现成套 GPT 的程序- -。然后跑接口。
|
 |
85
dartabe 105 天前
调优很简单的 网上租卡就搞了 效果比 prompt 好 小模型效果就可以了
但是说实话不知道你工资是不是匹配这个任务 |
 |
86
simo 104 天前
楼上有推荐扣子的了，没问题。
rag 应该就能糊弄过去 |
 |
87
limfoo1 104 天前
@dabingbing 绝对是 1 吧 笑发财😂
|
 |
88
dyyhobby 104 天前
2 块 4090 的建议靠谱
|
 |
89
southsala 104 天前
你觉得有啥纸面书是没喂给 AI 的，搞个 GPTs 这类的东西就行
|
 |
90
lostexile 104 天前
你不是做开发的吗，怎么还不会修电脑呢。
|
 |
91
Hyun1006 104 天前
这两天正在薅阿里云羊毛，我觉得 op 可以参考一下
https://help.aliyun.com/zh/model-studio/use-cases/?spm=a2c4g.11186623.0.0.25861078Rd36zZ |
 |
92
echoless 104 天前
https://github.com/swuecho/chat 都做好了, 你只要写个 prompt.
|
 |
93
arcaitan 104 天前
感觉很简单啊, 你老板有 gpu 预算吗?买上服务器, 招个人把哲学书做做标签, 随便 tunetune 就完事了
|
 |
94
huzhizhao 104 天前
肯定还是 2 块 4090 方案 靠谱
|
 |
95
bugmaker233 104 天前
你竟然还接下了
|
 |
96
liuidetmks 104 天前
先让他采购几块 H200 ，说跑模型
|
 |
97
cutchop 104 天前
外包给我，给你 50%回扣
|
 |
98
EndlessMemory 104 天前
还是楼上的大佬懂得多
|
 |
99
unco020511 104 天前
最简单的是搞个页面,每次把 40w 字的全文+指令都给 gpt,让 gpt 回复输出即可.更好一点的就是用做个 RAG,先检索一下向量数据库,再给大模型提问.
40w 的文本数据不多,应该不需要 LoRa |
 |
100
AdminRoot123 104 天前
@oColtono #16 搜下 rag 吧 你这个实现应该还好
|
Select Language