V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  lchynn  ›  全部回复第 3 页 / 共 13 页
回复总数  241
1  2  3  4  5  6  7  8  9  10 ... 13  
360 天前
回复了 CoffeeLeak 创建的主题 Local LLM 折腾 Llama3 跑在 NAS...结果确实一言难尽
@xJogger 3060 跑 LLAMA3-8B, 平均每秒多少 token 生成速度啊?谢谢,想了解下性能? OLLAMA /SET VERBOSE 麻烦测一下看看?
363 天前
回复了 ze00ro 创建的主题 买买买 现在买电脑合适吗? 等更强大的 AI 电脑?
有评测么? 8845HS 或者 INTEL ULTRA5/7 , 跑 lmstudio.ai 或者 ollama 的 llama3-8B 或 Qwen1.5-7B ; 推理速度大概一秒多少 token ?一般要求不高的, 上述 2 个模型写写车轱辘文,做做翻译,家用足够了
2024-04-29 19:11:23 +08:00
回复了 jack778 创建的主题 OpenAI gpt4 越来越不行了
@drymonfidelia #4 ;

用中文测试一下, 国内大模型能通过的只有 KIMICHAT, GLM 4, 文心一言, 其他国产大模型都翻车了。
换成英语询问 :I have 3 apples today, I ate 1 apple yesterday, how many apples do I have left? 通义千问可以通过;

国外模型, 能通过的只有 GPT4 , GPT4-TURBO ,LLAMA3-80B, CLAUDE3-OPUS, CLAUDE3-SONNET, MIXTRAL 7X8, GEMMA 7B ; PHI2-MINI

国内开源模型只有 QWEN 70B ; DEEPSEEK-LM 33B
其他全部翻车。
2024-04-17 20:54:54 +08:00
回复了 ebony0319 创建的主题 职场话题 分享在职业生涯中遇到那些让人瞠目结舌的奇技淫巧
@june4 可能方便把表数据导出为 CSV 或者 SQL 。
2024-04-15 19:45:46 +08:00
回复了 gydi 创建的主题 分享创造 分享一个用于增强 RAG 应用的模块 — Web Scraper
另外这个原站和最近热门的秘塔 AI 和 perplexity 对比下,好像搜索来自的信源有些差别?
2024-04-15 19:44:22 +08:00
回复了 gydi 创建的主题 分享创造 分享一个用于增强 RAG 应用的模块 — Web Scraper
@gydi 代替需要科学上网的 rss 的啊,新闻网站或者 blog
2024-04-15 18:44:07 +08:00
回复了 gydi 创建的主题 分享创造 分享一个用于增强 RAG 应用的模块 — Web Scraper
楼主这服务好像可以代替穷人版免费科学上网 :P
2024-04-14 19:09:54 +08:00
回复了 Aaron01 创建的主题 随想 这两天拔了智齿,才发现小红书是真的很有用
小红书有没有外挂的爬网搜索入口服务?
比如把小红书、知乎、微信公众号等等聚合到一个搜索入口;
现在百度、谷歌对简中的内容搜索已经完全废掉了。
2024-04-14 19:03:55 +08:00
回复了 dj112 创建的主题 奇思妙想 关于目前笔记类,知识库类软件的愿景。
举个例子, 好比我微信公众号或者知乎上或者别的什么网页看到一篇不错的文章。 用你的这个软件的 CHROME 插件或小程序, 收藏生成知识笔记。 自动能提取出概要、问答、里面的知识条目(专业名词)(自动互联网检索生成解释),或者与我已有知识库/笔记中构建相关的关联链接(基于向量检索)。
我既可以在我的笔记知识库中,看到这篇新收藏的笔记原始素材已经被结构化编程知识条目(粗加工)的内容知识点、概要、总结;也能拖拖拉拉与其他已有笔记中的知识一起生成一篇新的沉淀后的知识笔记(细加工)。这个过程也可以随时与知识库进行 AI 问答和检索,帮助做好记录(基于 LMM 服务,类似网易开源的 QAnything 或者 fastgpt )
2024-04-14 18:58:17 +08:00
回复了 dj112 创建的主题 奇思妙想 关于目前笔记类,知识库类软件的愿景。
有没有根据 AI , 自动帮我梳理知识,生成图谱、总结、提炼内容,用户可以提供一个文档模板,按照这个格式,生成类似的梳理知识点的笔记软件?
可以允许用户自己配置 OPENAI 的 APIKEY 或者其他 LLM API 服务,或者本地部署的(如 ollama );
编辑功能无所谓, 格式有 MD, 有树图导航,等差不多得了。

笔记软件现在有个误区, 都是花里胡哨,让人沉溺于这个工具的玩法, 而不是给人感觉用这个工具可以省下好多工作流。即使有 AI 辅助,也都是针对一篇自己写的笔记的时候提供一点改写或者润色用的。

--------
大概相当于 稍后阅读+网页收藏(有道、EVERNOTE )+长文档摘要问答( CHATDOC/KIMICHAT 等 RAG )+ 自动生成知识结构/KG 图谱+ 笔记软件( NOTION/OBESDIAN )
2024-04-10 19:19:23 +08:00
回复了 tangshuier 创建的主题 问与答 v 友能否给文科研究生推荐一门进可攻退可守的编程语言
Excel VBA , 不开玩笑, 搞得好大部分办公室白领不如你, 部门工作离不开你。当然你得先有一个这样的工作。
据 FDA 称,替西帕肽已被证明会导致大鼠患甲状腺肿瘤。
甲状腺 C 细胞肿瘤的风险
在一项为期 2 年的临床相关血浆暴露研究中,在雄性和雌性大鼠中,Tirzepatide 导致甲状腺 C 细胞肿瘤(腺瘤和癌)的发病率呈剂量依赖性和治疗持续时间依赖性增加。尚不清楚 Mounjaro 是否会导致人类甲状腺 C 细胞肿瘤,包括甲状腺髓样癌(MTC),因为尚未确定 Tirzepatide 诱导的啮齿动物甲状腺 C 细胞肿瘤与人类的相关性。有 MTC 个人或家族史的患者或多发性 EN 2 患者禁用 Mounjaro 。告知患者使用 Mounjaro 的潜在 MTC 风险,并告知他们甲状腺肿瘤的症状(例如,颈部肿块、吞咽困难、呼吸困难、持续声音嘶哑)。常规监测血清降钙素或使用甲状腺超声对接受 Mounjaro 治疗的患者 MTC 的早期检测价值不确定。这种监测可能会增加不必要操作的风险,因为血清降钙素的检测特异性低,甲状腺疾病的背景发病率高。血清降钙素值显著升高可能提示 MTC ,MTC 患者的降钙素值通常> 50 ng/L 。如果测量血清降钙素并发现升高,则应进一步评估患者,体检或颈部成像发现甲状腺结节的患者也应进一步评估。
2024-02-24 11:15:31 +08:00
回复了 justincnn 创建的主题 Apple 再次感叹 airdrop 的黑科技
@tangzs 遥遥领先的水军, 米 boy 的 low 货们就是这个样子的, 不习惯可以换论坛 。
2024-02-23 21:09:45 +08:00
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@mkdirmushroom 8845HS 就是多了 NPU 的 7840 吧, 这个多出来的 NPU 对 AI 推理真的有帮助么? 它支持 CUDA ?
2024-02-22 09:56:36 +08:00
回复了 BNineCoding 创建的主题 剧集 友友们好,求推荐美剧 or 美国动漫!~
@alphablast #70 ; 这个一点都不好看,不知道怎么炒作的分数这么高的, 就是一点对外星生物多样性的脑洞而已;
画面一般,情节一般,内容枯燥。
看这玩意,还不如看行星地球、恐龙星球之类的 BBC 纪录片呢,起码还能科普。
2024-02-19 18:35:44 +08:00
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@laminux29 自己部署,多数都是找基线大模型微调或者做 RAG 场景的。 并不太依赖模型本身逻辑推理能力,所以一般 30B 的模型微调后能做一个凑合用的企业知识库就满足很多场景了。
2024-01-30 08:39:45 +08:00
回复了 onikage 创建的主题 问与答 ai 训练(非大模型)现在可以用 cpu 跑吗?
INTEL 有个新出的 BigDL 框架,可以看看。不过对 CPU 好像有要求要新一点的,太老不行。

https://github.com/intel-analytics/BigDL
1  2  3  4  5  6  7  8  9  10 ... 13  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5555 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 80ms · UTC 02:36 · PVG 10:36 · LAX 19:36 · JFK 22:36
Developed with CodeLauncher
♥ Do have faith in what you're doing.