zachariahss 最近的时间轴更新 zachariahss 最近的时间轴更新 |
zachariahssV2EX 第 661486 号会员，加入于 2023-11-09 18:46:11 +08:00 |
| 请教大模型工程师一个问题,关于大模型伦理 OpenAI • zachariahss • 140 天前 • 最后回复来自 clementewy | 19 |
| 关于个人境外收入报税问题 职场话题 • zachariahss • 149 天前 • 最后回复来自 fengsien99 | 121 |
zachariahss 最近回复了
9 天前 回复了 succlz123 创建的主题 › 分享创造 › 一个 LLM Chat Client，支持 MCP, 支持 SillyTavern 酒馆的角色卡，基于 Compose 跨平台 |
@succlz123 加油吧,如果有这个方向,考虑一下内置破限,内置世界卡,然后优化掉原本卡的 v2 和 v3 的功能冲突点,适当删除一些酒馆的历史冗余逻辑,提供一下商业模型的付费调用,包装一下,会比较有可玩性,但是考虑好目标方向是要做白还是做黄还是做黑灰
10 天前 回复了 succlz123 创建的主题 › 分享创造 › 一个 LLM Chat Client，支持 MCP, 支持 SillyTavern 酒馆的角色卡，基于 Compose 跨平台 |
导入卡没意义,很简单就写了.核心是把世界卡,深度,关键字唤醒这一堆逻辑加进去.那就很棒了.之前写一半换方向了...遗憾
42 天前 回复了 muzihuaner 创建的主题 › 分享创造 › 牛马催命工具-----飞书消息弹窗语音通知程序 |
你是不是多少有点变态了?
51 天前 回复了 KaneW95 创建的主题 › 奇思妙想 › 如何将 AI 融入到微信群聊里面呢 |
78 天前 回复了 codefun666 创建的主题 › MacBook Pro › 买了一台 M4 Pro, 感觉不值 |
还没机会体验 m 系列呢...我还是 18 年的 intel
92 天前 回复了 wensonsmith 创建的主题 › 问与答 › Instagram 太变态了，是怎么判定我是 +86 的呢 |
被你说的我注册了一个.发现没啥问题啊...随便一个梯子就纯英文了
92 天前 回复了 miaoge2024 创建的主题 › 分享创造 › 炸裂开场 非必要，不要点开 |
这种是使用 prompt 实现的吗？还是说做了微调？
94 天前 回复了 jacketma 创建的主题 › OpenAI › 反复问 AI 同一个问题， LLM 大模型会给出一样的答案吗？ |
推理框架类似 tgi 或者 vllm 本身内部自带了 kv cache 引擎,也不好关闭,这东西会根据每次的向量计算一些缓存,逐步累计,累积到一定程度就会发生大量重复了.但是这个 cache 本身和 hyper parameters 有关,貌似很复杂的逻辑,但是缓存一般会约定时间,默认多少小时,具体可以找推理框架的文档.
举例就是 deepseek 的官网就有命中缓存和不命中的价格差异
google 的 geminiaip 我也遇到过,明明按照官网计费标准要几百美金,但是最后只入账了 100 左右,问了客服说是和缓存命中有关
举例就是 deepseek 的官网就有命中缓存和不命中的价格差异
google 的 geminiaip 我也遇到过,明明按照官网计费标准要几百美金,但是最后只入账了 100 左右,问了客服说是和缓存命中有关
98 天前 回复了 ujfj1986 创建的主题 › 分享创造 › [自荐] 零压力学语言 AI 插件，看中文网页也能拓展词汇量 - Ries.AI |
提三个点,
第一个点,要可以控制某些网页不进行加载,因为有些业务网站篡改后可能出现意料之外的问题,
第二个点,要有一个开关可以切换变更前变更后的页面,否则不方便
第三个点,需要可以动态调整翻译出现的频率,以及目前的翻译全都是单词,后期应该有整句翻译,这个阈值应该可调,
第一个点,要可以控制某些网页不进行加载,因为有些业务网站篡改后可能出现意料之外的问题,
第二个点,要有一个开关可以切换变更前变更后的页面,否则不方便
第三个点,需要可以动态调整翻译出现的频率,以及目前的翻译全都是单词,后期应该有整句翻译,这个阈值应该可调,
Select Language