matchalatte 最近的时间轴更新
matchalatte

matchalatte

V2EX 第 639929 号会员,加入于 2023-07-24 21:19:35 +08:00
根据 matchalatte 的设置,主题列表只有在你登录之后才可查看
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
matchalatte 最近回复了
个人拙见:多后端框架存在着很多难以解决的问题,
- 深度学习后端一直存在动态图/静态图两个流派,想同时兼容这两种是很困难的。特别是一些网络需要用到动态图特性,这种操作在静态图中基本无法实现。
- 从框架中抽象出的“兼容 API”反而会没有办法很好的利用各个后端的独特功能,因为兼容舍弃了特色。
- 由于多做了一层转换,在需要对底层代码进行修改时会更加复杂,层层嵌套的代码可读性也比较差。
- 后端框架会实时更新,一些 API 会被废弃(点名批评 TF ),而作为多后端框架一次一般只能兼容单个版本,更新维护也比较费时费力。

鉴于这些弊端,多后端框架一直不是很流行,并且使用时并不一定能降低开发难度。

目前从生态角度 Pytorch 应该是支持最好的,可以考虑通过 pytorch 训练,而在部署时将模型进行一定的转换,从而实现更好的兼容,例如:

- 开放机器学习格式 ONNX: https://github.com/onnx/onnx ,通过 ONNX 作为中间媒介也可以让 pytorch 模型在 tensorflow 等框架中加载运行。

- 苹果 CoreML 模型格式(实际上也是基于 ONNX 转换的): https://apple.github.io/coremltools/docs-guides/source/convert-pytorch.html

- 目前 LLM 端上部署比较主流的 GGUF 格式: https://github.com/ggerganov/llama.cpp/blob/master/convert-hf-to-gguf.py
@matchalatte #7 所以在英文里其实是两个单词,只是翻译成了同一种
@Muniesa #5 量化交易的量化应该是 Quantitative ,应该表示的是一种科学研究的技巧,比如定量分析 vs 定性分析。这里的量化应该是指“可以用数值衡量的意思”,通过统计学手段代替主观的交易倾向。

而模型量化英文是 Model Quantization ,Quantization 是一种将连续数值转化为离散数值的手段。在 AI 里一般的用途是用来压缩模型,因为模型权重在训练时一般是用浮点数表示的,而常见的浮点数形式 fp32 或 fp16 都比较占空间,转成 int8 或者是 int4 可以节约显存占用,提高模型在端上设备运行的可能性。现在的一些芯片(如高通、苹果)的 NPU 也会对整数计算做一定优化,提高量化后模型的运行效率。
303 天前
回复了 andyJado 创建的主题 程序员 通过 nas 暴露内网高 CPU 负载服务有坑吗?
是 python 吗,用 gradio 跑一个网页交互界面也许更简单
319 天前
回复了 GoworkShisi 创建的主题 Python 使用 Python 对相机画面二次开发遇到的问题
没有了解过大华的 SDK 形式,不过我查到一个帖子,不知道有没有帮助?
[知乎] 读取多个(海康\大华)网络摄像头的视频流 (使用 opencv-python),解决实时读取延迟问题
https://zhuanlan.zhihu.com/p/38136322
320 天前
回复了 Solael 创建的主题 Apple 苹果现在的软件质量无力吐槽
近些年 AirDrop 变得特别容易失败,共享剪贴板卡住或者粘不出东西,Handoff 抽风。Mac 的中文输入法 bug 也不知道多久了。
本来互联是苹果生态的护城河,但现在越来越烂。加上硬件挤牙膏,软件服务( Apple One )连续涨价,有种交了苹果税但是又没有获得应有体验的感觉。
343 天前
回复了 ossphil 创建的主题 OpenAI 请问如何用软件文档来训练 GPT 或其他 LLM?
训练还是比较困难。如果真的要训练的话,可以采用 LoRA 等高效参数微调的方式。
但是现在的 LLM 都是指令模型,微调并不是直接将文档放进去就行,而是需要构造问答形式的数据。如果只在文档上训练得到的模型就只有补全能力,并不具有针对问题回答的能力。

举个例子,如果直接将唐诗三百首喂给模型。你给模型输入“怀民亦未寝”,它能够继续续写。但你如果说“请给我写一个有关月亮的诗”模型就无法可靠输出,因为训练数据里并没有这样的指令形式。

目前主流的方法还是使用知识库,将文档放到一个基于向量的 KnowledgeBase 中,每次提问时自动在知识库中检索相关条目,拼接在上文里进行提问,也就是检索增强生成 Retrieval Augmented Generation (RAG)。
这种方法不需要对模型进行训练,因此可以使用本地部署的模型,也可以直接调用 OpenAI 的 API 。
现在已经有许多相关的框架了,如 [LangChain]( https://github.com/langchain-ai/langchain) 或是对 LangChain 的高层封装 [Chatchat]( https://github.com/chatchat-space/Langchain-Chatchat)
不知道 Keychron M3 (还有 mini 版)怎么样。
三模,有 type-c/usb-A 两种接收器,也能编程按键。
不过我已经有 Anywhere 了,暂时不打算换,所以观望一下。Anywhere 的电磁滚轮对于我来说有点难以割舍。
@ReZer0 #4
看起来像是网络波动导致 css 加载失败,可以 F12 看下是不是报错提示 css 缺失。
“打开后基本就不会在同一个页面复现” 这个应该是浏览器把 css 缓存了,所以再打开就不会有问题。
之前用 se 听无损还遇到爆裂声
具体表现为切换歌曲的时候偶尔会有非常响的噗呲一声,听着听着就被吓到,后面手机上就不开无损了。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2494 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 10ms · UTC 15:41 · PVG 23:41 · LAX 08:41 · JFK 11:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.