1
luckykong 38 天前
难,需要区分不同软件,获取上下文,不容易做。
要不然容易把 word 里的上文,用来预测微信里和妹子聊天, 或者把跟女朋友调情的上文,用来预测跟上司的聊天, 都挺可怕的 |
2
ospider 38 天前
iOS 的就内置了 transformer 啊,去年还是前年的 WWDC 特地说了
|
6
liangdi 38 天前
这个想法我也想过,不过用了各种模型的补全功能后,目前阶段可能存在不太好调和的平衡点:
即速度和效果的平衡。 小模型效果不好,大模型速度慢,输入是需要非常快速的联想的,对比程序员的代码补全,模型的联想时间稍微长一点还能接受,但是输入就不一定能接受了, 不然产品就变成了另外的形态:输入后等待补全,选择继续... |
7
rbw 38 天前
可以反向操作,学形码(比如五笔、虎码),打字也还是一个一个字打,但不用去看候选框。这样不会出现隐私和候选不合适的问题。
|
8
1yndonn3u 38 天前
有相同需求,持续关注···
|
10
wancaibida 38 天前
手机这么搞会不会比较耗电 🤔️
|
11
newdongyuwei 38 天前 2
这个我测试过,最好用的是 berth 模型,响应时间快,资源消耗小。不太长的短句输入足够了。
开源的可以参考 https://github.com/renatoviolin/next_word_prediction ,下载模型需要可以翻墙,或者设置 HF_ENDPOINT=https://hf-mirror.com 使用国内镜像。 英文的使用 bert-base-uncased 模型,中文使用 bert-base-chinese 模型比较好。我之前在阿里云上部署测试过,网络延迟 200ms 左右,本地部署的话 50ms 左右延迟(当然我本机是 M3 Max ,计算性能高很多)。 |
12
newdongyuwei 38 天前
我之前给网友定制 iOS 输入法使用过上面提到的 bert 模型。
|
13
GeekGao 38 天前
我觉得最简单的就是部署 Phi-3 这类的小模型, 不过如果是跨终端使用的话,还是要自己建立一个推理服务,实现相关的 API 和输入法对接程序
|
14
Coelacanthus 38 天前
fcitx5 好几年前就有基于 3-gram 的联想了,然后也有人在做基于 LLM 的
|
15
cheetah 38 天前
试试 Chrome 内置的 Gemini 小模型呢
|
16
stucom 38 天前
想法很好,我目前所在的部门就是做输入法
|
17
TrackBack OP @Coelacanthus 有没有相关的链接,浅搜了一下没搜到
|
18
TrackBack OP @newdongyuwei 感谢!这个看着挺靠谱,至少有个实例了
|
19
Coelacanthus 37 天前
@TrackBack 前者 fcitx5-chinese-addons 装好就有(注意是 fcitx5 不是 4 ),后者的话是在 fcitx5 android 的群里
|
20
kevan 15 天前
用 B 站的 index-B ,4BIT 1GB 版本,很快。
|