V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
TrackBack
V2EX  ›  奇思妙想

有无用于输入法联想的本地(小)大模型

  •  
  •   TrackBack · 38 天前 · 1976 次点击
    这是一个创建于 38 天前的主题,其中的信息可能已经有所发展或是发生改变。
    国内的输入法都是偷隐私大户,尤其是开了云联想输入一个字上传一个字
    现在用的 fcitx ,虽然干净也能导入词库但是没有联想很多时候还是得一个字一个字打
    但是这个根据前面的内容生成最可能的后面的内容的场景简直就是大模型的拿手好活啊,理论上这个场景下只需要很小的上下文输入/输出范围,模型可以裁剪到非常小,不需要多少性能也能跑

    所以有没有开源的项目在做这个方向的?
    20 条回复    2024-10-18 17:34:23 +08:00
    luckykong
        1
    luckykong  
       38 天前
    难,需要区分不同软件,获取上下文,不容易做。
    要不然容易把 word 里的上文,用来预测微信里和妹子聊天,
    或者把跟女朋友调情的上文,用来预测跟上司的聊天,
    都挺可怕的
    ospider
        2
    ospider  
       38 天前
    iOS 的就内置了 transformer 啊,去年还是前年的 WWDC 特地说了
    TrackBack
        3
    TrackBack  
    OP
       38 天前
    @luckykong 这部分应该是输入法处理的,不过上下文倒也不用那么长吧,我只想快速联想一个词或者一句,不用一大段
    TrackBack
        4
    TrackBack  
    OP
       38 天前
    @ospider ios 的我又没法拿出来自己用...
    ospider
        5
    ospider  
       38 天前   ❤️ 1
    @TrackBack #4 至少证明了这个方向是可行的,你的想法不是空想
    liangdi
        6
    liangdi  
       38 天前
    这个想法我也想过,不过用了各种模型的补全功能后,目前阶段可能存在不太好调和的平衡点:
    即速度和效果的平衡。
    小模型效果不好,大模型速度慢,输入是需要非常快速的联想的,对比程序员的代码补全,模型的联想时间稍微长一点还能接受,但是输入就不一定能接受了, 不然产品就变成了另外的形态:输入后等待补全,选择继续...
    rbw
        7
    rbw  
       38 天前
    可以反向操作,学形码(比如五笔、虎码),打字也还是一个一个字打,但不用去看候选框。这样不会出现隐私和候选不合适的问题。
    1yndonn3u
        8
    1yndonn3u  
       38 天前
    有相同需求,持续关注···
    xfxz
        9
    xfxz  
       38 天前
    @liangdi 有没有可能先用模型跑出最常用的一些词的词频,形成固定搭配;再内置一个 mini 模型来解决实时联想的问题。
    wancaibida
        10
    wancaibida  
       38 天前
    手机这么搞会不会比较耗电 🤔️
    newdongyuwei
        11
    newdongyuwei  
       38 天前   ❤️ 2
    这个我测试过,最好用的是 berth 模型,响应时间快,资源消耗小。不太长的短句输入足够了。

    开源的可以参考 https://github.com/renatoviolin/next_word_prediction ,下载模型需要可以翻墙,或者设置 HF_ENDPOINT=https://hf-mirror.com 使用国内镜像。

    英文的使用 bert-base-uncased 模型,中文使用 bert-base-chinese 模型比较好。我之前在阿里云上部署测试过,网络延迟 200ms 左右,本地部署的话 50ms 左右延迟(当然我本机是 M3 Max ,计算性能高很多)。
    newdongyuwei
        12
    newdongyuwei  
       38 天前
    我之前给网友定制 iOS 输入法使用过上面提到的 bert 模型。
    GeekGao
        13
    GeekGao  
       38 天前
    我觉得最简单的就是部署 Phi-3 这类的小模型, 不过如果是跨终端使用的话,还是要自己建立一个推理服务,实现相关的 API 和输入法对接程序
    Coelacanthus
        14
    Coelacanthus  
       38 天前
    fcitx5 好几年前就有基于 3-gram 的联想了,然后也有人在做基于 LLM 的
    cheetah
        15
    cheetah  
       38 天前
    试试 Chrome 内置的 Gemini 小模型呢
    stucom
        16
    stucom  
       38 天前
    想法很好,我目前所在的部门就是做输入法
    TrackBack
        17
    TrackBack  
    OP
       37 天前
    @Coelacanthus 有没有相关的链接,浅搜了一下没搜到
    TrackBack
        18
    TrackBack  
    OP
       37 天前
    @newdongyuwei 感谢!这个看着挺靠谱,至少有个实例了
    Coelacanthus
        19
    Coelacanthus  
       37 天前
    @TrackBack 前者 fcitx5-chinese-addons 装好就有(注意是 fcitx5 不是 4 ),后者的话是在 fcitx5 android 的群里
    kevan
        20
    kevan  
       15 天前
    用 B 站的 index-B ,4BIT 1GB 版本,很快。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2879 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 14:24 · PVG 22:24 · LAX 07:24 · JFK 10:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.