V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Doragd
V2EX  ›  分享创造

🍀又一个 PyTorch 实现的中文聊天机器智障~

  •  
  •   Doragd ·
    doragd · 2019-05-11 23:10:33 +08:00 · 4853 次点击
    这是一个创建于 2021 天前的主题,其中的信息可能已经有所发展或是发生改变。

    💖 利用有趣的中文语料库 qingyun,由 @Doragd 同学编写的中文聊天机器人⛄️

    尽管她不是那么完善💪,不是那么出色🐾

    但她是由我自己 coding 出来的💖 ,所以

    希望大家能够多多 star 支持 ⭐️ 这个 NLP 初学者🏃和他的朋友🍀 小智

    项目地址: https://github.com/Doragd/Chinese-Chatbot-PyTorch-Implementation

    深刻体会:

    • 这次实践的过程实际是跟着 PyTorch Tutorial 先过了一遍 Chatbot 部分,跑通以后,再更换语料库,处理语料库,再按照类的风格去重构了代码,然后就是无尽的 Debug 过程。虽然模型最后的结果不是很好,但是我觉得有很大收获,因为踩了很多很多坑,都是以后的教训!!
    • 最深刻的体会就是“深度学习知识的了解和理解之间差了 N 个编程实现”。虽然理论大家都很清楚,但是真正到编程实现时,总会出这样,那样的问题:从数据集的处理,到许多公式的编程实现,到参数的调节,GPU 配置等等各种问题
    • 在做这个项目时,为了方便自己理解,所以模型部分的注释写的都很清楚!所以我觉得非常适合我们这些 NLP 小白!!!尤其是第一次使用 PyTorch 的!希望大家一定多多支持!!😭

    🌟 测试效果

    • 不使用知识库进行回答
    • 使用知识库进行回答

    🌈背景

    这个项目实际是软件工程课程设计的子模块。我们的目标是开发一个智能客服工单处理系统。

    智能客服工单系统实际的工作流程是:当人向系统发出提问时,系统首先去知识库中查找是否存在相关问题,如果有,则返回问题的答案,此时如何人不满意,则可以直接提交工单。如果知识库中不存在,则调用这个聊天机器人进行自动回复。

    该系统服务的场景类似腾讯云的客服系统,客户多是来咨询相关问题的(云服务器,域名等),所以知识库也是有关云服务器,域名等的咨询,故障处理的 (问题,答案) 集合。

    系统的前端界面和前后端消息交互由另一个同学完成,主要采用 React+Django 方式。

    我负责的是知识库的获取和聊天机器人的编写,训练,测试

    🌸技术实现

    语料库:qingyun 语料,10w 条, 收集自某聊天机器人交流群

    Seq2Seq

    • Encoder:两层双向 GRU
    • Decoder:双层单向 GRU

    Attention

    19 条回复    2020-03-18 22:27:05 +08:00
    Doragd
        1
    Doragd  
    OP
       2019-05-11 23:24:21 +08:00
    希望大家多多 star !!多多提意见!!!
    小白第一次超正经地上传项目到 GitHub,超认真写 README !!🙏
    已训练的模型文件在 checkpoints 里面,大家下载好就可以跑啦!🏃🏃🏃🏃
    HeavenlyChorus
        2
    HeavenlyChorus  
       2019-05-11 23:32:20 +08:00
    资词一哈
    Doragd
        3
    Doragd  
    OP
       2019-05-11 23:41:02 +08:00
    @HeavenlyChorus 感谢您!!!!💦💦💦
    AFuture
        4
    AFuture  
       2019-05-11 23:46:21 +08:00 via iPhone
    支持
    Doragd
        5
    Doragd  
    OP
       2019-05-11 23:48:00 +08:00
    @AFuture 感谢老哥!!
    huntzhan
        6
    huntzhan  
       2019-05-12 00:07:39 +08:00
    OP 毕业了吗?
    Doragd
        7
    Doragd  
    OP
       2019-05-12 00:24:21 +08:00
    @huntzhan 还有一年~🙆
    Xs0ul
        8
    Xs0ul  
       2019-05-12 00:54:51 +08:00
    优秀 star 一波
    huntzhan
        9
    huntzhan  
       2019-05-12 01:59:36 +08:00
    @Doragd 考虑 NLP 方面的实习吗?有兴趣私聊( wechat b64:emhhbmhhb3h1bg==)
    Doragd
        10
    Doragd  
    OP
       2019-05-12 08:36:06 +08:00
    @Xs0ul 感谢您夸奖✨✨✨!!😂😂初学者还有很长一段路要走🙈🙈🙈
    littlezhan
        11
    littlezhan  
       2019-05-12 10:03:27 +08:00   ❤️ 1
    不错。支持一下。本人是搞 NLP 的渣渣一枚。在做意图识别、问答系统等方面。
    Doragd
        12
    Doragd  
    OP
       2019-05-12 11:22:33 +08:00
    @littlezhan 您好!!感谢您支持!!我也想做对话生成方面的研究,目前正在入门,跟着导师做 Image Cationing
    mywaiting
        13
    mywaiting  
       2019-05-12 11:42:06 +08:00
    每次看到“人工智能”这个词被吐槽为“人工智障”的时候都觉得好好笑~

    支持一个,不过对话这东西,不搞 XXXXXX 亿个数据机器训练一下太浪费了,完全体现不了智能的价值啊~
    Doragd
        14
    Doragd  
    OP
       2019-05-12 12:38:27 +08:00
    @mywaiting 谢谢您支持!!!哈哈哈,是因为自己做得太差了,所以叫智障来着😂😂
    感觉那句话真的说的很好“有多少人工,就有多少智能”😂😂
    leopku
        15
    leopku  
       2019-05-12 14:29:24 +08:00
    太秀
    关注一波
    Doragd
        16
    Doragd  
    OP
       2019-05-12 14:58:58 +08:00
    @leopku 谢谢您关注!! QWQ 现在效果真的很差😉😉,但是我会💪加油学习新知识把她💘💘完善的!
    leopku
        17
    leopku  
       2019-05-12 15:23:01 +08:00
    clone 下来运行一下发现报错了( Mac 下),顺手提了一个 PR :smile:
    Doragd
        18
    Doragd  
    OP
       2019-05-12 16:32:24 +08:00
    @leopku 谢谢您的测试🌼🌼🌼!!!已经 merge 啦!!✔️✔️✔️
    yuyueMJ
        19
    yuyueMJ  
       2020-03-18 22:27:05 +08:00
    楼主我是纯小白,想做一个针对特定领域的问答机器人用你这个是否可以?可以的话语料如何设置如何训练呢?谢谢!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2785 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 14:26 · PVG 22:26 · LAX 06:26 · JFK 09:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.