目标是挖掘小说里的各种角色、剧情关系,在此基础上提供内容搜索,以及小说评点服务。 不过这些还太远了,目前只简单提取了人物关系链。
https://www.boyunso.com/book/61872
这个是选了较好的结果,大部分情况下错漏还有点明显。
1
yongzhong 2017-04-24 10:43:45 +08:00
通过词频来判断是否是人名吗?关系是通过介词?
|
2
jyf 2017-04-24 10:48:59 +08:00
不知道这个提取规则是什么 如何人肉去校验?
|
3
hydyy 2017-04-24 10:52:46 +08:00
不错不错
|
4
enenaaa OP |
5
isvara 2017-04-24 11:58:56 +08:00
用的什么处理的?
|
6
lrxiao 2017-04-24 12:08:43 +08:00
有意思
|
7
jyf 2017-04-24 12:32:59 +08:00
我主要是指第二种分析 因为句式很多 也未必是 xxx 说道这种 而你也不可能全列出来 所以我很感兴趣怎么自动弄出这种句式 另外有的说到 未必是有关系 大概你现在的人与人的关系就是 A 提到过 B 这样吧?
|
8
Jackeriss 2017-04-24 12:59:36 +08:00 1
怎么解决一个人物有多个名字的问题呢?比如伏地魔又叫神秘人,其实原名是汤姆·里德尔。这种情况,这个人物关系图会把他们当成不同的人吧?
|
9
hotStrip 2017-04-24 13:14:36 +08:00
我觉得以后程序批量输出小说的话,马上就可以输出天蚕土豆和唐家三少这类小说。
|
10
no13bus 2017-04-24 13:14:50 +08:00
这个用的是啥 js 库呢
|
11
enenaaa OP @jyf
@isvara 基于上下文的关系推断,我做得不够深入,思路大体是: 1 、在段内推断主语,宾语。例如:宁江提着宝剑,跑了过来,笑道: xxx 。 这 3 个分句的主语是同一个。 2 、通过关系代词筛选段落。例如:宁小梦挽着哥哥的手臂。这个句子存在推断关系的可能。 3 、在 1 和 2 的基础上,检索附近文本中的主语、宾语和特定语义, 判断出是否存在关系。 可以看到,这个方法有准确性的问题。 另外, 分析的前一步, 是分词和语义格式化。 我首先创建词汇表、句法表、语义表,将句子格式化为已知语义的句法结构。 例如:你好 -> 招呼语义。 妹妹打我->主语是妹妹,谓语是打,宾语是我的指向动作语义。 这个方式当然不能识别所有的句子, 对于一般的小说文本,目前识别率在 5%~10%之间。 |
14
imn1 2017-04-24 15:08:26 +08:00 2
无论准确率如何,我都觉得这个项目很有意思
无论这个项目多有意思,我还是持怀疑态度看待 其实, 人与人之间的关系是相当复杂的,很多不能用语言文字描述 但是,当人们以语言文字介绍一些关系时,却是用简化的方式介绍,实际分类很少,看看自己的 SNS 分组就知道,不至于有几百个组别吧? 你可以从这个思路着眼,不要只想着“提取”,也可以用“排除”,从粗分类排除,再按细分类排除,加强准确率 需要很多逻辑判断,几乎是一个语义分析的 AI bot 了,语义——逻辑库应该是重点 例如: 男性-->亲戚-->母亲家族-->长辈-->母亲的平辈-->舅舅 男性-->工作-->长辈-->经理-->上司 另外 1.还要用多因素分析,如上面引入其他人(母亲)的关系辅助 2.多重关系,如家族生意,既是亲戚,也是工作关系等等 3.关系是双向的,例如逻辑出现“舅舅”,当然要同时得到“外甥”,不能单向推导 总的来说,相当难,不过这第一个吃螃蟹,我是持支持态度,希望能持久做下去 |
15
lcatt 2017-04-24 15:21:08 +08:00
目前检索速度很快,是只读取了一部分文字么?
|
16
graetdk 2017-04-24 15:30:53 +08:00
赞啊,我对这个也很感兴趣,可以加我微信: Z3JlYXRkaw== (Base64 编码)
|
17
enenaaa OP @lcatt 不是文本检索,而是通过关键字检索。 分析时生成人名、归类新词,输出关键字列表。在我机器上, 分析一本 2.5m 的小说大约需要 10 秒, 比较慢。
|
18
lcatt 2017-04-24 15:58:28 +08:00
@enenaaa 我试了下,发现: 1.有些重要的角色没检索出, 2.出现了一些莫名的角色和关联,比如“马背上”。。。,以及很多只出现了几章的配角,所以才问是不是只读取了一部分内容而不是基于全本小说的。
|
19
enenaaa OP @lcatt 嗯, 是只分析了前 250 章的内容。
人名消歧也还存在问题,上一个版本纯粹的归类算法更严重, 这个版本好了不少 。还在改进中。 |
21
solobat 2017-04-24 17:55:00 +08:00
收藏了,希望越来越好
|
22
enenaaa OP @jyf 你是说用 RNN , LSTM 之类的深度学习算法来建立特征吗, 我感觉这种方式工作量太大了,短期内很难有什么结果。
|
23
xiubin 2017-04-24 18:04:25 +08:00
择天记 中 苟寒食和荀梅 是怎么发生关系的?
https://www.boyunso.com/book/103392 |
24
zzk819166453 2017-04-24 18:36:26 +08:00 via Android
很有意思😁
|
26
hzwei 2017-04-24 23:19:33 +08:00
哈哈哈,很有意思
|
27
artandlol 2017-04-25 01:59:33 +08:00 via Android
这个不错
红楼梦 百年孤独 家春秋 。。。 |
28
WildCat 2017-04-25 04:23:38 +08:00
不错,赞一个!
|
29
yuluofanchen 2017-04-25 08:41:10 +08:00 via iPhone
记得有类似的,是读的三国。然后做成网站了。
|
30
hythyt9898 2017-04-25 09:05:34 +08:00
试了下《大主宰》《天神诀》,貌似女主都识别不出来
|
31
ahkxhyl 2017-04-25 09:38:01 +08:00
https://www.boyunso.com/book/27817 貌似不太准吧? 关键词 大主宰
|
32
ahkxhyl 2017-04-25 09:40:21 +08:00
https://www.boyunso.com/book/205797 圣墟 就更不准了
|
33
Rice 2017-04-25 09:42:11 +08:00
有些意思,但是不准
|
34
Troevil 2017-04-25 09:45:29 +08:00
想想那些反转剧,角色身份变换的.... 醉了
|
36
RUstKkin 2017-04-25 10:05:25 +08:00
wordvector 有用吗
|
37
RUstKkin 2017-04-25 10:06:12 +08:00
避孕套头像。。。
|
38
demo 2017-04-25 10:17:29 +08:00
看了一下,是只取了前面部分章节。
|
39
enenaaa OP @RUstKkin 没有, 完全没有使用神经网络。 我希望分析是建立在稳定可信的基础上, 所以放弃了词向量。好在我也不是想要个通用的程序。
|
40
ifaii 2017-04-25 12:14:23 +08:00 via iPhone
这个有意思
|
41
SingeeKing 2017-04-25 12:32:59 +08:00
|
42
vh2h 2017-04-25 15:28:39 +08:00
准不准是另外一个事儿~
歪个楼~ 推荐下你喜欢的网络小说。谢谢 |