owllook - 一个网络小说搜索网站 - https://www.owllook.net/

[xiaozizayang]

1.说明

网络小说搜索引擎（ novels-search ）—— owllook 网址：https://www.owllook.net/

owllook是一个基于其他网站的垂直小说搜索引擎，至于为什么写这个，一个是想利用sanic尽量做成异步服务，二是想就此练习下推荐系统，顺便作为毕业设计。

开源在 github，https://github.com/howie6879/novels-search

本项目纯属共享学习之用，不得用于商业！

• sanic：基于 Python 3.5+的异步 web 服务器
• sanic_session：sanic 的持续会话插件
• vloop：sanic 默认使用 uvloop，替代 asyncio 本身的 loop
• motor：异步的 mongodb 驱动
• aiohttp：异步请求
• aiocache：异步缓存，本项目改用了其中的 decorator 部分，缓存数据库使用 redis
• caddy：基于 go 的 web 服务器

对于用户信息，利用 mongodb 进行存储。

某些必要的缓存，利用 redis 进行缓存处理，注意，对于限制数据：都将在 24 小时删除。

对于不同网站的小说，页面规则都不尽相同，我希望能够在代码解析后再统一展示出来，这样方便且美观，而不是仅仅跳转到对应网站就完事，清新简洁的阅读体验才是最重要的。

目前采用的是直接在百度上进行结果检索（现在发现百度不行，又加了 360，谷歌的也写了一个，部分数据准备开始用爬虫获取），也不是不能做的更大更全，只是觉得没什么意义，目前的检索结果已经很足够。

我尽量写少量的规则来完成解析，具体见规则定义，遇到自己喜欢的小说网站，你也可以自己添加解析。

BTW，sanic 写界面确实不是很方便。

详细介绍owllook -- 一个简洁的网络小说搜索引擎

运行：

python server.py

或者

gunicorn --bind 127.0.0.1:8001 --worker-class sanic_gunicorn.Worker server:app

2.demo

下面是一些截图展示，具体效果图请看这里：

目录解析页：

阅读：

书架：

3.关于

0.1.0：

• 小说的基本搜索解析功能
• 搜索记录
• 缓存
• 书架
• 书签
• 登录（暂时不开放注册，可与我申请体验）
• 初步兼容手机（后续跟进）

TODO:

• [x] 注册

• [x] 上次阅读

• [ ] 阅读书单

• [ ] 推荐

• [ ] 排行榜

License

novels-search is offered under the Apache 2 license.

[LaudOak]

不错，资瓷

[Travers]

任意章节都是 404 will found …

[xiaozizayang]

@Travers 不会吧，你搜索的什么？

[hljjhb]

内容页居然没有上 /下一章

[Travers]

发现 dns 的问题，换了一个 DNS 就正常了。移动自带的 DNS 有点坑啊。 @xiaozizayang

[xiaozizayang]

@hljjhb 还在写~~全部在线解析这块有点难搞，毕竟东西都不在数据库

[xiaozizayang]

@Travers 那就好，吓我一跳

[qcloud]

贼 6

[mozutaba]

给力

[liangguan5]

赞，刚刚搜索昆仑试了下，解析后的排版看着比原网页舒服太多

[zhuoziyu]

目录页和正文我是智能匹配的
目录页 API： https://zhuishu.me/api/chapters?url=目录页 url
正文提取我用 golang 实现了 Readability 算法，https://zhuishu.me/api/chapter?url=http://www.qu.la/book/22441/8382743.html

更多 API 请参看 https://www.zhuishuapi.com/swagger/

生活艰难，准备赚些外块。目前正在做追书 APP，自己不运营，打算卖程序，相信会有站长感兴趣

[xiaozizayang]

@liangguan5 哈哈 有帮助就好

[zhuoziyu]

demo: https://zhuishu.me 后台管理功能已经完备了，商业授权功能都有了，就是前端比较简陋

[xiaozizayang]

@zhuoziyu 只敢做解析，不敢做爬取，太侵权了

[zhuoziyu]

@xiaozizayang 我只是用算法解析目录页，一样的。可能我的 url 看起来不那么合法
目前只是仅供 app 测试，没打算运营呢
感觉目前都是移动端会有转码阅读功能，pc 端这样估计会有风险

[defunct9]

跟 www.booksky.org 一样么？

[xiaozizayang]

@zhuoziyu 目录页用什么算法解析？我现在也在做移动端

[xiaozizayang]

@defunct9 不一样，主动与被动的关系，我这个可以说是元搜索引擎，你说的这个是综合收集载查询的那种，比那个也多了解析

[366204135]

我之前想做一个抓取豆瓣的数据的。可是没做 做了一个别的 https://www.ewmzc.com 生成二维码的

[thedog]

赞一个，一直都想做一个类似的

[owlsec]

很强啊

[RaymondYip]

太棒了 666

[xiaozizayang]

@thedog 反正是开源的 可以按照你的想法来~

[xiaozizayang]

@owlsec 谢谢支持~~

[xiaozizayang]

@RaymondYip 可以注册账号内测 书架追更比较好

[flystar]

非常不错，赞一个
页面的设置按钮功能目前没做么？另外求注册体验~

[licheng527]

挺不错的，收藏了，希望可以解析更多收费小说，哈哈

[xiaozizayang]

@licheng527 哈哈

[xiaozizayang]

@flystar 591460519 内测群 我来帮你注册

[Norma]

@zhuoziyu 想要这个，提供修改吗？

[Artists]

点开解析过的小说章节 404，不知道是不是个例

[xiaozizayang]

@Artists ?链接发我看看

[Artists]

@xiaozizayang #32 https://www.owllook.net/5315144.html
雪中悍刀行

[xiaozizayang]

@Artists 你这链接不对啊 https://www.owllook.net/chapter?url=http://www.qu.la/book/174/&novels_name=%E9%9B%AA%E4%B8%AD%E6%82%8D%E5%88%80%E8%A1%8C

[lany]

@xiaozizayang 你的某些页面就是这样的。全部是 404

[lany]

@xiaozizayang https://www.owllook.net/owllook_content?url=http://www.qu.la/book/32/#footer&name=直达底部&chapter_url=http://www.qu.la/book/32/&novels_name=全职高手

例如这样，so 代表某些链接不能点

[xiaozizayang]

这个页面你能不能打开 https://www.owllook.net/owllook_content?url=http://www.qu.la/book/32/1642344.html&name=%E7%AC%AC%E4%B8%80%E5%8D%83%E4%B8%83%E7%99%BE%E4%BA%8C%E5%8D%81%E5%85%AB%E7%AB%A0%20%E6%88%91%E5%8F%AF%E6%98%AF%E8%81%8C%E4%B8%9A%E9%80%89%E6%89%8B&chapter_url=http://www.qu.la/book/32/&novels_name=%E5%85%A8%E8%81%8C%E9%AB%98%E6%89%8B，你刚发给我的链接是原网页的直达底部，这个不用管。

[xiaozizayang]

@lany 你如果不能打开 全部是 404 的话 会不会是跟楼上一样 DNS 的问题 我这边都打开正常

[kn007]

稳

[xiaozizayang]

@kn007 老哥也稳

[Domains]

刚好有朋友想看豪娶天价新妻，
搜索了一下，出来的都是死链接、广告链接，特别都是让你下载不知什么东西的安卓 App

[xiaozizayang]

@Domains 那个出来的网站都是没有解析的~~因为这个在其他搜索引擎没有资源~我这里也没有

[tkisme]

@xiaozizayang [email protected] 现在不能注册么

[xiaozizayang]

@tkisme2013 还在内测中 你加群 我给你开个

[RaymondYip]

@xiaozizayang 好的谢谢拉 哈 我去注册个

[xiaozizayang]

@RaymondYip 咋没见你加群来注册

[tSQghkfhTtQt9mtd]

不担心版权风险么？

[tkisme]

@xiaozizayang 找回密码也没做

[xiaozizayang]

@tkisme2013 注册都还没开放~~这个做个很快

[xiaozizayang]

@liwanglin12 开源不要紧吧 只是检索+缓存 百度不也这样？

[world666]

- -写正则解析啥的太麻烦了吧，私信我，给你开个 API.万能解析，只要是文章类的通杀。

[xiaozizayang]

@world666 啊哈哈，我这样写有这样写的用处 目前的 api 也在写通用获取

[world666]

@xiaozizayang 啊，其实我想加你好友，取取经。。。哈哈哈哈。。。

[xiaozizayang]

@world666 进群交流吧 哈哈

[zhuoziyu]

@xiaozizayang 比较 URL 相似度
@Norma 目前主要做追书 APP，可以加微信 donkey QQ: 303200888

[xiaozizayang]

@zhuoziyu 写个余弦相似度就解决了

[Icemic]

厉害啊，给同在研究推荐系统的我不少启发，star 了

[xiaozizayang]

@Icemic 然而推荐系统部分却还没写哈哈

[guonning]

爱这样得，看书，找书有去处了

[xiaozizayang]

@guonning 谢谢支持

[Izual_Yang]

很好，我只有一个问题：翻页 tm 在哪儿？不论是翻页链接还是热键，还是滚动到底部自动加载下一页，我全都没找到

[xiaozizayang]

@Izual_Yang 这是个好问题 哭脸~~ 就是还没做下一页

[Izual_Yang]

@xiaozizayang
其实在电脑上问题不大，甚至可以键盘操作（ ctrl+w 关掉当前章节，然后目录上按 tab 跳到下一章链接，回车）
在手机上就让我不太适应，因为已经被 uc 浏览器养懒了。
虽然我在电脑浏览器上也习惯了通过油猴子（ https://greasyfork.org/scripts/292-my-novel-reader/ 或者
https://greasyfork.org/scripts/293-super-preloaderplus-one 自己添加规则）自动加载下一章

[solobat]

看着不错，收藏了

[junred]

解析后的网页布局比原网页还要漂亮～

[xiaozizayang]

@junred 不比原来漂亮解析干嘛~

[junred]

@xiaozizayang 你这解析是针对每个网站写一个特定解析？

[xiaozizayang]

@junred 一个网站一个规则

[ruter8]

惊现宇哥。

[xiaozizayang]

@ruter8 我类个去 缘分~~

[shunia]

求推荐无限流网文,把你知道的都说出来,看看哪些没看过,我去关注一下.

[xiaozizayang]

@Izual_Yang 已经做了翻页了

[ifaii]

@xiaozizayang 想知道设置不能用是怎么回事，没法设置黑白页面

[xiaozizayang]

@ifaii 设置的功能还没写

[licheng7475]

搜到大部分没解析。。。

[xiaozizayang]

@licheng7475 看源 你是搜索哪本小说？

[licheng7475]

@xiaozizayang 随便搜的，包括你案列的雪中悍刀行

[xiaozizayang]

@licheng7475 不是你网络问题就是这个项目部署的服务器抽风了 http://oe7yjec8x.bkt.clouddn.com/howie/2017-05-23-093334.jpg