V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  twl007  ›  全部回复第 49 页 / 共 113 页
回复总数  2259
1 ... 45  46  47  48  49  50  51  52  53  54 ... 113  
开源的话有个符合你要求的
https://github.com/chrislusf/seaweedfs
LevelDB RocksDB 不要直接拿来存文件 用来存你具体文件的 block 的索引就好 Ceph 的 BlueStore 底层就是用 RocksDB 来存文件块索引的 相当于 XFS 里面 inode

分布是的话你套两层就行了 第一层是分布式的 key-value 数据库 用来记录所有文件的记录以及这些文件存在哪些节点上方 在单个节点上你可以直接把文件按照一定规则写入到不同的目录下面 然后有一个 daemon 一类的帮你存取文件 如果真的是真海量的话 你具体的 storage node 上面其实也需要一套 RocksDB 来帮你缓存具体的文件位置来加快索引速度 如果问减少的话其实按照一定 hash 来存就行 你甚至可以在每个机器上面跑一个 Minio 然后再用一个集中化的数据库来管理那些文件存到那个 Minio 上面都行……
套个 rocksdb 也没啥不好的 参考 Ceph 的 OSD 部分 实现 用 rocksdb 去缓存整个存入文件的索引 可以看看老版本基于 Filesystem 的实现

基本就是文件切块直接存盘到系统 fs 上面 然后按照一定规则生成目录 避免 fs 在某个目录下太多文件导致效率降低 然后利用 key-value 一类的数据库来存文件的具体索引 分布式的话就在上面再套一个 你可以试试 Cassandra 或者选其他的分布式 key-value 数据库 记录一下某个文件具体落到某个那个位置去就行 然后具体位置再由具体的 key-value 去把文件块找出来返回就行

简单点的实现可以参考下 Minio ?但是那个是对象存储 不知道是不是符合你导师的意思就是了…… 看你导师的意思应该是让你实现个基于块存储吧
2020-09-29 10:19:27 +08:00
回复了 1oNflow 创建的主题 职场话题 有必要和同事搞好关系吗?
You don’t need to be a nice person, but you need to be professional.
2020-09-27 23:08:54 +08:00
回复了 leishi1313 创建的主题 程序员 一个美国小码农眼中的硅谷
不过超过十万人了应该是 Apple 吧……
2020-09-27 23:07:36 +08:00
回复了 leishi1313 创建的主题 程序员 一个美国小码农眼中的硅谷
盲猜不是 Apple 就是 Netflix
然而美帝除了圣诞节 一堆假都是一天……
2020-09-25 13:29:25 +08:00
回复了 ian19znj 创建的主题 分享发现 Epic, Spotify 等公司成立了一个反 App Store 联盟
Epic 的上架渠道远没有 Steam 透明 绿光一堆游戏是上不到 Epic 的
2020-09-19 09:06:32 +08:00
回复了 prof 创建的主题 云计算 阿里云无影靠谱么?技术方案是什么?
不知道楼主知不知道一个词 瘦客户机
2020-09-07 17:42:29 +08:00
回复了 littleb 创建的主题 职场话题 公司保密过于影响效率,请教大佬 RMS 加密怎么破解呀
如果 RMS 这么轻松就被破解了 那上 RMS 的意义是啥?
1 ... 45  46  47  48  49  50  51  52  53  54 ... 113  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1839 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 57ms · UTC 00:02 · PVG 08:02 · LAX 17:02 · JFK 20:02
Developed with CodeLauncher
♥ Do have faith in what you're doing.