需求是这样:
系统运行阶段,每一步配置会产生一个临时文件,下一步的配置需要读取这个临时文件的内容,想把这些文件放在内存中缓存,加速文件存储和读取,有什么推荐的框架吗?尝试过 Redis,原生不支持文件的存储,需要序列化和反序列化,这里的处理比较慢。
系统是分布式服务系统,不同的服务之间需要共享文件数据,这里做持久化存储,可选的框架就多了。不过想要最好和第 1 布中使用相同的框架,比如路径 /foo 访问的文件是内存中缓存的文件,路径 /bar 访问的是 HDD 中持久化的文件。这样方便统一开发使用。
总结一下需求:
最好是一个框架能支持分布式内存缓存和分布式文件存储两种功能,使用相同的方式读取,不过不同的路径可以声明为不同的存储介质。
如果不存在这样的框架,有什么成熟高效的架构可以推荐吗?
1
cernard OP Alluxio 可以达到部分功能,但是不支持直接使用 memory 作为 cache,使用 hdfs cache 加上 Alluxio 的 UFS 映射可以吗?
|