从 MapReduce 计算模型入门,到实现 Raft 一致性算法,并进一步构建容错的分布式 kvDB
6.824 是 MIT 开设的分布式系统课程,主页:https://pdos.csail.mit.edu/6.824/schedule.html,课程共计 22 节,每堂课都有 lecture 讲义、Paper 阅读及 FAQ 答疑。
课程有 4 个 Lab 实验:
Lab1 MapReduce:熟悉分布式基础概念
阅读论文并梳理 MR 模型的执行流程,实现单机版、分布式版的 word count,最后使用模型来生成倒排索引。
Lab2 Raft:分三个模块实现 Raft 一致性算法
Lab3 kvDB:基于 Raft 实现线性一致的分布式容错 kv 数据库
Lab4 Sharded kv:实现 Raft 的 Membership Change 配置更新,构建 kvDB 集群。实现中 …
每个 Lab 的环境代码都有注释提示,都有写好的单元测试,目标是每个测试跑 go test -race -count
多次都能 pass
MR、Raft 等 lab 相关的论文要反复阅读,尤其是 Raft 论文的图 2,一定要把每个细节理解透彻。
坑真的非常多。所以写代码前认真阅读 Lecture 并思考,参考其中的 Hint 提示,阅读课程对 Raft 结构的解析。此外,课程助教写的 Students' Guide to Raft 值得参考。
目前我只完成前三个 Lab,工作之余耗时近三个月。实验遇到的坑记录在了博客,希望有所帮助:
自己也想在分布式存储方面多折腾,感兴趣的同学可以一起交流,共同进步:aW1hZ2VzLnlpbnppZ2UuY29tL21lLmpwZWc=
1
xiaoyaocmx 2019-06-16 22:53:37 +08:00
这个课貌似需要相关的先修知识?讲义怎么打开是 txt ……
|
2
wuYin OP @xiaoyaocmx 掌握 Go 基础语法,了解 IPC 通信。讲义和 FAQ 都是纯文本,重在内容~
|
3
jiezhi 2019-06-16 23:07:44 +08:00 via iPhone
收藏先,明天起来有空看看
|
4
abelce 2019-06-16 23:07:51 +08:00 via iPhone
我以前也学过 但是后来链接失效了,今天终于又看到了
|
5
wisej 2019-06-16 23:18:56 +08:00 via Android
棒~两个月前完成了 LAB1,然后就搁置了
|
6
0044200420 2019-06-16 23:19:56 +08:00
lab 2b 我卡了 1 个月。。
|
7
wuYin OP @0044200420 Lab2C 网络延迟会导致 RPC 请求乱序,论文里没明说。忽视了这点让我卡了两星期……好在看了助教的文章得到指点,其实课程 QA 也有提到,认真阅读讲义才是~
|
9
leonme 2019-06-17 08:57:43 +08:00 via Android
很棒~希望 v2 多一些这样的帖子
|
11
auxox 2019-06-17 10:02:26 +08:00
赞~
|
13
petelin 2019-06-18 09:25:58 +08:00 via iPhone
感觉很不错 我是自己学的 raft 可以入坑系统在学下 多谢
|
14
wuYin OP @petelin 赞~ 做 lab 卡住了可参考助教的博客,记录了大部分学生都会犯的错:
https://thesquareplanet.com/blog/students-guide-to-raft |
15
forever139 2019-06-19 14:26:46 +08:00
正想学习下这个方向,赞一个👍 。
|
16
wlgq2 2019-11-19 16:42:41 +08:00
吐槽下,我卡在 RPC 请求乱序,私以为不太合理,合理的网络程序,同一个 socket 总是唯一线程访问,只要写如 TCP 缓存数据没有交叠,TCP 只会延时,不会乱序。
|
17
jackgoudan 2020-12-18 20:51:11 +08:00
lz,请问可以给一份源码吗? raft 实现部分有些地方做不来,思路不清晰。想参考下怎么写的
|
18
luckykev1n 2021-01-28 09:26:46 +08:00
看了下 2020 年的 MIT6.824 ,LAB1 没有要求倒排索引和 merge 所有 reduce 的结果,给学生减压了哈哈哈
|