V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
CMGS
V2EX  ›  云计算

分享一个我写的 keynote,主要是关于容器技术方面的实践

  •  1
     
  •   CMGS · 2015-03-13 15:37:45 +08:00 · 6942 次点击
    这是一个创建于 3572 天前的主题,其中的信息可能已经有所发展或是发生改变。
    今年上头对我们团队要求又……变了- -,所以厚颜无耻的来推销自己写的 keynote 啦
    http://www.slideshare.net/cmgs1988/docker-45601303

    3月底趁着去帝都 infoq docker 围观的机会顺便打探下其他公司在这一领域的进度,有交流想法的小伙伴欢迎29号到现场闲聊啊……

    另外我们除了公开了 redis cluster proxy 解决方案的源码之外,这一套基于 docker 的幺蛾子也是开源的啊!欢迎围观和试用……
    35 条回复    2015-03-26 20:11:39 +08:00
    sqrabs
        1
    sqrabs  
       2015-03-13 15:38:41 +08:00
    要不要留点悬念啊少年
    CMGS
        2
    CMGS  
    OP
       2015-03-13 15:39:48 +08:00
    @sqrabs 怕啥。。还不是得去你公司说详细的- -
    MapleObserver
        3
    MapleObserver  
       2015-03-13 15:58:19 +08:00
    @CMGS 话说你们台里另一群大佬不会跳出来说「这是我台机密岂能公开」么?
    tonic
        4
    tonic  
       2015-03-13 16:06:43 +08:00   ❤️ 1
    @sqrabs 你一定是被逼的
    CMGS
        5
    CMGS  
    OP
       2015-03-13 16:07:36 +08:00
    @tonic ...借你个胆子你再说一次?

    @MapleObserver 台里啊,撕逼都来不及呢
    otbzi
        6
    otbzi  
       2015-03-13 16:19:45 +08:00
    @CMGS @tonic 看到了配置文件了呢!
    Autonomous
        7
    Autonomous  
       2015-03-13 16:49:10 +08:00
    晕,下载要注册,我还以为楼主直接就丢网盘放出key文件呢!
    CMGS
        8
    CMGS  
    OP
       2015-03-13 16:51:26 +08:00
    @Autonomous http://pan.baidu.com/s/1kTHwnob 之前一个版本的下载……主要是最近我一直在更新这货懒得做下载版本的更新
    @otbzi 又不是什么重要的幺蛾子- -
    zhicheng
        9
    zhicheng  
       2015-03-13 17:13:44 +08:00
    膜拜一下。
    otbzi
        10
    otbzi  
       2015-03-13 17:17:01 +08:00
    @CMGS 只是想黑一下你们……
    chilaoqi
        11
    chilaoqi  
       2015-03-13 17:17:34 +08:00
    恩,之前就看过,很干货啊,Docker meetup么?我要去围观下。
    CMGS
        12
    CMGS  
    OP
       2015-03-13 17:33:44 +08:00
    @otbzi settings 的设计换过几次,我跟六子艰难的在产品风格和平台风格之间找平衡。。。
    @zhicheng 40wqps大神。。求不黑
    @chilaoqi 29的 docker 会议自由时间搞吧~~
    richardhc
        13
    richardhc  
       2015-03-13 18:11:06 +08:00
    docker现在很火啊,围观下ppt.
    adieu
        14
    adieu  
       2015-03-13 18:24:20 +08:00
    ppt内容很好。感谢了。

    有部分功能貌似google的kubernetes有覆盖掉,有没有考虑把它用起来?
    lowstz
        15
    lowstz  
       2015-03-13 18:29:09 +08:00
    nginx 加了 tcp_proxy_module ?
    LB 这层 和 qingcloud 的 ELB 一样用了 haproxy ,其他流程和贵厂的差不多
    先试过 coreos, etcd,但是觉得不靠谱,主要是 qingcloud 不靠谱,最后用了 mesos
    janxin
        16
    janxin  
       2015-03-13 22:41:41 +08:00
    感谢分享
    CMGS
        17
    CMGS  
    OP
       2015-03-14 00:51:54 +08:00
    @adieu kubernetes 的祖宗 borg 系统是我们这边的方向,不采用 kubernetes 是因为考虑到开源的东西一般做得很通用,和企业结合的话修剪的成本还不低。加上稳定性和我们需求只是 kubernetes 的一个子集,因此就决定自己开发了。
    @lowstz 没加,二进制协议的采用 container 直连的方式,第一代目的 NBE 实现了 “app 也是资源” 这一逻辑之后就可以完全不走一级 nginx 做 lb 了。etcd 的槽三天三夜都吐不完,我们还修过 master 代码,不然没法编译。还是 CentOS 用起来舒坦呐
    lepture
        18
    lepture  
       2015-03-14 00:59:27 +08:00
    @CMGS 你这现在就放出 keynote 了,到时讲起来都没悬念了
    CMGS
        19
    CMGS  
    OP
       2015-03-14 01:17:19 +08:00
    @lepture 预热下,因为太长了我希望目标公司的基友们到时候心里有底,大多数细节上的考虑和实现现场说
    fanzeyi
        20
    fanzeyi  
       2015-03-14 05:29:32 +08:00
    做的不错,继续努力。

    Actrace
        21
    Actrace  
       2015-03-14 09:00:02 +08:00
    docker啊。。。不看好。。。前几年ovz之流的虚拟化技术也挺火,人家都商用好久了。虽然现在也是不生不死。

    我不看好docker的主要原因是它到目前为止都没有解决空间与成本的问题。
    loddit
        22
    loddit  
       2015-03-14 11:55:26 +08:00
    28号先来 OpenParty 讲一发吧
    CMGS
        23
    CMGS  
    OP
       2015-03-14 12:09:38 +08:00
    @loddit url?时间?
    @Actrace docker 只是工具吧,我其实不在乎后面是 docker 还是 rocket 亦或是 nspawn,打不了自己做 runtime 隔离,反正又不是没做过- -。我觉得 ovz 的问题在于从源码到随意快速部署这一步灵活性还是不如 docker 一类的容器技术,整个代码生命流程不好掌握
    @fanzeyi 你,UI!
    Actrace
        24
    Actrace  
       2015-03-14 12:13:10 +08:00
    @CMGS ovz也是容器技术。。。
    loddit
        25
    loddit  
       2015-03-14 12:32:15 +08:00
    CMGS
        26
    CMGS  
    OP
       2015-03-14 13:10:52 +08:00
    @Actrace openvz 咩- -,这用起来体验还是跟 lxc 之流有差别吧。。
    @loddit = =好紧张的样子怎么破
    tonic
        27
    tonic  
       2015-03-14 15:57:50 +08:00
    @Actrace 我也不看好 docker 啊, 不看好的原因是坑太多了, 一点都不稳定...
    tonic
        28
    tonic  
       2015-03-14 16:54:37 +08:00
    @otbzi 忍忍吧, 等你 PR
    dreampuf
        29
    dreampuf  
       2015-03-18 23:06:31 +08:00
    来我司布道吧,还有时间安排吗?
    CMGS
        30
    CMGS  
    OP
       2015-03-19 09:32:29 +08:00
    @dreampuf = = 我在考虑22号干脆去 3W 或者基友公司搞个公开的分享算了……从周一到周五下午2点起已经都被安排好了……
    bash99
        31
    bash99  
       2015-03-22 16:56:08 +08:00
    @lowstz 求"qingcloud不靠谱"的详情
    monnand
        32
    monnand  
       2015-03-26 13:34:38 +08:00
    @CMGS 我发现整个系统从架构到使用的第三方软件,再到用词和kubernetes都很像,应该是参考了kubernetes的实现吧?具体说,主要和kubernetes有哪些区别?

    另外,kubernetes不能算是borg的直系后代了。Borg的直系后代是Omega。
    CMGS
        33
    CMGS  
    OP
       2015-03-26 17:44:25 +08:00
    @monnand 没参考过 kubernetes 实现,我连它代码都没好好看过,架构是我当时做完 DAE 之后因为 Python runtime 隔离略麻烦,然后在伊朗的时候按照 DAE 架构演进推倒出来的第一版 NBE。另外你说第三方软件主要指?

    你指的很像主要是 Pod 吧,我们 Pod 本来是想叫 cluster 的,后面觉得概念冲突,如果说借鉴的话这可以算一点……因为我们一个 Pod 是以业务做隔离的概念。我们和 Kubernetes 的区别主要在于我们第一代的 NBE 是类似于 DAE 那样的纯 web 服务 PaaS,Pod 和 私有 Host 均是后期加入的。第二代的 NBE 是类似于 Docker Swarm 的东西,顺便把 compose 做的编排的事情给做了,并且把可以部署自定义基础服务也纳入了目标中。另外我们这货考虑是对内为主,所以没做得那么的“通用”,和我们有的基础设施和工作流都能很好的接起来。
    monnand
        34
    monnand  
       2015-03-26 18:31:48 +08:00
    @CMGS 不好意思,不太了解DAE,NBE的缩写都代表什么。不过大概能明白你的意思。

    第三方软件主要是指InfluxDB,etcd这些。不过如果选择Go作为开发语言,那么这些软件选择也就很自然了。

    好吧,确实是因为Pod这个名字。因为Pod这个名字本身是包含了一些文字游戏,非英语母语的人不太可能想出来。大概流程是这样的:我看完了你的幻灯片,然后点开了你的slideshare的个人页面,你的介绍是这么写的:“This God is lazy,He write down none thing”。看完这句话,我私以为Pod这个名字应该不是你想出来的。

    不过无论如何,感谢你的分享!
    CMGS
        35
    CMGS  
    OP
       2015-03-26 20:11:39 +08:00
    @monnand DAE=Douban App Engine, NBE = Nebula Engine,选择 InfluxDB 主要是我并非 SA 出身, Statsd 对我来说部署和维护经验太少,至少目前 influxDB 还比较简单。 Etcd 因为稳定性问题已经被我们放弃,目前第二代 NBE 主要使用的是我们 redis 的解决方案去做 KV 存储。其实选择 Go 主要是因为 docker 相关的库 go 的版本较多较好,不过也有残次品,所以目前我们的 Core 用 Python 重写了。

    Pod 这名字其实还是很好理解吧哈哈~除了刚才说的 Cluster,我们还考虑过 Unit 什么的,最后才确定的是 Pod。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2766 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:51 · PVG 22:51 · LAX 06:51 · JFK 09:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.