V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
HGladIator
V2EX  ›  机器学习

[寻求] 机器学习平台系统供应商

  •  
  •   HGladIator · 2020-02-19 11:04:34 +08:00 · 2869 次点击
    这是一个创建于 1770 天前的主题,其中的信息可能已经有所发展或是发生改变。

    机器学习平台可以把诸多对机器学习的支持,比如模型训练,超参数训练,分布式训练,模型部署等部件进行组合,以容器化的方式进行部署,做到各个系统高可用及方便的进行扩展,

    要求:

    1. 提供方案本地化部署、对接业务系统、维护服务
    2. 可以是自研系统,没有的话,可以部署当前成熟的开源方案,比如kubeflow、Tgtrainer 等方案

    公司:

    • base 深圳,
    • 公司为世界百强企业。

    机器学习平台

    大部分公司自研系统满足自身业务,大厂的自研系统已经商业化成了 MLaaS,不过很多都是基于云服务, 各公司的系统见最后

    开源方案中kubeflow很优秀,不知道是否还有更优秀更广泛使用的开源方案??

    sp200219_110255.png

    23 条回复    2021-01-20 16:13:42 +08:00
    miscnote
        1
    miscnote  
       2020-02-19 11:11:20 +08:00
    我们用 google 的,他家是基于 tensorflow 的云解决方案,包括 TPU 算力。我觉得挺好用。
    HGladIator
        2
    HGladIator  
    OP
       2020-02-19 11:14:12 +08:00
    @miscnote #1 支持本地化部署吗
    cqcn1991
        3
    cqcn1991  
       2020-02-19 11:17:04 +08:00 via Android
    我们原来买的 data robot
    miscnote
        4
    miscnote  
       2020-02-19 11:18:43 +08:00
    @HGladIator 云端的。貌似不支持本地。
    dick20cm
        5
    dick20cm  
       2020-02-19 17:01:04 +08:00
    @HGladIator 要想本地部署就去招人自研(好歹 100 强),否则不如全部上云,或者考虑沸腾厂特色的私有云方案,007 工程师驻场修 bug。

    为什么要本地部署,敏感数据么?如果数据敏感不如本地脱敏(例如本地 embeding 或 encoding )后上公有云
    HGladIator
        6
    HGladIator  
    OP
       2020-02-19 17:02:56 +08:00
    @dick20cm #5 不会上公有云的。暂时自研周期太长,直接买买买,不差钱。
    HGladIator
        7
    HGladIator  
    OP
       2020-02-19 17:03:12 +08:00
    @cqcn1991 #3 好用吗,满足需求吗
    dick20cm
        8
    dick20cm  
       2020-02-19 17:09:03 +08:00
    @HGladIator 平安,还是华润?
    caixiaodong1987
        9
    caixiaodong1987  
       2020-02-19 17:10:32 +08:00
    第四范式和阿里都有私有化部署的方案,你去官方网站找下商务,先获取资料对比一下
    111qqz
        10
    111qqz  
       2020-02-19 17:15:36 +08:00
    原来真的有这种需求...
    HGladIator
        11
    HGladIator  
    OP
       2020-02-19 17:18:11 +08:00
    @caixiaodong1987 #9 对接过第四范式,他们的并不好使,阿里的不知道。
    HGladIator
        12
    HGladIator  
    OP
       2020-02-19 17:21:04 +08:00
    @dick20cm #8 都不是,我图里说了平安有自己的平台啊,他们没有这方面需求
    AnyISalIn
        13
    AnyISalIn  
       2020-02-19 17:37:47 +08:00
    最近半年我也在开发类似的项目,本地化部署的话,本地单独部署一个 k8s 供机器学习平台使用。
    AnyISalIn
        14
    AnyISalIn  
       2020-02-19 17:41:54 +08:00
    Kubeflow 优势在于通用,每一个组件都非常的通用,并且可以独立拆出来使用,但是对于那些所谓的搞算法的科学家来说学习成本有一些高。
    HGladIator
        15
    HGladIator  
    OP
       2020-02-19 18:05:07 +08:00
    @AnyISalIn #14 如果自己开发的话,可以看看 DgTrainer 的架构,Mesos+Marathon 是一个不错的选择。你还了解别的架构吗,或者公司产品。
    AnyISalIn
        16
    AnyISalIn  
       2020-02-19 19:06:48 +08:00
    @HGladIator #15 https://polyaxon.com/ 可以了解一下
    fukongqi
        17
    fukongqi  
       2020-02-19 20:03:24 +08:00
    我司 intel ?具体用哪个解决方案还是要看需求吧。我司面向的传统行业客户大多数是本地化部署
    HGladIator
        18
    HGladIator  
    OP
       2020-02-19 23:10:45 +08:00
    @fukongqi #17 有没有业务对接人的联系方式啊
    HGladIator
        19
    HGladIator  
    OP
       2020-02-19 23:11:08 +08:00
    @AnyISalIn #16 好的 谢谢
    askfermi
        20
    askfermi  
       2020-02-19 23:44:16 +08:00
    https://github.com/autoai-org/AID 并不广泛使用,而且还在开发中,估计不符合要求 TAT
    acsbqyoung1
        21
    acsbqyoung1  
       2020-02-20 18:07:57 +08:00
    探智立方的 DarwinML,可以在官网联系业务员试用。
    HGladIator
        22
    HGladIator  
    OP
       2020-02-21 14:59:34 +08:00
    @acsbqyoung1 #21 这个没有才云科技的完善
    cs1024
        23
    cs1024  
       2021-01-20 16:13:42 +08:00
    现在在做跟 LZ 一样的事情...

    LZ 最后选择的解决方案是..?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3183 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:31 · PVG 20:31 · LAX 04:31 · JFK 07:31
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.