V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
xiamx
V2EX  ›  Python

提升 sklearn 上 SVM classifier 的运行速度有什么好途径?

  •  1
     
  •   xiamx ·
    xiamx · 2016-03-09 03:40:06 +08:00 · 15593 次点击
    这是一个创建于 3180 天前的主题,其中的信息可能已经有所发展或是发生改变。
    10 条回复    2016-03-09 14:02:35 +08:00
    kidexp
        1
    kidexp  
       2016-03-09 07:50:41 +08:00
    用 mkl 或者 openblas ?
    chlx
        2
    chlx  
       2016-03-09 08:49:44 +08:00
    选简单的 kernel 函数;用 libsvm 的实现
    facat
        3
    facat  
       2016-03-09 09:10:50 +08:00 via Android
    没什么好办法,已经是 c 语音实现了
    xiamx
        4
    xiamx  
    OP
       2016-03-09 09:44:38 +08:00
    有没有办法利用并行计算呢?
    nevin47
        5
    nevin47  
       2016-03-09 10:07:42 +08:00
    sklearn 我记得是没法并行的,除非去改 SVM 分类器那部分的代码
    但是有改代码的功夫,换 libsvm 早好了
    popil1987
        6
    popil1987  
       2016-03-09 10:36:12 +08:00   ❤️ 1
    机器学习最难的就在并行上
    单机凡是用到 numpy 的安装 openblas 可以做到利用上所有的核心。如果一台机器性能被透支了,就别惦记了,还是使用 spark 等内置的机器学习库吧。
    caomaocao
        7
    caomaocao  
       2016-03-09 13:29:15 +08:00
    用 linlinear
    glennq
        8
    glennq  
       2016-03-09 13:56:04 +08:00 via iPhone
    不要多想, sklearn 上的 svm 就是 wrap 了 libsvm 和 liblinear ,很难更快了。说到底 SVM 本来就慢

    SVC -> libsvm
    LinearSVC -> liblinear
    deanguqiang
        9
    deanguqiang  
       2016-03-09 13:59:00 +08:00 via iPhone
    用随机梯度下降实现的 SVM ,对有些问题快很多。
    deanguqiang
        10
    deanguqiang  
       2016-03-09 14:02:35 +08:00
    sklearn.linear_model.SGDClassifier(loss='hinge')
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2300 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 15:57 · PVG 23:57 · LAX 07:57 · JFK 10:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.