推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2911 天前的主题，其中的信息可能已经有所发展或是发生改变。
mydumper 和 mysqlpump 在特定场景下会有些限制，于是自己用 python 封装 mysqldump ，实现以多线程的方式导出库表的操作，再以 mysql 命令多线程导入新库，用于成倍加快导出，特别是导入的速度。这一切只需要在 mysqldump 或 mysql 命令前面加上 mypumpkin.py 即可。
Github 项目地址 https://github.com/seanlook/mypumpkin
介绍和使用见 http://seanlook.com/2016/11/17/python-mysqldump-out-in-concurrency-magic/
 |
1
xi_lin 2016-12-01 13:15:02 +08:00
赞
|
 |
2
veelog 2016-12-01 13:18:16 +08:00 via Android
有没有可以限制 mysqldump 速度的？？现在执行 sqldump 整个数据库操作非常慢
|
 |
3
seanlook OP @veelog 限流这个倒蛮新颖的，我这个工具一开起来基本上能把带宽或磁盘打满，源数据库 IO 会特别高。
mydumper 可以做到表上的多并发，可以每次 select chunk sleep 几毫秒来实现... |
 |
5
julyclyde 2016-12-02 15:34:22 +08:00
限流（不基于数据语义）可以用 pv 工具
|
Select Language