1
malusama 2020-06-02 12:22:17 +08:00
千万啥机器不能跑...
你写入咋那么慢... 批量写入一次写更多条效率更高吧...测试一般都是一次插入一万条.. |
2
dlsflh 2020-06-02 12:23:33 +08:00 via Android
我完全外行,请教一下为啥不用 pandas 呢?
|
3
yeqizhang 2020-06-02 12:24:40 +08:00 via Android
navicat 不是也可以导入吗
|
4
tomczhen 2020-06-02 12:27:33 +08:00
excel 另存 cvs,然后 LOAD DATA INFILE
|
5
dexterzzz 2020-06-02 12:30:44 +08:00 via Android
8g 内存,power bi 亿级数据多表关联计算
|
6
phx1 2020-06-02 13:07:13 +08:00
为啥你的写入这么慢
|
7
liprais 2020-06-02 13:13:32 +08:00
16 核心 64g 内存足够了,用 pyspark 或者 pandas
|
8
wyfbest 2020-06-02 13:13:42 +08:00
excel 用 python 导入有很多现成工具吧
|
9
micean 2020-06-02 13:24:02 +08:00
LOAD DATA INFILE '你的 csv 文件路径' IGNORE
INTO TABLE 表名 FIELDS TERMINATED BY '分隔符' LINES TERMINATED BY '换行符' |
10
yida1313 OP @malusama 分别打点测了下各个环节的运行时间,发现主要慢在数据库 insert 操作上,读 Excel 基本几秒就完事了。
我试试你说的这个方法,一次写入 1000 条先试试。。。 |
11
yida1313 OP |