批量名单导入
一次 5 万条的数据导入,都需要入数据库。 (一行一个 QQ 号码,有 txt 与 excel 格式) 要考虑的问题有,如果导入的数据中在数据库有记录就做加分或者减分。 没有就新增到数据库中。 应该怎么操作或者实现? 或者解决的思路应该来...
个人的解决思路也只能一个一个对比数据库,有就加减。没有就新增。 这样可以?
1
nine 2016-06-27 10:38:17 +08:00
你的思路没错。
5 万这么少,有问的功夫,写个逻辑都导完了。 如果数据量大,嫌慢加个索引就好。 我这边每天一千万条都是这么入库的 |
2
fising 2016-06-27 10:40:02 +08:00
3-4 行 bash 搞定。。
|
3
chuhemiao 2016-06-27 10:40:59 +08:00
php 脚本
|
4
cdwyd 2016-06-27 10:41:24 +08:00 via Android
才 5 万,直接按你的思路来也没多久吧。除非你数据库原来有很多数据
|
5
yggdrasil OP 是一次导入 5 万,后面还有数据。 主要是如果数据库有记录的话就做加减,只能一个个对比。 这里怎么操作?
|
6
realpg 2016-06-27 10:44:31 +08:00
if mysql
CREATE TABLE `qq` ( `qq` BIGINT UNSIGNED NOT NULL , `score` INT UNSIGNED NOT NULL , PRIMARY KEY ( `qq` ) ) ENGINE = INNODB; INSERT INTO `qq` (`qq`,`score`) VALUES (`{$qq}`,0) ON DUPLICATE KEY UPDATE `score` = `score` +1; |
7
realpg 2016-06-27 10:45:59 +08:00
五万条数据 IO 好一点的 PC 机服务器也用不了一秒……
|
8
Light3 2016-06-27 11:46:31 +08:00
5W 阿 你就照瞎里写 没啥事。。
|
9
kevinroot 2016-06-27 12:40:56 +08:00
数据重复量大吗?先用 php 跑一遍把该加减都处理了,然后直接插数据库
|
10
yggdrasil OP 数据量应该不会很大,思路有了些. 别学别想... 上面那个 SQL 不错学习了。
|
11
programgou 2016-06-27 12:59:44 +08:00
excel 转成 csv 应该速度还更加快一点
|