文件结构如下:
| A | B | C | D | E | F | G | H | I | J |
| xx | xx | xx | xx | xx | xx | xx | xx | xx | xx |
| xx | xx | xx | xx | xx | xx | xx | xx | xx | xx |
1
rrfeng 2019-08-08 11:43:29 +08:00
awk '!a[$2$2$3$4]++' file.csv
自己设 -F 分隔符。 2w 条要啥效率 |
2
fatbear001 OP @rrfeng 额,在 go 程序中怎么实现啊?
|
3
SuperMild 2019-08-08 11:49:00 +08:00
2 万条……效率最高的就是你自己写起来最熟练最快的方法。
|
4
fatbear001 OP @SuperMild 现在想的是循环添加进 map 中。。
|
5
SuperMild 2019-08-08 11:52:55 +08:00
@fatbear001 直接写吧,很可能马上就搞定了。
|
6
rrfeng 2019-08-08 11:53:06 +08:00
|
8
8bit 2019-08-08 12:50:32 +08:00 via Android
不先估算下重复率吗?
|
9
loading 2019-08-08 13:01:32 +08:00 via Android 2
写一周,程序最后跑下来就是 1 分钟
写半天,程序最后跑下来就是 3 分钟 |
10
Vegetable 2019-08-08 13:26:30 +08:00
随便写了一个基于前 4 个元素拼接字符串和 map[string]struct{}去重的例子,在只有 4 列整数时,2w 行耗时 29ms.我觉得这玩意再怎么效率低也没有纠结的必要.
还是赶紧写吧 |
11
no1xsyzy 2019-08-08 15:25:02 +08:00
拜托 2w 就是 Python 效率也够的,可能拿 brainfuck 写效率都不是问题
|
12
reus 2019-08-08 15:46:41 +08:00
2 万行随便写啊
|
13
rockyou12 2019-08-08 15:48:05 +08:00
2w 你随便写都很快啦
|