V2EX › rrfeng 的所有回复 › 第 189 页 / 共 194 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 181 182 183 184 185 186 187 188 189 190 ... 194

❮

❯

2013-07-08 08:25:11 +08:00

回复了 bjlbeyond 创建的主题 › 问与答 › 大家用QQ的小号加过你们女朋友吗？

我的小号就是给大号加好友用来当女朋友的我会说么

2013-07-04 13:29:03 +08:00

回复了 1to3 创建的主题 › 问与答 › 怎样申请ATM机？

@kurtrossel
NB！

2013-07-03 09:13:08 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
问题是你根本不需要排序啊。
按照你的描述我觉得 28 min 至少有 27.5 min 被 sort 吃掉了～～

另外既然你都能排序……那么换成 awk 我所说的吃内存问题就根本不存在了 - -！

2013-07-02 23:29:18 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@lovejoy
-F ',' 以逗号作分隔符
/pattern1/&&/pattern2/ 匹配两个条件的行
{a[$7" "$8]++} 满足上面条件的行以 [$7" "$8] 作为键存入数组a，如果重复就是 ++ 递增

END{} 在所有文件读入结束之后执行的程序块，输出数组a的所有键以及值

2013-07-02 10:55:27 +08:00

回复了 xatest 创建的主题 › Puppet › puppet有没有办法接收通知来触发部署？

自己写一个呗，通过另一种方式比如通知 shell 执行 puppet kick
不过貌似 kick 被砍掉了&……

2013-07-02 09:48:07 +08:00

回复了 mantianyu 创建的主题 › 分享发现 › 还有25分钟，google reader就关闭了

@airyland 额，刚才是看错了。木有搭梯子

2013-07-02 08:43:26 +08:00

回复了 mantianyu 创建的主题 › 分享发现 › 还有25分钟，google reader就关闭了

关了……

2013-07-02 08:26:47 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
cat *|grep 问题倒不是很严重，反正是一次读取
你这句的关键是 sort ，而你的需求里完全没有排序的必要，计数而已

2013-07-01 14:29:47 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
其实还是错了。。。uniq -c 是计数，我看成去重了哈哈

awk -F ',' '/@qq\.com/&&!/success/{a[$7" "$8]++}END{for(i in a)print i,a[i]}'

你跑跑试试多长时间呗

最后消耗的内存相当于 ... | sort | uniq 之后每行作为 key 存入一个数组，比文件大小略大。

2013-07-01 08:57:35 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
修正刚才的awk，有错误
awk -F ',' '/@qq\.com/&&!/success/&&!a[$7,$8]++'

2013-07-01 08:50:24 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
sort 开销巨大……
你的任务完全可以只用 awk 一次搞定

awk -F ',' '/@qq\.com/&&!/success/{!a[$7,$8]++}'

唯一的缺点就是最后一步去重可能会吃掉大量内存，视你的数据情况而定

2013-06-28 19:20:15 +08:00

回复了 bufannao 创建的主题 › 问与答 › 被别人拉进N个QQ群，每天制造着大量垃圾，极少会出现有价值的内容（出现了也大多错过），而出于各种面子又不好意思退群，虽然屏蔽群消息可以眼不见心不烦，但心里还是各种纠结。

目前就加了一个不想退的 QQ 群
完全靠几个管理时不时出来喊『少闲聊，多聊技术』
并且有大侠一直很耐心的解决各种问题。

说到底，QQ 群完全不是一种有效的交流手段。
技术？邮件列表/论坛
友情？直接打电话
也就适合消遣/勾搭/……

2013-06-28 11:50:05 +08:00

回复了 rrfeng 创建的主题 › Google › Google Reader 的话题不断啊，没了 Google 强大的服务器集群支撑，那些所谓的『替代品』真的能好用么？

发完才看见版块儿不太合适，没找到哪里挪……
这是谁手工移动的还是自动？