这是一个创建于 2312 天前的主题，其中的信息可能已经有所发展或是发生改变。
hadoop fs -cat $data_set_high/p*|awk -v repeat=${num} '{for(i=0;i<repeat;i++)print}' >> $local_file
没太懂这一句，新手上路，请各位指教一下。
1 条回复 • 2018-07-27 11:56:35 +08:00
 |
1
owenliang 2018-07-27 11:56:35 +08:00
输出 hdfs 里的一个文件，然后本机 awk 运算，运算规则是：
每一行重复 num 次，最终全部输出到 local_file。 |
Select Language