两csv文件的去重复合并

两csv文件的去重复合并

问题描述:

比如:文件一
序号 代号 姓名 书价1 书价2
1 001 张三 23 18
2 005 李斯 3 50

文件二
序号 代号 姓名 书价2 书价3
1 008 张强 66 33
2 001 张三 18

把两个文件一次都读入set,这样就去重了,然后再写入新文件

把两个文件一次都读入set,这样就去重了,然后再写入新文件

假定两个文件为1.txt和2.txt

在linux shell里执行如下命令

awk '{print $2,$3}' [12].txt|sort|uniq

结果为:

001 张三
005 李斯
008 张强