关于正则表达式:从Notepad ++中删除重复的行

Removing duplicate rows from Notepad++

我正在寻找一种从我的Notepad ++文件中删除重复行的方法。 每个行的行不完全相同。 这是情况。 我有一个大概率公司名称的大文件,其概率值也是如此(每个都由一个标签分隔)。 所以格式如下:

1
2
3
ATT   .7213
SAMSUNG   .01294
SAMSUNG   .90222

因此,我需要删除其中一行,因为第一列中存在匹配项。 只要我最后得到一行,我就不会偏好我需要删除哪一个。 我试图使用TextFX进行独特排序,但它正在寻找整行重复,而不仅仅是第一列。 如果有人能提供一个方便的解决方案来解决这个问题,我将非常感激。 使用awk,sed或cut的Bash脚本答案也是可以接受的,也可以使用正则表达式。

谢谢!


使用awk,你可以说:

1
awk '!a[$1]++' filename

这将仅保留第一个字段具有唯一值的行。


使用sort

1
sort -k1,1 -u companies.txt

输出将包含整行,但只考虑排序键(第一个字段)来识别重复项。