コマンドラインやエディタによる、テキストファイルから重複行を削除する方法です。 Read more about 重複行削除

A列のデータをチェックし、重複があれば"重複"と表示します。

=IF(COUNTIF(A:A,A2)>1,"重複","")

重複行を削除するには、データ→重複の削除 Read more about EXCELでデータの重複する行を確認する方法