コマンドラインやエディタによる、テキストファイルから重複行を削除する方法です。

A列のデータをチェックし、重複があれば"重複"と表示します。

=IF(COUNTIF(A:A,A2)>1,"重複","")

重複行を削除するには、データ→重複の削除