N Nouplo

重複行削除

リストを貼り付けると、各行の最初の1件だけを元の順序のまま残します。

lines in
1
lines out
0
removed
1
出力
上に貼り付けるか入力すると、ここに結果が表示されます。

ファイルは端末の外に出ません

このツールはすべてブラウザ内で動作します。貼り付けた内容は端末内で処理され、サーバーには送信されないため、トークンや鍵、未公開の文章でも安心して使えます。

使い方

  1. 1行に1項目のリストを貼り付けます。メールアドレス、URL、商品コード、キーワード、ログの行などです。
  2. 比較の厳しさを決めます。「大文字・小文字を区別しない」をオンにすると Apple と apple が同じ扱いになり、「前後の空白を無視する」をオンにすると行末のスペースやタブが無視されます。
  3. 空行も取り除きたい場合は「空行を削除する」をオンのままにします。オフにすると、連続した空行は1つにまとめて残ります。
  4. 「重複を削除」を押します。各行の最初の出現位置はそのままに、2回目以降が取り除かれ、削除された行数が表示されます。

よくある質問

重複を削除すると行の順序は変わりますか?
変わりません。各行の最初の出現はその位置に残り、後続の重複だけが削除されます。並べ替えた上で重複のないリストが欲しい場合は、「行の並べ替え」ツールの「重複行を削除」オプションをお使いください。
スペースや大文字・小文字だけが違う行も重複とみなされますか?
対応するオプションをオンにした場合だけです。「前後の空白を無視する」で行末のスペースやタブが無視され、「大文字・小文字を区別しない」で英字の大小が無視されます。どちらもオフの場合は、1文字ずつ完全一致で比較します。
どのくらいの量のリストを処理できますか?
最近のブラウザなら数十万行でも問題ありません。処理は1回の走査とメモリ上のハッシュセットで行われます。非常に大きなファイルでは、処理よりもテキスト欄への貼り付け自体に時間がかかることがあります。
WindowsのCRLF改行にも対応していますか?
はい。\n、\r\n、単独の \r のいずれでも行を分割するため、Windows・macOS・Linuxのどこからコピーしたテキストでも同じように扱われます。出力は \n 改行になります。
貼り付けたリストはアップロードされますか?
いいえ。すべてブラウザ内で処理されるため、顧客のメールアドレス一覧や社内ログが端末の外に出ることはありません。

関連ツール