重複行削除
リストを貼り付けると、各行の最初の1件だけを元の順序のまま残します。
- 処理前の行数
- 1
- 処理後の行数
- 0
- 削除した数
- 1
出力
上に貼り付けるか入力すると、ここに結果が表示されます。
ファイルは端末の外に出ません
このツールはすべてブラウザ内で動作します。貼り付けた内容は端末内で処理され、サーバーには送信されないため、トークンや鍵、未公開の文章でも安心して使えます。
使用例
例:2枚の発注書から品番を集めて重複を削除、全角の品番は先に半角に
2枚の発注書(Excel)から品番の列をコピーして10行貼り付けました。小文字で入力された ab-1024、末尾にスペースが付いた AB-1024、行頭に全角スペースが入った CD-2048、空行1行、全角で書かれた AB-1024 が混じっています。
- 「行の前後の空白を無視する」は全角スペースにも効きます。全角スペースで始まる CD-2048 は2行目と同じ行として消え、出力からも空白が取れます。
- 「大文字・小文字を区別しない」で ab-1024 は消えますが、全角の AB-1024 は半角の AB-1024 とは別の文字なので残ります。
- 「全角・半角変換」で全部を半角にしてから貼り直すと AB-1024 も AB-1024 になり、4品番だけが残ります。
| 設定 | 処理前 | 処理後 | 削除 | 残った品番 |
|---|---|---|---|---|
| 初期設定(前後の空白を無視・空行を削除) | 10 | 6 | 4 | AB-1024, CD-2048, ab-1024, EF-0512, AB-1024, GH-3300 |
| +大文字・小文字を区別しない | 10 | 5 | 5 | AB-1024, CD-2048, EF-0512, AB-1024, GH-3300 |
| 前後の空白を無視しない | 10 | 8 | 2 | 末尾スペースの AB-1024 と、全角スペースで始まる CD-2048 も残る |
| 全角・半角変換で半角にしてから(大小区別なし) | 10 | 4 | 6 | AB-1024, CD-2048, EF-0512, GH-3300 |
重複のない4品番が、最初に出てきた順のまま残ります。削除した数6には空行1行も含まれます。結果をコピーしてExcelに貼り戻せば、1セルに1品番ずつ入ります。
使い方
- 1行に1項目のリストを貼り付けます。メールアドレス、URL、商品コード、キーワード、ログの行などです。
- 比較の厳しさを決めます。「大文字・小文字を区別しない」をオンにすると Apple と apple が同じ扱いになり、「行の前後の空白を無視する」をオンにすると行頭と行末のスペースやタブが無視されます。
- 空行も取り除きたい場合は「空行を削除する」をオンのままにします。オフにすると、文章全体で最初の空行だけが残り、それ以降の空行はどこにあっても重複として削除されます。
- 入力するそばから結果が表示されます。各行の最初の出現位置はそのままに、2回目以降が取り除かれ、削除された行数が表示されます。
よくある質問
- 重複を削除すると行の順序は変わりますか?
- 変わりません。各行の最初の出現はその位置に残り、後続の重複だけが削除されます。並べ替えた上で重複のないリストが欲しい場合は、「行の並べ替え」ツールの「重複行を削除する」オプションをお使いください。
- スペースや大文字・小文字だけが違う行も重複とみなされますか?
- 対応するオプションをオンにした場合だけです。「行の前後の空白を無視する」で行頭と行末のスペースやタブが無視され(出力からも取り除かれます)、「大文字・小文字を区別しない」で英字の大小が無視されます。どちらもオフの場合は、1文字ずつ完全一致で比較します。
- どのくらいの量のリストを処理できますか?
- 最近のブラウザなら数十万行でも問題ありません。処理は1回の走査とメモリ上のハッシュセットで行われます。非常に大きなファイルでは、処理よりもテキスト欄への貼り付け自体に時間がかかることがあります。
- WindowsのCRLF改行にも対応していますか?
- はい。\n、\r\n、単独の \r のいずれでも行を分割するため、Windows・macOS・Linuxのどこからコピーしたテキストでも同じように扱われます。出力は \n 改行になります。
- 全角と半角の違いも同じ行とみなされますか?
- いいえ。AB-1024 と AB-1024 は別の文字なので両方残ります。先に「全角・半角変換」で半角にそろえてから貼り付けてください。行頭・行末の全角スペースは「行の前後の空白を無視する」で無視されます。
- Excelの列の重複を削除できますか?
- できます。列をコピーして貼り付けると1セルが1行になり、元の順番のまま重複だけが消えます。結果をコピーしてExcelに貼り戻すと、1セルに1行ずつ入ります。
- 貼り付けたリストはアップロードされますか?
- いいえ。すべてブラウザ内で処理されるため、顧客のメールアドレス一覧や社内ログが端末の外に出ることはありません。