Softonic

重複行削除ツール

ステップ 1 / 2
オプション
次へ

繰り返し行のあるCSVのエクスポート、重複エントリーのあるログファイル、3つの重なるソースから作られたキーワードリスト。テキストに同一の行があるとき、この削除ツールはそれらを1つにまとめ、最初の出現を元の位置に残します。大文字・小文字を区別するかどうかの2つの照合オプション、任意の空白トリム、そして削除された行数も表示されます。

重複行の削除方法

  1. 1

    テキストを貼り付ける

    リスト、ログ、CSVの列、または各項目が1行ずつ並ぶ任意のテキストを貼り付けます。

  2. 2

    照合オプションを選ぶ

    「大文字・小文字を区別する」をオンにすると `Apple` と `apple` は別の行として残り、オフにすると1つの行にまとまります。「空白をトリム」は比較前に前後の空白を削除します。

  3. 3

    重複を削除する

    ボタンをクリックすると、各行の最初の出現が残り、後続の繰り返しが削除されます。

  4. 4

    確認してコピー

    統計に元の行数、ユニークな行数、削除された重複数が表示されます。きれいになったテキストをコピーしてください。

照合の仕組み

オプション 動作
大文字・小文字を区別する（既定） Apple と apple は別の行として残る
大文字・小文字を区別しない Apple と apple は同じ行として数えられる
空白をトリム（既定） “ hello” と “hello ” は同じ行として扱われる

各行の最初の出現が残るため、テキストの元の順序は維持されます。

よくある用途

  • CSVの整理。 1つの列（名前、メール、SKU）を貼り付け、他の列と再接続する前に重複を削除します。
  • URLリスト。 同じページが何度も登場するスクレイピング結果のリストを整理します。
  • キーワード調査。 複数のツールのキーワード書き出しを統合すると、必ず重複が生まれます。
  • メールリスト。 CRMにインポートする前に完全一致の重複を削除し、「すでに存在します」エラーを避けます。
  • ログの仕分け。 繰り返す警告行を取り除き、固有の問題だけを見ます。

このツールが行わないこと

  • 列単位の重複削除はしません。 メールが繰り返し名前が異なる email,name 形式のCSVは、行全体が異なるため両方の行が残ります。1つの列で重複削除するには、先にその列を取り出して重複を削除し、元ファイルのフィルター用キーとして使います。
  • ヘッダー行の保護はしません。 すべての行がデータとして扱われるため、繰り返すヘッダー行も他の行と同じように削除されます。
  • 近似一致はしません。 タイプミス、行内の空白、句読点の違いがある行はまとめられません。

ヒント

  • 照合前に正規化する。 小文字に変換し周囲の句読点を取り除くと、「Apple, 」「 apple 」「Apple」を1つのエントリーとして扱えます。
  • 元のテキストのバックアップを取る。 大規模な整理の前には必ず保存しておきましょう。
  • 統計を確認する。 重複は10パーセントのはずが80パーセント削除されたなら、入力データに問題があります。

よくある質問

最初の出現です。テキストの元の順序が保たれるため、各ユニーク行は元の位置に残ります。

自動では残せません。ヘッダーを含むすべての行が他の行と同じように比較されます。後の行がヘッダーと等しければ削除されるため、必要な場合は別に保存してください。

この削除ツールは速度のため完全一致に特化しています。近似一致（タイプミス、大文字小文字の違い、余分な句読点）には、類似度のしきい値を持つ専用の重複削除ツールを使ってください。

はい。処理のためテキストは当社のサーバーに送信され、結果がページに表示されます。テキストはその後保存されません。

関連ツール

文字数・単語数カウンター

エッセイ、投稿、キャプション、メタディスクリプション向けに、単語数・文字数・文数・段落数を、読了時間、音読時間、キーワード密度、Flesch可読性スコアとともにカウントします。

アナグラムジェネレーター

短い語を入力すると、重複した並べ替えを除き、表示件数を調整しながら文字の一意な並べ替えを確認できます。

都市名ジェネレーター

世界観づくり、地図、ゲーム、物語、モックデータ向けに、架空の都市、町、村、首都の名前を生成し、各結果に短いメモを添えます。

コピーできる矢印記号

直線、二重線、斜め、折り返し、循環、三角形風のよく使うUnicode矢印をワンクリックでコピー。文書、チャット、デザインに使えます。

丸付きテキストジェネレーター

プレーンテキストを丸で囲まれた Unicode 文字に変換します。ソーシャル略歴、チャット、ドキュメントの輪郭、塗りつぶし、丸数字のバリエーション。

以下記号（≤）

≤ 記号と関連する数学の比較記号をコピーできます。スプレッドシート、論文、ウェブページ向けに Unicode、HTML エンティティ、LaTeX 記法を掲載しています。

このツールは他の言語でも利用できます