fdupes - Linuxで重複ファイルを見つけて削除するためのコマンドラインツール
ほとんどのコンピュータユーザーにとって、重複ファイルを見つけて置き換えることは一般的な要件です。重複ファイルを見つけて削除することは、時間と忍耐を要する面倒な作業です。GNU/Linuxが搭載されたマシンでは、‘fdupes‘ユーティリティのおかげで、重複ファイルを見つけることは非常に簡単です。
fdupesとは何ですか？
Fdupesは、Adrian LopezによってCプログラミング言語で書かれ、MITライセンスの下で公開されたLinuxユーティリティです。このアプリケーションは、指定されたディレクトリとサブディレクトリのセット内で重複ファイルを見つけることができます。FdupesはファイルのMD5署名を比較し、その後バイト単位で比較することで重複を認識します。Fdupesには、重複ファイルにハードリンクでファイルをリスト、削除、置き換えるために多くのオプションを渡すことができます。
比較は次の順序で始まります:
サイズ比較 > 部分的MD5署名比較 > 完全MD5署名比較 > バイト単位の比較.
Linuxにfdupesをインストールする
最新バージョンのfdupes（fdupesバージョン1.51）のインストールは、UbuntuやLinux MintなどのDebianベースのシステムで次のコマンドを実行するだけで簡単です。
$ sudo apt-get install fdupes
CentOS/RHELやFedoraベースのシステムでは、fdupesパッケージをインストールするためにepelリポジトリを有効にする必要があります。
# yum install fdupes
dnf install fdupes [On Fedora 22 onwards]
注意: デフォルトのパッケージマネージャyumは、Fedora 22以降dnfに置き換えられました...
fdupes コマンドの使い方は？
1. デモンストレーションの目的のために、ディレクトリ（例えばtecmint）の下にいくつかの重複ファイルを作成しましょう。
$ mkdir /home/"$USER"/Desktop/tecmint && cd /home/"$USER"/Desktop/tecmint && for i in {1..15}; do echo "I Love Tecmint. Tecmint is a very nice community of Linux Users." > tecmint${i}.txt ; done
上記のコマンドを実行した後、lsコマンドを使って重複ファイルが作成されたかどうかを確認しましょう。
$ ls -l
total 60
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint10.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint11.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint12.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint13.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint14.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint15.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint1.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint2.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint3.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint4.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint5.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint6.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint7.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint8.txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt
上記のスクリプトは、tecmint1.txt、tecmint2.txt… tecmint15.txtという15のファイルを作成し、すべてのファイルには同じデータが含まれています。
"I Love Tecmint. Tecmint is a very nice community of Linux Users."
2. 今、フォルダーtecmint内の重複ファイルを検索します。
$ fdupes /home/$USER/Desktop/tecmint
/home/tecmint/Desktop/tecmint/tecmint13.txt
/home/tecmint/Desktop/tecmint/tecmint8.txt
/home/tecmint/Desktop/tecmint/tecmint11.txt
/home/tecmint/Desktop/tecmint/tecmint3.txt
/home/tecmint/Desktop/tecmint/tecmint4.txt
/home/tecmint/Desktop/tecmint/tecmint6.txt
/home/tecmint/Desktop/tecmint/tecmint7.txt
/home/tecmint/Desktop/tecmint/tecmint9.txt
/home/tecmint/Desktop/tecmint/tecmint10.txt
/home/tecmint/Desktop/tecmint/tecmint2.txt
/home/tecmint/Desktop/tecmint/tecmint5.txt
/home/tecmint/Desktop/tecmint/tecmint14.txt
/home/tecmint/Desktop/tecmint/tecmint1.txt
/home/tecmint/Desktop/tecmint/tecmint15.txt
/home/tecmint/Desktop/tecmint/tecmint12.txt
3. -r オプションを使用して、すべてのディレクトリおよびそのサブディレクトリ内で再帰的に重複を検索します。
それは、すべてのファイルとフォルダーを再帰的に検索し、ファイルとフォルダーの数に応じて重複をスキャンするのに少し時間がかかります。その間、ターミナルには進行状況の合計が表示されます。こんな感じです。
$ fdupes -r /home
Progress [37780/54747] 69%
4. -S オプションを使用して、フォルダー内で見つかった重複のサイズを確認します。
$ fdupes -S /home/$USER/Desktop/tecmint
65 bytes each:
/home/tecmint/Desktop/tecmint/tecmint13.txt
/home/tecmint/Desktop/tecmint/tecmint8.txt
/home/tecmint/Desktop/tecmint/tecmint11.txt
/home/tecmint/Desktop/tecmint/tecmint3.txt
/home/tecmint/Desktop/tecmint/tecmint4.txt
/home/tecmint/Desktop/tecmint/tecmint6.txt
/home/tecmint/Desktop/tecmint/tecmint7.txt
/home/tecmint/Desktop/tecmint/tecmint9.txt
/home/tecmint/Desktop/tecmint/tecmint10.txt
/home/tecmint/Desktop/tecmint/tecmint2.txt
/home/tecmint/Desktop/tecmint/tecmint5.txt
/home/tecmint/Desktop/tecmint/tecmint14.txt
/home/tecmint/Desktop/tecmint/tecmint1.txt
/home/tecmint/Desktop/tecmint/tecmint15.txt
/home/tecmint/Desktop/tecmint/tecmint12.txt
5. -S と -r オプションを同時に使用することで、検出されたすべてのディレクトリおよびサブディレクトリ内の重複ファイルのサイズを確認できます。次のように:
$ fdupes -Sr /home/avi/Desktop/
65 bytes each:
/home/tecmint/Desktop/tecmint/tecmint13.txt
/home/tecmint/Desktop/tecmint/tecmint8.txt
/home/tecmint/Desktop/tecmint/tecmint11.txt
/home/tecmint/Desktop/tecmint/tecmint3.txt
/home/tecmint/Desktop/tecmint/tecmint4.txt
/home/tecmint/Desktop/tecmint/tecmint6.txt
/home/tecmint/Desktop/tecmint/tecmint7.txt
/home/tecmint/Desktop/tecmint/tecmint9.txt
/home/tecmint/Desktop/tecmint/tecmint10.txt
/home/tecmint/Desktop/tecmint/tecmint2.txt
/home/tecmint/Desktop/tecmint/tecmint5.txt
/home/tecmint/Desktop/tecmint/tecmint14.txt
/home/tecmint/Desktop/tecmint/tecmint1.txt
/home/tecmint/Desktop/tecmint/tecmint15.txt
/home/tecmint/Desktop/tecmint/tecmint12.txt
107 bytes each:
/home/tecmint/Desktop/resume_files/r-csc.html
/home/tecmint/Desktop/resume_files/fc.html
6. 1つのフォルダーまたはすべてのフォルダーを再帰的に検索する以外に、必要に応じて2つまたは3つのフォルダーを選択することもできます。必要に応じてオプション-Sおよび/または-rを使用することも言うまでもありません。
$ fdupes /home/avi/Desktop/ /home/avi/Templates/
7. 重複ファイルを削除しながらコピーを保持するには、オプション‘-d’を使用できます。このオプションを使用する際は細心の注意が必要で、さもなければ必要なファイル/データを失う可能性がありますので、そのプロセスは復元不可能であることに注意してください。
$ fdupes -d /home/$USER/Desktop/tecmint
[1] /home/tecmint/Desktop/tecmint/tecmint13.txt
[2] /home/tecmint/Desktop/tecmint/tecmint8.txt
[3] /home/tecmint/Desktop/tecmint/tecmint11.txt
[4] /home/tecmint/Desktop/tecmint/tecmint3.txt
[5] /home/tecmint/Desktop/tecmint/tecmint4.txt
[6] /home/tecmint/Desktop/tecmint/tecmint6.txt
[7] /home/tecmint/Desktop/tecmint/tecmint7.txt
[8] /home/tecmint/Desktop/tecmint/tecmint9.txt
[9] /home/tecmint/Desktop/tecmint/tecmint10.txt
[10] /home/tecmint/Desktop/tecmint/tecmint2.txt
[11] /home/tecmint/Desktop/tecmint/tecmint5.txt
[12] /home/tecmint/Desktop/tecmint/tecmint14.txt
[13] /home/tecmint/Desktop/tecmint/tecmint1.txt
[14] /home/tecmint/Desktop/tecmint/tecmint15.txt
[15] /home/tecmint/Desktop/tecmint/tecmint12.txt
Set 1 of 1, preserve files [1 - 15, all]:
すべての重複がリストに表示され、1つずつ、特定の範囲、または一度にすべてを削除するように促されることに気付くかもしれません。特定の範囲のファイルを削除するために、以下のような範囲を選択することができます。
Set 1 of 1, preserve files [1 - 15, all]: 2-15
[-] /home/tecmint/Desktop/tecmint/tecmint13.txt
[+] /home/tecmint/Desktop/tecmint/tecmint8.txt
[-] /home/tecmint/Desktop/tecmint/tecmint11.txt
[-] /home/tecmint/Desktop/tecmint/tecmint3.txt
[-] /home/tecmint/Desktop/tecmint/tecmint4.txt
[-] /home/tecmint/Desktop/tecmint/tecmint6.txt
[-] /home/tecmint/Desktop/tecmint/tecmint7.txt
[-] /home/tecmint/Desktop/tecmint/tecmint9.txt
[-] /home/tecmint/Desktop/tecmint/tecmint10.txt
[-] /home/tecmint/Desktop/tecmint/tecmint2.txt
[-] /home/tecmint/Desktop/tecmint/tecmint5.txt
[-] /home/tecmint/Desktop/tecmint/tecmint14.txt
[-] /home/tecmint/Desktop/tecmint/tecmint1.txt
[-] /home/tecmint/Desktop/tecmint/tecmint15.txt
[-] /home/tecmint/Desktop/tecmint/tecmint12.txt
8. 安全の観点から、‘fdupes’ の出力をファイルに印刷し、そのテキストファイルを確認して、削除するファイルを決定することをお勧めします。これにより、ファイルが誤って削除される可能性が減ります。次のように実行できます:
$ fdupes -Sr /home > /home/fdupes.txt
注意: ‘/home’ をお望みのフォルダーに置き換えることができます。また、再帰的に検索したい場合は‘-r’オプションを、サイズを印刷したい場合は‘-S’オプションをご利用ください。
9. 各マッチセットの最初のファイルは、オプション‘-f’を使用することで省略できます。
まず、ディレクトリのファイルをリストします。
$ ls -l /home/$USER/Desktop/tecmint
total 20
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (3rd copy).txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (4th copy).txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (another copy).txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (copy).txt
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt
それから各一致セットから最初のファイルを省略します。
$ fdupes -f /home/$USER/Desktop/tecmint
/home/tecmint/Desktop/tecmint9 (copy).txt
/home/tecmint/Desktop/tecmint9 (3rd copy).txt
/home/tecmint/Desktop/tecmint9 (another copy).txt
/home/tecmint/Desktop/tecmint9 (4th copy).txt
10. fdupesのインストールされているバージョンを確認します。
$ fdupes --version
fdupes 1.51
11. fdupesに関して何か助けが必要な場合は、スイッチ‘-h’を使用してください。
$ fdupes -h
Usage: fdupes [options] DIRECTORY...
-r --recurse for every directory given follow subdirectories
encountered within
-R --recurse: for each directory given after this option follow
subdirectories encountered within (note the ':' at
the end of the option, manpage for more details)
-s --symlinks follow symlinks
-H --hardlinks normally, when two or more files point to the same
disk area they are treated as non-duplicates; this
option will change this behavior
-n --noempty exclude zero-length files from consideration
-A --nohidden exclude hidden files from consideration
-f --omitfirst omit the first file in each set of matches
-1 --sameline list each set of matches on a single line
-S --size show size of duplicate files
-m --summarize summarize dupe information
-q --quiet hide progress indicator
-d --delete prompt user for files to preserve and delete all
others; important: under particular circumstances,
data may be lost when using this option together
with -s or --symlinks, or when specifying a
particular directory more than once; refer to the
fdupes documentation for additional information
-N --noprompt together with --delete, preserve the first file in
each set of duplicates and delete the rest without
prompting the user
-v --version display fdupes version
-h --help display this help message
それでは、以上です。これまでLinuxで重複ファイルを見つけて削除する方法について教えてください。また、このユーティリティーについての意見も教えてください。貴重なフィードバックを下のコメントセクションにお寄せいただき、私たちを応援して広めるために、いいねやシェアを忘れないでください。
重複ファイルを削除するための別のユーティリティであるfslintに取り組んでいます。すぐに投稿する予定で、皆さんはそれを読むのが大好きになるでしょう。