ウェブサイト検索

zstd - Facebookによって使用される高速データ圧縮アルゴリズム


Zstandard(zstdとしても知られる)は、Facebookによって開発された、より良い圧縮率を持つ無料のオープンソースのリアルタイムデータ圧縮プログラムです。これはで書かれたロスレス圧縮アルゴリズムです(Javaでの再実装もあります) - そのため、ネイティブLinuxプログラムです。

関連記事: Linuxにおける10の7zip(データ圧縮)コマンド例

必要に応じて、圧縮速度と強力な圧縮率を交換できる(圧縮速度と圧縮率のトレードオフは小さな増分で設定可能)、その逆も同様です。また、辞書圧縮と呼ばれる小データ圧縮のための特別なモードがあり、提供されたサンプルセットから辞書を構築できます。.zst、.gz、.xzおよび.lz4ファイルを作成およびデコードするためのコマンドラインユーティリティが付属しています。

重要なことに、Zstandardは豊富なAPIのコレクションを持ち、Python、Java、JavaScript、Nodejs、Perl、Ruby、C#、Go、Rust、PHP、Swiftなど、ほぼすべての人気プログラミング言語をサポートしています。

これは、FacebookやAmazon Redshiftデータウェアハウジング、HadoopやRedisなどのデータベース、Torネットワーク、ゲームを含む多くの他のアプリケーションで、複数のフォーマットと使用ケースにおいて、大量のデータを圧縮するために積極的に使用されています。

次の結果は、オープンソースのメモリ内ベンチマークツールであるlzbenchを使用して、Linux Debianを実行しているサーバーでいくつかの高速圧縮アルゴリズムテストを行ったことによって得られました。

LinuxにZstandard圧縮ツールをインストールする方法

ZstandardをLinuxディストリビューションにインストールするには、ソースからコンパイルする必要がありますが、その前にまず、ディストリビューションのパッケージマネージャーを使用してシステムに必要な開発ツールをインストールする必要があります。

$ sudo apt update && sudo apt install build-essential		#Ubuntu/Debian
yum group install "Development Tools" 			#CentOS/REHL
dnf groupinstall "C Development Tools and Libraries"		#Fedora 22+

必要な開発ツールをすべてインストールしたら、ソースパッケージをダウンロードし、ローカルリポジトリディレクトリに移動し、バイナリをビルドしてインストールします。

$ cd ~/Downloads
git clone https://github.com/facebook/zstd.git
cd zstd
make
sudo make install 

一度Zstandardがインストールされると、次に進んで以下のセクションでZstdコマンドの基本的な使用法のいくつかを学ぶことができます。

LinuxでのZstdコマンド使用例を10個学ぼう

Zstdのコマンドライン構文は一般的にgzipおよびxzツールのものと似ていますが、いくつかの違いがあります。

1. .zst 圧縮ファイルを作成するには、圧縮するファイル名を指定するだけで済みます。また、-z フラグを使用することもできますが、これはデフォルトの動作です。

$ zstd etcher-1.3.1-x86_64.AppImage 
OR
zstd -z etcher-1.3.1-x86_64.AppImage 

2. .zst 圧縮ファイルを解凍するには、-d フラグを使用するか、次のように unzstd ユーティリティを使用します。

$ zstd -d etcher-1.3.1-x86_64.AppImage.zst 
OR
unzstd etcher-1.3.1-x86_64.AppImage.zst 

3. 操作後にソースファイルを削除するには、デフォルトでは、成功した圧縮または展開の後にソースファイルは削除されません。削除するには、--rmオプションを使用してください。

$ ls etcher-1.3.1-x86_64.AppImage
zstd --rm  etcher-1.3.1-x86_64.AppImage
ls etcher-1.3.1-x86_64.AppImage

4. 圧縮レベルを設定するには、zstdにはいくつかの操作修飾子があります。たとえば、圧縮レベルを -6(1から19の数値、デフォルトは3)として指定できます。

$ zstd -6 --rm etcher-1.3.1-x86_64.AppImage

5. 圧縮速度を設定するために、zstdには圧縮速度比1-10があり、デフォルトの圧縮速度は1です。--fastオプションを使用することで、圧縮率と圧縮速度をトレードオフすることができます。数値が高いほど、圧縮速度が速くなります。

$ zstd --fast=10 etcher-1.3.1-x86_64.AppImage

6. 圧縮ファイルの情報を表示するには、情報を表示するために使用される -l フラグを使用します。例えばです。

$ zstd -l etcher-1.3.1-x86_64.AppImage.zst

7. 圧縮ファイルの整合性をテストするには、-tフラグを使用します。

$ zstd -t etcher-1.3.1-x86_64.AppImage.zst

8. 詳細モードを有効にするには、-v オプションを使用してください。

$ zstd -v -5 etcher-1.3.1-x86_64.AppImage

9. gzip、xz、lzma、lz4などの他のファイル圧縮または解凍形式を使用するには、示されているように--format=FORMATを使用します。

$ zstd -v --format=gzip etcher-1.3.1-x86_64.AppImage
zstd -v --format=xz  etcher-1.3.1-x86_64.AppImage

10. zstdプロセスの優先度をリアルタイムに設定するには、以下のオプション-priority=rtを使用できます。

$zstd --priority=rt etcher-1.3.1-x86_64.AppImage

-rフラグは、zstdに辞書に対して再帰的に操作するよう指示します。zstdのマニュアルページを参照することで、多くの便利で高度なオプションや、辞書の読み方や作成方法を見つけることができます。

$ man zstd

Zstandard GitHub リポジトリ: https://github.com/facebook/zstd

Zstandardは、高い圧縮率を提供する高速なリアルタイムの可逆データ圧縮アルゴリズムおよび圧縮ツールです。ぜひお試しになり、それについての感想を共有するか、下のフィードバックフォームを通じて質問してください。

関連記事: