Scribble at 2020-09-02 10:19:49 Last modified: unmodified
Zstandard is a real-time compression algorithm, providing high compression ratios. It offers a very wide range of compression / speed trade-off, while being backed by a very fast decoder (see benchmarks below). It also offers a special mode for small data, called dictionary compression, and can create dictionaries from any sample set. Zstandard library is provided as open source software using a BSD license.
新しい圧縮アルゴリズムを採用したライブラリだ。7-Zip のオプションとしても実装されているアプリケーションがあるため、さっそく使ってみた。試しにテキスト・ファイル（299,367バイトの CSV）と動画ファイル（105,005,043バイトのMP4）とを、zip, 7z, zst（上記のアルゴリズムで圧縮した場合の拡張子）の３パターンで、それぞれ「標準」というパフォーマンスで圧縮してみた。これらを最高の圧縮率で比較したかったのだが、Zstandard で最高の圧縮率で実行してみると、僕のマシンは 16GB しかメモリを積んでいないからか、メモリが足りないというエラーが出たので試せなかった。
■ テキスト・ファイル（zip: 137,924 / 7z: 137,896 / zst: 133,392）
■ 動画ファイル（zip: 101,448,416 / 7z: 101,448,388 / zst: 96,151,964）
Zst は、なかなか良い結果だ。そして圧縮処理を眺めていて特筆に値するのは、動画を圧縮するときに zst が他のライブラリと比べてとりわけ速いということだった。そして、テキスト・ファイルを圧縮した結果では目立つほどの差は他のライブラリと比べてないが、動画ファイルについては処理の速さだけではなく圧縮した結果も上記のとおり桁が一つ違うものとなっている。