További teljesítményjavítással érkezett a Zstd 1.5.1

kami911 képe

A Facebook által készített Zstandard legújabb, 1.5.1 verziója már elérhető. A széles körben használható adattömörítési algoritmus legújabb kiadása nagyszerű teljesítményfejlesztéseket tartalmaz.

A Zstd 1.5.1 „karbantartási kiadásnak" számít, de még több teljesítményjavulást hoz magával. A Zstd 1.5.1 néhány figyelemre méltó változtatása a következőek:

  • Sebességnövekedés a gyors (1-4) tömörítési szinteknél.
  • A közepes tömörítési szintek (5-12) újbóli kiegyensúlyozása.
  • A Huffman tömörítési kódon sokat javítottak a fejlesztők így a különböző szóhosszúság szerinti tömörítési tesztekben a különböző fordítóprogramok között a 23~49%-os javulást értek el.
Fordító Eset v1.5.0 sebesség v1.5.1 sebesség Változás
gcc-11 Literal compression - 128KB block 748 MB/s 927 MB/s +23.9%
clang-13 Literal compression - 128KB block 810 MB/s 927 MB/s +14.4%
gcc-11 Literal compression - 4KB block 223 MB/s 321 MB/s +44.0%
clang-13 Literal compression - 4KB block 224 MB/s 310 MB/s +38.2%
gcc-11 Literal decompression - 128KB block 1164 MB/s 1500 MB/s +28.8%
clang-13 Literal decompression - 128KB block 1006 MB/s 1504 MB/s +49.5%
  • Az általános tömörítési és kitömörítési sebesség legalább néhány százalékban javult.
  • Az x86_64 BMI2 parancsot támogató CPU-kat használva különösen nagy sebességnövekedést lehet tapasztalni a további Assembly kódnak köszönhetően.
  • A Zstd 1.5.1 bináris méretének csökkentése a Zstd 1.5.0-hoz képest.
Verzió gcc-11 méret clang-13 méret
v1.5.1 1177 KB 1167 KB
v1.5.0 1338 KB 1460 KB
v1.4.9 1137 KB 1151 KB
  • Különböző egyéb karbantartási elemek, javítások és fejlesztések.

További részletek és letöltés a Zstd 1.5.1-es kiadási megjegyzésében, amely elérhető a Facebook GitHub-on lévő Zstd oldalán keresztül.

(forrás)

Hozzászólások

kimarite képe

Nem tud könyvtárat tömöríteni

Nem tud könyvtárat tömöríteni (csak fájlt). Erre a megoldás itt és itt.

Érdemes nézni a kézikönyvet (terminálban man zstd)
https://manpages.debian.org/unstable/zstd/zstd.1.en.html
vagy a súgót:

zstd --help
*** zstd command line interface 64-bits v1.4.8, by Yann Collet ***
Usage :
      zstd [args] [FILE(s)] [-o file]

FILE    : a filename
          with no FILE, or when FILE is - , read standard input
Arguments :
 -#     : # compression level (1-19, default: 3)
 -d     : decompression
 -D DICT: use DICT as Dictionary for compression or decompression FILE(s)
 -o file: result stored into `file` (only 1 output file)
 -f     : overwrite output without prompting, also (de)compress links
--rm    : remove source file(s) after successful de/compression
 -k     : preserve source file(s) (default)
 -h/-H  : display help/long help and exit

Advanced arguments :
 -V     : display Version number and exit
 -c     : force write to standard output, even if it is the console
 -v     : verbose mode; specify multiple times to increase verbosity
 -q     : suppress warnings; specify twice to suppress errors too
--no-progress : do not display the progress counter
 -r     : operate recursively on directories
--filelist FILE : read list of files to operate upon from FILE
--output-dir-flat DIR : processed files are stored into DIR
--output-dir-mirror DIR : processed files are stored into DIR respecting original directory structure
--[no-]check : during compression, add XXH64 integrity checksum to frame (default: enabled). If specified with -d, decompressor will ignore/validate checksums in compressed frame (default: validate).
--      : All arguments after "--" are treated as files

Advanced compression arguments :
--ultra : enable levels beyond 19, up to 22 (requires more memory)
--long[=#]: enable long distance matching with given window log (default: 27)
--fast[=#]: switch to very fast compression levels (default: 1)
--adapt : dynamically adapt compression level to I/O conditions
 -T#    : spawns # compression threads (default: 1, 0==# cores)
 -B#    : select size of each job (default: 0==automatic)
--single-thread : use a single thread for both I/O and compression (result slightly different than -T1)
--rsyncable : compress using a rsync-friendly method (-B sets block size)
--exclude-compressed: only compress files that are not already compressed
--stream-size=# : specify size of streaming input from `stdin`
--size-hint=# optimize compression parameters for streaming input of approximately this size
--target-compressed-block-size=# : generate compressed block of approximately targeted size
--no-dictID : don't write dictID into header (dictionary compression only)
--[no-]compress-literals : force (un)compressed literals
--format=zstd : compress files to the .zst format (default)
--format=gzip : compress files to the .gz format
--format=xz : compress files to the .xz format
--format=lzma : compress files to the .lzma format
--format=lz4 : compress files to the .lz4 format

Advanced decompression arguments :
 -l     : print information about zstd compressed files
--test  : test compressed file integrity
 -M#    : Set a memory usage limit for decompression
--[no-]sparse : sparse mode (default: enabled on file, disabled on stdout)

Dictionary builder :
--train ## : create a dictionary from a training set of files
--train-cover[=k=#,d=#,steps=#,split=#,shrink[=#]] : use the cover algorithm with optional args
--train-fastcover[=k=#,d=#,f=#,steps=#,split=#,accel=#,shrink[=#]] : use the fast cover algorithm with optional args
--train-legacy[=s=#] : use the legacy algorithm with selectivity (default: 9)
 -o DICT : DICT is dictionary name (default: dictionary)
--maxdict=# : limit dictionary to specified size (default: 112640)
--dictID=# : force dictionary ID to specified value (default: random)

Benchmark arguments :
 -b#    : benchmark file(s), using # compression level (default: 3)
 -e#    : test all compression levels successively from -b# to -e# (default: 1)
 -i#    : minimum evaluation time in seconds (default: 3s)
 -B#    : cut file into independent blocks of size # (default: no block)
 -S     : output one benchmark result per input file (default: consolidated result)
--priority=rt : set process priority to real-time

Értékelés: 

0
Még nincs értékelve
kami911 képe

Nem tud könyvtárat tömöríteni

#1 elég egy tar, és máris tud egybe csomagolni mindet is.

Értékelés: 

0
Még nincs értékelve