Vaal: Новая страница: «'''bzip2''' — бесплатная свободная утилита командной строки с открытым исходным кодом для сж…»

2017-06-02T06:40:18Z

Новая страница: «'''bzip2''' — бесплатная свободная утилита командной строки с открытым исходным кодом для сж…»

Новая страница

'''bzip2''' — бесплатная свободная утилита командной строки с открытым исходным кодом для сжатия данных, реализация алгоритма Барроуза — Уилера.

Разработана и впервые опубликована Джулианом Сюардом (Julian Seward) в июле 1996 года (версия 0.15). Стабильность и популярность компрессора росли в течение нескольких лет, и версия 1.0 была опубликована в конце 2000 года.

== Эффективность ==

В соответствии с традициями UNIX, <code>bzip2</code> единовременно может выполнять только одну операцию: либо сжатие, либо распаковку и только для одного файла. При сжатии <code>bzip2</code> добавляет к имени файла расширение «<code>.bz2</code>». Для упаковки нескольких файлов их сперва архивируют в один файл утилитой <code>[[tar]]</code>, а затем сжимают при помощи <code>bzip2</code>. Такие архивы обычно имеют расширение «<code>.tar.bz2</code>».

<code>bzip2</code> сжимает большинство файлов эффективнее, но медленнее, чем более традиционные утилиты <code>gzip</code> или <code>zip</code>. В этом отношении он похож на другие современные алгоритмы сжатия.

<code>bzip2</code> выполняет сжатие данных с существенной нагрузкой на CPU (что обусловлено его математическим аппаратом). <code>bzip2</code> применяют, если нет ограничений на время сжатия и на нагрузку на CPU, например, для разовой упаковки большого объёма данных.

В некоторых случаях <code>bzip2</code> уступает по эффективности сжатия архиваторам <code>7-Zip</code> (метод сжатия LZMA) и <code>rar</code>. Согласно данным автора программы от 2005 года, метод сжатия <code>bzip2</code> уступает по эффективности сжатия на 10‑15% наилучшим методом, известным на тот момент (PPM). На данный момент наиболее эффективно сжимают различные реализации метода PAQ. Однако, использование данного метода крайне затруднено по причине низкой производительности (сжатие требует больших временных затрат), но при этом в 2 раза быстрее при сжатии и в 6 раз быстрее при распаковке.

== Описание алгоритма ==

Метод сжатия <code>bzip2</code> работает следующим образом:
* несжатые данные делятся на блоки фиксированного размера;
* выполняется преобразование Барроуза — Уилера для превращения последовательностей многократно чередующихся символов в строки одинаковых символов;
* применяет преобразование Move-To-Front(MTF);
* используется кодирование Хаффмана.

Приблизительный размер блока можно выбрать при помощи аргументов командной строки («<code>-1</code>» для 100 килобайт, «<code>-2</code>» для 200 КБ, …, «<code>-9</code>» для 900 КБ). Каждый блок сжимается независимо, сжатые блоки записываются последовательно друг за другом, в начале каждого используется 48-битная последовательность — магическое число 0x314159265359 (в кодировке ASCII при выравнивании на границу байта отображается как «1AY&SY»), то есть запись первых десятичных цифр числа Пи в формате BCD. Конец файла помечается 48-битной константой 0x177245385090, представляющей собой корень из числа Пи.

Предшественник <code>bzip2</code>, программа <code>bzip</code>, вместо кодирования Хаффмана использовала арифметическое кодирование. Из‑за патентных ограничений от этого алгоритма отказались.

== Использование ==

Примеры использования <code>bzip2</code>.

<source lang="bash">
# Команда для сжатия файла «file»
bzip2 file
# или
bzip2 --compress file

# Команда для распаковки файла «file.bz2»
bzip2 -d file.bz2
# или
bzip2 --decompress file.bz2
# или
bunzip2 file.bz2
# bunzip2 - копия bzip2 или ссылка на bzip2
</source>

Аргументы командной строки <code>bzip2</code> в основном такие же, как и у утилиты <code>gzip</code>.

<source lang="bash">
# Команда для распаковки архива tar, сжатого bzip2
bzip2 -cd file.tar.bz2 | tar -xvf -
# или
bzip2 --stdout --decompress file.tar.bz2 \
| tar --extract --verbose --file -

# Команда для создания архива tar, сжатого bzip2
tar -cvf - files | bzip2 -9 > file.tar.bz2
# или
tar --create --verbose --file - files \
| bzip2 -9 > file.tar.bz2

</source>

Версия GNU <code>[[tar]]</code> поддерживает флаг «<code>-j</code>» («<code>--bzip2</code>»), который позволяет создавать и распаковывать файлы «<tt>tar.bz2</tt>» без использования перенаправлений ввода-вывода (pipeline). Пример:
<source lang="bash">
# Упаковка данных в архив tar и сжатие bzip2 при помощи GNU tar
tar -cvjf file.tar.bz2 list_of_files
# или
tar --create --verbose --bzip2 --file file.tar.bz2 list_of_files

# Распаковка архива tar, сжатого bzip2 при помощи GNU tar
tar -xvjf file.tar.bz2
# или
tar --extract --verbose --bzip2 --file file.tar.bz2

</source>

Современные версии GNU <code>tar</code> могут автоматически определить метод сжатия данных, и поэтому флаг «<code>-j</code>» («<code>--bzip2</code>») можно не использовать. Пример:
<source lang="bash">
tar -xvf file.tar.bz2
# или
tar --extract --verbose --file file.tar.bz2
</source>

Кроме того, существует набор утилит для выполнения поиска, вывода, восстановления и сравнения данных в формате <code>bzip2</code>:
* <code>bzcat</code> — распаковка данных и вывод на терминал;
* <code>bzmore</code>, <code>bzless</code> — распаковка данных и постраничный вывод на терминал;
* <code>bzcmp</code> — распаковка двух файлов, сравнение содержимого и сообщение результата: «равно» или «не равно»;
* <code>bzdiff</code> — распаковка двух файлов, сравнение содержимого и вывод различий;
* <code>bzgrep</code>, <code>bzegrep</code>, <code>bzfgrep</code> — распаковка данных и поиск в распакованном;
* <code>bzip2recover</code> — распаковка любых блоков, которые только можно распаковать.

== Формат файла ==

Архив «<code>.bz2</code>» содержит поток (stream) сжатых данных. Слово «поток» употребляется, так как данные нельзя разделить логически и блоки данных сжимаются независимо друг от друга. Сжатые данные состоят из следующих полей:
* заголовок размером 4 байта;
* ноль или более блоков сжатых данных различного размера;
* маркер, обозначающий конец сжатых данных и контрольная сумма(CRC) размером 32 бита, вычисленная для всего потока;
* несколько неиспользуемых бит для дополнения размера потока до целого количества байт.

{| class="wikitable"
|-
! Название поля || Размер поля в битах || Описание
|-
| .magic || 16 || <code>BZ</code> — константа, сигнатура, магическое число.
|-
| .version || 8 || Байт, кодирующий номер версии.
; <code>0</code> : Версия 1 (bzip1). Deprecated.
; <code>h</code> : Версия 2 (bzip2). «h» от англ. '''H'''uffman coding}}.
|-
| .hundred_k_blocksize || 8 || Размер блока несжатых данных в сотнях kB.
; <code>1</code> : Одна сотня kB (100 kB).
; <code>2</code> : Две сотни kB (200 kB).
; … : И так далее
; <code>9</code> : Девять сотен kB (900 kB).
|-
| .compressed_magic || 48 || <code>0x314159265359</code> — константа, число Пи, записанное в двоично-десятичном коде(BCD).
|-
|| .crc || 32 || Контрольная сумма, рассчитанная для текущего блока.
|-
| .randomised || 1 ||
; <code>0</code> : normal
; <code>1</code> : randomised (deprecated)
|-
| .origPtr || 24 || starting pointer into Преобразование Барроуза — Уилера(BWT) for after untransform
|-
| .huffman_used_map || 16 || bitmap, of ranges of 16 bytes, «имеется»/«отсутствует»
|-
|| .huffman_used_bitmaps || 0..256 || bitmap, of symbols used, «имеется»/«отсутствует» (кратно 16)
|-
| .huffman_groups || 3 || Число от 2 до 6, количество используемых таблиц Хаффмана.
|-
| .selectors_used || 15 || Число, показывающее сколько раз выполнялась смена таблицы Хаффмана (каждые 50 байт).
|-
| *.selector_list || 1..6 || zero-terminated bit runs (0..62) of Move-To-Front(MTF)'ed Huffman table (*selectors_used)
|-
| .start_huffman_length || 5 || 0..20 starting bit length for Huffman deltas
|-
| *.delta_bit_length || 1..40 ||
; <code>0</code> : next symbol
; <code>1</code> : alter length
{ 1=>decrement length; 0=>increment length } (*(symbols+2)*groups)
|-
| .contents || 2..∞ || Huffman encoded data stream. Продолжается до конца блока. Максимальная длина равна formatnum:7372800 бит.
|-
| .eos_magic || 48 || <code>0x177245385090</code> — константа, квадратный корень из числа Пи (sqrt(pi)) в двоично-десятичном коде(BCD).
|-
| .crc || 32 || Контрольная сумма, рассчитанная для всего потока.
|-
| .padding || 0..7 || Неиспользуемые биты (от 0 до 7). Назначение: увеличение размера архива до размера, кратного одному байту (8 битам) (выравнивание данных).
|-
|}

Максимальный размер не сжатого блока равен 900 kB. Если блок состоит из одного повторяющегося символа, после кодирования RLE блок займёт около 46 MB (45899236 байт), а после выполнения всех операций размер файла <code>.bz2</code> составит 46 байт. Если повторяющийся символ будет иметь код 251, размер файла <code>.bz2</code> составит 40 байт, а коэффициент сжатия (compression ratio) будет равен 1147480.9:1.

== Ссылки ==

* [http://www.bzip.org/ Официальный сайт bzip.org]
* [http://faqs.lomonline.de/introdution-to-bzip2/ Введение в bzip2]

Bzip2 - История изменений

Vaal: Новая страница: «'''bzip2''' — бесплатная свободная утилита командной строки с открытым исходным кодом для сж…»