`lzma.md`

270 строк · 25.7 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.3/library/lzma.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 13.4. [`lzma`](https://python-all.ru/3.3/library/lzma.html#module-lzma) – Сжатие с использованием алгоритма LZMA89Новое в версии 3.3.1011Этот модуль предоставляет классы и вспомогательные функции для сжатия и распаковки данных с использованием алгоритма сжатия LZMA. Также включён файловый интерфейс, поддерживающий форматы файлов `.xz` и устаревший `.lzma`, используемые утилитой **xz**, а также сырые сжатые потоки.1213Интерфейс, предоставляемый этим модулем, очень похож на интерфейс модуля [`bz2`](https://python-all.ru/3.3/library/bz2.html#module-bz2). Однако обратите внимание, что [`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile) *не* является потокобезопасным, в отличие от [`bz2.BZ2File`](https://python-all.ru/3.3/library/bz2.html#bz2.BZ2File), поэтому если требуется использовать один экземпляр [`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile) из нескольких потоков, необходимо защищать его блокировкой.1415#### `exception lzma.LZMAError`1617Это исключение возникает при ошибке во время сжатия или распаковки, а также при инициализации состояния компрессора/декодера.1819## 13.4.1. Чтение и запись сжатых файлов2021#### `lzma.open(filename, mode="rb", *, format=None, check=-1, preset=None, filters=None, encoding=None, errors=None, newline=None)`2223Открывает LZMA-сжатый файл в двоичном или текстовом режиме и возвращает [*файловый объект*](https://python-all.ru/3.3/glossary.html#term-file-object).2425Аргумент *filename* может быть либо фактическим именем файла (заданным как объект [`str`](https://python-all.ru/3.3/library/stdtypes.html#str) или [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes)), и в этом случае именованный файл открывается, либо существующим файловым объектом для чтения или записи.2627Аргумент *mode* может принимать одно из значений: `"r"`, `"rb"`, `"w"`, `"wb"`, `"a"` или `"ab"` для бинарного режима, или `"rt"`, `"wt"`, или `"at"` для tекстового режима. Значение по умолчанию – `"rb"`.2829При открытии файла для чтения аргументы *format* и *filters* имеют тот же смысл, что и для [`LZMADecompressor`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMADecompressor). В этом случае аргументы *check* и *preset* использовать не следует.3031При открытии файла для записи аргументы *format*, *check*, *preset* и *filters* имеют тот же смысл, что и для [`LZMACompressor`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMACompressor).3233Для двоичного режима эта функция эквивалентна конструктору [`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile): `LZMAFile(filename, mode, ...)`. В этом случае аргументы *encoding*, *errors* и *newline* указывать нельзя.3435Для текстового режима создаётся объект [`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile), который обёртывается в экземпляр [`io.TextIOWrapper`](https://python-all.ru/3.3/library/io.html#io.TextIOWrapper) с указанными кодировкой, стратегией обработки ошибок и разделителями строк.3637#### `class lzma.LZMAFile(filename=None, mode="r", *, format=None, check=-1, preset=None, filters=None)`3839Открывает LZMA-сжатый файл в двоичном режиме.4041Объект [`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile) может обёртывать уже открытый [*файловый объект*](https://python-all.ru/3.3/glossary.html#term-file-object) или работать напрямую с именованным файлом. Аргумент *filename* указывает либо файловый объект для обёртывания, либо имя открываемого файла (как объект [`str`](https://python-all.ru/3.3/library/stdtypes.html#str) или [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes)). При обёртывании существующего файлового объекта обёрнутый файл не будет закрыт при закрытии [`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile).4243Аргумент *mode* может принимать значение `"r"` для чтения (по умолчанию), `"w"` для перезаписи или `"a"` для добавления. Эквивалентно эти значения можно задать как `"rb"`, `"wb"` и `"ab"` соответственно.4445Если *filename* является файловым объектом (а не фактическим именем файла), режим `"w"` не усекает файл, а вместо этого эквивалентен `"a"`.4647При открытии файла для чтения входной файл может быть объединением нескольких отдельных сжатых потоков. Они прозрачно декодируются как единый логический поток.4849При открытии файла для чтения аргументы *format* и *filters* имеют тот же смысл, что и для [`LZMADecompressor`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMADecompressor). В этом случае аргументы *check* и *preset* использовать не следует.5051При открытии файла для записи аргументы *format*, *check*, *preset* и *filters* имеют тот же смысл, что и для [`LZMACompressor`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMACompressor).5253[`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile) поддерживает все члены, указанные в [`io.BufferedIOBase`](https://python-all.ru/3.3/library/io.html#io.BufferedIOBase), за исключением `detach()` и `truncate()`. Поддерживаются итерация и инструкция [`with`](https://python-all.ru/3.3/reference/compound_stmts.html#with).5455Также предоставляется следующий метод:5657#### `peek(size=-1)`5859Возвращает буферизованные данные, не сдвигая позицию в файле. Будет возвращён как минимум один байт данных, если не достигнут EOF. Точное количество возвращаемых байт не определено (аргумент *size* игнорируется).6061> **Примечание**62>63> Хотя вызов [`peek()`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile.peek) не изменяет файловую позицию [`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile), он может изменить позицию нижележащего файлового объекта (например, если [`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile) был создан передачей файлового объекта в *filename*).6465## 13.4.2. Сжатие и распаковка данных в памяти6667#### `class lzma.LZMACompressor(format=FORMAT_XZ, check=-1, preset=None, filters=None)`6869Создаёт объект компрессора, который можно использовать для пошагового сжатия данных.7071Для более удобного сжатия одного блока данных см. [`compress()`](https://python-all.ru/3.3/library/lzma.html#lzma.compress).7273Аргумент *format* указывает, какой формат контейнера следует использовать. Возможные значения:7475- **`FORMAT_XZ`: Формат контейнера `.xz`.**7677  Это формат по умолчанию.78- **`FORMAT_ALONE`: Устаревший формат контейнера `.lzma`.**7980  Этот формат более ограничен по сравнению с `.xz` – он не поддерживает проверки целостности или несколько фильтров.81- **`FORMAT_RAW`: Сырой поток данных, не использующий никакого формата контейнера.**8283  Этот спецификатор формата не поддерживает проверки целостности и требует всегда указывать пользовательскую цепочку фильтров (как для сжатия, так и для распаковки). Кроме того, данные, сжатые таким образом, нельзя распаковать с помощью `FORMAT_AUTO` (см. [`LZMADecompressor`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMADecompressor)).8485Аргумент *check* определяет тип проверки целостности, включаемой в сжатые данные. Эта проверка используется при распаковке для контроля целостности данных. Возможные значения:8687- `CHECK_NONE`: Без проверки целостности. Это значение по умолчанию (и единственное допустимое) для `FORMAT_ALONE` и `FORMAT_RAW`.88- `CHECK_CRC32`: 32-битная циклическая избыточная проверка (CRC32).89- `CHECK_CRC64`: 64-битная циклическая избыточная проверка (CRC). Значение по умолчанию для `FORMAT_XZ`.90- `CHECK_SHA256`: 256-битный алгоритм безопасного хеширования (SHA).9192Если указанный тип проверки не поддерживается, возбуждается исключение [`LZMAError`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAError).9394Настройки сжатия можно задать либо как предустановленный уровень сжатия (с помощью аргумента *preset*), либо детально, как собственную цепочку фильтров (с помощью аргумента *filters*).9596Аргумент *preset* (если указан) должен быть целым числом от `0` до `9` включительно, возможно, с побитовым OR с константой `PRESET_EXTREME`. Если не заданы ни *preset*, ни *filters*, по умолчанию используется `PRESET_DEFAULT` (уровень `6`). Чем выше уровень, тем меньше выходной файл, но процесс сжатия замедляется.9798> **Примечание**99>100> Помимо большей нагрузки на процессор, сжатие с более высокими уровнями требует значительно больше памяти (и выдаёт результат, который для распаковки требует больше памяти). Например, для уровня `9` накладные расходы для объекта [`LZMACompressor`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMACompressor) могут достигать 800 МиБ. Поэтому обычно лучше придерживаться уровня по умолчанию.101102Аргумент *filters* (если указан) должен задавать цепочку фильтров. Подробнее см. [*Задание собственных цепочек фильтров*](https://python-all.ru/3.3/library/lzma.html#filter-chain-specs).103104#### `compress(data)`105106Сжимает *data* (объект [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes)) и возвращает объект [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes), содержащий сжатые данные как минимум для части входных данных. Некоторые данные из *data* могут буферизироваться внутри для последующих вызовов [`compress()`](https://python-all.ru/3.3/library/lzma.html#lzma.compress) и [`flush()`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMACompressor.flush). Возвращаемые данные следует дополнять выходными данными из всех предыдущих вызовов [`compress()`](https://python-all.ru/3.3/library/lzma.html#lzma.compress).107108#### `flush()`109110Завершает процесс сжатия, возвращая объект [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes), содержащий все данные, сохранённые во внутренних буферах компрессора.111112Компрессор нельзя использовать после вызова этого метода.113114#### `class lzma.LZMADecompressor(format=FORMAT_AUTO, memlimit=None, filters=None)`115116Создаёт объект декомпрессора, который можно использовать для инкрементальной декомпрессии данных.117118Для более удобной распаковки всего сжатого потока за один раз см. [`decompress()`](https://python-all.ru/3.3/library/lzma.html#lzma.decompress).119120Аргумент *format* задаёт формат контейнера. По умолчанию используется `FORMAT_AUTO`, который может распаковывать файлы как `.xz`, так и `.lzma`. Другие возможные значения: `FORMAT_XZ`, `FORMAT_ALONE` и `FORMAT_RAW`.121122Аргумент *memlimit* задаёт ограничение (в байтах) на объём памяти, который может использовать распаковщик. При использовании этого аргумента распаковка завершится ошибкой с исключением [`LZMAError`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAError), если её невозможно выполнить в пределах заданного ограничения.123124Аргумент *filters* задаёт цепочку фильтров, с помощью которой был создан распаковываемый поток. Этот аргумент обязателен, если *format* равен `FORMAT_RAW`, но его не следует использовать для других форматов. Подробнее о цепочках фильтров см. [*Specifying custom filter chains*](https://python-all.ru/3.3/library/lzma.html#filter-chain-specs).125126> **Примечание**127>128> В отличие от [`decompress()`](https://python-all.ru/3.3/library/lzma.html#lzma.decompress) и [`LZMAFile`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMAFile), этот класс не обрабатывает прозрачно входные данные, содержащие несколько сжатых потоков. Чтобы распаковать многопоточный вход с помощью [`LZMADecompressor`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMADecompressor), для каждого потока нужно создавать отдельный распаковщик.129130#### `decompress(data)`131132Распаковывает *data* (объект [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes)) и возвращает объект [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes), содержащий распакованные данные как минимум для части входных данных. Некоторые данные из *data* могут буферизироваться внутри для последующих вызовов [`decompress()`](https://python-all.ru/3.3/library/lzma.html#lzma.decompress). Возвращаемые данные следует дополнять выходными данными из всех предыдущих вызовов [`decompress()`](https://python-all.ru/3.3/library/lzma.html#lzma.decompress).133134#### `check`135136Идентификатор проверки целостности, используемый входным потоком. Может быть равен `CHECK_UNKNOWN`, пока не декодировано достаточно входных данных, чтобы определить, какая проверка целостности используется.137138#### `eof`139140`True`, если достигнут маркер конца потока.141142#### `unused_data`143144Данные, обнаруженные после конца сжатого потока.145146До достижения конца потока значением будет `b""`.147148#### `lzma.compress(data, format=FORMAT_XZ, check=-1, preset=None, filters=None)`149150Сжимает *data* (объект [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes)) и возвращает сжатые данные в виде объекта [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes).151152Описание аргументов *format*, *check*, *preset* и *filters* см. выше в описании [`LZMACompressor`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMACompressor).153154#### `lzma.decompress(data, format=FORMAT_AUTO, memlimit=None, filters=None)`155156Распаковывает *data* (объект [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes)) и возвращает распакованные данные в виде объекта [`bytes`](https://python-all.ru/3.3/library/functions.html#bytes).157158Если *данные* представляют собой объединение нескольких разных сжатых потоков, распакуйте все эти потоки и верните объединённый результат.159160Описание аргументов *format*, *memlimit* и *filters* см. выше в описании [`LZMADecompressor`](https://python-all.ru/3.3/library/lzma.html#lzma.LZMADecompressor).161162## 13.4.3. Разное163164#### `lzma.is_check_supported(check)`165166Возвращает True, если указанная проверка целостности поддерживается в этой системе.167168`CHECK_NONE` и `CHECK_CRC32` поддерживаются всегда. `CHECK_CRC64` и `CHECK_SHA256` могут быть недоступны, если используется версия **liblzma**, собранная с ограниченным набором функций.169170## 13.4.4. Задание пользовательских цепочек фильтров171172Спецификация цепочки фильтров – это последовательность словарей, каждый из которых содержит идентификатор и параметры одного фильтра. Каждый словарь обязательно должен содержать ключ `"id"` и может содержать дополнительные ключи с параметрами, зависящими от фильтра. Допустимые идентификаторы фильтров:173174- **Фильтры сжатия:**175176  - `FILTER_LZMA1` (для использования с `FORMAT_ALONE`)177  - `FILTER_LZMA2` (for use with `FORMAT_XZ` and `FORMAT_RAW`)178- **Дельта-фильтр:**179180  - `FILTER_DELTA`181- **Фильтры ветвления-вызова-перехода (BCJ):**182183  - `FILTER_X86`184  - `FILTER_IA64`185  - `FILTER_ARM`186  - `FILTER_ARMTHUMB`187  - `FILTER_POWERPC`188  - `FILTER_SPARC`189190Цепочка фильтров может содержать до 4 фильтров и не может быть пустой. Последний фильтр в цепочке должен быть фильтром сжатия, а все остальные – дельта-фильтрами или фильтрами BCJ.191192Фильтры сжатия поддерживают следующие опции (указываются как дополнительные записи в словаре, представляющем фильтр):193194> - `preset`: Предустановка сжатия, используемая как источник значений по умолчанию для параметров, которые не заданы явно.195> - `dict_size`: Размер словаря в байтах. Должен быть от 4 КиБ до 1,5 ГиБ включительно.196> - `lc`: Количество битов контекста литерала.197> - `lp`: Количество битов позиции литерала. Сумма `lc + lp` не должна превышать 4.198> - `pb`: Количество битов позиции; не более 4.199> - `mode`: `MODE_FAST` или `MODE_NORMAL`.200> - `nice_len`: Какая длина считается «хорошей» для совпадения. Должно быть не больше 273.201> - `mf`: Какой поисковик совпадений использовать – `MF_HC3`, `MF_HC4`, `MF_BT2`, `MF_BT3` или `MF_BT4`.202> - `depth`: Максимальная глубина поиска, используемая поисковиком совпадений. Значение 0 (по умолчанию) означает автоматический выбор на основе остальных параметров фильтра.203204Дельта-фильтр хранит разности между байтами, создавая в определенных условиях более повторяющиеся входные данные для компрессора. Он поддерживает только один Дельта-фильтр поддерживает только один параметр, `dist`. Он указывает расстояние между вычитаемыми байтами. По умолчанию 1, т.е. берутся разности между соседними байтами.205206Фильтры BCJ предназначены для применения к машинному коду. Они преобразуют относительные ветвления, вызовы и переходы в коде в абсолютные адреса с целью увеличения избыточности, которая может быть использована компрессором. Эти фильтры поддерживают один параметр, `start_offset`. Он задает адрес, который должен соответствовать началу входных данных. По умолчанию 0.207208## 13.4.5. Примеры209210Чтение сжатого файла:211212```python213import lzma214with lzma.open("file.xz") as f:215    file_content = f.read()216```217218Создание сжатого файла:219220```python221import lzma222data = b"Insert Data Here"223with lzma.open("file.xz", "w") as f:224    f.write(data)225```226227Сжатие данных в памяти:228229```python230import lzma231data_in = b"Insert Data Here"232data_out = lzma.compress(data_in)233```234235Инкрементальное сжатие:236237```python238import lzma239lzc = lzma.LZMACompressor()240out1 = lzc.compress(b"Some data\n")241out2 = lzc.compress(b"Another piece of data\n")242out3 = lzc.compress(b"Even more data\n")243out4 = lzc.flush()244# Объединить все частичные результаты:245result = b"".join([out1, out2, out3, out4])246```247248Запись сжатых данных в уже открытый файл:249250```python251import lzma252with open("file.xz", "wb") as f:253    f.write(b"This data will not be compressed\n")254    with lzma.open(f, "w") as lzf:255        lzf.write(b"This *will* be compressed\n")256    f.write(b"Not compressed\n")257```258259Создание сжатого файла с использованием пользовательской цепочки фильтров:260261```python262import lzma263my_filters = [264    {"id": lzma.FILTER_DELTA, "dist": 5},265    {"id": lzma.FILTER_LZMA2, "preset": 7 | lzma.PRESET_EXTREME},266]267with lzma.open("file.xz", "w", filters=my_filters) as f:268    f.write(b"blah blah blah")269```270