`lzma.md`

306 строк · 28.2 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.5/library/lzma.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 13.4. [`lzma`](https://python-all.ru/3.5/library/lzma.html#module-lzma) – Сжатие с использованием алгоритма LZMA89Новое в версии 3.3.1011**Исходный код:** [Lib/lzma.py](https://python-all.ru/src/3.5/Lib/lzma.py)1213---1415Этот модуль предоставляет классы и вспомогательные функции для сжатия и распаковки данных с помощью алгоритма сжатия LZMA. Также включен файловый интерфейс, поддерживающий форматы файлов `.xz` и устаревший `.lzma`, используемые утилитой **xz**, а также сырые сжатые потоки.1617Интерфейс, предоставляемый этим модулем, очень похож на интерфейс [`bz2`](https://python-all.ru/3.5/library/bz2.html#module-bz2) модуля. Однако обратите внимание, что [`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile), в отличие от [`bz2.BZ2File`](https://python-all.ru/3.5/library/bz2.html#bz2.BZ2File), *не* является потокобезопасным, поэтому, если требуется использовать один экземпляр [`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile) из нескольких потоков, необходимо защищать его с помощью блокировки.1819#### `exception lzma.LZMAError`2021Это исключение возникает при ошибке во время сжатия или распаковки, а также при инициализации состояния компрессора/декодера.2223## 13.4.1. Чтение и запись сжатых файлов2425#### `lzma.open(filename, mode="rb", *, format=None, check=-1, preset=None, filters=None, encoding=None, errors=None, newline=None)`2627Открывает LZMA-сжатый файл в двоичном или текстовом режиме и возвращает [файловый объект](https://python-all.ru/3.5/glossary.html#term-file-object).2829Аргумент *filename* может быть либо реальным именем файла (заданным в виде объекта [`str`](https://python-all.ru/3.5/library/stdtypes.html#str) или [`bytes`](https://python-all.ru/3.5/library/functions.html#bytes)), в этом случае именованный файл открывается, либо существующим файловым объектом для чтения или записи.3031Аргумент *mode* может быть любым из `"r"`, `"rb"`, `"w"`, `"wb"`, `"x"`, `"xb"`, `"a"` или `"ab"` для бинарного режима, или `"rt"`, `"wt"`, `"xt"` или `"at"` для текстового режима. По умолчанию `"rb"`.3233При открытии файла для чтения аргументы *format* и *filters* имеют то же значение, что и для [`LZMADecompressor`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor). В этом случае аргументы *check* и *preset* не должны использоваться.3435При открытии файла для записи аргументы *format*, *check*, *preset* и *filters* имеют то же значение, что и для [`LZMACompressor`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMACompressor).3637В двоичном режиме эта функция эквивалентна конструктору [`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile): `LZMAFile(filename, mode, ...)`. В этом случае аргументы *encoding*, *errors* и *newline* указывать нельзя.3839Для текстового режима создаётся объект [`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile), обёрнутый в экземпляр [`io.TextIOWrapper`](https://python-all.ru/3.5/library/io.html#io.TextIOWrapper) с указанными кодировкой, поведением при ошибках и символами конца строки.4041Изменено в версии 3.4: Добавлена поддержка режимов `"x"`, `"xb"` и `"xt"`.4243#### `class lzma.LZMAFile(filename=None, mode="r", *, format=None, check=-1, preset=None, filters=None)`4445Открывает LZMA-сжатый файл в двоичном режиме.4647Объект [`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile) может обёртывать уже открытый [файловый объект](https://python-all.ru/3.5/glossary.html#term-file-object) или работать напрямую с именованным файлом. Аргумент *filename* указывает либо файловый объект для обёртывания, либо имя открываемого файла (в виде объекта [`str`](https://python-all.ru/3.5/library/stdtypes.html#str) или [`bytes`](https://python-all.ru/3.5/library/functions.html#bytes)). При обёртывании существующего файлового объекта обёрнутый файл не будет закрыт при закрытии [`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile).4849Аргумент *mode* может быть `"r"` для чтения (по умолчанию), `"w"` для перезаписи, `"x"` для исключительного создания или `"a"` для добавления. Им эквивалентно соответствуют `"rb"`, `"wb"`, `"xb"` и `"ab"` соответственно.5051Если *filename* – файловый объект (а не фактическое имя файла), режим `"w"` не усекает файл, а вместо этого эквивалентен `"a"`.5253При открытии файла для чтения входной файл может быть объединением нескольких отдельных сжатых потоков. Они прозрачно декодируются как единый логический поток.5455При открытии файла для чтения аргументы *format* и *filters* имеют то же значение, что и для [`LZMADecompressor`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor). В этом случае аргументы *check* и *preset* не должны использоваться.5657При открытии файла для записи аргументы *format*, *check*, *preset* и *filters* имеют то же значение, что и для [`LZMACompressor`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMACompressor).5859[`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile) поддерживает все элементы, указанные в [`io.BufferedIOBase`](https://python-all.ru/3.5/library/io.html#io.BufferedIOBase), за исключением `detach()` и `truncate()`. Поддерживаются итерация и оператор [`with`](https://python-all.ru/3.5/reference/compound_stmts.html#with).6061Также предоставляется следующий метод:6263#### `peek(size=-1)`6465Возвращает буферизованные данные, не сдвигая позицию в файле. Будет возвращён как минимум один байт данных, если не достигнут EOF. Точное количество возвращаемых байт не определено (аргумент *size* игнорируется).6667> **Примечание**68>69> Хотя вызов [`peek()`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile.peek) не изменяет позицию файла в [`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile), он может изменить позицию нижележащего файлового объекта (например, если [`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile) был создан путём передачи файлового объекта в качестве *filename*).7071Изменено в версии 3.4: Добавлена поддержка режимов `"x"` и `"xb"`.7273Изменено в версии 3.5: Метод [`read()`](https://python-all.ru/3.5/library/io.html#io.BufferedIOBase.read) теперь принимает аргумент типа `None`.7475## 13.4.2. Сжатие и распаковка данных в памяти7677#### `class lzma.LZMACompressor(format=FORMAT_XZ, check=-1, preset=None, filters=None)`7879Создаёт объект компрессора, который можно использовать для пошагового сжатия данных.8081Более удобный способ сжатия одного блока данных – [`compress()`](https://python-all.ru/3.5/library/lzma.html#lzma.compress).8283Аргумент *format* указывает, какой формат контейнера следует использовать. Возможные значения:8485- **`FORMAT_XZ`: формат контейнера `.xz`.**8687  Это формат по умолчанию.88- **`FORMAT_ALONE`: устаревший формат контейнера `.lzma`.**8990  Этот формат более ограничен по сравнению с9192  `.xz`9394  – он не поддерживает проверки целостности и несколько фильтров.95- **`FORMAT_RAW`: необработанный поток данных без использования контейнерного формата.**9697  Этот спецификатор формата не поддерживает проверку целостности и требует всегда указывать собственную цепочку фильтров (как для сжатия, так и для распаковки). Кроме того, данные, сжатые таким образом, невозможно распаковать с помощью9899  `FORMAT_AUTO`100101  (см.102103  [`LZMADecompressor`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor)104105  ).106107Аргумент *check* определяет тип проверки целостности, включаемой в сжатые данные. Эта проверка используется при распаковке для контроля целостности данных. Возможные значения:108109- `CHECK_NONE`: без проверки целостности. Это значение по умолчанию (и единственное допустимое) для `FORMAT_ALONE` и `FORMAT_RAW`.110- `CHECK_CRC32`: 32-битный CRC (циклическая проверка избыточности).111- `CHECK_CRC64`: 64-битный CRC (циклическая проверка избыточности). Это значение по умолчанию для `FORMAT_XZ`.112- `CHECK_SHA256`: 256-битный алгоритм безопасного хеширования (SHA-256).113114Если указанная проверка не поддерживается, вызывается исключение [`LZMAError`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAError).115116Настройки сжатия можно задать либо как предустановленный уровень сжатия (с помощью аргумента *preset*), либо детально, как собственную цепочку фильтров (с помощью аргумента *filters*).117118Аргумент *preset* (если указан) должен быть целым числом от `0` до `9` включительно, возможно, с побитовым ИЛИ с константой `PRESET_EXTREME`. Если не заданы ни *preset*, ни *filters*, поведение по умолчанию – использовать `PRESET_DEFAULT` (уровень предустановки `6`). Более высокие уровни дают меньший выходной объём, но замедляют процесс сжатия.119120> **Примечание**121>122> Помимо большей нагрузки на процессор, сжатие с более высокими уровнями предустановок также требует значительно больше памяти (и выдаёт выходные данные, которым для распаковки требуется больше памяти). Например, для уровня `9` накладные расходы для объекта [`LZMACompressor`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMACompressor) могут достигать 800 МиБ. По этой причине обычно лучше придерживаться уровня по умолчанию.123124Аргумент *filters* (если указан) должен задавать цепочку фильтров. Подробнее см. [Задание собственных цепочек фильтров](https://python-all.ru/3.5/library/lzma.html#filter-chain-specs).125126#### `compress(data)`127128Сжимает *data* (объект [`bytes`](https://python-all.ru/3.5/library/functions.html#bytes)) и возвращает объект [`bytes`](https://python-all.ru/3.5/library/functions.html#bytes), содержащий сжатые данные хотя бы для части входных данных. Часть *data* может быть буферизована внутри для использования в последующих вызовах [`compress()`](https://python-all.ru/3.5/library/lzma.html#lzma.compress) и [`flush()`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMACompressor.flush). Возвращённые данные следует объединять с результатом всех предыдущих вызовов [`compress()`](https://python-all.ru/3.5/library/lzma.html#lzma.compress).129130#### `flush()`131132Завершает процесс сжатия, возвращая объект [`bytes`](https://python-all.ru/3.5/library/functions.html#bytes), содержащий данные, хранящиеся во внутренних буферах компрессора.133134Компрессор нельзя использовать после вызова этого метода.135136#### `class lzma.LZMADecompressor(format=FORMAT_AUTO, memlimit=None, filters=None)`137138Создаёт объект декомпрессора, который можно использовать для инкрементальной декомпрессии данных.139140Более удобный способ распаковки всего сжатого потока за один раз см. в [`decompress()`](https://python-all.ru/3.5/library/lzma.html#lzma.decompress).141142Аргумент *format* задаёт используемый контейнерный формат. Значение по умолчанию – `FORMAT_AUTO`, которое позволяет распаковывать файлы как `.xz`, так и `.lzma`. Другие возможные значения: `FORMAT_XZ`, `FORMAT_ALONE`, `FORMAT_RAW`.143144Аргумент *memlimit* задаёт ограничение (в байтах) на объём памяти, который может использовать распаковщик. При использовании этого аргумента распаковка завершится с исключением [`LZMAError`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAError), если входные данные невозможно распаковать в пределах заданного лимита памяти.145146Аргумент *filters* задаёт цепочку фильтров, использованную при создании распаковываемого потока. Этот аргумент обязателен, если *format* равен `FORMAT_RAW`, но не должен использоваться для других форматов. Дополнительную информацию о цепочках фильтров см. в [Задание собственных цепочек фильтров](https://python-all.ru/3.5/library/lzma.html#filter-chain-specs).147148> **Примечание**149>150> В отличие от [`decompress()`](https://python-all.ru/3.5/library/lzma.html#lzma.decompress) и [`LZMAFile`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMAFile), этот класс не обрабатывает прозрачно входные данные, содержащие несколько сжатых потоков. Чтобы распаковать многопоточный вход с помощью [`LZMADecompressor`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor), необходимо создавать новый распаковщик для каждого потока.151152#### `decompress(data, max_length=-1)`153154Декомпрессирует *data* ([байтоподобный объект](https://python-all.ru/3.5/glossary.html#term-bytes-like-object)), возвращая несжатые данные в виде байтов. Часть *data* может буферизироваться внутренне для использования в последующих вызовах [`decompress()`](https://python-all.ru/3.5/library/lzma.html#lzma.decompress). Возвращаемые данные следует объединять с результатом любых предыдущих вызовов [`decompress()`](https://python-all.ru/3.5/library/lzma.html#lzma.decompress).155156Если *max\_length* неотрицательно, возвращает не более *max\_length* байтов декомпрессированных данных. Если этот лимит достигнут и может быть сгенерирован дальнейший вывод, атрибут [`needs_input`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor.needs_input) будет установлен в `False`. В этом случае следующий вызов [`decompress()`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor.decompress) может передать *data* как `b''` для получения ещё вывода.157158Если все входные данные были декомпрессированы и возвращены (либо потому что это было меньше *max\_length* байтов, либо потому что *max\_length* было отрицательным), атрибут [`needs_input`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor.needs_input) будет установлен в `True`.159160Попытка распаковать данные после достижения конца потока вызывает исключение *EOFError*. Любые данные, обнаруженные после конца потока, игнорируются и сохраняются в атрибуте [`unused_data`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor.unused_data).161162Изменено в версии 3.5: Добавлен параметр *max\_length*.163164#### `check`165166Идентификатор проверки целостности, используемой входным потоком. Может быть `CHECK_UNKNOWN`, пока не будет декодировано достаточно входных данных, чтобы определить, какая проверка целостности используется.167168#### `eof`169170`True`, если достигнут маркер конца потока.171172#### `unused_data`173174Данные, обнаруженные после конца сжатого потока.175176До достижения конца потока это будет `b""`.177178#### `needs_input`179180`False`, если метод [`decompress()`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor.decompress) может предоставить больше декомпрессированных данных до запроса нового несжатого входа.181182Новое в версии 3.5.183184#### `lzma.compress(data, format=FORMAT_XZ, check=-1, preset=None, filters=None)`185186Сжимает *data* (объект [`bytes`](https://python-all.ru/3.5/library/functions.html#bytes)) и возвращает сжатые данные в виде объекта [`bytes`](https://python-all.ru/3.5/library/functions.html#bytes).187188Описание аргументов *format*, *check*, *preset* и *filters* см. выше в [`LZMACompressor`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMACompressor).189190#### `lzma.decompress(data, format=FORMAT_AUTO, memlimit=None, filters=None)`191192Распаковывает *данные* (объект [`bytes`](https://python-all.ru/3.5/library/functions.html#bytes)), возвращая распакованные данные в виде объекта [`bytes`](https://python-all.ru/3.5/library/functions.html#bytes).193194Если *данные* представляют собой объединение нескольких разных сжатых потоков, распакуйте все эти потоки и верните объединённый результат.195196Описание аргументов *format*, *memlimit* и *filters* см. выше в [`LZMADecompressor`](https://python-all.ru/3.5/library/lzma.html#lzma.LZMADecompressor).197198## 13.4.3. Разное199200#### `lzma.is_check_supported(check)`201202Возвращает True, если указанная проверка целостности поддерживается в этой системе.203204`CHECK_NONE` и `CHECK_CRC32` поддерживаются всегда. `CHECK_CRC64` и `CHECK_SHA256` могут быть недоступны, если используется версия **liblzma**, скомпилированная с ограниченным набором функций.205206## 13.4.4. Задание пользовательских цепочек фильтров207208Спецификатор цепочки фильтров – это последовательность словарей, где каждый словарь содержит идентификатор и параметры одного фильтра. Каждый словарь должен содержать ключ `"id"` и может содержать дополнительные ключи для указания опций, зависящих от фильтра. Допустимые идентификаторы фильтров:209210- **Фильтры сжатия:**211212  - `FILTER_LZMA1` (для использования с `FORMAT_ALONE`)213  - `FILTER_LZMA2` (для использования с `FORMAT_XZ` и `FORMAT_RAW`)214- **Дельта-фильтр:**215216  - `FILTER_DELTA`217- **Фильтры ветвления-вызова-перехода (BCJ):**218219  - `FILTER_X86`220  - `FILTER_IA64`221  - `FILTER_ARM`222  - `FILTER_ARMTHUMB`223  - `FILTER_POWERPC`224  - `FILTER_SPARC`225226Цепочка фильтров может содержать до 4 фильтров и не может быть пустой. Последний фильтр в цепочке должен быть фильтром сжатия, а все остальные – дельта-фильтрами или фильтрами BCJ.227228Фильтры сжатия поддерживают следующие опции (указываются как дополнительные записи в словаре, представляющем фильтр):229230> - `preset`: Предустановка сжатия, используемая как источник значений по умолчанию для параметров, которые не заданы явно.231> - `dict_size`: Размер словаря в байтах. Должен быть в диапазоне от 4 КиБ до 1,5 ГиБ (включительно).232> - `lc`: Количество бит контекста литералов.233> - `lp`: Количество бит позиции литералов. Сумма `lc + lp` не должна превышать 4.234> - `pb`: Количество бит позиции; должно быть не более 4.235> - `mode`: `MODE_FAST` или `MODE_NORMAL`.236> - `nice_len`: Что считать «подходящей длиной» для совпадения. Должно быть 273 или меньше.237> - `mf`: Какой поисковик совпадений использовать – `MF_HC3`, `MF_HC4`, `MF_BT2`, `MF_BT3` или `MF_BT4`.238> - `depth`: Максимальная глубина поиска, используемая искателем совпадений. 0 (по умолчанию) означает автоматический выбор на основе других параметров фильтра.239240Дельта-фильтр хранит разности между байтами, создавая в некоторых случаях более повторяющиеся входные данные для компрессора. Он поддерживает один параметр, `dist`. Он указывает расстояние между вычитаемыми байтами. Значение по умолчанию – 1, то есть вычисляются разности между соседними байтами.241242Фильтры BCJ предназначены для применения к машинному коду. Они преобразуют относительные переходы, вызовы и прыжки в коде в абсолютную адресацию с целью повышения избыточности, которую может использовать компрессор. Эти фильтры поддерживают один параметр, `start_offset`. Он задаёт адрес, который должен соответствовать началу входных данных. По умолчанию – 0.243244## 13.4.5. Примеры245246Чтение сжатого файла:247248```python249import lzma250with lzma.open("file.xz") as f:251    file_content = f.read()252```253254Создание сжатого файла:255256```python257import lzma258data = b"Insert Data Here"259with lzma.open("file.xz", "w") as f:260    f.write(data)261```262263Сжатие данных в памяти:264265```python266import lzma267data_in = b"Insert Data Here"268data_out = lzma.compress(data_in)269```270271Инкрементальное сжатие:272273```python274import lzma275lzc = lzma.LZMACompressor()276out1 = lzc.compress(b"Some data\n")277out2 = lzc.compress(b"Another piece of data\n")278out3 = lzc.compress(b"Even more data\n")279out4 = lzc.flush()280# Объединить все частичные результаты:281result = b"".join([out1, out2, out3, out4])282```283284Запись сжатых данных в уже открытый файл:285286```python287import lzma288with open("file.xz", "wb") as f:289    f.write(b"This data will not be compressed\n")290    with lzma.open(f, "w") as lzf:291        lzf.write(b"This *will* be compressed\n")292    f.write(b"Not compressed\n")293```294295Создание сжатого файла с использованием пользовательской цепочки фильтров:296297```python298import lzma299my_filters = [300    {"id": lzma.FILTER_DELTA, "dist": 5},301    {"id": lzma.FILTER_LZMA2, "preset": 7 | lzma.PRESET_EXTREME},302]303with lzma.open("file.xz", "w", filters=my_filters) as f:304    f.write(b"blah blah blah")305```306