`lzma.md`

310 строк · 28.0 КБ · обычная страница · сырой текст · скачать
1> **Источник:** https://python-all.ru/3.13/library/lzma.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# `lzma` – Сжатие с использованием алгоритма LZMA89Добавлено в версии 3.3.1011**Исходный код:** [Lib/lzma.py](https://python-all.ru/src/3.13/Lib/lzma.py)1213---1415Этот модуль предоставляет классы и вспомогательные функции для сжатия и распаковки данных с помощью алгоритма сжатия LZMA. Также включен файловый интерфейс, поддерживающий форматы файлов `.xz` и устаревший `.lzma`, используемые утилитой **xz**, а также сырые сжатые потоки.1617Интерфейс, предоставляемый этим модулем, очень похож на интерфейс модуля [`bz2`](https://python-all.ru/3.13/library/bz2.html#module-bz2). Обратите внимание, что [`LZMAFile`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMAFile) и [`bz2.BZ2File`](https://python-all.ru/3.13/library/bz2.html#bz2.BZ2File) *не* являются потокобезопасными, поэтому, если требуется использовать один экземпляр `LZMAFile` из нескольких потоков, необходимо защищать его блокировкой.1819#### `exception lzma.LZMAError`2021Это исключение возникает при ошибке во время сжатия или распаковки, а также при инициализации состояния компрессора/декодера.2223## Чтение и запись сжатых файлов2425#### `lzma.open(filename, mode='rb', *, format=None, check=-1, preset=None, filters=None, encoding=None, errors=None, newline=None)`2627Открывает LZMA-сжатый файл в двоичном или текстовом режиме и возвращает [файловый объект](https://python-all.ru/3.13/glossary.html#term-file-object).2829Аргумент *filename* может быть как именем файла (в виде [`str`](https://python-all.ru/3.13/library/stdtypes.html#str), [`bytes`](https://python-all.ru/3.13/library/stdtypes.html#bytes) или [path-like](https://python-all.ru/3.13/glossary.html#term-path-like-object) объекта), в этом случае открывается указанный файл, так и существующим файловым объектом для чтения или записи.3031Аргумент *mode* может быть любым из `"r"`, `"rb"`, `"w"`, `"wb"`, `"x"`, `"xb"`, `"a"` или `"ab"` для бинарного режима, или `"rt"`, `"wt"`, `"xt"` или `"at"` для текстового режима. По умолчанию `"rb"`.3233При открытии файла для чтения аргументы *format* и *filters* имеют то же значение, что и для [`LZMADecompressor`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMADecompressor). В этом случае аргументы *check* и *preset* не должны использоваться.3435При открытии файла для записи аргументы *format*, *check*, *preset* и *filters* имеют то же значение, что и для [`LZMACompressor`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMACompressor).3637В двоичном режиме эта функция эквивалентна конструктору [`LZMAFile`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMAFile): `LZMAFile(filename, mode, ...)`. В этом случае аргументы *encoding*, *errors* и *newline* указывать нельзя.3839Для текстового режима создаётся объект [`LZMAFile`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMAFile), обёрнутый в экземпляр [`io.TextIOWrapper`](https://python-all.ru/3.13/library/io.html#io.TextIOWrapper) с указанными кодировкой, поведением при ошибках и символами конца строки.4041Изменено в версии 3.4: Добавлена поддержка режимов `"x"`, `"xb"` и `"xt"`.4243Изменено в версии 3.6: Принимает [объект, подобный пути](https://python-all.ru/3.13/glossary.html#term-path-like-object).4445#### `class lzma.LZMAFile(filename=None, mode='r', *, format=None, check=-1, preset=None, filters=None)`4647Открывает LZMA-сжатый файл в двоичном режиме.4849`LZMAFile` может обернуть уже открытый [файловый объект](https://python-all.ru/3.13/glossary.html#term-file-object) или работать напрямую с именованным файлом. Аргумент *filename* указывает либо оборачиваемый файловый объект, либо имя открываемого файла (в виде [`str`](https://python-all.ru/3.13/library/stdtypes.html#str), [`bytes`](https://python-all.ru/3.13/library/stdtypes.html#bytes) или [path-like](https://python-all.ru/3.13/glossary.html#term-path-like-object) объекта). При обёртывании существующего файлового объекта обёрнутый файл не будет закрыт при закрытии `LZMAFile`.5051Аргумент *mode* может быть `"r"` для чтения (по умолчанию), `"w"` для перезаписи, `"x"` для исключительного создания или `"a"` для добавления. Им эквивалентно соответствуют `"rb"`, `"wb"`, `"xb"` и `"ab"` соответственно.5253Если *filename* – файловый объект (а не фактическое имя файла), режим `"w"` не усекает файл, а вместо этого эквивалентен `"a"`.5455При открытии файла для чтения входной файл может быть объединением нескольких отдельных сжатых потоков. Они прозрачно декодируются как единый логический поток.5657При открытии файла для чтения аргументы *format* и *filters* имеют то же значение, что и для [`LZMADecompressor`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMADecompressor). В этом случае аргументы *check* и *preset* не должны использоваться.5859При открытии файла для записи аргументы *format*, *check*, *preset* и *filters* имеют то же значение, что и для [`LZMACompressor`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMACompressor).6061`LZMAFile` поддерживает все члены, указанные в [`io.BufferedIOBase`](https://python-all.ru/3.13/library/io.html#io.BufferedIOBase), за исключением [`detach()`](https://python-all.ru/3.13/library/io.html#io.BufferedIOBase.detach) и [`truncate()`](https://python-all.ru/3.13/library/io.html#io.IOBase.truncate). Поддерживаются итерация и оператор [`with`](https://python-all.ru/3.13/reference/compound_stmts.html#with).6263Также предоставляются следующие методы и атрибуты:6465#### `peek(size=-1)`6667Возвращает буферизованные данные, не сдвигая позицию в файле. Будет возвращён как минимум один байт данных, если не достигнут EOF. Точное количество возвращаемых байт не определено (аргумент *size* игнорируется).6869> **Примечание**70>71> Хотя вызов `peek()` не изменяет позицию файла в `LZMAFile`, он может изменить позицию нижележащего файлового объекта (например, если `LZMAFile` был создан путём передачи файлового объекта в качестве *filename*).7273#### `mode`7475`'rb'` для чтения и `'wb'` для записи.7677Добавлено в версии 3.13.7879#### `name`8081Имя lzma-файла. Эквивалентно атрибуту [`name`](https://python-all.ru/3.13/library/io.html#io.FileIO.name) нижележащего [файлового объекта](https://python-all.ru/3.13/glossary.html#term-file-object).8283Добавлено в версии 3.13.8485Изменено в версии 3.4: Добавлена поддержка режимов `"x"` и `"xb"`.8687Изменено в версии 3.5: Метод [`read()`](https://python-all.ru/3.13/library/io.html#io.BufferedIOBase.read) теперь принимает аргумент типа `None`.8889Изменено в версии 3.6: Принимает [объект, подобный пути](https://python-all.ru/3.13/glossary.html#term-path-like-object).9091## Сжатие и распаковка данных в памяти9293#### `class lzma.LZMACompressor(format=FORMAT_XZ, check=-1, preset=None, filters=None)`9495Создаёт объект компрессора, который можно использовать для пошагового сжатия данных.9697Более удобный способ сжатия одного блока данных – [`compress()`](https://python-all.ru/3.13/library/lzma.html#lzma.compress).9899Аргумент *format* указывает, какой формат контейнера следует использовать. Возможные значения:100101- **`FORMAT_XZ`: формат контейнера `.xz`.**102103  Это формат по умолчанию.104- **`FORMAT_ALONE`: устаревший формат контейнера `.lzma`.**105106  Этот формат более ограничен по сравнению с `.xz` – он не поддерживает проверки целостности и несколько фильтров.107- **`FORMAT_RAW`: необработанный поток данных без использования контейнерного формата.**108109  Этот спецификатор формата не поддерживает проверку целостности и требует всегда указывать собственную цепочку фильтров (как для сжатия, так и для распаковки). Кроме того, данные, сжатые таким образом, невозможно распаковать с помощью `FORMAT_AUTO` (см. [`LZMADecompressor`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMADecompressor)).110111Аргумент *check* определяет тип проверки целостности, включаемой в сжатые данные. Эта проверка используется при распаковке для контроля целостности данных. Возможные значения:112113- `CHECK_NONE`: без проверки целостности. Это значение по умолчанию (и единственное допустимое) для `FORMAT_ALONE` и `FORMAT_RAW`.114- `CHECK_CRC32`: 32-битный CRC (циклическая проверка избыточности).115- `CHECK_CRC64`: 64-битный CRC (циклическая проверка избыточности). Это значение по умолчанию для `FORMAT_XZ`.116- `CHECK_SHA256`: 256-битный алгоритм безопасного хеширования (SHA-256).117118Если указанная проверка не поддерживается, вызывается исключение [`LZMAError`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMAError).119120Настройки сжатия можно задать либо как предустановленный уровень сжатия (с помощью аргумента *preset*), либо детально, как собственную цепочку фильтров (с помощью аргумента *filters*).121122Аргумент *preset* (если указан) должен быть целым числом от `0` до `9` включительно, возможно, с побитовым ИЛИ с константой `PRESET_EXTREME`. Если не заданы ни *preset*, ни *filters*, поведение по умолчанию – использовать `PRESET_DEFAULT` (уровень предустановки `6`). Более высокие уровни дают меньший выходной объём, но замедляют процесс сжатия.123124> **Примечание**125>126> Помимо большей нагрузки на процессор, сжатие с более высокими уровнями предустановок также требует значительно больше памяти (и выдаёт выходные данные, которым для распаковки требуется больше памяти). Например, для уровня `9` накладные расходы для объекта `LZMACompressor` могут достигать 800 МиБ. По этой причине обычно лучше придерживаться уровня по умолчанию.127128Аргумент *filters* (если указан) должен задавать цепочку фильтров. Подробнее см. [Задание собственных цепочек фильтров](https://python-all.ru/3.13/library/lzma.html#filter-chain-specs).129130#### `compress(data)`131132Сжимает *data* (объект [`bytes`](https://python-all.ru/3.13/library/stdtypes.html#bytes)) и возвращает объект `bytes`, содержащий сжатые данные хотя бы для части входных данных. Часть *data* может быть буферизована внутри для использования в последующих вызовах `compress()` и [`flush()`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMACompressor.flush). Возвращённые данные следует объединять с результатом всех предыдущих вызовов `compress()`.133134#### `flush()`135136Завершает процесс сжатия, возвращая объект [`bytes`](https://python-all.ru/3.13/library/stdtypes.html#bytes), содержащий данные, хранящиеся во внутренних буферах компрессора.137138Компрессор нельзя использовать после вызова этого метода.139140#### `class lzma.LZMADecompressor(format=FORMAT_AUTO, memlimit=None, filters=None)`141142Создаёт объект декомпрессора, который можно использовать для инкрементальной декомпрессии данных.143144Более удобный способ распаковки всего сжатого потока за один раз см. в [`decompress()`](https://python-all.ru/3.13/library/lzma.html#lzma.decompress).145146Аргумент *format* задаёт используемый контейнерный формат. Значение по умолчанию – `FORMAT_AUTO`, которое позволяет распаковывать файлы как `.xz`, так и `.lzma`. Другие возможные значения: `FORMAT_XZ`, `FORMAT_ALONE`, `FORMAT_RAW`.147148Аргумент *memlimit* задаёт ограничение (в байтах) на объём памяти, который может использовать распаковщик. При использовании этого аргумента распаковка завершится с исключением [`LZMAError`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMAError), если входные данные невозможно распаковать в пределах заданного лимита памяти.149150Аргумент *filters* задаёт цепочку фильтров, использованную при создании распаковываемого потока. Этот аргумент обязателен, если *format* равен `FORMAT_RAW`, но не должен использоваться для других форматов. Дополнительную информацию о цепочках фильтров см. в [Задание собственных цепочек фильтров](https://python-all.ru/3.13/library/lzma.html#filter-chain-specs).151152> **Примечание**153>154> В отличие от [`decompress()`](https://python-all.ru/3.13/library/lzma.html#lzma.decompress) и [`LZMAFile`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMAFile), этот класс не обрабатывает прозрачно входные данные, содержащие несколько сжатых потоков. Чтобы распаковать многопоточный вход с помощью `LZMADecompressor`, необходимо создавать новый распаковщик для каждого потока.155156#### `decompress(data, max_length=-1)`157158Декомпрессирует *data* ([байтоподобный объект](https://python-all.ru/3.13/glossary.html#term-bytes-like-object)), возвращая несжатые данные в виде байтов. Часть *data* может буферизироваться внутренне для использования в последующих вызовах `decompress()`. Возвращаемые данные следует объединять с результатом любых предыдущих вызовов `decompress()`.159160Если *max\_length* неотрицательно, возвращает не более *max\_length* байтов декомпрессированных данных. Если этот лимит достигнут и может быть сгенерирован дальнейший вывод, атрибут [`needs_input`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMADecompressor.needs_input) будет установлен в `False`. В этом случае следующий вызов `decompress()` может передать *data* как `b''` для получения ещё вывода.161162Если все входные данные были декомпрессированы и возвращены (либо потому что это было меньше *max\_length* байтов, либо потому что *max\_length* было отрицательным), атрибут [`needs_input`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMADecompressor.needs_input) будет установлен в `True`.163164Попытка декомпрессировать данные после достижения конца потока вызывает [`EOFError`](https://python-all.ru/3.13/library/exceptions.html#EOFError). Любые данные, обнаруженные после конца потока, игнорируются и сохраняются в атрибуте [`unused_data`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMADecompressor.unused_data).165166Изменено в версии 3.5: Добавлен параметр *max\_length*.167168#### `check`169170Идентификатор проверки целостности, используемой входным потоком. Может быть `CHECK_UNKNOWN`, пока не будет декодировано достаточно входных данных, чтобы определить, какая проверка целостности используется.171172#### `eof`173174`True`, если достигнут маркер конца потока.175176#### `unused_data`177178Данные, обнаруженные после конца сжатого потока.179180До достижения конца потока это будет `b""`.181182#### `needs_input`183184`False`, если метод [`decompress()`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMADecompressor.decompress) может предоставить больше декомпрессированных данных до запроса нового несжатого входа.185186Добавлено в версии 3.5.187188#### `lzma.compress(data, format=FORMAT_XZ, check=-1, preset=None, filters=None)`189190Сжимает *data* (объект [`bytes`](https://python-all.ru/3.13/library/stdtypes.html#bytes)) и возвращает сжатые данные в виде объекта `bytes`.191192Описание аргументов *format*, *check*, *preset* и *filters* см. выше в [`LZMACompressor`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMACompressor).193194#### `lzma.decompress(data, format=FORMAT_AUTO, memlimit=None, filters=None)`195196Распаковывает *данные* (объект [`bytes`](https://python-all.ru/3.13/library/stdtypes.html#bytes)), возвращая распакованные данные в виде объекта `bytes`.197198Если *данные* представляют собой объединение нескольких разных сжатых потоков, распакуйте все эти потоки и верните объединённый результат.199200Описание аргументов *format*, *memlimit* и *filters* см. выше в [`LZMADecompressor`](https://python-all.ru/3.13/library/lzma.html#lzma.LZMADecompressor).201202## Разное203204#### `lzma.is_check_supported(check)`205206Возвращает `True`, если указанная проверка целостности поддерживается в этой системе.207208`CHECK_NONE` и `CHECK_CRC32` поддерживаются всегда. `CHECK_CRC64` и `CHECK_SHA256` могут быть недоступны, если используется версия **liblzma**, скомпилированная с ограниченным набором функций.209210## Указание пользовательских цепочек фильтров211212Спецификатор цепочки фильтров – это последовательность словарей, где каждый словарь содержит идентификатор и параметры одного фильтра. Каждый словарь должен содержать ключ `"id"` и может содержать дополнительные ключи для указания опций, зависящих от фильтра. Допустимые идентификаторы фильтров:213214- Фильтры сжатия:215216  - `FILTER_LZMA1` (для использования с `FORMAT_ALONE`)217  - `FILTER_LZMA2` (для использования с `FORMAT_XZ` и `FORMAT_RAW`)218- Дельта-фильтр:219220  - `FILTER_DELTA`221- Фильтры ветвления-вызова-перехода (BCJ):222223  - `FILTER_X86`224  - `FILTER_IA64`225  - `FILTER_ARM`226  - `FILTER_ARMTHUMB`227  - `FILTER_POWERPC`228  - `FILTER_SPARC`229230Цепочка фильтров может содержать до 4 фильтров и не может быть пустой. Последний фильтр в цепочке должен быть фильтром сжатия, а все остальные – дельта-фильтрами или фильтрами BCJ.231232Фильтры сжатия поддерживают следующие опции (указываются как дополнительные записи в словаре, представляющем фильтр):233234- `preset`: Предустановка сжатия, используемая как источник значений по умолчанию для параметров, которые не заданы явно.235- `dict_size`: Размер словаря в байтах. Должен быть в диапазоне от 4 КиБ до 1,5 ГиБ (включительно).236- `lc`: Количество бит контекста литералов.237- `lp`: Количество бит позиции литералов. Сумма `lc + lp` не должна превышать 4.238- `pb`: Количество бит позиции; должно быть не более 4.239- `mode`: `MODE_FAST` или `MODE_NORMAL`.240- `nice_len`: Что считать «подходящей длиной» для совпадения. Должно быть 273 или меньше.241- `mf`: Какой поисковик совпадений использовать – `MF_HC3`, `MF_HC4`, `MF_BT2`, `MF_BT3` или `MF_BT4`.242- `depth`: Максимальная глубина поиска, используемая искателем совпадений. 0 (по умолчанию) означает автоматический выбор на основе других параметров фильтра.243244Дельта-фильтр хранит разности между байтами, создавая в некоторых случаях более повторяющиеся входные данные для компрессора. Он поддерживает один параметр, `dist`. Он указывает расстояние между вычитаемыми байтами. Значение по умолчанию – 1, то есть вычисляются разности между соседними байтами.245246Фильтры BCJ предназначены для применения к машинному коду. Они преобразуют относительные переходы, вызовы и прыжки в коде в абсолютную адресацию с целью повышения избыточности, которую может использовать компрессор. Эти фильтры поддерживают один параметр, `start_offset`. Он задаёт адрес, который должен соответствовать началу входных данных. По умолчанию – 0.247248## Примеры249250Чтение сжатого файла:251252```python253import lzma254with lzma.open("file.xz") as f:255    file_content = f.read()256```257258Создание сжатого файла:259260```python261import lzma262data = b"Insert Data Here"263with lzma.open("file.xz", "w") as f:264    f.write(data)265```266267Сжатие данных в памяти:268269```python270import lzma271data_in = b"Insert Data Here"272data_out = lzma.compress(data_in)273```274275Инкрементальное сжатие:276277```python278import lzma279lzc = lzma.LZMACompressor()280out1 = lzc.compress(b"Some data\n")281out2 = lzc.compress(b"Another piece of data\n")282out3 = lzc.compress(b"Even more data\n")283out4 = lzc.flush()284# Объединить все частичные результаты:285result = b"".join([out1, out2, out3, out4])286```287288Запись сжатых данных в уже открытый файл:289290```python291import lzma292with open("file.xz", "wb") as f:293    f.write(b"This data will not be compressed\n")294    with lzma.open(f, "w") as lzf:295        lzf.write(b"This *will* be compressed\n")296    f.write(b"Not compressed\n")297```298299Создание сжатого файла с использованием пользовательской цепочки фильтров:300301```python302import lzma303my_filters = [304    {"id": lzma.FILTER_DELTA, "dist": 5},305    {"id": lzma.FILTER_LZMA2, "preset": 7 | lzma.PRESET_EXTREME},306]307with lzma.open("file.xz", "w", filters=my_filters) as f:308    f.write(b"blah blah blah")309```310