Содержание страницы
shelve – сохранение объектов Python¶shelve – Python object persistence
Исходный код: Lib/shelve.py
«Полка» (shelf) – это постоянный объект, похожий на словарь. Отличие от баз данных «dbm» в том, что значения (не ключи!) на полке могут быть практически произвольными объектами Python – всем, с чем может работать модуль pickle. Сюда входят большинство экземпляров классов, рекурсивные типы данных и объекты, содержащие много общих подобъектов. Ключи – обычные строки.
- shelve.open(filename, flag='c', protocol=None, writeback=False, *, serializer=None, deserializer=None)¶
Открывает постоянный словарь. Указанное имя файла является базовым для нижележащей базы данных. Как побочный эффект, к имени файла может быть добавлено расширение, и может быть создано более одного файла. По умолчанию нижележащий файл базы данных открывается для чтения и записи. Необязательный параметр flag имеет ту же интерпретацию, что и параметр flag функции
dbm.open().По умолчанию для сериализации значений используются рассолы (pickles), созданные с помощью
pickle.DEFAULT_PROTOCOL. Версию протокола pickle можно указать с помощью параметра protocol.Из-за семантики Python полка не может узнать, когда изменяется изменяемая запись постоянного словаря. По умолчанию изменённые объекты записываются только при присваивании полке (см. Пример). Если необязательный параметр writeback установлен в
True, все запрашиваемые записи также кэшируются в памяти и записываются обратно при вызовеsync()иclose(); это может упростить изменение изменяемых записей в постоянном словаре, но, если запрашивается много записей, может потреблять огромные объёмы памяти для кэша, а также может сделать операцию закрытия очень медленной, так как все запрошенные записи записываются обратно (нет способа определить, какие из запрошенных записей являются изменяемыми и какие из них были фактически изменены).По умолчанию
shelveиспользуетpickle.dumps()иpickle.loads()для сериализации и десериализации. Это можно изменить, передав соответственно serializer и deserializer.Аргумент serializer должен быть вызываемым объектом, который принимает объект
objи протокол в качестве входных данных и возвращает представлениеobjв виде байтоподобного объекта; значение протокол может игнорироваться сериализатором.Аргумент deserializer должен быть вызываемым объектом, который принимает сериализованный объект, представленный в виде объекта
bytes, и возвращает соответствующий объект.Исключение
ShelveErrorвозбуждается, если указан serializer, но не указан deserializer, или наоборот.Изменено в версии 3.10:
pickle.DEFAULT_PROTOCOLтеперь используется как протокол pickle по умолчанию.Изменено в версии 3.11: Принимает объект, подобный пути для имени файла.
Изменено в версии 3.15: Принимает пользовательские функции serializer и deserializer вместо
pickle.dumps()иpickle.loads().Примечание
Не полагайтесь на автоматическое закрытие полки; всегда явно вызывайте
close(), когда она больше не нужна, или используйтеshelve.open()как менеджер контекста:with shelve.open('spam') as db: db['eggs'] = 'eggs'
Предупреждение
Поскольку модуль shelve основан на pickle, загружать полку из ненадёжного источника небезопасно. Как и в случае с pickle, загрузка полки может выполнить произвольный код.
Объекты Shelf поддерживают большинство методов и операций словарей (за исключением копирования, конструкторов и операторов | и |=). Это упрощает переход от скриптов на основе словарей к скриптам, требующим постоянного хранения.
Поддерживаются два дополнительных метода:
- Shelf.sync()¶
Записывает обратно все записи в кеше, если полка была открыта с writeback, установленным в
True. Также очищает кеш и синхронизирует постоянный словарь на диске, если это возможно. Это вызывается автоматически при вызовеreorganize()или закрытии полки с помощьюclose().
- Shelf.reorganize()¶
Вызывает
sync()и пытается уменьшить занимаемое на диске пространство, удаляя пустое пространство, образовавшееся в результате удалений.Добавлено в версии 3.15.
- Shelf.close()¶
Синхронизирует и закрывает постоянный объект dict. Операции над закрытой полкой завершатся ошибкой
ValueError.
См. также
Рецепт постоянного словаря с широко поддерживаемыми форматами хранения и скоростью нативных словарей.
Ограничения¶Restrictions
Выбор используемого пакета базы данных (например,
dbm.ndbmилиdbm.gnu) зависит от доступного интерфейса. Поэтому открывать базу данных напрямую с помощьюdbmнебезопасно. База данных также (к сожалению) подвержена ограничениямdbm, если он используется – это означает, что (рассоленное представление) хранящихся в базе объектов должно быть достаточно небольшим, и в редких случаях коллизии ключей могут привести к отказу базы данных в обновлении.Модуль
shelveне поддерживает одновременный доступ на чтение и запись к объектам на полке. (Одновременный доступ на чтение от нескольких программ безопасен.) Когда программа открыла полку для записи, никакая другая программа не должна открывать её для чтения или записи. Для решения этой проблемы можно использовать блокировку файлов в Unix, но она отличается в разных версиях Unix и требует знания используемой реализации базы данных.В macOS
dbm.ndbmможет незаметно повредить файл базы данных при обновлениях, что может привести к серьёзным сбоям при попытке чтения из базы данных.Shelf.reorganize()может быть недоступен для всех пакетов баз данных и может временно увеличивать использование ресурсов (особенно дискового пространства) при вызове. Кроме того, он никогда не запускается автоматически и вместо этого должен вызываться явно.
- class shelve.Shelf(dict, protocol=None, writeback=False, keyencoding='utf-8', *, serializer=None, deserializer=None)¶
Подкласс
collections.abc.MutableMapping, который хранит рассоленные значения в объекте dict.По умолчанию для сериализации значений используются рассолы (pickles), созданные с помощью
pickle.DEFAULT_PROTOCOL. Версию протокола pickle можно указать с помощью параметра protocol. См. документациюpickleдля обсуждения протоколов pickle.Если параметр writeback равен
True, объект будет хранить кэш всех запрошенных записей и записывать их обратно в dict при синхронизации и закрытии. Это позволяет естественно работать с изменяемыми записями, но может потреблять значительно больше памяти и замедлять синхронизацию и закрытие.Параметр keyencoding – это кодировка, используемая для кодирования ключей перед их использованием в нижележащем словаре.
Параметры serializer и deserializer имеют ту же интерпретацию, что и в
open().Объект
Shelfтакже можно использовать как менеджер контекста; в этом случае он будет автоматически закрыт при завершении блокаwith.Изменено в версии 3.2: Добавлен параметр keyencoding; ранее ключи всегда кодировались в UTF-8.
Изменено в версии 3.4: Добавлена поддержка менеджера контекста.
Изменено в версии 3.10:
pickle.DEFAULT_PROTOCOLтеперь используется как протокол pickle по умолчанию.Изменено в версии 3.15: Добавлены параметры serializer и deserializer.
- class shelve.BsdDbShelf(dict, protocol=None, writeback=False, keyencoding='utf-8', *, serializer=None, deserializer=None)¶
Подкласс
Shelf, который предоставляет методыfirst(),next(),previous(),last()иset_location(). Они доступны в стороннем модулеbsddbиз pybsddb, но не в других модулях баз данных. Объект dict, передаваемый конструктору, должен поддерживать эти методы. Обычно это достигается вызовом одной из функцийbsddb.hashopen(),bsddb.btopen()илиbsddb.rnopen(). Необязательные параметры протокол, writeback, keyencoding, serializer и deserializer имеют ту же интерпретацию, что и вopen().Изменено в версии 3.15: Добавлены параметры serializer и deserializer.
- class shelve.DbfilenameShelf(filename, flag='c', protocol=None, writeback=False, *, serializer=None, deserializer=None)¶
Подкласс
Shelf, который принимает filename вместо dict-подобного объекта. Основной файл будет открыт с помощьюdbm.open(). По умолчанию файл будет создан и открыт для чтения и записи. Необязательный параметр flag имеет ту же интерпретацию, что и для функцииopen(). Необязательные параметры протокол, writeback, serializer и deserializer имеют ту же интерпретацию, что и вopen().Изменено в версии 3.15: Добавлены параметры serializer и deserializer.
Пример¶Example
Обобщая интерфейс (key – строка, data – произвольный объект):
import shelve
d = shelve.open(filename) # open -- файл может получить суффикс, добавленный низкоуровневой
# библиотекой
d[key] = data # сохраняет данные по ключу (перезаписывает старые данные, если
# используется существующий ключ)
data = d[key] # извлекает КОПИЮ данных по ключу (вызывает KeyError
# если такого ключа нет)
del d[key] # удалить данные, хранящиеся по ключу (вызывает KeyError
# если такого ключа нет)
flag = key in d # true, если ключ существует
klist = list(d.keys()) # список всех существующих ключей (медленно!)
# так как d был открыт БЕЗ writeback=True, внимание:
d['xx'] = [0, 1, 2] # это работает как ожидается, но...
d['xx'].append(3) # *это не работает!* -- d['xx'] всё ещё [0, 1, 2]!
# открыв d без writeback=True, нужно писать код аккуратно:
temp = d['xx'] # извлекает копию
temp.append(5) # изменяет копию
d['xx'] = temp # сохраняет изменённую копию обратно для сохранения
# или, d=shelve.open(filename,writeback=True) позволил бы просто написать
# d['xx'].append(5) и это бы работало как ожидается, НО это также бы
# потребляло больше памяти и замедляло операцию d.close().
d.close() # закрыть его
Исключения¶Exceptions
- exception shelve.ShelveError¶
Исключение возбуждается, когда один из аргументов deserializer и serializer отсутствует в
open(),Shelf,BsdDbShelfиDbfilenameShelf.Аргументы deserializer и serializer должны передаваться вместе.
Добавлено в версии 3.15.