Содержание страницы

12.3. `shelve` – сохранение объектов Python¶shelve – Python object persistence

Исходный код: Lib/shelve.py

«Полка» (shelf) – это постоянный объект, похожий на словарь. Отличие от баз данных «dbm» в том, что значения (не ключи!) в полке могут быть практически произвольными объектами Python – всем, что поддерживает модуль pickle. Сюда входят большинство экземпляров классов, рекурсивные типы данных и объекты, содержащие множество общих подобъектов. Ключи – обычные строки.

shelve.open(filename, flag='c', protocol=None, writeback=False)¶

Открывает постоянный словарь. Указанное имя файла является базовым именем для базового файла базы данных. Как побочный эффект, к имени файла может быть добавлено расширение и может быть создано более одного файла. По умолчанию базовый файл базы данных открывается для чтения и записи. Необязательный параметр flag имеет ту же интерпретацию, что и параметр flag в функции dbm.open().

По умолчанию для сериализации значений используются pickle версии 3. Версию протокола pickle можно указать с помощью параметра протокол.

Из-за семантики Python полка не может узнать, когда изменяется изменяемая запись постоянного словаря. По умолчанию изменённые объекты записываются только при присваивании полке (см. Пример). Если необязательный параметр writeback установлен в True, все accessed записи также кэшируются в памяти и записываются обратно при вызове sync() и close(); это может упростить изменение изменяемых записей в постоянном словаре, но, если получено много записей, может потреблять огромные объёмы памяти для кэша и сделать операцию закрытия очень медленной, так как все полученные записи записываются обратно (нет способа определить, какие из полученных записей являются изменяемыми, и какие из них были фактически изменены).

Примечание

Не полагайтесь на то, что shelf будет закрыт автоматически; всегда явно вызывайте close(), когда он больше не нужен, или используйте оператор with с contextlib.closing().

Предупреждение

Поскольку модуль shelve основан на pickle, загружать полку из ненадёжного источника небезопасно. Как и в случае с pickle, загрузка полки может выполнить произвольный код.

Объекты Shelf поддерживают все методы, поддерживаемые словарями. Это облегчает переход от скриптов, основанных на словарях, к скриптам, требующим постоянного хранения.

Поддерживаются два дополнительных метода:

Shelf.sync()¶: Записывает обратно все записи в кэше, если полка была открыта с writeback установленным в True. Также очищает кэш и синхронизирует постоянный словарь на диске, если это возможно. Это вызывается автоматически, когда полка закрывается с помощью close().

Shelf.close()¶: Синхронизирует и закрывает постоянный объект dict. Операции над закрытой полкой будут завершаться с ValueError.

См. также

Рецепт постоянного словаря с широко поддерживаемыми форматами хранения и скоростью нативных словарей.

12.3.1. Ограничения¶Restrictions

Выбор того, какой пакет базы данных будет использоваться (например, dbm.ndbm или dbm.gnu), зависит от того, какой интерфейс доступен. Поэтому небезопасно открывать базу данных напрямую с помощью dbm. Кроме того, база данных, к сожалению, подвержена ограничениям dbm, если она используется – это означает, что (сериализованное (pickle) представление) объектов, хранящихся в базе данных, должно быть достаточно маленьким, и в редких случаях коллизии ключей могут привести к тому, что база данных откажется обновляться.
Модуль shelve не поддерживает одновременный доступ на чтение и запись к объектам полки. (Множественные одновременные чтения безопасны.) Когда программа открывает полку для записи, никакая другая программа не должна открывать её для чтения или записи. Для решения этой проблемы можно использовать файловые блокировки Unix, но это отличается в разных версиях Unix и требует знания используемой реализации базы данных.

class shelve.Shelf(dict, protocol=None, writeback=False, keyencoding='utf-8')¶

Подкласс collections.abc.MutableMapping, который хранит сериализованные с помощью pickle значения в объекте dict.

По умолчанию для сериализации значений используется версия 0 pickle. Версию протокола pickle можно указать через параметр protocol. См. документацию pickle для обсуждения протоколов pickle.

Если параметр writeback равен True, объект будет хранить кэш всех полученных записей и записывать их обратно в dict при синхронизации и закрытии. Это позволяет естественным образом работать с изменяемыми записями, но может потреблять гораздо больше памяти и замедлить синхронизацию и закрытие.

Параметр keyencoding – это кодировка, используемая для кодирования ключей перед их использованием в нижележащем словаре.

Новое в версии 3.2: Параметр keyencoding; ранее ключи всегда кодировались в UTF-8.

class shelve.BsdDbShelf(dict, protocol=None, writeback=False, keyencoding='utf-8')¶: Подкласс Shelf, который предоставляет методы first(), next(), previous(), last() и set_location(), которые доступны в стороннем модуле bsddb (из пакета pybsddb), но отсутствуют в других модулях баз данных. Объект dict, передаваемый конструктору, должен поддерживать эти методы. Обычно это достигается вызовом одной из функций: bsddb.hashopen(), bsddb.btopen() или bsddb.rnopen(). Необязательные параметры protocol, writeback и keyencoding имеют ту же интерпретацию, что и для класса Shelf.

class shelve.DbfilenameShelf(filename, flag='c', protocol=None, writeback=False)¶: Подкласс Shelf, который принимает имя файла filename вместо объекта, похожего на словарь. Базовый файл будет открыт с помощью dbm.open(). По умолчанию файл будет создан и открыт для чтения и записи. Необязательный параметр flag имеет ту же интерпретацию, что и для функции open(). Необязательные параметры protocol и writeback имеют ту же интерпретацию, что и для класса Shelf.

12.3.2. Пример¶Example

Обобщая интерфейс (key – строка, data – произвольный объект):

import shelve

d = shelve.open(filename) # open -- файл может получить суффикс, добавленный низкоуровневой
                          # библиотекой

d[key] = data   # сохраняет данные по ключу (перезаписывает старые данные, если
                # используется существующий ключ)
data = d[key]   # извлечь копию данных по ключу (вызывает KeyError, если такого ключа нет)
                # такого ключа)
del d[key]      # удалить данные, хранящиеся по ключу (вызывает KeyError
                # если такого ключа нет)
flag = key in d        # true, если ключ существует
klist = list(d.keys()) # список всех существующих ключей (медленно!)

# так как d был открыт БЕЗ writeback=True, внимание:
d['xx'] = [0, 1, 2]    # это работает как ожидается, но...
d['xx'].append(3)      # *это не работает!* -- d['xx'] всё ещё [0, 1, 2]!

# открыв d без writeback=True, нужно писать код аккуратно:
temp = d['xx']      # извлекает копию
temp.append(5)      # изменяет копию
d['xx'] = temp      # сохраняет изменённую копию обратно для сохранения

# или, d=shelve.open(filename,writeback=True) позволил бы просто написать
# d['xx'].append(5) и это бы работало как ожидается, НО это также бы
# потребляло больше памяти и замедляло операцию d.close().

d.close()       # закрыть его