Содержание страницы
8.3. collections – Типы данных-контейнеры¶collections – Container datatypes
Исходный код: Lib/collections/__init__.py
Этот модуль предоставляет специализированные типы данных-контейнеры в качестве альтернативы
встроенным контейнерам общего назначения Python: dict, list,
set и tuple.
namedtuple() |
фабричная функция для создания подклассов кортежей с именованными полями |
deque |
контейнер, подобный списку, с быстрыми добавлением и извлечением с обоих концов |
ChainMap |
класс, подобный словарю, для создания единого представления нескольких отображений |
Counter |
подкласс dict для подсчёта хэшируемых объектов |
OrderedDict |
подкласс dict, который запоминает порядок добавления записей |
defaultdict |
подкласс dict, который вызывает фабричную функцию для предоставления отсутствующих значений |
UserDict |
обёртка вокруг словарей для упрощения создания подклассов dict |
UserList |
обёртка вокруг списков для упрощения создания подклассов list |
UserString |
обёртка вокруг строк для упрощения создания подклассов str |
Изменено в версии 3.3: Перенесены Базовые абстрактные классы коллекций в модуль collections.abc.
Для обратной совместимости они по-прежнему видны в этом модуле.
8.3.1. ChainMap объекты¶ChainMap objects
Новое в версии 3.3.
Класс ChainMap предназначен для быстрой связки нескольких отображений,
чтобы их можно было рассматривать как единое целое. Часто он работает намного быстрее, чем создание
нового словаря и выполнение нескольких вызовов update().
Класс можно использовать для имитации вложенных областей видимости; он полезен в шаблонизаторах.
-
class
collections.ChainMap(*maps)¶ ChainMapгруппирует несколько словарей или других отображений вместе, создавая единое обновляемое представление. Если не указаны maps, создаётся один пустой словарь, так что новая цепочка всегда содержит как минимум одно отображение.Базовые отображения хранятся в списке. Этот список является открытым; к нему можно обращаться или изменять его через атрибут maps. Других состояний нет.
При поиске последовательно просматриваются базовые отображения, пока не будет найден ключ. В отличие от этого, записи, обновления и удаления работают только с первым отображением.
ChainMapвключает базовые отображения по ссылке. То есть, если одно из базовых отображений будет обновлено, эти изменения отразятся вChainMap.Поддерживаются все обычные методы словаря. Кроме того, имеется атрибут maps, метод для создания новых подконтекстов и свойство для доступа ко всем отображениям, кроме первого:
-
maps¶ Обновляемый пользователем список отображений. Список упорядочен от первого просматриваемого к последнему. Это единственное сохраняемое состояние, и его можно изменять, чтобы менять порядок поиска отображений. Список всегда должен содержать хотя бы одно отображение.
-
new_child(m=None)¶ Возвращает новый объект
ChainMap, содержащий новое отображение, за которым следуют все отображения из текущего экземпляра. Если указанm, он становится новым отображением в начале списка отображений; если не указан, используется пустой словарь, так что вызовd.new_child()эквивалентен следующему:ChainMap({}, *d.maps). Этот метод используется для создания подконтекстов, которые можно обновлять, не изменяя значения ни в одном из родительских отображений.Изменено в версии 3.4: Был добавлен необязательный параметр
m.
-
parents¶ Свойство, возвращающее новый
ChainMap, содержащий все отображения из текущего экземпляра, кроме первого. Это полезно для пропуска первого отображения при поиске. Варианты использования аналогичны ключевому словуnonlocal, применяемому в вложенных областях видимости. Также они параллельны встроенной функцииsuper(). Ссылка наd.parentsэквивалентна:ChainMap(*d.maps[1:]).
-
См. также
- Класс MultiContext в пакете Enthought CodeTools имеет опции для поддержки записи в любое отображение в цепочке.
- Класс Context в Django
для шаблонов представляет собой цепочку отображений только для чтения. Он также поддерживает
добавление и удаление контекстов, аналогично методу
new_child()и свойствуparents(). - Рецепт Nested Contexts содержит опции для управления тем, применяются ли записи и другие изменения только к первому отображению или к любому отображению в цепочке.
- Сильно упрощённая версия Chainmap только для чтения.
8.3.1.1. ChainMap Примеры и рецепты¶ChainMap Examples and Recipes
В этом разделе показаны различные подходы к работе с цепочечными отображениями.
Пример симуляции внутренней цепочки поиска Python:
import builtins
pylookup = ChainMap(locals(), globals(), vars(builtins))
Пример, когда заданные пользователем аргументы командной строки имеют приоритет над переменными окружения, которые, в свою очередь, имеют приоритет над значениями по умолчанию:
import os, argparse
defaults = {'color': 'red', 'user': 'guest'}
parser = argparse.ArgumentParser()
parser.add_argument('-u', '--user')
parser.add_argument('-c', '--color')
namespace = parser.parse_args()
command_line_args = {k:v for k, v in vars(namespace).items() if v}
combined = ChainMap(command_line_args, os.environ, defaults)
print(combined['color'])
print(combined['user'])
Примеры шаблонов использования класса ChainMap для симуляции вложенных
контекстов:
c = ChainMap() # Создать корневой контекст
d = c.new_child() # Создать вложенный дочерний контекст
e = c.new_child() # Дочерний контекст c, независимый от d
e.maps[0] # Словарь текущего контекста – как locals() в Python
e.maps[-1] # Корневой контекст – как globals() в Python
e.parents # Цепочка объемлющих контекстов – как nonlocals в Python
d['x'] # Получить первый ключ в цепочке контекстов
d['x'] = 1 # Установить значение в текущем контексте
del d['x'] # Удалить из текущего контекста
list(d) # Все вложенные значения
k in d # Проверить все вложенные значения
len(d) # Количество вложенных значений
d.items() # Все вложенные элементы
dict(d) # Развернуть в обычный словарь
Класс ChainMap выполняет обновления (запись и удаление) только в
первом отображении цепочки, в то время как поиск просматривает всю цепочку. Однако,
если требуется глубокая запись и удаление, легко создать подкласс, который
обновляет ключи, найденные глубже в цепочке:
class DeepChainMap(ChainMap):
'Variant of ChainMap that allows direct updates to inner scopes'
def __setitem__(self, key, value):
for mapping in self.maps:
if key in mapping:
mapping[key] = value
return
self.maps[0][key] = value
def __delitem__(self, key):
for mapping in self.maps:
if key in mapping:
del mapping[key]
return
raise KeyError(key)
>>> d = DeepChainMap({'zebra': 'black'}, {'elephant': 'blue'}, {'lion': 'yellow'})
>>> d['lion'] = 'orange' # обновить существующий ключ на два уровня ниже
>>> d['snake'] = 'red' # новые ключи добавляются в самый верхний словарь
>>> del d['elephant'] # удалить существующий ключ на один уровень ниже
DeepChainMap({'zebra': 'black', 'snake': 'red'}, {}, {'lion': 'orange'})
8.3.2. Counter объекты¶Counter objects
Предоставляется инструмент счётчика для удобного и быстрого подсчёта. Например:
>>> # Подсчитать вхождения слов в списке
>>> cnt = Counter()
>>> for word in ['red', 'blue', 'red', 'green', 'blue', 'blue']:
... cnt[word] += 1
>>> cnt
Counter({'blue': 3, 'red': 2, 'green': 1})
>>> # Найти десять самых распространённых слов в «Гамлете»
>>> import re
>>> words = re.findall(r'\w+', open('hamlet.txt').read().lower())
>>> Counter(words).most_common(10)
[('the', 1143), ('and', 966), ('to', 762), ('of', 669), ('i', 631),
('you', 554), ('a', 546), ('my', 514), ('hamlet', 471), ('in', 451)]
-
class
collections.Counter([iterable-or-mapping])¶ Класс
Counterявляется подклассомdictдля подсчёта хешируемых объектов. Это неупорядоченная коллекция, в которой элементы хранятся в качестве ключей словаря, а их количество – в качестве значений словаря. Количество может быть любым целым числом, включая ноль и отрицательные значения. КлассCounterпохож на мешки или мультимножества в других языках.Элементы подсчитываются из итерируемого объекта или инициализируются из другого отображения (или счётчика):
>>> c = Counter() # новый пустой счётчик >>> c = Counter('gallahad') # новый счётчик из итерируемого объекта >>> c = Counter({'red': 4, 'blue': 2}) # новый счётчик из отображения >>> c = Counter(cats=4, dogs=8) # новый счётчик из именованных аргументов
Объекты Counter имеют интерфейс словаря, за исключением того, что они возвращают ноль для отсутствующих элементов вместо возбуждения
KeyError:>>> c = Counter(['eggs', 'ham']) >>> c['bacon'] # счёт отсутствующего элемента равен нулю 0
Установка количества в ноль не удаляет элемент из счётчика. Используйте
delдля полного удаления:>>> c['sausage'] = 0 # запись счётчика с нулевым значением >>> del c['sausage'] # del действительно удаляет запись
Новое в версии 3.1.
Объекты Counter поддерживают три метода в дополнение к тем, что доступны для всех словарей:
-
elements()¶ Возвращает итератор по элементам, повторяя каждый столько раз, сколько указано в его счётчике. Элементы возвращаются в произвольном порядке. Если счётчик элемента меньше единицы,
elements()игнорирует его.>>> c = Counter(a=4, b=2, c=0, d=-2) >>> sorted(c.elements()) ['a', 'a', 'a', 'a', 'b', 'b']
-
most_common([n])¶ Возвращает список из n наиболее часто встречающихся элементов и их количества, от наиболее частых к наименее частым. Если n опущено или
None,most_common()возвращает все элементы счётчика. Элементы с одинаковыми количествами упорядочиваются произвольно:>>> Counter('abracadabra').most_common(3) # doctest: +SKIP [('a', 5), ('r', 2), ('b', 2)]
-
subtract([iterable-or-mapping])¶ Элементы вычитаются из итерируемого объекта или из другого отображения (или счётчика). Подобно
dict.update(), но вычитает количества вместо замены. Как входные, так и выходные значения могут быть нулевыми или отрицательными.>>> c = Counter(a=4, b=2, c=0, d=-2) >>> d = Counter(a=1, b=2, c=3, d=4) >>> c.subtract(d) >>> c Counter({'a': 3, 'b': 0, 'c': -3, 'd': -6})
Новое в версии 3.2.
Обычные методы словарей доступны для объектов
Counter, за исключением двух, которые работают с счётчиками иначе.-
update([iterable-or-mapping])¶ Элементы подсчитываются из итерируемого объекта или добавляются из другого отображения (или счётчика). Как и
dict.update(), но увеличивает счётчики вместо их замены. Кроме того, итерируемый объект должен быть последовательностью элементов, а не последовательностью(key, value)пар.
-
Типичные приёмы работы с объектами Counter:
sum(c.values()) # сумма всех значений
c.clear() # сбросить все значения
list(c) # список уникальных элементов
set(c) # преобразовать в множество
dict(c) # преобразовать в обычный словарь
c.items() # преобразовать в список пар (elem, cnt)
Counter(dict(list_of_pairs)) # создать из списка пар (элемент, кол-во)
c.most_common()[:-n-1:-1] # n наименее частых элементов
+c # удалить нулевые и отрицательные значения
Для объединения объектов Counter в мультимножества (счётчики с положительными количествами) предоставляется несколько математических операций.
Сложение и вычитание комбинируют счётчики, складывая или вычитая количества
соответствующих элементов. Пересечение и объединение возвращают минимум и
максимум соответствующих количеств. Каждая операция может принимать входные данные со знаковыми
количествами, но в результате будут исключены значения с нулевыми или отрицательными количествами.
>>> c = Counter(a=3, b=1)
>>> d = Counter(a=1, b=2)
>>> c + d # сложение двух счётчиков: c[x] + d[x]
Counter({'a': 4, 'b': 3})
>>> c - d # вычитание (остаются только положительные значения)
Counter({'a': 2})
>>> c & d # пересечение: min(c[x], d[x]) doctest: +SKIP
Counter({'a': 1, 'b': 1})
>>> c | d # объединение: max(c[x], d[x])
Counter({'a': 3, 'b': 2})
Унарное сложение и вычитание – это сокращения для добавления пустого счётчика или вычитания из пустого счётчика.
>>> c = Counter(a=2, b=-4)
>>> +c
Counter({'a': 2})
>>> -c
Counter({'b': 4})
Новое в версии 3.3: Добавлена поддержка унарного плюса, унарного минуса и операций над мультимножествами на месте.
Примечание
Счётчики в первую очередь предназначены для работы с положительными целыми числами для представления текущих счётчиков; однако была предпринята осторожность, чтобы излишне не исключать варианты использования, требующие других типов или отрицательных значений. Чтобы помочь с такими вариантами, в этом разделе описаны минимальные ограничения по диапазону и типам.
- Сам класс
Counterявляется подклассом словаря без ограничений на ключи и значения. Значения должны быть числами, представляющими счётчики, но в поле значения можно хранить что угодно. - Метод
most_common()требует только упорядочиваемости значений. - Для операций на месте, таких как
c[key] += 1, тип значения должен поддерживать только сложение и вычитание. Так что дроби, числа с плавающей запятой и десятичные числа будут работать, и отрицательные значения поддерживаются. То же самое верно дляupdate()иsubtract(), которые допускают отрицательные и нулевые значения как для входных, так и для выходных данных. - Методы мультимножеств предназначены только для случаев использования с положительными значениями. Входные данные могут быть отрицательными или нулевыми, но создаются только выходные данные с положительными значениями. Ограничений на тип нет, но тип значения должен поддерживать сложение, вычитание и сравнение.
- Метод
elements()требует целочисленных счётчиков. Он игнорирует нулевые и отрицательные счётчики.
См. также
Класс Bag в Smalltalk.
Статья в Википедии о мультимножествах.
Мультимножества в C++: учебное пособие с примерами.
О математических операциях над мультимножествами и их применении см. Кнут, Дональд. Искусство программирования, том II, раздел 4.6.3, упражнение 19.
Для перечисления всех различных мультимножеств заданного размера над заданным набором элементов см.
itertools.combinations_with_replacement():map(Counter, combinations_with_replacement(‘ABC’, 2)) –> AA AB AC BB BC CC
8.3.3. deque объекты¶deque objects
-
class
collections.deque([iterable[, maxlen]])¶ Возвращает новый объект deque, инициализированный слева направо (с помощью
append()) данными из итерируемого объекта. Если итерируемый объект не указан, новый deque пуст.Deques представляют собой обобщение стеков и очередей (название произносится «дэк» и является сокращением от «двусторонняя очередь»). Deques поддерживают потокобезопасные и эффективные по памяти операции добавления и извлечения элементов с любого из концов очереди с примерно одинаковой производительностью O(1) в обоих направлениях.
Хотя объекты
listподдерживают аналогичные операции, они оптимизированы для быстрых операций фиксированной длины и влекут за собой затраты на перемещение памяти O(n) для операцийpop(0)иinsert(0, v), которые изменяют как размер, так и положение базового представления данных.Если maxlen не указан или равен
None, deques могут расти до произвольной длины. В противном случае deque ограничен заданной максимальной длиной. Как только deque ограниченной длины заполняется, при добавлении новых элементов соответствующее количество элементов отбрасывается с противоположного конца. Deque с ограниченной длиной предоставляют функциональность, аналогичную фильтруtailв Unix. Они также полезны для отслеживания транзакций и других пулов данных, где интерес представляет только самая последняя активность.Объекты deque поддерживают следующие методы:
-
append(x)¶ Добавляет x в правую часть deque.
-
appendleft(x)¶ Добавляет x в левую часть deque.
-
clear()¶ Удаляет все элементы из deque, после чего его длина равна 0.
-
copy()¶ Создаёт поверхностную копию deque.
Новое в версии 3.5.
-
count(x)¶ Подсчитывает количество элементов deque, равных x.
Новое в версии 3.2.
-
extend(iterable)¶ Расширяет правую часть deque, добавляя элементы из итерируемого объекта.
-
extendleft(iterable)¶ Расширяет левую часть deque, добавляя элементы из итерируемого объекта. Обратите внимание: последовательное добавление слева приводит к обращению порядка элементов в итерируемом объекте.
-
index(x[, start[, stop]])¶ Возвращает позицию x в deque (начиная с индекса start и до индекса stop). Возвращает первое совпадение или возбуждает
ValueError, если не найдено.Новое в версии 3.5.
-
insert(i, x)¶ Вставляет x в deque на позицию i.
Если вставка приведёт к тому, что ограниченный deque превысит maxlen, вызывается исключение
IndexError.Новое в версии 3.5.
-
pop()¶ Удаляет и возвращает элемент из правой части deque. Если элемент отсутствует, вызывает исключение
IndexError.
-
popleft()¶ Удаляет и возвращает элемент из левой части deque. Если элемент отсутствует, вызывает исключение
IndexError.
-
remove(value)¶ Удаляет первое вхождение значения. Если не найдено, вызывает исключение
ValueError.
-
reverse()¶ Переворачивает элементы deque на месте и возвращает
None.Новое в версии 3.2.
-
rotate(n)¶ Поворачивает deque на n шагов вправо. Если n отрицательно, поворачивает влево. Поворот на один шаг вправо эквивалентен:
d.appendleft(d.pop()).
Объекты deque также предоставляют один атрибут только для чтения:
-
maxlen¶ Максимальный размер дека или
None, если неограничен.Новое в версии 3.1.
-
В дополнение к вышеперечисленному, двусторонние очереди поддерживают итерацию, сериализацию, len(d), reversed(d), copy.copy(d), copy.deepcopy(d), проверку принадлежности с помощью оператора in и обращения по индексу, такие как d[-1]. Доступ по индексу выполняется за O(1) на обоих концах, но замедляется до O(n) в середине. Для быстрого произвольного доступа используйте списки.
Начиная с версии 3.5, деки поддерживают __add__(), __mul__() и __imul__().
Пример:
>>> from collections import deque
>>> d = deque('ghi') # создать новый deque с тремя элементами
>>> for elem in d: # обход элементов deque
... print(elem.upper())
G
H
I
>>> d.append('j') # добавить новый элемент справа
>>> d.appendleft('f') # добавить новый элемент слева
>>> d # показать представление deque
deque(['f', 'g', 'h', 'i', 'j'])
>>> d.pop() # вернуть и удалить правый элемент
'j'
>>> d.popleft() # вернуть и удалить левый элемент
'f'
>>> list(d) # вывести содержимое deque
['g', 'h', 'i']
>>> d[0] # посмотреть левый элемент
'g'
>>> d[-1] # посмотреть правый элемент
'i'
>>> list(reversed(d)) # вывести содержимое deque в обратном порядке
['i', 'h', 'g']
>>> 'h' in d # поиск в deque
True
>>> d.extend('jkl') # добавить несколько элементов за раз
>>> d
deque(['g', 'h', 'i', 'j', 'k', 'l'])
>>> d.rotate(1) # поворот вправо
>>> d
deque(['l', 'g', 'h', 'i', 'j', 'k'])
>>> d.rotate(-1) # поворот влево
>>> d
deque(['g', 'h', 'i', 'j', 'k', 'l'])
>>> deque(reversed(d)) # создать новую deque в обратном порядке
deque(['l', 'k', 'j', 'i', 'h', 'g'])
>>> d.clear() # очистить deque
>>> d.pop() # невозможно извлечь элемент из пустой deque
Traceback (most recent call last):
File "<pyshell#6>", line 1, in -toplevel-
d.pop()
IndexError: pop from an empty deque
>>> d.extendleft('abc') # extendleft() меняет порядок ввода на обратный
>>> d
deque(['c', 'b', 'a'])
8.3.3.1. deque Рецепты¶deque Recipes
В этом разделе рассматриваются различные подходы к работе с деками.
Деки с ограниченной длиной предоставляют функциональность, аналогичную фильтру tail в Unix:
def tail(filename, n=10):
'Return the last n lines of a file'
with open(filename) as f:
return deque(f, n)
Другой подход к использованию деков заключается в поддержании последовательности недавно добавленных элементов путем добавления справа и извлечения слева:
def moving_average(iterable, n=3):
# moving_average([40, 30, 50, 46, 39, 44]) --> 40.0 42.0 45.0 43.0
# http://en.wikipedia.org/wiki/Moving_average
it = iter(iterable)
d = deque(itertools.islice(it, n-1))
d.appendleft(0)
s = sum(d)
for elem in it:
s += elem - d.popleft()
d.append(elem)
yield s / n
Метод rotate() позволяет реализовать deque срезы и удаление. Например, чистая реализация del d[n] на Python использует метод rotate() для позиционирования элементов, которые нужно извлечь:
def delete_nth(d, n):
d.rotate(-n)
d.popleft()
d.rotate(n)
To implement deque slicing, use a similar approach applying
rotate() to bring a target element to the left side of the deque. Remove
old entries with popleft(), add new entries with extend(), and then
reverse the rotation.
With minor variations on that approach, it is easy to implement Forth style
stack manipulations such as dup, drop, swap, over, pick,
rot, and roll.
8.3.4. defaultdict объекты¶defaultdict objects
-
class
collections.defaultdict([default_factory[, ...]])¶ Возвращает новый объект, похожий на словарь.
defaultdictявляется подклассом встроенного классаdict. Он переопределяет один метод и добавляет одну изменяемую переменную экземпляра. Остальная функциональность такая же, как у классаdict, и здесь не описывается.Первый аргумент задает начальное значение для атрибута
default_factory; по умолчанию он равенNone. Все остальные аргументы обрабатываются так же, как если бы они были переданы конструкторуdict, включая именованные аргументы.defaultdictобъекты поддерживают следующий метод в дополнение к стандартным операциямdict:-
__missing__(key)¶ Если атрибут
default_factoryравенNone, возникает исключениеKeyErrorс аргументом key.Если
default_factoryне равенNone, он вызывается без аргументов для предоставления значения по умолчанию для заданного key; это значение вставляется в словарь для key и возвращается.Если вызов
default_factoryвызывает исключение, это исключение распространяется без изменений.Этот метод вызывается методом
__getitem__()классаdict, когда запрошенный ключ не найден; все, что он возвращает или возбуждает, затем возвращается или возбуждается методом__getitem__().Обратите внимание, что
__missing__()не вызывается ни для каких операций, кроме__getitem__(). Это означает, чтоget()будет, как обычные словари, возвращатьNoneпо умолчанию, а не использоватьdefault_factory.
defaultdictобъекты поддерживают следующую переменную экземпляра:-
default_factory¶ Этот атрибут используется методом
__missing__(); он инициализируется из первого аргумента конструктора, если он передан, илиNone, если не передан.
-
8.3.4.1. defaultdict Примеры¶defaultdict Examples
Используя list в качестве default_factory, легко сгруппировать последовательность пар ключ-значение в словарь списков:
>>> s = [('yellow', 1), ('blue', 2), ('yellow', 3), ('blue', 4), ('red', 1)]
>>> d = defaultdict(list)
>>> for k, v in s:
... d[k].append(v)
...
>>> sorted(d.items())
[('blue', [2, 4]), ('red', [1]), ('yellow', [1, 3])]
Когда ключ встречается впервые, его еще нет в отображении; поэтому запись автоматически создается с помощью функции default_factory, которая возвращает пустой list. Затем операция list.append() присоединяет значение к новому списку. Когда ключи встречаются снова, поиск выполняется обычным образом (возвращается список для этого ключа), и операция list.append() добавляет еще одно значение в список. Этот метод проще и быстрее, чем эквивалентный метод с использованием dict.setdefault():
>>> d = {}
>>> for k, v in s:
... d.setdefault(k, []).append(v)
...
>>> sorted(d.items())
[('blue', [2, 4]), ('red', [1]), ('yellow', [1, 3])]
Установка default_factory в int делает
defaultdict удобным для подсчёта (как bag или мультимножество в других
языках):
>>> s = 'mississippi'
>>> d = defaultdict(int)
>>> for k in s:
... d[k] += 1
...
>>> sorted(d.items())
[('i', 4), ('m', 1), ('p', 2), ('s', 4)]
Когда буква встречается впервые, в отображении она отсутствует, поэтому
функция default_factory вызывает int() для получения нулевого значения по умолчанию.
Затем операция инкремента наращивает счётчик для каждой буквы.
Функция int(), всегда возвращающая ноль, – это всего лишь частный случай
константных функций. Более быстрый и гибкий способ создания константных функций
– использовать лямбда-функцию, которая может возвращать любое константное значение (не только
ноль):
>>> def constant_factory(value):
... return lambda: value
>>> d = defaultdict(constant_factory('<missing>'))
>>> d.update(name='John', action='ran')
>>> '%(name)s %(action)s to %(object)s' % d
'John ran to <missing>'
Установка default_factory в set делает
defaultdict удобным для построения словаря множеств:
>>> s = [('red', 1), ('blue', 2), ('red', 3), ('blue', 4), ('red', 1), ('blue', 4)]
>>> d = defaultdict(set)
>>> for k, v in s:
... d[k].add(v)
...
>>> sorted(d.items())
[('blue', {2, 4}), ('red', {1, 3})]
8.3.5. namedtuple() Фабричная функция для кортежей с именованными полями¶namedtuple() Factory Function for Tuples with Named Fields
Именованные кортежи придают смысл каждой позиции в кортеже и позволяют писать более читаемый, самодокументируемый код. Их можно использовать везде, где используются обычные кортежи, и они добавляют возможность доступа к полям по имени, а не по индексу.
-
collections.namedtuple(typename, field_names, verbose=False, rename=False)¶ Возвращает новый подкласс кортежа с именем typename. Новый подкласс используется для создания объектов, подобных кортежам, поля которых доступны через атрибуты, а также поддерживают индексацию и итерацию. Экземпляры подкласса также имеют полезную docstring (с именем типа и именами полей) и полезный метод
__repr__(), который выводит содержимое кортежа в форматеname=value.field_names – это одна строка, в которой имена полей разделены пробелами и/или запятыми, например
'x y'или'x, y'. В качестве альтернативы, field_names может быть последовательностью строк, такой как['x', 'y'].В качестве имени поля может использоваться любой допустимый идентификатор Python, кроме имён, начинающихся с подчёркивания. Допустимые идентификаторы состоят из букв, цифр и символов подчёркивания, но не начинаются с цифры или подчёркивания и не могут быть
keyword, например class, for, return, global, pass, или raise.Если rename равен true, недопустимые имена полей автоматически заменяются позиционными именами. Например,
['abc', 'def', 'ghi', 'abc']преобразуется в['abc', '_1', 'ghi', '_3'], устраняя ключевое словоdefи дублирующееся имя поляabc.Если verbose равно true, определение класса выводится после его создания. Эта опция устарела; вместо этого проще вывести атрибут
_source.Экземпляры именованных кортежей не имеют собственных словарей, поэтому они легковесны и потребляют не больше памяти, чем обычные кортежи.
Изменено в версии 3.1: Добавлена поддержка rename.
>>> # Базовый пример
>>> Point = namedtuple('Point', ['x', 'y'])
>>> p = Point(11, y=22) # создать экземпляр с позиционными или именованными аргументами
>>> p[0] + p[1] # доступен по индексу, как обычный кортеж (11, 22)
33
>>> x, y = p # распаковывается как обычный кортеж
>>> x, y
(11, 22)
>>> p.x + p.y # поля также доступны по имени
33
>>> p # читаемое __repr__ в стиле name=value
Point(x=11, y=22)
Именованные кортежи особенно полезны для присваивания имён полей кортежам результатов, возвращаемых
модулями csv или sqlite3:
EmployeeRecord = namedtuple('EmployeeRecord', 'name, age, title, department, paygrade')
import csv
for emp in map(EmployeeRecord._make, csv.reader(open("employees.csv", "rb"))):
print(emp.name, emp.title)
import sqlite3
conn = sqlite3.connect('/companydata')
cursor = conn.cursor()
cursor.execute('SELECT name, age, title, department, paygrade FROM employees')
for emp in map(EmployeeRecord._make, cursor.fetchall()):
print(emp.name, emp.title)
В дополнение к методам, унаследованным от кортежей, именованные кортежи поддерживают три дополнительных метода и два атрибута. Чтобы избежать конфликтов с именами полей, имена методов и атрибутов начинаются с подчёркивания.
-
classmethod
somenamedtuple._make(iterable)¶ Метод класса, который создаёт новый экземпляр из существующей последовательности или итерируемого объекта.
>>> t = [11, 22] >>> Point._make(t) Point(x=11, y=22)
-
somenamedtuple._asdict()¶ Возвращает новый
OrderedDict, который отображает имена полей в соответствующие значения:>>> p = Point(x=11, y=22) >>> p._asdict() OrderedDict([('x', 11), ('y', 22)])
Изменено в версии 3.1: Возвращает
OrderedDictвместо обычногоdict.
-
somenamedtuple._replace(**kwargs)¶ Возвращает новый экземпляр именованного кортежа, заменяя указанные поля новыми значениями:
>>> p = Point(x=11, y=22) >>> p._replace(x=33) Point(x=33, y=22) >>> for partnum, record in inventory.items(): ... inventory[partnum] = record._replace(price=newprices[partnum], timestamp=time.now())
-
somenamedtuple._source¶ Строка с исходным кодом на чистом Python, используемым для создания класса именованного кортежа. Этот исходный код делает именованный кортеж самодокументируемым. Его можно вывести, выполнить с помощью
exec()или сохранить в файл и импортировать.Новое в версии 3.3.
-
somenamedtuple._fields¶ Кортеж строк с именами полей. Полезен для интроспекции и для создания новых типов именованных кортежей из существующих.
>>> p._fields # просмотреть имена полей ('x', 'y') >>> Color = namedtuple('Color', 'red green blue') >>> Pixel = namedtuple('Pixel', Point._fields + Color._fields) >>> Pixel(11, 22, 128, 255, 0) Pixel(x=11, y=22, red=128, green=255, blue=0)
Чтобы получить поле, имя которого хранится в строке, используйте функцию getattr()
:
>>> getattr(p, 'x')
11
Чтобы преобразовать словарь в именованный кортеж, используйте оператор двойной звёздочки (как описано в разделе Распаковка списков аргументов):
>>> d = {'x': 11, 'y': 22}
>>> Point(**d)
Point(x=11, y=22)
Поскольку именованный кортеж – это обычный класс Python, легко добавить или изменить функциональность с помощью подкласса. Вот как добавить вычисляемое поле и формат печати с фиксированной шириной:
>>> class Point(namedtuple('Point', 'x y')):
... __slots__ = ()
... @property
... def hypot(self):
... return (self.x ** 2 + self.y ** 2) ** 0.5
... def __str__(self):
... return 'Point: x=%6.3f y=%6.3f hypot=%6.3f' % (self.x, self.y, self.hypot)
>>> for p in Point(3, 4), Point(14, 5/7):
... print(p)
Point: x= 3.000 y= 4.000 hypot= 5.000
Point: x=14.000 y= 0.714 hypot=14.018
Подкласс, показанный выше, устанавливает __slots__ в пустой кортеж. Это помогает
снизить требования к памяти, предотвращая создание словарей экземпляров.
Наследование не подходит для добавления новых хранимых полей. Вместо этого просто
создайте новый тип именованного кортежа из атрибута _fields:
>>> Point3D = namedtuple('Point3D', Point._fields + ('z',))
Докстринги можно настроить, напрямую присваивая значения полям __doc__
:
>>> Book = namedtuple('Book', ['id', 'title', 'authors'])
>>> Book.__doc__ += ': Hardcover book in active collection'
>>> Book.id.__doc__ = '13-digit ISBN'
>>> Book.title.__doc__ = 'Title of first printing'
>>> Book.authors.__doc__ = 'List of authors sorted by last name'
Изменено в версии 3.5: Докстринги свойств стали доступны для записи.
Значения по умолчанию могут быть реализованы с помощью _replace() для настройки экземпляра-прототипа:
>>> Account = namedtuple('Account', 'owner balance transaction_count')
>>> default_account = Account('<owner name>', 0.0, 0)
>>> johns_account = default_account._replace(owner='John')
>>> janes_account = default_account._replace(owner='Jane')
См. также
- Рецепт абстрактного базового класса именованного кортежа с примесью метакласса от Яна Калишевского. Кроме предоставления абстрактного базового класса для именованных кортежей, он также поддерживает альтернативный конструктор на основе метакласса, что удобно для случаев, когда именованные кортежи наследуются.
8.3.6. OrderedDict объекты¶OrderedDict objects
Упорядоченные словари работают как обычные словари, но запоминают порядок, в котором были добавлены элементы. При итерации по упорядоченному словарю элементы возвращаются в том порядке, в котором их ключи были впервые добавлены.
-
class
collections.OrderedDict([items])¶ Возвращает экземпляр подкласса dict, поддерживающего обычные методы
dict. OrderedDict – это словарь, который запоминает порядок, в котором ключи были впервые вставлены. Если новая запись перезаписывает существующую, исходная позиция вставки не изменяется. Удаление записи и повторная вставка переместит её в конец.Новое в версии 3.1.
-
popitem(last=True)¶ Метод
popitem()для упорядоченных словарей возвращает и удаляет пару (ключ, значение). Пары возвращаются в порядке LIFO, если last истинно, или в порядке FIFO, если ложно.
-
move_to_end(key, last=True)¶ Перемещает существующий ключ в начало или конец упорядоченного словаря. Элемент перемещается в конец, если last истинно (по умолчанию), или в начало, если last ложно. Вызывает
KeyError, если ключ не существует:>>> d = OrderedDict.fromkeys('abcde') >>> d.move_to_end('b') >>> ''.join(d.keys()) 'acdeb' >>> d.move_to_end('b', last=False) >>> ''.join(d.keys()) 'bacde'
Новое в версии 3.2.
-
Помимо обычных методов отображений, упорядоченные словари также поддерживают
обратную итерацию с помощью reversed().
Проверки равенства между объектами OrderedDict чувствительны к порядку
и реализованы как list(od1.items())==list(od2.items()).
Проверки равенства между объектами OrderedDict и другими
объектами Mapping нечувствительны к порядку, как обычные
словари. Это позволяет подставлять объекты OrderedDict
в любом месте, где используется обычный словарь.
Конструктор OrderedDict и метод update() оба принимают
именованные аргументы, но их порядок теряется, поскольку семантика вызова функций Python
передаёт именованные аргументы через обычный неупорядоченный словарь.
Изменено в версии 3.5: Представления представления элементов, ключей и значений
объекта OrderedDict теперь поддерживают обратную итерацию с помощью reversed().
8.3.6.1. OrderedDict Примеры и рецепты¶OrderedDict Examples and Recipes
Поскольку упорядоченный словарь запоминает порядок вставки, его можно использовать в сочетании с сортировкой для создания отсортированного словаря:
>>> # обычный неотсортированный словарь
>>> d = {'banana': 3, 'apple': 4, 'pear': 1, 'orange': 2}
>>> # словарь, отсортированный по ключу
>>> OrderedDict(sorted(d.items(), key=lambda t: t[0]))
OrderedDict([('apple', 4), ('banana', 3), ('orange', 2), ('pear', 1)])
>>> # словарь, отсортированный по значению
>>> OrderedDict(sorted(d.items(), key=lambda t: t[1]))
OrderedDict([('pear', 1), ('orange', 2), ('banana', 3), ('apple', 4)])
>>> # словарь, отсортированный по длине строки ключа
>>> OrderedDict(sorted(d.items(), key=lambda t: len(t[0])))
OrderedDict([('pear', 1), ('apple', 4), ('orange', 2), ('banana', 3)])
Новые отсортированные словари сохраняют порядок сортировки при удалении записей. Но при добавлении новых ключей они добавляются в конец, и сортировка не сохраняется.
Также несложно создать вариант упорядоченного словаря, который запоминает порядок, в котором ключи были в последний раз вставлены. Если новая запись перезаписывает существующую, исходная позиция вставки меняется и перемещается в конец:
class LastUpdatedOrderedDict(OrderedDict):
'Store items in the order the keys were last added'
def __setitem__(self, key, value):
if key in self:
del self[key]
OrderedDict.__setitem__(self, key, value)
Упорядоченный словарь можно комбинировать с классом Counter, чтобы счётчик запоминал порядок, в котором элементы встречаются впервые:
class OrderedCounter(Counter, OrderedDict):
'Counter that remembers the order elements are first encountered'
def __repr__(self):
return '%s(%r)' % (self.__class__.__name__, OrderedDict(self))
def __reduce__(self):
return self.__class__, (OrderedDict(self),)
8.3.7. UserDict объекты¶UserDict objects
Класс UserDict действует как обёртка вокруг объектов-словарей.
Необходимость в этом классе отчасти утрачена из-за возможности
наследовать напрямую от dict; однако с ним может быть проще
работать, поскольку базовый словарь доступен как атрибут.
-
class
collections.UserDict([initialdata])¶ Класс, имитирующий словарь. Содержимое экземпляра хранится в обычном словаре, доступном через атрибут
dataэкземпляровUserDict. Если указан параметр initialdata, тоdataинициализируется его содержимым; обратите внимание, что ссылка на initialdata не сохраняется, что позволяет использовать её для других целей.В дополнение к поддержке методов и операций отображений, экземпляры
UserDictпредоставляют следующий атрибут:
8.3.8. UserList объекты¶UserList objects
Этот класс действует как обёртка вокруг объектов-списков. Это полезный базовый класс для собственных классов, подобных спискам, которые могут наследовать от них и переопределять существующие методы или добавлять новые. Таким образом, можно добавлять новое поведение к спискам.
Необходимость в этом классе отчасти утрачена из-за возможности
наследовать напрямую от list; однако с этим классом может быть проще
работать, поскольку базовый список доступен как атрибут.
-
class
collections.UserList([list])¶ Класс, который имитирует список. Содержимое экземпляра хранится в обычном списке, доступном через атрибут
dataэкземпляровUserList. Содержимое экземпляра изначально устанавливается как копия list, по умолчанию – пустой список[]. list может быть любым итерируемым объектом, например настоящим списком Python или объектомUserList.В дополнение к поддержке методов и операций изменяемых последовательностей, экземпляры
UserListпредоставляют следующий атрибут:
Требования к подклассам: Ожидается, что подклассы UserList
предоставляют конструктор, который можно вызывать без аргументов или с одним
аргументом. Операции со списками, возвращающие новую последовательность, пытаются создать
экземпляр фактического класса реализации. Для этого предполагается, что конструктор
можно вызвать с одним параметром – объектом-последовательностью,
используемым как источник данных.
Если производный класс не желает соблюдать это требование, все специальные методы, поддерживаемые этим классом, должны быть переопределены; обратитесь к исходному коду за информацией о методах, которые необходимо предоставить в этом случае.
8.3.9. UserString объекты¶UserString objects
Класс UserString выступает в качестве обёртки для строковых объектов. Необходимость в этом классе частично отпала благодаря возможности создания подклассов непосредственно от str; однако с этим классом может быть проще работать, так как базовая строка доступна в виде атрибута.
-
class
collections.UserString([sequence])¶ Класс, который имитирует строку или объект строки Unicode. Содержимое экземпляра хранится в обычном строковом объекте, доступном через атрибут
dataэкземпляровUserString. Изначально содержимое экземпляра устанавливается в копию sequence. sequence может быть экземпляромbytes,str,UserString(или подкласса) или произвольной последовательностью, которую можно преобразовать в строку с помощью встроенной функцииstr().Изменено в версии 3.5: Новые методы
__getnewargs__,__rmod__,casefold,format_map,isprintableиmaketrans.