stdlib2.md
1> **Источник:** https://python-all.ru/3.2/tutorial/stdlib2.html2>3> «Документация Python на русском» – неофициальный перевод официальной документации Python: версии от 2.6 до 3.16, полнотекстовый поиск, английский оригинал рядом с переводом. Эта Markdown-версия страницы предназначена для работы с LLM: вставьте её в ChatGPT, Claude или Cursor.45---67# 11. Краткий обзор стандартной библиотеки – Часть II89Этот второй обзор охватывает более продвинутые модули, поддерживающие потребности профессионального программирования. Такие модули редко встречаются в небольших скриптах.1011## 11.1. Форматирование вывода1213Модуль [`reprlib`](https://python-all.ru/3.2/library/reprlib.html#module-reprlib) предоставляет версию [`repr()`](https://python-all.ru/3.2/library/functions.html#repr), адаптированную для сокращённого отображения больших или глубоко вложенных контейнеров:1415```python16>>> import reprlib17>>> reprlib.repr(set('supercalifragilisticexpialidocious'))18"set(['a', 'c', 'd', 'e', 'f', 'g', ...])"19```2021Модуль [`pprint`](https://python-all.ru/3.2/library/pprint.html#module-pprint) предлагает более сложный контроль над выводом как встроенных, так и определённых пользователем объектов таким образом, чтобы они были читаемы интерпретатором. Если результат длиннее одной строки, «pretty printer» добавляет разрывы строк и отступы, чтобы более наглядно показать структуру данных:2223```python24>>> import pprint25>>> t = [[[['black', 'cyan'], 'white', ['green', 'red']], [['magenta',26... 'yellow'], 'blue']]]27...28>>> pprint.pprint(t, width=30)29[[[['black', 'cyan'],30 'white',31 ['green', 'red']],32 [['magenta', 'yellow'],33 'blue']]]34```3536Модуль [`textwrap`](https://python-all.ru/3.2/library/textwrap.html#module-textwrap) форматирует абзацы текста, чтобы они помещались в заданную ширину экрана:3738```python39>>> import textwrap40>>> doc = """The wrap() method is just like fill() except that it returns41... a list of strings instead of one big string with newlines to separate42... the wrapped lines."""43...44>>> print(textwrap.fill(doc, width=40))45The wrap() method is just like fill()46except that it returns a list of strings47instead of one big string with newlines48to separate the wrapped lines.49```5051Модуль [`locale`](https://python-all.ru/3.2/library/locale.html#module-locale) предоставляет доступ к базе данных форматов данных, зависящих от культурной среды. Атрибут grouping функции format модуля locale предоставляет прямой способ форматирования чисел с разделителями групп:5253```python54>>> import locale55>>> locale.setlocale(locale.LC_ALL, 'English_United States.1252')56'English_United States.1252'57>>> conv = locale.localeconv() # получить отображение соглашений58>>> x = 1234567.859>>> locale.format("%d", x, grouping=True)60'1,234,567'61>>> locale.format_string("%s%.*f", (conv['currency_symbol'],62... conv['frac_digits'], x), grouping=True)63'$1,234,567.80'64```6566## 11.2. Шаблоны6768Модуль [`string`](https://python-all.ru/3.2/library/string.html#module-string) содержит универсальный класс `Template` с упрощённым синтаксисом, подходящим для редактирования конечными пользователями. Это позволяет пользователям настраивать свои приложения без необходимости изменять само приложение.6970Формат использует имена-заполнители, образованные `$` с допустимыми идентификаторами Python (буквенно-цифровые символы и подчёркивания). Заключение заполнителя в фигурные скобки позволяет сразу за ним следовать дополнительным буквенно-цифровым символам без пробелов. Написание `$$` создаёт один экранированный `$`:7172```python73>>> from string import Template74>>> t = Template('${village}folk send $$10 to $cause.')75>>> t.substitute(village='Nottingham', cause='the ditch fund')76'Nottinghamfolk send $10 to the ditch fund.'77```7879Метод `substitute()` вызывает [`KeyError`](https://python-all.ru/3.2/library/exceptions.html#KeyError), если плейсхолдер не передан в словаре или в виде именованного аргумента. Для приложений типа слияния почты данные, предоставленные пользователем, могут быть неполными, и метод `safe_substitute()` может оказаться более подходящим – он оставляет плейсхолдеры без изменений, если данные отсутствуют:8081```python82>>> t = Template('Return the $item to $owner.')83>>> d = dict(item='unladen swallow')84>>> t.substitute(d)85Traceback (most recent call last):86 ...87KeyError: 'owner'88>>> t.safe_substitute(d)89'Return the unladen swallow to $owner.'90```9192Подклассы Template могут задавать собственный разделитель. Например, утилита пакетного переименования для просмотра фотографий может использовать знаки процента для заполнителей, таких как текущая дата, номер изображения по порядку или формат файла:9394```python95>>> import time, os.path96>>> photofiles = ['img_1074.jpg', 'img_1076.jpg', 'img_1077.jpg']97>>> class BatchRename(Template):98... delimiter = '%'99>>> fmt = input('Enter rename style (%d-date %n-seqnum %f-format): ')100Enter rename style (%d-date %n-seqnum %f-format): Ashley_%n%f101102>>> t = BatchRename(fmt)103>>> date = time.strftime('%d%b%y')104>>> for i, filename in enumerate(photofiles):105... base, ext = os.path.splitext(filename)106... newname = t.substitute(d=date, n=i, f=ext)107... print('{0} --> {1}'.format(filename, newname))108109img_1074.jpg --> Ashley_0.jpg110img_1076.jpg --> Ashley_1.jpg111img_1077.jpg --> Ashley_2.jpg112```113114Другое применение шаблонов – отделение логики программы от деталей нескольких выходных форматов. Это позволяет подставлять пользовательские шаблоны для XML-файлов, обычных текстовых отчётов и HTML-отчётов.115116## 11.3. Работа с двоичными структурами данных117118Модуль [`struct`](https://python-all.ru/3.2/library/struct.html#module-struct) предоставляет функции `pack()` и `unpack()` для работы с бинарными форматами записей переменной длины. Следующий пример показывает, как пройтись по заголовкам ZIP-файла без использования модуля [`zipfile`](https://python-all.ru/3.2/library/zipfile.html#module-zipfile). Коды упаковки `"H"` и `"I"` представляют двух- и четырёхбайтовые беззнаковые числа соответственно. `"<"` указывает, что они имеют стандартный размер и порядок байтов от младшего к старшему:119120```python121import struct122123data = open('myfile.zip', 'rb').read()124start = 0125for i in range(3): # показать первые 3 заголовка файла126 start += 14127 fields = struct.unpack('<IIIHH', data[start:start+16])128 crc32, comp_size, uncomp_size, filenamesize, extra_size = fields129130 start += 16131 filename = data[start:start+filenamesize]132 start += filenamesize133 extra = data[start:start+extra_size]134 print(filename, hex(crc32), comp_size, uncomp_size)135136 start += extra_size + comp_size # перейти к следующему заголовку137```138139## 11.4. Многопоточность140141Многопоточность – это техника разделения задач, не зависящих последовательно друг от друга. Потоки можно использовать для повышения отзывчивости приложений, принимающих пользовательский ввод, пока другие задачи выполняются в фоне. Смежный случай использования – выполнение операций ввода-вывода параллельно с вычислениями в другом потоке.142143Следующий код показывает, как высокоуровневый модуль [`threading`](https://python-all.ru/3.2/library/threading.html#module-threading) может выполнять задачи в фоне, в то время как основная программа продолжает работу:144145```python146import threading, zipfile147148class AsyncZip(threading.Thread):149 def __init__(self, infile, outfile):150 threading.Thread.__init__(self)151 self.infile = infile152 self.outfile = outfile153 def run(self):154 f = zipfile.ZipFile(self.outfile, 'w', zipfile.ZIP_DEFLATED)155 f.write(self.infile)156 f.close()157 print('Finished background zip of:', self.infile)158159background = AsyncZip('mydata.txt', 'myarchive.zip')160background.start()161print('The main program continues to run in foreground.')162163background.join() # Дождаться завершения фоновой задачи164print('Main program waited until background was done.')165```166167Основная сложность многопоточных приложений – координация потоков, которые совместно используют данные или другие ресурсы. Для этого модуль threading предоставляет ряд примитивов синхронизации, включая блокировки, события, условные переменные и семафоры.168169Хотя эти инструменты мощные, небольшие ошибки проектирования могут привести к проблемам, которые трудно воспроизвести. Поэтому предпочтительный подход к координации задач – сосредоточить весь доступ к ресурсу в одном потоке, а затем использовать модуль [`queue`](https://python-all.ru/3.2/library/queue.html#module-queue) для подачи запросов от других потоков в этот поток. Приложения, использующие объекты `Queue` для межпоточного взаимодействия и координации, проще проектировать, они более читаемы и надёжны.170171## 11.5. Журналирование172173Модуль [`logging`](https://python-all.ru/3.2/library/logging.html#module-logging) предлагает полнофункциональную и гибкую систему журналирования. В простейшем случае сообщения журнала отправляются в файл или в `sys.stderr`:174175```python176import logging177logging.debug('Debugging information')178logging.info('Informational message')179logging.warning('Warning:config file %s not found', 'server.conf')180logging.error('Error occurred')181logging.critical('Critical error -- shutting down')182```183184Это даёт следующий вывод:185186```text187WARNING:root:Warning:config file server.conf not found188ERROR:root:Error occurred189CRITICAL:root:Critical error -- shutting down190```191192По умолчанию информационные и отладочные сообщения подавляются, а вывод направляется в стандартный поток ошибок. Другие варианты вывода включают маршрутизацию сообщений по электронной почте, через датаграммы, сокеты или на HTTP-сервер. Новые фильтры могут выбирать различную маршрутизацию в зависимости от приоритета сообщения: `DEBUG`, `INFO`, `WARNING`, `ERROR` и `CRITICAL`.193194Система логирования может быть настроена непосредственно из Python или загружена из редактируемого пользователем конфигурационного файла для индивидуальной настройки без изменения приложения.195196## 11.6. Слабые ссылки197198Python выполняет автоматическое управление памятью (подсчёт ссылок для большинства объектов и [*сборка мусора*](https://python-all.ru/3.2/glossary.html#term-garbage-collection) для устранения циклов). Память освобождается вскоре после удаления последней ссылки на неё.199200Этот подход хорошо работает для большинства приложений, но иногда возникает необходимость отслеживать объекты только до тех пор, пока они используются чем-то другим. К сожалению, простое отслеживание создаёт ссылку, которая делает их постоянными. Модуль [`weakref`](https://python-all.ru/3.2/library/weakref.html#module-weakref) предоставляет инструменты для отслеживания объектов без создания ссылки. Когда объект больше не нужен, он автоматически удаляется из таблицы слабых ссылок, и для объектов weakref вызывается колбэк. Типичные применения включают кэширование объектов, создание которых дорого обходится:201202```python203>>> import weakref, gc204>>> class A:205... def __init__(self, value):206... self.value = value207... def __repr__(self):208... return str(self.value)209...210>>> a = A(10) # создать ссылку211>>> d = weakref.WeakValueDictionary()212>>> d['primary'] = a # не создаёт ссылку213>>> d['primary'] # получить объект, если он ещё существует21410215>>> del a # удалить единственную ссылку216>>> gc.collect() # запустить сборку мусора немедленно2170218>>> d['primary'] # запись была автоматически удалена219Traceback (most recent call last):220 File "<stdin>", line 1, in <module>221 d['primary'] # запись была автоматически удалена222 File "C:/python31/lib/weakref.py", line 46, in __getitem__223 o = self.data[key]()224KeyError: 'primary'225```226227## 11.7. Инструменты для работы со списками228229Многие потребности в структурах данных можно удовлетворить с помощью встроенного типа list. Однако иногда возникает необходимость в альтернативных реализациях с другими компромиссами по производительности.230231Модуль [`array`](https://python-all.ru/3.2/library/array.html#module-array) предоставляет объект [`array()`](https://python-all.ru/3.2/library/array.html#module-array), похожий на список, но хранящий только однородные данные и более компактно. Следующий пример показывает массив чисел, хранящихся как двухбайтовые беззнаковые бинарные числа (код типа `"H"`), а не как обычные 16 байт на элемент для обычных списков объектов Python int:232233```python234>>> from array import array235>>> a = array('H', [4000, 10, 700, 22222])236>>> sum(a)23726932238>>> a[1:3]239array('H', [10, 700])240```241242Модуль [`collections`](https://python-all.ru/3.2/library/collections.html#module-collections) предоставляет объект `deque()`, который похож на список, но с более быстрыми добавлением и извлечением слева и более медленным поиском в середине. Эти объекты хорошо подходят для реализации очередей и поиска в ширину по деревьям:243244```python245>>> from collections import deque246>>> d = deque(["task1", "task2", "task3"])247>>> d.append("task4")248>>> print("Handling", d.popleft())249Handling task1250```251252```python253unsearched = deque([starting_node])254def breadth_first_search(unsearched):255 node = unsearched.popleft()256 for m in gen_moves(node):257 if is_goal(m):258 return m259 unsearched.append(m)260```261262В дополнение к альтернативным реализациям списков, библиотека также предлагает другие инструменты, такие как модуль [`bisect`](https://python-all.ru/3.2/library/bisect.html#module-bisect) с функциями для работы с отсортированными списками:263264```python265>>> import bisect266>>> scores = [(100, 'perl'), (200, 'tcl'), (400, 'lua'), (500, 'python')]267>>> bisect.insort(scores, (300, 'ruby'))268>>> scores269[(100, 'perl'), (200, 'tcl'), (300, 'ruby'), (400, 'lua'), (500, 'python')]270```271272Модуль [`heapq`](https://python-all.ru/3.2/library/heapq.html#module-heapq) предоставляет функции для реализации куч на основе обычных списков. Элемент с наименьшим значением всегда находится на нулевой позиции. Это полезно для приложений, которые многократно обращаются к наименьшему элементу, но не хотят выполнять полную сортировку списка:273274```python275>>> from heapq import heapify, heappop, heappush276>>> data = [1, 3, 5, 7, 9, 2, 4, 6, 8, 0]277>>> heapify(data) # перестроить список в порядке кучи278>>> heappush(data, -5) # добавить новую запись279>>> [heappop(data) for i in range(3)] # извлечь три наименьших элемента280[-5, 0, 1]281```282283## 11.8. Десятичная арифметика с плавающей запятой284285Модуль [`decimal`](https://python-all.ru/3.2/library/decimal.html#module-decimal) предлагает тип данных `Decimal` для десятичной арифметики с плавающей точкой. По сравнению со встроенной реализацией двоичной плавающей точки [`float`](https://python-all.ru/3.2/library/functions.html#float), этот класс особенно полезен для286287- финансовых приложений и других случаев, требующих точного десятичного представления,288- контроля точности,289- контроля округления для соблюдения юридических или нормативных требований,290- отслеживания значащих десятичных разрядов, или291- приложений, в которых пользователь ожидает, что результаты будут соответствовать вычислениям, выполненным вручную.292293Например, расчёт налога в 5% на плату за телефон в 70 центов даёт разные результаты в десятичной и двоичной арифметике с плавающей запятой. Разница становится существенной, если результаты округляются до ближайшего цента:294295```python296>>> from decimal import *297>>> round(Decimal('0.70') * Decimal('1.05'), 2)298Decimal('0.74')299>>> round(.70 * 1.05, 2)3000.73301```302303Результат `Decimal` сохраняет конечный ноль, автоматически предполагая точность в четыре знака от сомножителей с точностью в два знака. Decimal воспроизводит математику так, как её делают вручную, и избегает проблем, возникающих, когда двоичная плавающая точка не может точно представить десятичные величины.304305Точное представление позволяет классу `Decimal` выполнять вычисления по модулю и проверки равенства, которые непригодны для двоичной плавающей точки:306307```python308>>> Decimal('1.00') % Decimal('.10')309Decimal('0.00')310>>> 1.00 % 0.103110.09999999999999995312313>>> sum([Decimal('0.1')]*10) == Decimal('1.0')314True315>>> sum([0.1]*10) == 1.0316False317```318319Модуль [`decimal`](https://python-all.ru/3.2/library/decimal.html#module-decimal) предоставляет арифметику с требуемой точностью:320321```python322>>> getcontext().prec = 36323>>> Decimal(1) / Decimal(7)324Decimal('0.142857142857142857142857142857142857')325```326