HOWTO получение интернет-ресурсов с помощью пакета urllib¶HOWTO Fetch Internet Resources Using The urllib Package

Введение¶Introduction

urllib.request – это модуль Python для получения URL (Uniform Resource Locators). Он предоставляет очень простой интерфейс в виде функции urlopen. Она позволяет получать URL с использованием различных протоколов. Также доступен несколько более сложный интерфейс для обработки типовых ситуаций, таких как базовая аутентификация, куки, прокси и т. д. Они реализованы через объекты, называемые обработчиками и открывателями.

urllib.request поддерживает получение URL для множества «схем URL» (определяемых строкой перед ":" в URL – например, "ftp" – это схема URL для "ftp://python.org/") с использованием соответствующих сетевых протоколов (например, FTP, HTTP). Данное руководство сосредоточено на наиболее распространённом случае – HTTP.

Для простых случаев urlopen очень прост в использовании. Но как только при открытии HTTP-URL возникают ошибки или нестандартные ситуации, потребуется некоторое понимание протокола передачи гипертекста (HTTP). Наиболее полным и авторитетным справочником по HTTP является RFC 2616. Это технический документ, не предназначенный для лёгкого чтения. Данное HOWTO призвано проиллюстрировать использование urllib с достаточным количеством деталей по HTTP, чтобы помочь разобраться. Оно не заменяет документацию urllib.request, а дополняет её.

Загрузка URL¶Fetching URLs

Простейший способ использования urllib.request выглядит так:

import urllib.request
with urllib.request.urlopen('http://python.org/') as response:
   html = response.read()

Если вы хотите получить ресурс по URL и сохранить его во временное расположение, это можно сделать с помощью функций shutil.copyfileobj() и tempfile.NamedTemporaryFile():

import shutil
import tempfile
import urllib.request

with urllib.request.urlopen('http://python.org/') as response:
    with tempfile.NamedTemporaryFile(delete=False) as tmp_file:
        shutil.copyfileobj(response, tmp_file)

with open(tmp_file.name) as html:
    pass

Многие случаи использования urllib будут столь же просты (заметим, что вместо URL вида 'http:' можно было бы использовать URL, начинающийся с 'ftp:', 'file:' и т.д.). Однако цель этого руководства – объяснить более сложные случаи, сосредоточившись на HTTP.

HTTP основан на запросах и ответах: клиент отправляет запросы, а серверы присылают ответы. urllib.request отражает это с помощью объекта Request, представляющего отправляемый HTTP-запрос. В простейшей форме вы создаёте объект Request, указывающий URL для получения. Вызов urlopen с этим объектом Request возвращает объект ответа для запрошенного URL. Этот ответ является файлоподобным объектом, что позволяет, например, вызвать .read() для него:

import urllib.request

req = urllib.request.Request('http://python.org/')
with urllib.request.urlopen(req) as response:
   the_page = response.read()

Обратите внимание, что urllib.request использует тот же интерфейс Request для обработки всех схем URL. Например, можно сделать FTP-запрос так:

req = urllib.request.Request('ftp://example.com/')

В случае HTTP есть две дополнительные возможности, которые предоставляют объекты Request: во-первых, можно передавать данные, которые будут отправлены серверу. Во-вторых, можно передавать дополнительную информацию («метаданные») о данных или о самом запросе на сервер – эта информация отправляется как HTTP-заголовки. Рассмотрим каждую из них по порядку.

import urllib.parse
import urllib.request

url = 'http://www.someserver.com/cgi-bin/register.cgi'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }

data = urllib.parse.urlencode(values)
data = data.encode('ascii') # data должна быть типа bytes
req = urllib.request.Request(url, data)
with urllib.request.urlopen(req) as response:
   the_page = response.read()

>>> import urllib.request
>>> import urllib.parse
>>> data = {}
>>> data['name'] = 'Somebody Here'
>>> data['location'] = 'Northampton'
>>> data['language'] = 'Python'
>>> url_values = urllib.parse.urlencode(data)
>>> print(url_values)  # Порядок может отличаться от указанного ниже.
name=Somebody+Here&language=Python&location=Northampton
>>> url = 'http://www.example.com/example.cgi'
>>> full_url = url + '?' + url_values
>>> data = urllib.request.urlopen(full_url)

import urllib.parse
import urllib.request

url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'
values = {'name': 'Michael Foord',
          'location': 'Northampton',
          'language': 'Python' }
headers = {'User-Agent': user_agent}

data = urllib.parse.urlencode(values)
data = data.encode('ascii')
req = urllib.request.Request(url, data, headers)
with urllib.request.urlopen(req) as response:
   the_page = response.read()

Обработка исключений¶Handling Exceptions

urlopen возбуждает URLError, когда не может обработать ответ (хотя, как обычно в Python API, могут также возбуждаться встроенные исключения, такие как ValueError, TypeError и т.д.).

HTTPError является подклассом URLError, возбуждаемым в конкретном случае HTTP URL.

Классы исключений экспортируются из модуля urllib.error.

>>> req = urllib.request.Request('http://www.pretend_server.org')
>>> try: urllib.request.urlopen(req)
... except urllib.error.URLError as e:
...     print(e.reason)
...
(4, 'getaddrinfo failed')

responses = {
    ...
    <HTTPStatus.OK: 200>: ('OK', 'Request fulfilled, document follows'),
    ...
    <HTTPStatus.FORBIDDEN: 403>: ('Forbidden',
                                  'Request forbidden -- authorization will '
                                  'not help'),
    <HTTPStatus.NOT_FOUND: 404>: ('Not Found',
                                  'Nothing matches the given URI'),
    ...
    <HTTPStatus.IM_A_TEAPOT: 418>: ("I'm a Teapot",
                                    'Server refuses to brew coffee because '
                                    'it is a teapot'),
    ...
    <HTTPStatus.SERVICE_UNAVAILABLE: 503>: ('Service Unavailable',
                                            'The server cannot process the '
                                            'request due to a high load'),
    ...
    }

>>> req = urllib.request.Request('http://www.python.org/fish.html')
>>> try:
...     urllib.request.urlopen(req)
... except urllib.error.HTTPError as e:
...     print(e.code)
...     print(e.read())
...
404
b'<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\n\n\n<html
  ...
  <title>Page Not Found</title>\n
  ...

from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError
req = Request(someurl)
try:
    response = urlopen(req)
except HTTPError as e:
    print('The server couldn\'t fulfill the request.')
    print('Error code: ', e.code)
except URLError as e:
    print('We failed to reach a server.')
    print('Reason: ', e.reason)
else:
    # всё в порядке

from urllib.request import Request, urlopen
from urllib.error import URLError
req = Request(someurl)
try:
    response = urlopen(req)
except URLError as e:
    if hasattr(e, 'reason'):
        print('We failed to reach a server.')
        print('Reason: ', e.reason)
    elif hasattr(e, 'code'):
        print('The server couldn\'t fulfill the request.')
        print('Error code: ', e.code)
else:
    # всё в порядке

info и geturl¶info and geturl

Ответ, возвращаемый urlopen (или экземпляр HTTPError), имеет два полезных метода info() и geturl() и определён в модуле urllib.response.

• geturl – возвращает реальный URL полученной страницы. Это полезно, поскольку urlopen (или используемый объект opener) мог выполнить перенаправление. URL полученной страницы может не совпадать с запрошенным URL.

• info – возвращает объект, подобный словарю, который описывает полученную страницу, в частности заголовки, отправленные сервером. В настоящее время это экземпляр http.client.HTTPMessage.

Типичные заголовки включают ‘Content-length’, ‘Content-type’ и т.д. Смотрите Краткий справочник HTTP-заголовков для полезного списка HTTP-заголовков с краткими пояснениями их значения и использования.

Открыватели и обработчики¶Openers and Handlers

При получении URL используется opener (экземпляр, возможно, запутанно названного urllib.request.OpenerDirector). Обычно используется стандартный opener – через urlopen, – но можно создавать собственные opener'ы. Opener'ы используют обработчики. Вся «тяжёлая работа» выполняется обработчиками. Каждый обработчик знает, как открывать URL для определённой схемы URL (http, ftp и т.д.) или как обрабатывать аспект открытия URL, например HTTP-перенаправления или HTTP-cookies.

Стоит создавать собственные opener'ы, если нужно получать URL с установленными определёнными обработчиками, например чтобы получить opener, обрабатывающий cookies, или opener, не обрабатывающий перенаправления.

Чтобы создать opener, создайте экземпляр OpenerDirector, а затем вызывайте .add_handler(some_handler_instance) несколько раз.

В качестве альтернативы можно использовать build_opener – удобную функцию для создания объектов opener одним вызовом. build_opener по умолчанию добавляет несколько обработчиков, но предоставляет быстрый способ добавить ещё и/или переопределить стандартные обработчики.

Другие типы обработчиков могут обрабатывать прокси, аутентификацию и другие распространённые, но слегка специализированные ситуации.

install_opener можно использовать, чтобы сделать объект opener (глобальным) стандартным opener'ом. Это означает, что вызовы urlopen будут использовать установленный opener.

Объекты opener имеют метод open, который можно вызывать напрямую для получения URL так же, как функцию urlopen: нет необходимости вызывать install_opener, кроме как для удобства.

Базовая аутентификация¶Basic Authentication

Для иллюстрации создания и установки обработчика мы будем использовать HTTPBasicAuthHandler. Для более подробного обсуждения этой темы – включая объяснение того, как работает базовая аутентификация, – смотрите Руководство по базовой аутентификации.

Когда требуется аутентификация, сервер отправляет заголовок (а также код ошибки 401) с запросом аутентификации. В нём указывается схема аутентификации и «realm». Заголовок выглядит так: WWW-Authenticate: SCHEME realm="REALM".

например

WWW-Authenticate: Basic realm="cPanel Users"

Затем клиент должен повторить запрос, включив в него соответствующие имя и пароль для данной области в качестве заголовка. Это и есть «базовая аутентификация». Чтобы упростить этот процесс, можно создать экземпляр HTTPBasicAuthHandler и opener для использования этого обработчика.

HTTPBasicAuthHandler использует объект, называемый менеджером паролей, для обработки соответствия URL и областей паролям и именам пользователей. Если известно, какая область (из заголовка аутентификации, отправленного сервером), то можно использовать HTTPPasswordMgr. Часто область не важна. В этом случае удобно использовать HTTPPasswordMgrWithDefaultRealm. Это позволяет указать имя пользователя и пароль по умолчанию для URL. Они будут использованы при отсутствии альтернативной комбинации для конкретной области. Это указывается передачей None в качестве аргумента realm методу add_password.

URL верхнего уровня – это первый URL, требующий аутентификации. URL «глубже», чем переданный в .add_password(), также будут соответствовать.

# создать менеджер паролей
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()

# Добавить имя пользователя и пароль.
# Если бы мы знали realm, мы могли бы использовать его вместо None.
top_level_url = "http://example.com/foo/"
password_mgr.add_password(None, top_level_url, username, password)

handler = urllib.request.HTTPBasicAuthHandler(password_mgr)

# создать "opener" (экземпляр OpenerDirector)
opener = urllib.request.build_opener(handler)

# использовать opener для получения URL
opener.open(a_url)

# Установить opener.
# Теперь все вызовы urllib.request.urlopen будут использовать наш opener.
urllib.request.install_opener(opener)

top_level_url на самом деле либо полный URL (включая компонент схемы 'http:' и имя хоста и, опционально, номер порта), например "http://example.com/", либо «authority» (т.е. имя хоста, опционально включая номер порта), например "example.com" или "example.com:8080" (последний пример включает номер порта). Authority, если присутствует, НЕ должен содержать компонент «userinfo» – например "joe:password@example.com" некорректно.

Прокси¶Proxies

urllib автоматически определяет настройки прокси и использует их. Это происходит через ProxyHandler, который является частью обычной цепочки обработчиков при обнаружении настройки прокси. Обычно это хорошо, но бывают случаи, когда это может быть нежелательно [5]. Один из способов – настроить собственный ProxyHandler без определённых прокси. Это делается аналогично настройке обработчика базовой аутентификации:

>>> proxy_support = urllib.request.ProxyHandler({})
>>> opener = urllib.request.build_opener(proxy_support)
>>> urllib.request.install_opener(opener)

Сокеты и уровни¶Sockets and Layers

Поддержка Python для получения ресурсов из сети является многоуровневой. urllib использует библиотеку http.client, которая, в свою очередь, использует библиотеку socket.

Начиная с Python 2.3 можно указать, как долго сокет должен ждать ответа до истечения тайм-аута. Это может быть полезно в приложениях, которым приходится получать веб-страницы. По умолчанию модуль socket не имеет тайм-аута и может зависнуть. В настоящее время тайм-аут сокета не доступен на уровнях http.client или urllib.request. Однако можно установить глобальный тайм-аут по умолчанию для всех сокетов с помощью

import socket
import urllib.request

# тайм-аут в секундах
timeout = 10
socket.setdefaulttimeout(timeout)

# этот вызов urllib.request.urlopen теперь использует тайм-аут по умолчанию
# который мы установили в модуле socket
req = urllib.request.Request('http://www.voidspace.org.uk')
response = urllib.request.urlopen(req)

Примечания¶Footnotes

Этот документ был проверен и доработан Джоном Ли.