cgi – поддержка Common Gateway Interface¶cgi – Common Gateway Interface support

Введение¶Introduction

CGI-скрипт вызывается HTTP-сервером, обычно для обработки пользовательского ввода, отправленного через элемент HTML <FORM> или <ISINDEX>.

Чаще всего CGI-скрипты находятся в специальном каталоге сервера cgi-bin. HTTP-сервер помещает различную информацию о запросе (например, имя хоста клиента, запрошенный URL, строку запроса и множество других полезных данных) в окружение оболочки скрипта, выполняет скрипт и отправляет вывод скрипта обратно клиенту.

Ввод скрипта также подключён к клиенту, и иногда данные формы читаются таким образом; в других случаях данные формы передаются через часть URL «строка запроса». Этот модуль предназначен для обработки различных ситуаций и предоставления более простого интерфейса для Python-скрипта. Он также предоставляет ряд утилит, помогающих при отладке скриптов, и последним дополнением является поддержка загрузки файлов из формы (если браузер это поддерживает).

Вывод CGI-скрипта должен состоять из двух разделов, разделённых пустой строкой. Первый раздел содержит несколько заголовков, сообщающих клиенту, какие данные следуют. Код Python для генерации минимального раздела заголовков выглядит так:

print("Content-Type: text/html")    # Далее HTML
print()                             # пустая строка, конец заголовков

Второй раздел обычно представляет собой HTML, что позволяет клиентскому программному обеспечению отображать красиво отформатированный текст с заголовками, встроенными изображениями и т.д. Вот код Python, выводящий простой фрагмент HTML:

print("<TITLE>CGI script output</TITLE>")
print("<H1>This is my first CGI script</H1>")
print("Hello, world!")

Использование модуля cgi¶Using the cgi module

Начать следует с написания import cgi.

При написании нового скрипта стоит добавить следующие строки:

import cgitb
cgitb.enable()

Это активирует специальный обработчик исключений, который будет отображать подробные отчёты в веб-браузере при возникновении любых ошибок. Если не требуется показывать внутренности программы пользователям скрипта, можно сохранять отчёты в файлы с помощью такого кода:

import cgitb
cgitb.enable(display=0, logdir="/path/to/logdir")

Очень полезно использовать эту возможность при разработке скрипта. Отчёты, создаваемые cgitb, предоставляют информацию, которая может сэкономить много времени при поиске ошибок. Строку cgitb можно удалить позже, когда скрипт будет протестирован и будет уверенность, что он работает правильно.

Для доступа к отправленным данным формы используйте класс FieldStorage. Если форма содержит символы, не входящие в ASCII, задайте параметр encoding, указав кодировку, определённую для документа. Обычно она указывается в теге META в разделе HEAD HTML-документа или в заголовке Content-Type. Этот класс читает содержимое формы из стандартного ввода или окружения (в зависимости от значений различных переменных окружения, установленных согласно стандарту CGI). Поскольку он может потреблять стандартный ввод, его следует создавать только один раз.

Экземпляр FieldStorage можно индексировать как словарь Python. Он позволяет проверять наличие ключей оператором in, а также поддерживает стандартный метод словаря keys() и встроенную функцию len(). Поля формы, содержащие пустые строки, игнорируются и не появляются в словаре; чтобы сохранить такие значения, укажите истинное значение для необязательного именованного параметра keep_blank_values при создании экземпляра FieldStorage.

Например, следующий код (предполагается, что заголовок Content-Type и пустая строка уже выведены) проверяет, что поля name и addr установлены в непустую строку:

form = cgi.FieldStorage()
if "name" not in form or "addr" not in form:
    print("<H1>Error</H1>")
    print("Please fill in the name and addr fields.")
    return
print("<p>name:", form["name"].value)
print("<p>addr:", form["addr"].value)
...further form processing here...

Здесь поля, доступные через form[key], сами являются экземплярами FieldStorage (или MiniFieldStorage, в зависимости от кодировки формы). Атрибут value экземпляра даёт строковое значение поля. Метод getvalue() возвращает это строковое значение напрямую; он также принимает необязательный второй аргумент – значение по умолчанию, возвращаемое, если запрошенный ключ отсутствует.

Если отправленные данные формы содержат несколько полей с одинаковым именем, объект, полученный через form[key], будет не экземпляром FieldStorage или MiniFieldStorage, а списком таких экземпляров. Аналогично в этой ситуации form.getvalue(key) вернёт список строк. Если предполагается такая возможность (когда HTML-форма содержит несколько полей с одинаковым именем), используйте метод getlist(), который всегда возвращает список значений (чтобы не требовалось обрабатывать случай одного элемента отдельно). Например, следующий код объединяет любое количество полей с именами пользователей через запятую:

value = form.getlist("username")
usernames = ",".join(value)

Если поле представляет загруженный файл, чтение значения через атрибут value или метод getvalue() загружает весь файл в память в виде байтов. Это может быть нежелательно. Можно проверить, является ли поле загруженным файлом, проверив атрибут filename или атрибут file. Затем можно прочитать данные из атрибута file до того, как он будет автоматически закрыт при сборке мусора экземпляра FieldStorage (методы read() и readline() возвращают байты):

fileitem = form["userfile"]
if fileitem.file:
    # Это загруженный файл; подсчитать строки
    linecount = 0
    while True:
        line = fileitem.file.readline()
        if not line: break
        linecount = linecount + 1

Объекты FieldStorage также поддерживают использование в операторе with, который автоматически закроет их по завершении.

Если при получении содержимого загруженного файла возникает ошибка (например, пользователь прерывает отправку формы, нажав кнопку «Назад» или «Отмена»), атрибут done объекта поля будет установлен в значение -1.

Проект стандарта загрузки файлов предусматривает возможность загрузки нескольких файлов из одного поля (с использованием рекурсивной кодировки multipart/*). В этом случае элемент будет представлять собой словареподобный элемент FieldStorage. Это можно определить, проверив его атрибут type, который должен быть равен multipart/form-data (или, возможно, другому MIME-типу, соответствующему multipart/*). В этом случае его можно рекурсивно перебирать так же, как объект формы верхнего уровня.

Когда форма отправляется в «старом» формате (как строка запроса или как одна часть данных типа application/x-www-form-urlencoded), элементы на самом деле будут экземплярами класса MiniFieldStorage. В этом случае атрибуты list, file и filename всегда равны None.

Форма, отправленная через POST и имеющая также строку запроса, будет содержать элементы как FieldStorage, так и MiniFieldStorage.

Интерфейс более высокого уровня¶Higher Level Interface

В предыдущем разделе объясняется, как читать данные CGI-формы с помощью класса FieldStorage. В этом разделе описывается интерфейс более высокого уровня, который был добавлен в этот класс, чтобы позволить делать это более читабельным и интуитивным способом. Этот интерфейс не делает методы, описанные в предыдущих разделах, устаревшими – они по-прежнему полезны, например, для эффективной обработки загрузки файлов.

Интерфейс состоит из двух простых методов. С их помощью можно обрабатывать данные формы универсально, не задумываясь о том, было ли отправлено одно или несколько значений под одним именем.

В предыдущем разделе было показано, как писать следующий код каждый раз, когда ожидается, что пользователь отправит несколько значений под одним именем:

item = form.getvalue("item")
if isinstance(item, list):
    # Пользователь запрашивает более одного элемента.
else:
    # Пользователь запрашивает только один элемент.

Такая ситуация часто возникает, например, когда форма содержит группу флажков с одинаковым именем:

<input type="checkbox" name="item" value="1" />
<input type="checkbox" name="item" value="2" />

Однако в большинстве случаев в форме есть только один элемент управления с определённым именем, и тогда ожидается и требуется только одно значение, связанное с этим именем. Поэтому пишется скрипт, содержащий, например, такой код:

user = form.getvalue("user").upper()

Проблема в том, что не следует рассчитывать, что клиент всегда будет передавать корректные данные в скрипты. Например, если любопытный пользователь добавит ещё одну пару user=foo в строку запроса, скрипт аварийно завершится, потому что в этом случае вызов метода getvalue("user") вернёт список вместо строки. Вызов метода upper() для списка недопустим (поскольку у списков нет метода с таким именем) и приводит к исключению AttributeError.

Поэтому единственным правильным способом чтения значений данных формы было всегда использовать код, проверяющий, является ли полученное значение одиночным или списком значений. Это утомительно и снижает читаемость скриптов.

Более удобный подход – использовать методы getfirst() и getlist(), предоставляемые этим интерфейсом более высокого уровня.

FieldStorage.getfirst(name, default=None)¶

Этот метод всегда возвращает только одно значение, связанное с полем формы name. Метод возвращает только первое значение, если под этим именем было отправлено несколько значений. Обратите внимание, что порядок получения значений может различаться в разных браузерах, и полагаться на него не стоит. 1 Если такого поля формы или значения не существует, метод возвращает значение, указанное в необязательном параметре default. Этот параметр по умолчанию равен None, если не указан.

FieldStorage.getlist(name)¶

Этот метод всегда возвращает список значений, связанных с полем формы name. Метод возвращает пустой список, если для name не существует такого поля или значения. Возвращает список из одного элемента, если существует только одно значение.

С помощью этих методов можно писать компактный код:

import cgi
form = cgi.FieldStorage()
user = form.getfirst("user", "").upper()    # Так это безопасно.
for item in form.getlist("item"):
    do_something(item)

Функции¶Functions

Они полезны, если нужен более тонкий контроль или если требуется использовать некоторые алгоритмы, реализованные в этом модуле, в других ситуациях.

cgi.parse(fp=None, environ=os.environ, keep_blank_values=False, strict_parsing=False, separator='&')¶

Разбирает запрос из окружения или из файла (по умолчанию файл – sys.stdin). Параметры keep_blank_values, strict_parsing и separator передаются в urllib.parse.parse_qs() без изменений.

cgi.parse_multipart(fp, pdict, encoding='utf-8', errors='replace', separator='&')¶

Разбирает ввод типа multipart/form-data (для загрузки файлов). Аргументы: fp – входной файл, pdict – словарь, содержащий другие параметры в заголовке Content-Type, и encoding – кодировка запроса.

Возвращает словарь, как и urllib.parse.parse_qs(): ключи – это имена полей, каждое значение – список значений для этого поля. Для не файловых полей значение – список строк.

Этот подход прост в использовании, но не очень подходит, если ожидается загрузка мегабайт – в таком случае лучше использовать класс FieldStorage, который гораздо гибче.

Изменено в версии 3.7: Добавлены параметры encoding и errors. Для не файловых полей значение теперь представляет собой список строк, а не байтов.

Изменено в версии 3.10: Добавлен параметр separator.

cgi.parse_header(string)¶

Разбирает MIME-заголовок (например, Content-Type) на основное значение и словарь параметров.

cgi.test()¶

Надёжный тестовый CGI-скрипт, который можно использовать как основную программу. Выводит минимальные HTTP-заголовки и форматирует всю переданную скрипту информацию в формате HTML.

cgi.print_environ()¶

Форматирует окружение оболочки в формате HTML.

cgi.print_form(form)¶

Форматирование формы в HTML.

cgi.print_directory()¶

Форматирование текущей директории в HTML.

cgi.print_environ_usage()¶

Вывод в HTML списка полезных переменных окружения (используемых CGI).

Забота о безопасности¶Caring about security

Есть одно важное правило: если вы запускаете внешнюю программу (через os.system(), os.popen() или другие функции с похожей функциональностью), убедитесь, что не передаёте оболочке произвольные строки, полученные от клиента. Это хорошо известная уязвимость, с помощью которой ловкие хакеры из любой точки сети могут заставить доверчивый CGI-скрипт выполнять произвольные команды оболочки. Даже части URL или имена полей нельзя считать безопасными – запрос не обязательно пришёл из вашей формы!

Чтобы быть в безопасности, если вам всё же нужно передать строку из формы команде оболочки, стоит убедиться, что строка содержит только буквенно-цифровые символы, дефисы, символы подчёркивания и точки.

Установка CGI-скрипта в системе Unix¶Installing your CGI script on a Unix system

Прочтите документацию вашего HTTP-сервера и уточните у местного системного администратора директорию, куда следует устанавливать CGI-скрипты; обычно это директория cgi-bin в дереве сервера.

Убедитесь, что скрипт доступен для чтения и выполнения «другими»; файловая маска Unix должна быть 0o755 в восьмеричном виде (используйте chmod 0755 filename). Проверьте, что первая строка скрипта содержит #! начиная с первой позиции, за которым следует путь к интерпретатору Python, например:

#!/usr/local/bin/python

Убедитесь, что интерпретатор Python существует и доступен для выполнения «другими».

Убедитесь, что любые файлы, которые скрипт должен читать или писать, доступны для чтения или записи «другим» – их права должны быть 0o644 для чтения и 0o666 для записи. Это связано с тем, что из соображений безопасности HTTP-сервер выполняет скрипт от имени пользователя «nobody», без каких-либо особых привилегий. Он может только читать (писать, выполнять) файлы, которые доступны всем на чтение (запись, выполнение). Текущая директория во время выполнения тоже отличается (обычно это каталог cgi-bin сервера), и набор переменных окружения отличается от того, что получается при входе в систему. В частности, не рассчитывайте, что путь поиска исполняемых файлов оболочки (PATH) или путь поиска модулей Python (PYTHONPATH) будут установлены во что-то содержательное.

Если вам нужно загружать модули из директории, которой нет в пути поиска модулей Python по умолчанию, можно изменить путь в скрипте перед импортом других модулей. Например:

import sys
sys.path.insert(0, "/usr/home/joe/lib/python")
sys.path.insert(0, "/usr/local/lib/python")

(Так директория, вставленная последней, будет просматриваться первой!)

Инструкции для систем, отличных от Unix, различаются; ознакомьтесь с документацией вашего HTTP-сервера (обычно в ней есть раздел о CGI-скриптах).

Тестирование CGI-скрипта¶Testing your CGI script

К сожалению, CGI-скрипт обычно не работает при запуске из командной строки, а скрипт, отлично работающий в командной строке, может таинственно отказываться при запуске через сервер. Но есть одна причина, по которой всё же стоит тестировать скрипт из командной строки: если в нём есть синтаксическая ошибка, интерпретатор Python вообще не выполнит его, и HTTP-сервер, скорее всего, отправит клиенту малопонятную ошибку.

Если в скрипте нет синтаксических ошибок, но он всё равно не работает, ничего не остаётся, кроме как прочитать следующий раздел.

Отладка CGI-скриптов¶Debugging CGI scripts

Прежде всего, проверьте наличие тривиальных ошибок установки – внимательное чтение раздела об установке CGI-скрипта выше может сэкономить много времени. Если вы сомневаетесь, правильно ли поняли процедуру установки, попробуйте установить копию этого файла модуля (cgi.py) в качестве CGI-скрипта. При вызове как скрипта этот файл выведет своё окружение и содержимое формы в формате HTML. Задайте правильные права и т.д., а затем отправьте ему запрос. Если он установлен в стандартную директорию cgi-bin, должно быть возможно отправить запрос, введя в браузере URL следующего вида:

http://yourhostname/cgi-bin/cgi.py?name=Joe+Blow&addr=At+Home

Если это даёт ошибку типа 404, сервер не может найти скрипт – возможно, нужно установить его в другую директорию. Если возникает другая ошибка, значит есть проблема с установкой, которую нужно исправить, прежде чем продолжать. Если вы получаете аккуратно отформатированный список окружения и содержимого формы (в этом примере поля должны отображаться как «addr» со значением «At Home» и «name» со значением «Joe Blow»), значит скрипт cgi.py установлен правильно. Если повторить ту же процедуру для вашего собственного скрипта, теперь вы сможете его отлаживать.

Следующим шагом может быть вызов функции test() модуля cgi из вашего скрипта: замените его основной код единственным оператором

cgi.test()

Это должно дать те же результаты, что и при установке самого файла cgi.py.

Когда обычный скрипт Python вызывает необработанное исключение (по любой причине: опечатка в имени модуля, файл, который не удаётся открыть, и т.п.), интерпретатор Python печатает подробную трассировку и завершает работу. Хотя интерпретатор Python всё ещё делает это, когда ваш CGI-скрипт вызывает исключение, скорее всего, трассировка попадёт в один из журнальных файлов HTTP-сервера или вообще будет отброшена.

К счастью, когда вам удалось заставить скрипт выполнить хоть какой-то код, вы можете легко отправлять трассировки в веб-браузер с помощью модуля cgitb. Если вы ещё этого не сделали, просто добавьте строки:

import cgitb
cgitb.enable()

в начало скрипта. Затем попробуйте запустить его снова; при возникновении проблемы вы увидите подробный отчёт, который, вероятно, укажет на причину сбоя.

Если вы подозреваете, что может быть проблема с импортом модуля cgitb, можно использовать ещё более надёжный подход (использующий только встроенные модули):

import sys
sys.stderr = sys.stdout
print("Content-Type: text/plain")
print()
...your code here...

Этот подход полагается на интерпретатор Python для печати трассировки. Тип содержимого вывода устанавливается в обычный текст, что отключает всю обработку HTML. Если ваш скрипт работает, сырой HTML будет отображён клиентом. Если он вызывает исключение, скорее всего, после вывода первых двух строк будет показана трассировка. Поскольку интерпретация HTML не происходит, трассировка будет читаемой.

Частые проблемы и их решения¶Common problems and solutions

• Большинство HTTP-серверов буферизуют вывод CGI-скриптов до завершения скрипта. Это означает, что невозможно отображать индикатор выполнения на экране клиента во время работы скрипта.

• Проверьте инструкции по установке выше.

• Проверьте файлы журнала HTTP-сервера. (tail -f logfile в отдельном окне может оказаться полезным!)

• Всегда сначала проверяйте скрипт на синтаксические ошибки, выполнив что-то вроде python script.py.

• Если в скрипте нет синтаксических ошибок, попробуйте добавить import cgitb; cgitb.enable() в начало скрипта.

• При вызове внешних программ убедитесь, что они могут быть найдены. Обычно это означает использование абсолютных путей – PATH обычно не содержит полезного значения в CGI-скрипте.

• При чтении или записи внешних файлов убедитесь, что они могут быть прочитаны или записаны идентификатором пользователя (userid), от имени которого будет выполняться CGI-скрипт: обычно это идентификатор пользователя, под которым работает веб-сервер, или явно указанный идентификатор для функции suexec веб-сервера.

• Не пытайтесь установить CGI-скрипту режим set-uid. На большинстве систем это не работает и к тому же создаёт угрозу безопасности.

Сноски

1

Обратите внимание, что некоторые последние версии спецификации HTML действительно определяют порядок, в котором должны передаваться значения полей, но определение того, был ли запрос получен от соответствующего спецификации браузера, или вообще от браузера, – задача утомительная и чреватая ошибками.